汉语文本数据挖掘的统计方法

汉语文本的急剧增多使得其有效处理成为政界、管理学界面临的一个极具挑战性的问题。自2005年5月始，申请者与长春市政府市长公开电话办公室长期密切合作，研究电话投诉案例的分类汇集、分析整理工作，以期找出规律性的问题，并从中发现工作中的薄弱环节，为改进工作、制定决策提供重要依据。为此联合开发了"智能化综合服务网络"。 市长公开电话数据的显著特点是数据量大、数据维度高、数据采集环境复杂、分析目标经常变化等。这是现代统计学面临的最大挑战。在此问题的驱动下，本项目主要研究无监督（公开电话）语料库的建立方法、高精度的双维度分类（聚类）方法、投诉预警预报方法、以及新模式的探测方法，使市长公开电话工作模式从原来的依赖人员素质型向智能服务型转变，从过分依赖经验型向科学数据支撑型转变，实现市长公开电话工作管理的效能化、精细化、数字化和正规化。