维、哈、柯跨语言内容过滤关键技术研究

In the completely different language environment with Chinese and English, how to effectively filtering the Uyghur, Kazak and Kyrgyz multilingual text information, On the one hand to Get more rich and useful information from large space of Multilanguage resources, On the other hand should be thoroughly resist the harmful information spread by cross language, has become the scientific problems to be solved.This project will be take the multilingual (Uyghur, Kazak, Kyrgyz) multi-pattern (multi character set, multi coding) text message as a content filtering objects, introduced Uyghur, Kazak and Kyrgyz natural language processing and cross language information retrieval technology into the content filtering, presents a multilingual multi-pattern cross language model for adaptive content filtering, and around the key theory and technology of this model, carried out multilingual (Uyghur, Kazak, Kyrgyz) multi-pattern (multi character set, multi coding) text conversion, text representation (feature extraction, feature selection),adaptive filtering judgement(profile initialization, threshold initialization, Correlation judgment),adaptive learning(profile learning, threshold learning)so on four aspects of exploratory and innovation research, and finally establish Uyghur, Kazak and Kyrgyz multilingual multi-pattern content filtering theory system and technology base, through research and implementation related algorithm, tools and application platform, applies and confirms this project research achievements in related area of minority multilingual information processing.

在中、英文完全不同的语言环境下，如何对维、哈、柯多语种文本信息进行有效过滤，一方面要从更大的多语言资源空间中获取更丰富、有用的信息，另一方面要彻底抵制有害信息的跨语言传播，已成为亟待解决的科学问题。本课题将多语种（维、哈、柯）、多模式（多文字，多编码）文本信息作为内容过滤对象，将维、哈、柯文自然语言处理技术及信息检索中的跨语言技术引入到内容过滤中，提出一种多语种多模式自适应内容过滤的跨语言模型，并围绕该模型中的关键理论和技术，开展多语种（维、哈、柯文）、多模式（多文字、多编码）文本转换，文本表示（特征提取，特征选取），自适应过滤判定（模版初始化，阈值设置，相关性判定），自适应过滤学习（模版学习，阈值学习）等4个方面的探索性，创新性研究，最终建立维、哈、柯跨语言内容过滤的理论体系及技术基础，并通过研发有关算法、工具和试验平台，在少数民族多语种信息处理相关领域中应用验证本课题取得的研究成果。

本课题将维、哈、柯跨语言内容过滤作为研究任务，围绕维、哈、柯多语言多文字自动识别及转换，文本切分（分词）及特征提取，多模式匹配及过滤等方面开展了以下几个方面的探索新、创新性研究。建立了阿拉伯文拉丁文转换规则库，采用独特字符集、词法特性、上下文分析、字母邻接分析等方法实现了维、哈、柯一语多文自动识别及转换方法。建立了维、哈、柯词素分解标注语料库及双语词素对齐语料库（维哈，维柯），实现了一种基于词素分解的维、哈、柯转换方法。针对维吾尔文传统分词方法的缺陷和不足，提出了语义分词的新思路并实现了相应的语义分词算法，以语义词作为特征并提出一种无监督特征选择方法选取特征子集来表示文本，从而明显提高了文本处理算法性能。研究了最典型的聚类算法K-means和GAAC，在两种算法的优缺点上找到了一种巧妙的结合，从而设计并实现了一种K-means和GAAC结合的维吾尔文文本聚类算法，然后将该聚类方法应用到过滤模板的学习和更新中，从而解决了阈值估计偏见性和伪相关反馈初始信息稀疏问题对过滤性能造成的负面影响。研究了一种基于词向量及词典结合的维吾尔文文本过方法，首先将所有模式通过维、汉词典和深度学习工具word2vec映射到一个更加抽象的向量空间，然后根据模式找到相应模式的相似模式，最后利用wu-manber算法对待过滤的文本进行过滤。研究并提出了一种多模式匹配算法—基于形态结构的多模式匹配算法WSMM-ug(WSMM-ug：Morphological structure based Multi-pattern Matching for Uyghur）。该算法是在wu-manber算法的基础上做了针对维、哈、柯的改进，建立了多个索引表并分别在词干和词缀上进行匹配，得到了比wu-manber更高的匹配准确率。经过项目实施，培养硕士生5人，构建了多个资源库，开发了多个算法，工具和平台,已发表学术论文8篇（EI收录2篇），已录用论文2篇，计算机软件著作权登记4项，科技成果鉴定一项。最终，将本课题所取得的研究成果（算法、工具和平台等）嵌入到一个应用平台上，搭建了一个《维吾尔文目标站点内容监测系统》，已为我区相关部门提供网络内容监测的自动化手段，起到了积极作用。