维吾尔文不良信息过滤关键技术的研究

内容过滤是当前互联网信息安全的研究热点, 也是所面临的挑战之一。互联网迅速普及, 但其内容存在大量不良信息, 内容过滤就是对其进行筛选, 取其精华、去其糟粕, 是对传播的信息进行的审计行为。虽然最近几年维吾尔文信息技术得到了充足的发展空间。但是，维吾尔文不良信息过滤相关的技术未被得到重点研究，给境外不法分子利用互联网进行反动宣传留下了漏洞。本项目针对该问题，以真实网络信息作为研究对象，围绕维吾尔文不良信息过滤技术，对编码统一、被变形的单词、不良文本分类技术、利用敏感词组合过滤不良文本等基础技术进行深入研究，为研发维吾尔文不良信息过滤系统奠定基础。通过本项目构建100万次词人工校对的维吾尔文词法标注网络文本语料库，与公安部门合作构建维吾尔文不良信息语料库，研发维吾尔文不良信息检索过滤实验系统。

本项目中，围绕维吾尔文不良信息过滤系统所需要的相关技术，对维吾尔文网页收集与争化、语种识别、编码统一、拼写检查、候选词产生、文本分类、舆情控制等相关技术开展了研究，并取得了一些成绩。通过本项目的实施，构建100万次词人工校对的维吾尔文词法标注网络文本语料库，与公安部门合作构建维吾尔文不良信息语料库，研究与实现了统计和规则相结合的维吾尔文语种识别系统、维吾尔文四种文字相互转换系统，提出维吾尔文拼写检查方法、候选词产生算法，通过开源工具对文本分类及敏感信息过滤进行实验，研发维吾尔文不良信息检索过滤实验系统。通过本项目，为维吾尔文不良信息过滤、舆情监控等奠定了基础。