面向汉维机器翻译性能优化的关键技术研究

This research work take further improvements to the Chinese-Uyghur machine translation system performance as a goal, first of all, dynamically collect the Chinese-Uyghur parallel text corpus from the Internet, and study the disambiguation issues in single part of languages by theoretical and methodological way, and make the named entity recognition and alignment by corpus based parallel processing, so that further improve the quality of parallel corpus. secondly, according to the full morphological features of Uyghur language, on the basis of different units of word and morpheme building the different LM and corresponding translation model, analysis the error patterns in translated texts, send the results to frontend, make the improvements to LM unit selection by considering their language and statistical features, so that increase the BLEU value of MT system, decrease the LM lexicon size, and keep the OOV percent at low level. The clear multilayer morphological structures of the Uyghur language provide a new breakpoint for this research. The proposed idea can be conveniently applied to other agglutinative languages and other NLP domains.

本项目以汉维机器翻系统性能优化为目标，首先动态收集网络媒体中的汉维双语平行语料，研究双语各自语言中排除歧义的理论与方法，利用双语平行处理技术进行命名实体识别与对齐，进一步加工完善汉维平行语料库。其次，根据维吾尔语言本身词形丰富之特性，在基于词（word）和词素（morpheme）两个不同粒度的语言模型和相应的翻译模板情况下，分析机器翻译结果之错误模式（error pattern），并将其结果反馈至前端，在语言模型基元选择上考虑其语言学、统计学等因素，更进一步优化LM语言单元集，达到既要提高BLEU值又要减少LM lexicon size目的，其中可以将OOV保持很低的数量级上。粘着性语言本身具有的各个单元之间清晰的层次化特性为本方法提供了突破点和创新点。本研究在中亚粘着性语言中首次尝试，成功捕捉到了粘着性语言的一些独特特征，本项目技术和成果将在其它粘着性语言NLP研究中具有重要的参考价值。

本项目结合维吾尔文的音节结构特点和形态结构特点，以及这两种结构之间的内在联系，提出了维吾尔文词干提取的一种有效方法，即基于音节层形态特征的词干提取方法。为了进一步优化音节层训练模型的质量，本文在音节语料中加入了能够描述维吾尔文中更多形态特征的五类标记，通过实验得知，对词干提取贡献最大的特征组合为上下文音节特征、名词类单词的“数”特征、“领属性人称”特征和“格”特征等；在成功提取词干的基础上，研究了基于字母的模糊匹配方法和基于音字转换的人名识别方法。其次，以构建维吾尔语-汉语双语对照词典为基础，结合可比语料发现与挖掘技术，设计算法自动地从可比语料中获取句子对齐的维吾尔语-汉语双语数据资源；最后，以目前最先进的神经网络机器翻译技术为基础，深入考察了维吾尔语-汉语翻译的特点和难点，设计优化了相应的翻译模型和语言模型，并将其推广应用到了汉维翻译系统、双语学习系统中，为用户提供了自动的维汉文字信息翻译服务,为我区顺利开展“访惠聚”工作和“双语”的普及作出了积极贡献。