基于弱监督的神经网络翻译模型研究

In the recent two years, neural machine translation (NMT) based on encoder-decoder has shown great potential and significantly outperforms the classical statistical machine translation models on several language pairs. However, similar to classical statistical methods, NMT lacks the ability to learn the robust and high-quality model on language pairs (or domains) which are short of rich parallel resources. Inspired by the powerful representation learning of deep neural networks, this project aims at improving the translation quality of NMT on small parallel data using weakly supervised learning. In particular, this project will focus on the following research topics: 1), study the relevance-based model for large-scale monolingual data acquisition; 2), propose a novel method to make full use of the source-side large-scale monolingual data so as to enhance the encoding ability of NMT; 3), propose a new approach to take full advantage of the target-side large-scale monolingual data in order to improve the decoding capacity of NMT; 4) study the novel algorithm to use both source and target language monolingual data to solve the OOV problem in NMT; and finally build the novel NMT system based on weakly-supervised method with monolingual data. This project will substantially extend the application range for NMT and significantly boost the performance of machine translation.

近两年，基于编码-解码机制的神经网络翻译模型呈现出强劲的发展潜力，在一些语言对上已经显著超越经典的统计机器翻译模型。然而，面对双语平行资源匮乏的语言对或领域时，神经网络翻译方法与经典统计翻译方法类似，都很难学到鲁棒且高质量的模型。借鉴深度神经网络模型优越的表示学习能力，本项目旨在研究面向小规模双语平行数据的弱监督神经网络翻译模型，以期显著改善神经网络方法在小数据上的翻译效果。主要研究内容包括：1）研究基于相关度模型的大规模单语数据获取方法；2）提出充分利用源语言大规模单语数据的方法，以加强神经翻译模型的编码能力；3）提出充分利用目标语言大规模单语语料的模型，以优化神经翻译模型的解码性能；4）研究同时利用两种语言单语数据的算法，以解决神经翻译系统严重的集外词翻译问题；最终建立面向单语数据的弱监督神经翻译实验平台。本项目的研究将极大地拓展神经网络翻译模型的应用范围，显著提升机器翻译的实用性能。

基于深度神经网络的神经机器翻译方法取得了突破性发展，然而对双语平行语料的依赖仍然是其最大的瓶颈之一。突破平行数据的限制研发基于弱监督的神经网络机器翻译方法是本项目的目标。针对该目标，项目组提出了基于片段对齐的弱监督神经翻译模型、基于翻译知识迁移的弱监督神经翻译方法，以及同步双向神经翻译模型，并且搭建了基于弱监督的神经机器翻译翻译平台，开放了一套同步双向神经机器翻译系统。在学术成果方面，发表高水平学术论文17篇，其中1篇获得期刊年度优秀论文，1篇获得会议最佳论文奖；获得国家发明专利4项，培养了3名硕士和8名博士；研究成果获得2019年新疆维吾尔自治区科技进步奖二等奖。