面向神经机器翻译的结构学习方法研究

Neural Machine Translation (NMT) is one of the most popular approaches in current Machine Translation (MT) community. It prevents the time-consuming work of writing translation rules and feature engineering, but it in turn relies on the design of neural networks. This model is obviously not efficient in exploring good neural network architectures. Therefore, automatic structure learning of neural networks has been one of the fundamental issues in MT. In this proposal we propose to address this issue in three ways: 1) we investigate methods to generate better neural networks based on prior knowledge; 2) we investigate methods to automatically learn network structures; 3) we investigate methods to learn a fused structure from different sources. All research outcomes of the project will be integrated into the NiuTrans platform and will be released for public.

神经机器翻译是当今主流的机器翻译方法之一。虽然神经机器翻译摆脱了对人工定义规则和翻译特征的依赖，但是仍然需要开发者手工设计神经网络，这种模式也限制了探索更有效网络结构的效率。如何让神经机器翻译系统自动学习网络结构已经成为了当今机器翻译研究的重要问题之一。本项目拟围绕此问题开展研究工作，主要研究内容包括：1）研究先验知识指导的网络结构生成模型；2）研究网络结构自动学习方法；3）研究基于多源信息的网络结构融合策略。最终，本项目的研究成果会被集成到NiuTrans平台中，提供面向神经机器翻译的网络结构自动学习系统，为学术界共享使用。

近些年，基于神经网络技术的机器翻译模型在各项科研和实际应用中取得了卓越进展，其中神经网络模型结构是影响系统性能的关键因素之一，然而神经网络模型结构的设计高度依赖研究人员的先验知识和实验经验，在网络结构的特征工程下难以突破既有模型和人类思维的局限。项目以机器翻译中文本建模以及跨语言信息学习为研究对象，围绕如何对神经网络结构进行设计和自动学习进行研究，在以下方面取得了积极进展：1. 在先验知识指导的网络结构学习和设计方面，提出了基于Pre-Norm的深层Transformer模型、基于由浅入深的深层网络训练方法、多尺度Transformer模型，通过提升神经机器翻译模型的模型容量和执行效率来在可接受的训练代价的情况下获得更好的翻译结果；2. 在网络结构自动学习方面，提出了基于连续结构表示的网络结构搜索方法、改进的可微分结构搜索模型，改进了传统结构搜索方法中网络建模所带来的不稳定现象以及训练效率问题；3. 在基于多源信息的网络结构融合方面，提出了基于拓展搜索空间的网络结构搜索方法、面向特定设备的高效结构搜索方法来提升结构搜索结果的性能上界以及搜索效率；4. 在翻译系统集成及平台建设方面，研发了基于深度Transformer的NiuTrans开源系统，该系统在WMT（2019-2022）翻译模型评测中，共取得了9次第一。同时，项目负责人撰写了机器翻译专著《机器翻译：基础与模型》，系统的介绍了机器翻译的技术体系和建模方法。项目负责人也于2021年获得中国计算机学会CCF-NLP青年新锐奖。依托本项目，项目团队共发表论文29篇，其中自然语言处理及人工智能高水平会议论文19篇（CCF A类、B类）。培养博士4人（1人毕业，3人在读）、硕士11人（4人毕业，7人在读），获得1篇省级优秀硕士论文，获得国家奖学金3人次。参加国际国内学术会议22次，并进行报告。