基于主题模型的枢轴语言统计机器翻译研究

Pivot language approach for statistical machine translation (SMT), which is able to break through the bottleneck in parallel corpus, has become a hotspot in machine translation research and applications. However, because of the diversity and sparsity in language, the pivot-side context information is far from fully utilized in the implementation of conventional pivot language approaches, and this results in negative effects on final models. In this project, we propose to introduce topic model to establish context-aware pivot-based SMT. The research mainly includes the following three aspects: ① We focus on how to represent the context with topic model information, which is able to overcome the defect of the conventional approaches and meet the modeling needs in pivot-based SMT. ② Based on the above representation, we propose a word alignment model with the topic-based context in the pivot side. ③ Based on the above representation, we propose a translation model with the topic-based context in the pivot side. Taking advantage of topic model, our project promotes pivot-based SMT from context-free modeling to context-sensitive modeling. The implementation of our project provides new insight into breaking down the resource barrier using pivot language approaches, thus it has important theoretical and practical significance for resource-poor machine translation.

枢轴语言方法能够克服统计机器翻译缺乏双语语料的困境，成为近年来机器翻译研究和产业化的热点之一。然而，由于语言的多样性和稀疏性，目前的枢轴语言建模方法无法充分利用枢轴语言翻译单元的上下文信息，对最终模型产生负面影响。对此，本项目提出引入主题模型来建立上下文相关的枢轴语言统计机器翻译。项目主要工作包括：① 研究基于主题模型的上下文表示方法，克服传统方法存在的缺陷，满足枢轴语言统计机器翻译建模的需求；② 在基于主题模型的上下文表现形式下，研究引入枢轴语言上下文的词语对齐建模新方法；③ 在基于主题模型的上下文表现形式下，研究引入枢轴语言上下文的翻译模型建模新方法。项目充分发挥了主题模型的优势，推动枢轴语言统计机器翻译由上下文无关建模发展为上下文相关建模。项目的开展将为如何更好地利用枢轴语言方法来解决训练资源缺乏问题提供一种新思路，对于资源贫乏语言的机器翻译具有重要意义。

枢轴语言方法能够克服统计机器翻译缺乏双语语料的困境，成为近年来机器翻译研究和产业化的热点之一。然而，由于语言的多样性和稀疏性，目前的枢轴语言建模方法无法充分利用枢轴语言翻译单元的上下文信息，对最终模型产生负面影响。对此，本项目提出引入主题模型来改善枢轴语言统计机器翻译。在项目实施过程中，课题组主要开展了以下研究工作：（1）引入基于主题复述知识的统计机器翻译模型研究：研究如何引入基于主题模型的篇章上下文信息来改善基于平行语料的复述知识获取质量；（2）基于主题触发的统计机器翻译模型研究：研究如何引入基于主题模型的篇章上下文信息来改善统计机器翻译模型建模效果；（3）主题敏感的枢轴语言统计机器翻译模型研究：研究如何引入基于主题模型的篇章上下文信息对改善枢轴语言统计机器翻译建模效果；（4）面向统计机器翻译的上下文感知主题模型研究：研究如何利用主题模型来建模双语平行句对的生成过程，使得不同层次上下文信息对译文选择的影响能够联合建模；项目充分发挥了主题模型的优势，推动统计机器翻译，特别是枢轴语言统计机器翻译由上下文无关建模发展为上下文相关建模。项目的开展对于统计机器翻译研究具有重要理论意义与实际意义。