面向统计机器翻译的同步短语树结构归约机制研究

Synchronous structures play the key role in Statistical Machine Translation (SMT). Currently, most SMT systems obtain synchronous structures in two steps: first obtaining word alignments from parallel corpus and then extracting synchronous structures using some heuristics. In principle, these two independent steps and the applied heuristics lack theoretical support, resulting in the inconsistency between training and decoding in SMT systems...This project proposes a unified computational model from which synchronous structures are induced directly. Specifically, this project proposes a Synchronous Constituent Context Model (SCCM) for directly inducing phrasal synchronous trees, and puts two kinds of sparse priors on SCCM's probabilistic variables to bias toward more reusable synchronous phrases. Besides, for overcoming the computational bottleneck during the inference for SCCM posterior probabilities, we propose two kinds of Bayesian inference methods: gradual inference and local Gibbs sampling. .To summarize, the SCCM and the two Bayesian inference methods proposed in this project can simplify the pipeline of the current SMT systems and provide high quality synchronous phrases with theoretically sound probabilistic estimations for SMT decoders.

同步结构在统计机器翻译中起关键作用。目前的统计机器翻译系统获得同步结构通常需要两个阶段：首先从平行语料中获得词对齐信息，然后采用一些启发式规则获得可能的同步结构。这种相互独立的分阶段模式和启发式方法缺乏统计理论依据，造成翻译系统训练过程和解码过程的不一致性。本项目以同步短语树结构的归约机制研究为切入点，基于贝叶斯理论，探索翻译系统的统一建模，由模型直接推导出同步短语树。在建模方面，本项目提出同步成分上下文模型，并为该模型加以两种稀疏先验分布假设，使模型倾向于通用性强的同步短语；在对模型各项后验概率的推导方面，本项目提出两种贝叶斯推导方法: 渐进式推导方法和基于局部抽样的推导方法，以克服规约中所面临的计算瓶颈问题。总的说来，本项目提出的同步结构规约机制可以简化当前统计机器翻译系统的基本架构，提供扎实的统计理论依据和高效算法，并为统计机器翻译系统提供高质量的同步短语。

结构对齐是统计机器翻译中的重要环节，传统的结构对齐分为若干割裂的步骤，由最初步骤得到词对齐后再启发式地获得结构对齐，从而导致各步骤在统计理论上不统一。本课题提出同步短语树结构规约，以一个统一的统计模型一步获得结构对齐，从而克服传统方法中的各个割裂的步骤。课题开展四年来，主要从如下几个方面开展研究：1）探索适合于短语树结构规约的概率模型，以用于机器翻译系统之中；2）提出同步短语树结构规约模型，完成双语同步成分上下文模型的改进模型，以克服过度生成问题和数据稀疏问题；3）完成对不同先验概率的应用，以及各概率模型的抽样推导方法，以克服规约中所面临的计算瓶颈问题。4）综合验证以上各个模型、各种推导方法所获得的同步短语树结构规约结果，分析其对机器翻译结果的不同影响。研究结果显示本课题提出的结构规约方法在单语和双语上均相比传统方法和相关研究取得了显著提升，在对齐错误率和最终翻译质量上均优于传统的基于各个割裂步骤的结构对齐方法。