词汇化句法分析若干关键技术研究

The study of lexicalized syntactic parsing has achieved certain progress, but its precision and efficiency yet do not satisfy the need of practical applications, especially there are still many key technologies about Chinese lexicalized syntactic parsing to be solved. In recent years, there has arised a study tendency to merge varied technologies in the field of syntactic parsing, and how to integrate varied existing syntactic parsing technologies and complement each other will be an important trend in the field of syntactic parsing. So this project will study how to merge varied syntactic parsing technologies, and propose new theories and calculation models about syntax and semantics on the base of Head-Driven syntactic parsing models combined with dependency grammars and valence grammars: (1) Propose a new word clustering model and algorithm, build syntactic parsing models based on semantic category and solve the data sparseness problem; (2) Introduce semantic information for statistical syntactic parsing models, the semantic information include semantic dependency and semantic collocation such as valence structure; (3) Part-of-speech tagging plays a vital role in syntactic parsing, the syntactic parsing models proposed in this project will combine part-of-speech tagging with syntactic parsing. The goals of this project are to bring semantic information into full play in syntactic parsing, solve the key problems existing in syntactic parsing and semantic calculation, and significantly improve the performance of syntactic parsing.

虽然目前词汇化句法分析研究取得了一定的进展，但是其准确率和效率仍然不能满足实际应用的需要，特别是汉语词汇化句法分析，还有许多关键技术有待解决。近年来，句法分析领域出现了将多种技术进行融合的研究趋势,如何整合多项现有的技术，取长补短，将是句法分析领域的一个重要研究方向。因此本课题将对多项技术的融合问题展开研究,在中心词驱动句法分析模型的基础上结合依存语法、配价语法,提出新的句法语义理论和计算模型：(1)提出一种新的词聚类模型和算法，建立基于语义类的句法分析模型,解决数据稀疏问题;(2)在句法分析统计模型中引入语义信息, 既包括语义依存信息,也包括配价结构等语义搭配信息;(3)词性标注在句法分析中起到了至关重要的作用, 本课题提出的句法分析模型将结合词性标注进行句法分析。目标是充分发挥语义信息在句法分析中的作用，解决句法分析和语义计算中存在的关键问题，较大幅度提高句法分析的性能。

虽然目前词汇化句法分析研究取得了一定的进展，但是其准确率和效率仍然不能满足实际应用的需要，特别是汉语词汇化句法分析，还有许多关键技术有待解决。近年来，句法分析领域出现了将多种技术进行融合的研究趋势,如何整合多项现有的技术，取长补短，将是句法分析领域的一个重要研究方向。因此本课题对多项技术的融合问题展开了研究,在中心词驱动句法分析模型的基础上结合依存语法、配价语法,提出了一些新的句法语义理论和计算模型：. 1.数据稀疏问题是一个严重影响句法分析系统性能的重要因素, 而基于词类的句法分析统计模型是解决这一问题的主要方法之一。本课题利用相邻词语的互信息定义了一种词相似度，并在语义结构信息标注的基础上提出了一种基于语义搭配关系的词语义相似度定义。在词相似度的基础上定义了词集合的相似度,进而提出了一种能得到全局最优结果，自下而上的词聚类算法。实验结果表明，该词聚类算法执行效率高、聚类效果较好: 常规贪婪聚类方法如布朗词聚类算法的困惑度为278,而基于词相似度的词聚类算法和基于语义相似度的词聚类算法的困惑度分别为213,209.3。. 2.针对隐马尔可夫（HMM）词性标注模型状态输出独立同分布等与语言实际特性不够协调的假设，对隐马尔可夫模型进行改进，引入了马尔可夫族模型。马尔可夫族模型用条件独立性假设取代了HMM模型的独立性假设，相对条件独立性假设，独立性假设是过强假设，因而基于马尔可夫族模型的语言模型更符合语言等实际物理过程。将马尔可夫族模型成功应用于词性标注，并结合句法分析进行词性标注。用改进的隐马尔可夫模型进行词性标注实验，实验结果表明: 在相同的测试条件下, 马尔可夫族模型明显好于隐马尔可夫模型,词性标注准确率从94.642%提高到97.126%。. 3. 目前主流的词汇化句法分析方法仅仅考虑词语之间的语义依存关系, 而没有引入语义搭配和语义类等语义信息。本课题结合中心词驱动句法分析模型，提出了基于配价结构和语义依存关系的句法分析模型。模型在规则的分解及概率计算中引入丰富的语义信息，既包括语义依存信息,也包括配价结构等语义搭配信息。用改进的句法分析模型进行句法分析实验，实验结果表明，精确率和召回率分别为88.76%和87.43%，综合指标F值比Collins的中心词驱动句法分析模型提高了6.65个百分点。