现代哈萨克语短语识别及其语块库构建技术研究

短语作为句法单位是词法分析和句法分析的中间重要环节，是自然语言浅层句法分析的重要任务之一；按语块分析可降低进行短语划分和分析处理的复杂性，对句法分析提供基础；构建大规模标注语块库是语料库语言学发展的重要基础。基于浅层句法分析的哈语短语识别研究是当前哈语信息处理的燃眉之急。本项目据哈萨克语独特的语言特点，探索适合哈语的浅层句法分析方法。系统分析哈语短语构成规律，研究哈语短语自动识别、歧义消解、构建语块库的关键技术，从而设计短语和语块处理算法，为解决哈语短语对哈文信息处理的困扰提供有效手段，为哈文下一步句法处理和树库建设打下基础。哈语短语识别研究，将对全球哈族的文化发展起到促进作用，构建的哈文语块库为全球哈文信息化系统的开发奠定资源基础，有重要意义。可与哈萨克斯坦开展国际合作和交流，本研究对哈语知识获取、句法理解、汉哈机器翻译、大规模语料库加工等诸多领域，提供数据，推动应用产品的开发和升级。

短语（Phrase）是词和词按照一定的语义搭配关系和语法结构规则组合在一起的句法单位，短语的识别和分析结果可以简化句子的结构，降低句法分析的复杂度。 短语作为句法单位是词法分析和句法分析的中间重要环节，是自然语言浅层句法分析的重要任务之一；按语块分析可降低进行短语划分和分析处理的复杂性，对句法分析提供基础；构建一定大规模标注语块库是语料库语言学发展的重要基础。基于浅层句法分析的哈语短语识别研究是当前哈语信息处理的燃眉之急。. 哈萨克语（简称哈语，Kazakh）属于阿尔泰语系突厥语族的克普恰克语组, 而且是跨境语言（哈萨克斯坦共和国的国语）。哈萨克语是粘着语，其形态结构为词干加构词或构形附加成分。哈语的短语（又称词组）是由两个或两个以上的单词构成的句法单位，哈语短语有自由短语和固定短语之分。. 本项目据哈萨克语独特的语言特点，探索适合哈语的浅层句法分析方法。系统地分析了哈语短语结构和功能，在句子中的构成规律，用统计技术获取哈语短语结构规则，歧义结构等；研究了哈语短语自动识别的关键技术，完成了哈语基本短语的识别研究。 实现了基于规则的哈语基本短语自动识别，基于最大熵的哈语动词短语和名词短语自动识别，基于条件随机场的哈语形容词短语自动识别和哈语基本短语块自动标注，其准确率和召回率均在85%以上；针对歧义结构进行了基于规则的歧义消解研究。用短语抽取方法提取了动词短语、名词短语、形容词短语，建立了对应的短语库，同时用语块构建技术，抽取了书名和缩略词等固定短语，并用基于转换的错误驱动学习方法进行了语块标注算法研究。.本研究基本解决了哈文信息处理中短语识别的困扰问题，提供了有效技术手段，为哈文进一步句法处理和树库建设打下了基础。哈语短语识别研究，对全球哈族的文化发展起到促进作用，有重要意义。与哈萨克斯坦共和国等开展了国际交流，建立了良好的国际合作关系。本研究可应用于哈语知识获取、句法理解、汉哈机器翻译、大规模语料库加工等诸多领域。