柬埔寨语命名实体识别及汉柬双语可比语料库构建方法研究

As the research on Khmer language processing is very weak,research on Khmer named entity recognition plays an important role in the future research of the understanding of Chinese-Khmer bilingual language.Based on the Khmer language characteristics, Firstly, study on the annotation specification of Khmer word segmentation，part-of-speech and named entity to build a 500000-word-sized Khmer tagged corpus,on the basis of which,study on the Khmer named entity recognition methods based on hierarchical hybrid model of conditional random field and Markov logic network according to the characteristic that Khmer linguistic knowledge can be characterized with first-order logic rules,and study on the English-Khmer cross-lingual named entity knowledge transfer methods to get cross-lingual feature for the purpose of improving Khmer named entity recognition which lacks good discriminating features. Finally,study Chinese-Khmer comparable corpora building methods combining bilingual topic model and incremental clustering by means of knowledge dictionary ,according to the characteristic of Khmer news Web pages have the similar topic and content to the Chinese ones.The research achievement of the project will supply basic support and corpus resources to Khmer language processing and Chinese-Khmer machine translation.

柬埔寨语语言信息处理研究非常薄弱，研究柬埔寨语命名实体识别对于今后的汉-柬双语理解研究工作具有重要的支撑作用。汉语-柬埔寨语双语语料资源构建是汉柬双语理解的必备资源。本课题根据柬埔寨语的特点，首先研究柬埔寨语分词、词性标注与命名实体标注规范，构建含50万单词的柬埔寨语词法标注语料库，在此基础上，根据柬埔寨语言学知识能很好地用一阶逻辑规则描述的特点，研究基于条件随机场与马尔科夫逻辑网双层模型的柬埔寨语命名实体识别方法，研究英语-柬埔寨语跨语言命名实体知识转移方法，引入跨语言特征以促进缺乏可区分特征的柬埔寨语命名实体识别工作。最后结合汉柬新闻网页主题相关、内容相近的特点，借助于知识词典，研究通过融合汉柬双语主题建模和增量聚类获取汉-柬双语可比较语料的方法。项目研究成果为柬埔寨语信息处理、汉语-柬埔寨语机器翻译提供底层支持和数据支撑。

柬埔寨语命名实体识别对于柬埔寨语信息处理、汉－柬双语理解研究工作具有重要的支撑作用，汉－柬双语语料资源是汉柬双语理解的必备资源。本课题开展柬语词法标注语料库构建方法、柬语命名实体识别方法、汉-柬双语可比较语料获取方法研究。课题研究取得了多项创新性研究成果：在国内外期刊发表论文14篇，已录用未发表2篇，会议论文7篇，其中EI收录7篇，授权发明专利1项，申请发明专利受理6项，登记软件著作权5项。课题构建了50万余词的柬埔寨语词法语料标注库。. 课题定义了切分、词性、命名实体语料库标注规范。提出一种基于层叠条件随机场模型的自动分词及词性标注方法，为柬埔寨语命名实体识别研究奠定了基础。.针对柬埔寨语命名实体识别问题，提出了一种融合柬埔寨语实体特征的约束条件随机场模型的命名实体识别方法。为了进一步提高识别性能，引入英柬跨语言特征的柬埔寨语命名实体识别方法，取得了较好效果。. 针对汉语-柬埔寨语可比较语料获取问题，研究了基于双语词典的柬汉双语LDA模型的构建方法，在缺乏双语平行文档的情况下，该双语LDA模型的主题挖掘效果较好。为了解决传统LDA中词袋模型不能考虑上下文信息的缺点，提出了一种基于短语的柬汉双语LDA主题模型，实验结果表明该模型比传统双语LDA模型的结果困惑度更低，主题预测能力更强。提出一种融合发布时间要素、实体要素和双语主题分布的可比语料获取方法，取得了较好的效果。针对汉柬可比语料平行片段抽取问题，提出了基于Dirichlet过程的可比语料平行片段抽取的方法。 . 针对柬埔寨语词法标注语料库构建问题，首先利用基于专有名词的约束条件随机场进行命名实体识别，然后对结果进行人工修正，加入训练语料，迭代以上过程，最终构建了包含约50万词的柬埔寨语分词、词性、命名实体标注的语料库。. 课题研究针对柬埔寨语词法语料库构建、柬埔寨语命名实体识别、汉语-柬埔寨语可比较语料获取问题提出了新颖有效的方法，为进一步开展汉语-柬埔寨语双语信息处理奠定了基础。