构式语法的计算模型研究

Though construction Grammar (CG), with strong explanatory power for language phenomena and learning, has been a matural liunguistics theory,it is still a stranger for most of NLP tasks. The main reasons include the absent of compuation oriented formal representation, the lack of a large scale construction knowledge base and its construction tool, and the missing of practice experience for CG to be applied in NLP, which are big obstacles for effectively applying CG in addressing NLP tasks. In this project, we are trying to build a construction computing bridge between linguistics and NLP: at first, according to the linguistics definition of constructions and their propterties, build the the computation oriented formal representation of contruction grammar. Then we will develop the open platform with functions of new construction defintion, corpra annotation with contructions and annotation result visialization ect to broke the bottlenect of lacking basis construction resources and tools. Based on it, we research on the models and methodology of parsing, anto annotation and quantity representation learning of contruction grammars by introducing deep learning, word embedding learning etc. NLP techniques, which fulfills us to the compuational modelling of construction grammars, and builds the foundation of applying construction grammars in real NLP tasks. Via this project, our goal is to provide NLP researchers and engineers usable tool and models for constructionb based NLP techniques, and to deliver contributions to both the improvement of construction grammar theory the development of NLP techniques.

构式语法作为具有很强语言现象解释能力的认知语法体系，虽然在语言学理论上已经较为成熟，但由于缺乏可计算的形式化定义、基础资源严重缺乏、计算机制尚不明确等关键问题，难以有效支撑自然语言处理及其应用技术的发展。为此，本项目致力于为语言学与自然语言处理之间搭建起构式计算的有效桥梁：通过对从语言学角度阐述的认知构式语法探索具有可计算性的形式化表示模型，构建具有构式定义、构式语料库标注、构式可视化表示和构式分析的开放性平台系统，解决构式研究的基础资源和工具缺乏问题，在此基础上，以典型构式为出发点，基于深度学习等自然语言处理热点技术来开展构式语法的自动分析与标注、构式量化表示的学习模型机构式应用等构式计算的方法与机制研究，为构式语法的计算模型构建与应用建立初步的理论与实践基础，为构式语法的发展与推广即自然语言处理技术的发展做出积极贡献。

构式语法是具有很强语言现象解释能力的认知语法体系，但由于缺乏可计算的形式化定义、基础资源严重缺乏、计算机制尚不明确等关键问题，难以有效支撑自然语言处理及其应用的发展，为此提出本项目。项目主要研究内容包括4部分：.1. 语言的表示模型研究：作为国内较早从事深度学习研究的课题组，我们从认知学中动名分离的角度，提出了一种新的词向量学习方法来构建词语的向量表示；探索了基于RNN与CNN联合的问答系统答案选择方法以及基于RNN的短文本摘要生成方法；针对在社区问答中回答之间的关系，构建了表示模型，并提出了“二阶式”学习算法完成模型的训练，提高了模型对于答案语义关联信息的学习表示能力。.2. 基于构式语法的语法分析研究：课题组参加了SemEval 2015 Task15的子任务1，基于构式语法的开放性本质提出了语料库中自动学习和挖掘动词模式的方法，获得参赛团队中的第一名；研究了基于不同的文本表示模型和聚类算法的动词聚类，将动词模式聚类的的微平均F1值提高了21.6%；研究了动词模式中论元的语义类型标注问题，完成了对动词模式论元的语义类型标注任务。.3. 中文大规模基础语料库构建：课题组创建并发布了一个由200多万中文短文本组成的大型自动文摘生成语料库，发布了侧重于意图匹配的大规模汉语问题匹配语料库LCQMC，基础语料库已被清华、CMU等100多家著名高校、机构使用，为推动中文的国际化做出了重要贡献。.4. 基于深度学习的医疗文本实体与关系挖掘研究：开展了基于深度学习的心脏病风险因子挖掘研究；将词之间的依存关系融入序列卷积神经网络模型，提升了药物相互作用抽取的性能；提出基于深度神经网络的非连续医疗实体识别方法，提高了对连续及非连续医疗实体的识别能力，研究成果在多项国际国内公开评测中胜出。.综上，本课按照项目计划的研究方向和内容开展了较为深入的研究工作，共发表了重要国际期刊和会议论文27篇；培养了博士生4人，硕士12人，申请了发明专利2项；获中国中文信息学会优博提名奖1人，项目按计划完成。