基于深度神经网络的端到端自动问答系统研究

Automatic question answering (QA) is a technology to automatic analyze the natural language query and generate the answer by semantic understanding and reasoning combined with the background facts. QA is one of the hottest research fields in artificial intelligence (AI), natural language processing (NLP) and information retrieval (IR). Traditional architecture of QA system can be generally divided into many modules, each module were constructed separately. Thus, the QA system often suffers from error propagation, and cannot be end-to-end trained, which results in that it is difficult to optimize the whole system. In this project, we propose an end-to-end large-scale QA system based on deep neural networks, which includes some key techniques in knowledge embeddings, text embeddings, facts retrieval, semantic reasoning, the answer generation, and so on. Inspired by human cognitive mechanism, we explore the semantic representation and reasoning with deep neural network model, and build an end-to-end QA system, which does not rely on external semantic dictionary and external NLP/logic tools, and avoids feature engineering problem. Our proposed QA architecture can reduce development cost and promote the research progress of QA system. Moreover, we also further study the related key techniques in natural language processing and deep learning. Therefore, this project has important value of theoretical research and practical application.

自动问答是指给定背景事实，系统可以分析用户用自然语言提出的问句，结合背景事实进行自动推理，并最终给出答案。自动问答也是人工智能、自然语言处理以及信息检索领域的热点研究方向之一。传统的自动问答系统框架一般分为很多模块，每个模块都分别构建。整个系统存在错误传播问题，并且很难进行端到端的训练，给整个系统优化造成了很大的困难。本项目通过深入研究面向大规模真实数据的开放领域自动问答系统中的关键问题（比如知识库嵌入、事实检索、语义推理、答案生成等），借鉴人类认知机制，探索有效的基于深度神经网络的语义表示以及推理模型，构建可以端到端学习的自动问答系统。整个系统不需要额外的深层自然语言处理工具以及逻辑推理工具，以减少对人工设计特征的依赖，降低开发自动问答系统的成本，并促进自动问答系统的发展。此外，本项目也会对相关的自然语言处理以及深度学习关键技术进行深入研究，具有重要的理论意义与实际应用价值。

根据本项目的研究内容和研究目标，课题组进行了大量细致、深入的工作，取得了较为丰富的研究成果，达到预期研究目的。本项目研究内容划分为表示模型、学习机制、问答系统以及中文应用4个方面。具体研究内容如下：.1）表示模型是问答系统的基础。在表示模型层面，针对自然语言在语法和语义上的层次性、递归性以及多义性，课题组提出了基于上下文的词表示模型、动态语义组合模型以及多尺度语义组合模型，有效减轻了语义表示中的静态性、非组合性、长程依赖等问题。这些成果显著提升了自动问答的性能。.2）学习机制是端到端模型的主要学习手段。在学习机制层面，课题组提出了多种面向语言表示学习的多任务学习和迁移学习方法，有效缓解了大部分自然语言处理任务所面临的训练数据不足的难题，提出的多种共享模式和迁移方法已经被广泛应用于不同的自然语言处理任务。.3）在问答系统层面，为了验证表示模型和学习机制的有效性，多次参加国际自动问答权威评测并取得领先名次，如在国际权威评测SQuAD 1.1上曾排名第二（2018年3月），在国际权威评测SQuAD 2.0上曾排名第二（2018年10月）。.4）在中文应用层面，针对汉字的意音表示特点，提出了视觉增强的中文词表示，通过汉字内部视觉特征以及其上下文来建模中文词的语义表示；提出了多种针对中文基础任务（中文分词、句法分析等）的表示学习方法，有效提升了中文自动问答的性能。.目前本项目已完成的研究成果为：发表论文36篇，其中发表论文32篇，其中CCF A类论文19篇,CCF B类论文7篇；培养研究生19名；构造了15万对的中文问答数据集；开发多套自动问答系统，其中提出的U-Net模型在国际权威评测SQuAD2.0数据集上曾取得第二名的成绩。部分研究成果应用到相关合作企业，取得了一定的经济和社会效益。主持开发了自然语言处理开源框架fastNLP。自项目发布以来，总下载量2万余次。负责人邱锡鹏2020年获得国家优秀青年科学基金；两名博士生分别获得中国人工智能学会和中国中文信息学会优秀博士论文奖。