基于事件的图文数据阅读理解关键技术研究

The goal of Machine Reading Comprehension(MRC) is to teach a machine to read and understand a given document, and obtain the answer for the user questions by searching from document. At present, the MRC models had achieved significant improvement for processing the problems of a single word or entity questions, but it is difficult to answer questions about “how/why” and description type. For these types of questions, events played a key role, which answer questions utilizing evolution or causal relationship between events, and the image information can help to understand the event information.The project will carry out the research on key technology of reading comprehension based on event for image-text data, including: 1. the fusion model of image and text information, which integrates the semantic information of images into event information; 2. the discourse semantic relation representation model based on events; 3. the reading comprehension model based on the discourse knowledge.The research results can help the machines to understand the fusion data information of image and text, enrich the theory and method of semantic relation of the event, and improve the effect of the machine reading comprehension.

机器阅读理解的任务是能够让机器理解给定的文档，并从文档中寻找答案用于回答用户提出的问题。目前，机器阅读理解模型处理单个词或事实型问题效果较好，但处理how/why类型及描述型/过程型的问答难度较大，而回答此类问题事件起到了关键的作用，其中包括回答事件中的要素成分以及通过事件之间的演化或因果关系回答问题等，进而图像信息可以帮助理解文本的事件信息。本项目拟从事件的篇章语义关系着手，重点开展面向图文数据的阅读理解关键技术研究。主要研究内容包括: 1.图文信息的融合模型，将图像的语义信息融合到文本事件信息中；2.基于事件的篇章语义关系表示模型；3.基于事件篇章知识的阅读理解模型。研究成果有助于机器理解图像和文本的融合数据信息，丰富事件篇章语义关系的理论和方法，改善机器阅读理解的效果。

本项目主要在图文数据构建、机器阅读理解模型等方面进行了有关研究。其中，图文数据集构建包括图文阅读理解数据集构建、汉语框架网扩充和图文知识库构建；在机器阅读理解方面提出了基于QU-NNs模型的机器阅读理解解答方案；提出了基于MHSA和句法关系增强的机器阅读理解方法；提出了基于局部注意力机制的中文短文本实体链接方法；提出了基于答案及上下文信息的问题生成模型；提出了机器阅读理解中因果关系类选项可解释性的分析方法；提出了基于增量依存句法分析的图像描述方法；提出了基于事件表示的机器阅读理解解答方案。项目取得了较好的理论成果，这些成果对于丰富机器阅读理解领域的相关理论以及应用都具有积极的意义。但对于图文信息融合的阅读理解模型研究不够，需要进一步研究跨模态语义表示以及将其应用到相关的阅读理解模型中。