基于记忆、推理和注意力机制的端到端神经对话系统研究

Without human participation in feature and rule design, end-to-end neural dialogue system can automatically encode the external knowledge bases and the current conversation history information into memory with vector representation, activate and merge the related semantic information in memory nerve cells into a fixed-size vector, and then generate responding text based on the fixed-size vector by using dynamical serialization decoding model. In order to achieve improvement of the existing methods and promote the practical applications, this project investigates into short-term memory encoding for conversation history, long-term memory encoding for structured knowledge and information extraction and integration. The main contents are as follows: (1) proposing a hierarchical encoding method to encode conversation history using recurrent neural network into word level vectors and sentence level vectors, the former facilitates semantic targeting while the latter facilitates mining details in the conversation history; (2) proposing a dual channel encoding mode to encode structured knowledge into binary vectors and real-valued vectors by integrating semantic hashing, the former greatly improves the retrieval efficiency on large-scale knowledge bases while the latter memorizes more accurate semantic information; (3). Designing different structures of feature extraction for short-term memory and long-term memory based on K-max pooling reasoning and attention mechanisms.

端到端神经对话系统是在不需要人工参与特征和规则设计情况下，对外部结构化知识库和当前对话历史信息进行向量化编码记忆，通过对话用户当前时刻的输入文本自动激活神经记忆单元中的相关语义信息进行融合，并基于此融合向量进行动态序列化解码生成系统的响应文本。本项目拟对神经对话系统中对话历史的短时记忆编码、结构化知识的长时记忆编码和信息提取与融合等关键问题进行深入研究，以达到改进已有方法、推动实际应用的目的。主要研究内容包括：（1）利用循环神经网络模型将对话历史进行层次化编码，得到句粒度和词粒度记忆编码，前者便于进行语义定位，而后者便于挖掘对话历史中的细节；（2）采用融入语义哈希学习的双通道模式对结构化知识进行编码，得到二值化和实值化记忆编码，前者极大地提高了大规模知识库上的检索效率，而后者保存了更精确的语义信息；（3）基于K最大采样推理和注意力机制，为短时记忆和长时记忆设计了不同结构的特征提取方法。

端到端神经对话系统是在不需要人工参与特征和规则设计情况下，对外部结构化知识库和当前对话历史信息进行向量化编码记忆，通过对话用户当前时刻的输入文本自动激活神经记忆单元中的相关语义信息进行融合，并基于此融合向量进行动态序列化解码生成系统的响应文本。本项目对神经对话系统中对话历史的短时记忆编码、结构化知识的长时记忆编码和信息提取与融合等关键问题进行深入研究，达到了改进已有方法、推动实际应用的目的。主要研究内容包括：（1）利用循环神经网络模型将对话历史进行层次化编码，得到句粒度和词粒度记忆编码，前者便于进行语义定位，而后者便于挖掘对话历史中的细节；（2）采用以工作记忆为核心，长短时记忆双通道模式对结构化知识和对话历史进行编码，通过工作记忆根据当前对话意图生成对话响应。（3）基于K最大采样推理和注意力机制，为短时记忆和长时记忆设计了不同结构的特征提取方法。在完成本项目预期目标基础上，本项目探索了视觉辅助语言理解和对话生成任务，提出了视觉-语言双通道多步推理视觉对话和视觉-语言对抗编码学习的智能对话系统。相关研究进展大幅度提升了现有对话系统的智能性。基于上述成果，项目组共计发表学术论文26篇（包括7篇重要期刊和19篇学术会议，其中1篇ACL获得杰出论文奖），申请国家发明专利7项。