基于结构化数据表示学习的文本生成技术研究

Text generation, also known as natural language generation, is a hot research area in natural language processing. It is an important benchmark for measuring the progress of artificial intelligence. Unlike natural language understanding, text generation is a process of creation, which requires the knowledge of commonsense, logic and grammar. It has been widely applied in media and publication industry at present, which effectively improves companies’ productivity and efficiency. However, with regard to text generation for structural data, existing works lack the ability to deeply understand the structural data and to extend and infer from the data. To address aforementioned problems, we propose following solutions. (1) We propose a method to represent structural data, which improve the representation by modeling numerical value comparison between data that help the model perform content selection. Also, (2) we design a background knowledge extension method for structural data, which can overcome the problems of missing numerical value in structural data and the lack of background knowledge. It can help the model produce more fluent texts. In addition, (3) we propose a numerical value inference method for structural data, which generates numerical value calculation sequence via reinforcement learning. This provides a new perspective for data-to-text generation by introducing new numerical value knowledge.

文本生成也称之为自然语言生成，是自然语言处理领域的热点研究问题之一，也是衡量人工智能水平的重要标杆之一。与自然语言理解不同，文本生成实际上是一个信息输出的过程，需要建模常识、逻辑和文法等知识。目前，该技术已广泛应用于传媒、出版等多个行业，并有效驱动企业产能、效率等方面的提升。然而对于面向结构化数据的文本生成任务，现有研究一方面难以全面深入理解数据内容，另一方面缺乏对数据的扩展和推理。本项目针对上述问题列出以下解决方案：1）提出一套面向文本生成的结构化数据表示学习方法，通过加入数据间的数值比对提升数据表示能力，帮助模型进行内容选择；2）提出一套面向结构化数据的背景知识扩展方法，进而克服结构化数据信息不完整，缺乏背景知识等不足，使生成文本表意更加连贯；3）提出一套面向结构化数据的数值推理方法，利用强化学习算法生成数值计算序列，从而获得新的数据知识，为面向结构化数据的文本生成提供全新的解决思路。

在本课题中，我们重点研究面向结构化数据的文本生成任务，针对现有模型难以全面深入理解数据内容和缺乏对数据的扩展和推理的问题，本项目提出以下解决方案：1）提出一套面向文本生成的结构化数据表示学习方法，通过对结构化数据行、列和时间等多维度信息的层次化编码，提升模型对数据的理解能力；2）提出一套数值表示学习方法，通过加入数据间的数值比对，提升数据表示能力，帮助模型进行内容选择；3）提出一套基于预训练语言模型的数据到文本生成方法，进而克服在训练数据数量有限的情况下，模型生成文本不连贯的问题，使生成文本表意更加连贯；4）提出一套面向结构化数据的数值推理方法，利用强化学习算法生成数值计算序列，从而获得新的数据知识，为面向结构化数据的文本生成提供全新的解决思路。实现提高面向结构化数据的文本生成系统的性能，进而更加精准地为人们提供信息获取服务，有效驱动企业产能、效率等方面提升的目标。.本课题的成果包括：共计发表国际会议及期刊论文6篇，其中CCF A类国际会议论文3篇，CCF B类国际会议论文1篇，CCF B类国际会议论文Findings 1篇，ESI检索国际期刊1篇。共计申请国家发明专利5项，均已获授权。