基于生成对抗网络的释义文本生成研究

Paraphrases text generation refers to generate the texts that convey the same meaning but with different expression. The semantic consistencies with expression varieties is a competitive dual objective optimization problem. This proposal focuses on the research on paraphrase text generation based on the theory of Generative Adversarial Network (GAN) to resolve this problem. We will explore the following scientific problems. (1)A Dual Discriminators Generative Adversarial Network (2D-GAN) is put forward for solving the competitive dual objective optimization problem. The discriminator for semantic consistencies and the discriminator for expression varieties are tailored for 2D-GAN. The learning objectives with complementary statistical characteristics are integrated into the objective function of GAN. 2D-GAN explores the solutions of the competitive dual objective optimization problem in GAN. (2)A Multi-path Paraphrase Text Generation Model (M-PTGM) is proposed for generating the paraphrase text with the same semantic but different expressions in the design of generator in 2D-GAN. M-PTGM resolves the integration problems of copying mechanism and variety mechanism in sequence to sequence learning. (3)A Syntax-Structure Embedding Interaction Paraphrase Text Semantic Similarity Discrimination Model (SEI-PDM) is presented for exploiting the semantic interaction on syntax structure. The semantic interactions of syntax structures on syntax features are used to model the syntax structure embedding. SEI-PDM paves a new way of exploiting syntax characteristics in text semantic similarity computation.

释义文本生成指生成与给定输入句语义相同但表达方式不同的文本，其要求的语义一致性与形式差异性是一个有竞争的双目标优化问题。本研究提出在生成对抗网络GAN的框架下解决该问题。拟围绕以下科学问题开展基础研究：(1)针对释义文本生成的有竞争的双目标优化问题，提出双判别器的生成对抗网络2D-GAN，使用文本语义一致性和形式差异性双判别器，设计具有互补统计特性的学习目标，在GAN中解决面向释义文本生成的有竞争的双目标优化问题；(2)在释义文本生成器设计上，针对释义文本生成中缺少能够保持语义一致性与形式差异性的序列到序列的学习模型，提出多通路释义文本生成模型，解决序列到序列的学习中复制机制和变化机制的融合问题；(3)在文本语义判别器设计上，为在文本语义相似度判别中利用句法特征上句法结构的语义交互，提出交互句法结构嵌入的文本语义相似度判别模型，建模交互句法结构嵌入，解决文本的语义相似度计算问题。

释义文本生成指生成与给定输入句语义相同但表达方式不同的文本，其要求的语义一致性与形式差异性是一个有竞争的双目标优化问题。本研究提出在生成对抗网络的框架下解决该问题，开展了如下研究：(1)构建了篇章级汉语释义语料库，可用于汉语的释义文本判别、文本对齐、文本生成等与语义相似度计算相关的自然语言处理任务；( 2)在释义文本生成器设计上，针对释义文本生成中缺少能够保持语义一致性与形式差异性的序列到序列的学习模型，提出保持语义一致性和形式差异性双目标的释义文本生成模型和替换源预测的释义文本生成模型，为释义文本生成提出了新方法；(3)构建了面向释义文本生成的生成对抗网络，在生成对抗网络的框架下，生成器以原句子为指导生成释义文本，判别器以句对为输入训练判别模型，利用强化学习通过判别器奖励生成器生成的文本，探索了应用生成对抗网络生成释义文本的方法；(4)在释义文本判别器设计上，为利用不同句法结构上的语义交互实现释义判别，提出交互句法结构嵌入的文本语义相似度判别模型，建模句法结构嵌入的交互，为利用句法特征计算文本的语义相似度提出了新的解决方案。