面向互动语言场景的类量子语言模型关键理论和技术研究

In the related areas of Natural Language processing, language modeling, is a foundation and has always been a hot research topic. Recently, based on quantum theory, Quantum Language Model (QLM) has been proposed. However, essentially, QLM only estimates the likelihood of a text (e.g., a query). It does not model various uncertainties associated with the interactive language, or integrate the core concepts of the quantum uncertainties. In this project, our aim is to enhance both the theoretical and applicable ability of QLM. In the interactive language scenario (including the language interaction between user and system, or between user and user), we plan to investigate different aspects of language uncertainty (i.e., linguistic meaning, semantic dependency and user cognition). Following the recent research about the Quantum Cognition, we propose to model the macroscopic quantum-like phenomena (e.g., entanglement and interference) of the interactive language, building up a quantum-like language modeling framework. Furthermore, based on the uncertainty of user intent (i.e., information need), we use the quantum-like language models to model the hidden, dynamic and interference characteristics of the user intent. Moreover, with Neural Network, we plan to develop effective training and learning algorithms of quantum-like language model, so that it can be effectively applied to two typical interactive language scenarios (i.e., interactive information retrieval, automatic question answering and dialogue).

语言模型是自然语言处理相关研究的重要基础，并始终是研究热点之一。近年来，人们基于量子理论提出了量子语言模型，但是该模型本质上仍然停留在建模文本的似然性层面，尚未充分建模互动语言的不确定性，也未能融合量子理论中不确定性的核心元素。因此，为了深入发展量子语言模型的理论和应用，本项目将结合量子认知相关研究，关注于互动语言场景（涉及用户与系统的语言互动、用户与用户的语言互动）下，语言含义、语义关联、用户认知等语言和认知层面的不确定性问题，并着重研究其中诸如类量子纠缠和干涉等宏观类量子语言现象，从而建立类量子语言模型框架。进一步地，利用该框架建模用户意图即信息需求的不确定性，如潜在性、动态性和干涉性，发展新颖的用户意图表示和匹配算法。为了提升类量子语言模型的应用效果，拟结合神经网络的训练算法，优化类量子语言模型的参数，从而将其有效应用于互动语言场景的典型任务即交互式信息检索以及自动问答与对话中。

在自然语言处理相关研究中，语言模型是一个基础且重要的领域。近年来，随着量子交叉研究的兴起，许多研究人员基于量子理论提出一系列量子语言建模的工作。为了充分建模互动场景下语言的不确定性，深入发展量子语言模型的理论和应用，本项目研究语言建模中量子纠缠、量子干涉等宏观类量子现象，主要研究内容包括（1）互动语言场景下宏观类量子现象的建模及认知解释（2）类量子语言模型与现有语言模型的区别和优势（3）互动场景下的类量子文本表示与匹配的类量子语言模型（4）针对互动语言场景的类量子语言模型的训练和学习算法（5）类量子语言模型在互动语言场景下的应用验证和原型系统。在量子语言模型方面，结合量子力学四大公理、量子多体波函数以及张量网络等相关知识建立类量子语言模型框架，一方面基于该框架建模语言含义、语义关联、用户认知等语言和认知层面的不确定性，实现更好的语言理解和用户交互，进而推动量子信息检索与量子情感表示方面的研究工作，例如建模用户意图即信息需求的不确定性，发展新颖的用户意图表示和匹配算法，另一方面着重提升类量子语言模型的应用效果，结合神经网络训练算法，优化模型，将其应用于更多的互动语言场景的典型任务中。在本项目资助下，围绕项目研究目标已经取得研究成果，发表CCF推荐A/B类会议论文（AAAI，NeurlPS,ICLR,SIGIR,IJCAI,CIKM等）8篇；CCF推荐A类会议短文1篇；CCF推荐C类会议论文（ICONIP）1篇；SCI二区/三区/四区期刊（Frontiers in Neuroscience，Information Fusion，Computational Intelligence）论文3篇；中文核心期刊2篇。