基于深度学习的鲁棒口语理解研究

With the booming of mobile internet, natural speech recognition and subsequent semantic understanding has attracted great interest. Semantic parsing algorithms based on accurate text input have been widely used to deal with recognized hypotheses. Although speech recognition accuracy has been improved a lot via massive mobile internet data, there exist inevitable recognition errors and the problem is extremely severe in some cases. The recognition errors significantly degrade the performance of traditional semantic parsing. The goal of this project is to achieve robust spoken language understanding using deep learning. Novel framework is proposed for this purpose. It consists of three ways to deal with speech recognition errors. Firstly, speech error pattern will be analyzed from the viewpoint of semantic understanding stability. Pseudo-data will then be generated to train a robust statistical parser. Secondly, multi-view information such as acoustic information, dialogue context and N-best output, will be used to assist spoken language understanding. With the above approaches, it is possible to achieve a more robust spoken language understanding framework given inaccurate speech recognition hypotheses. Thirdly, criterion related to semantic parsing will be used for training the language model parameters for speech recognition. Alternatively, NN (Neural Network) based language model will be trained jointed with NN based semantic parser as a multi-task training. Both approaches aim to adapting speech recognizer to a specific semantic domain.

随着移动互联网的迅猛发展，自然语音的识别和语义理解，得到了广泛重视。虽然由于云服务的实现，识别准确度大幅度提高，但在不同环境下的表现很不稳定，仍然普遍存在非精确性，这使得基于精确文本的语义理解算法的性能大打折扣。本项目就是将语音识别和自然语言理解，在鲁棒口语理解这一重要的实际问题下，借助深度学习这一机器学习工具，有效地结合起来进行联合研究。本项目提出了新的理论框架，结合深度学习技术，从错误仿真、多视角信息、语音识别语言模型调整三个方面来实现鲁棒的口语理解。具体包括：从语义理解稳定性的角度研究语音识别错误的规律性，生成模拟数据来训练语义解析器；融合声学信息、对话上下文和文本信息，实现对非精确语音识别结果的准确理解；将语义理解任务的先验知识引入到语音识别中语言模型的训练，影响语言模型参数，实现识别任务向理解任务的适应。

受环境等复杂因素的影响，语音识别不可避免地会产生错误，从而影响后续自然语言理解的性能。本项目将语音识别和自然语言理解，在鲁棒口语理解这一重要的实际问题下，借助深度学习技术，有效地结合起来进行联合研究。在此背景下，本项目探索面向非精确语音识别结果的鲁棒口语理解技术，研究语音识别错误机理、深度学习技术的应用、基于多视角信息的鲁棒语义解析算法、以及语言模型在口语理解中的自适应，并将其理论成果投入应用。本项目在执行过程中，根据最新研究和产业发展的趋势，扩充研究口语语义理解的迁移学习、数据稀疏问题，同时大规模鲁棒口语理解系统的搭建成为重点目标之一。围绕它们取得了如下主要的理论和工程成果。.在口语理解的深度学习算法方面，我们针对对话动作具有层级结构的特征，为非对齐式的口语理解任务提出了一种模块层次化的口语语义解码网络。该方法在通用的DSTC2口语理解数据集上取得了目前已发表最好的理解精度。.在对识别错误的鲁棒性方面，我们联合建模与优化基于神经网络的语言模型和语义理解模型，并提出了一种利用多源信息的口语理解方法。在输入中融合高维声学特征、识别文本、领域词库信息，利用多视角信息提升模型的鲁棒性。在输出后端采取了基于本体知识库和发音序列相似度的槽值纠正算法，对提取的结构化语义信息进行错误纠正。该方法在第一届中文口语语义理解竞赛上取得了所有八项指标中的六项第一。.此外，我们提出音素同步解码解码框架并取得了语音识别搜索加速领域自2002年以来最大的加速比，促进了口语理解的鲁棒性和不确定性估计研究。并在口语理解的迁移学习方面，提出一种基于“原子概念”的语义表示形式，通过建模不同语义标签之间的相互关系，从而提升语义理解模型对于数据的利用效率。.以上述成果为基础，我们搭建了大规模鲁棒口语理解系统，结合口语理解的迁移学习技术，在可定制的对话系统平台等产品上吸引万名开发者、激活千万终端设备，成功实现产业化。