无监督语音层次结构联合建模及其应用

Modern speech recognition and synthesis systems are built upon the hierarchical linguistic structure of speech using supervised machine learning technologies, which heavily relies on large, lexically transcribed corpus and expert knowledge about linguistic structure of the specific language. This project aims to use unsupervised means to discover the linguistic structure, i.e., phoneme-like and word-like units, in speech without the use of expert-provided linguistic knowledge and human-transcribed data. First, previous studies approach different level of speech units sequentially and independently in which one hierarchical level is supposed not related to other ones. Besides, model selection heavily relies on the size of the data and involves much human effort. To tackle these problems, we propose to model speech linguistic structure as well as the unknown set of acoustic units in different level as latent variables in one nonparametric Bayesian model. Our model represents the hierarchical linguistic structure in a systematic way that best models the observed speech data through an iterative inference process. Second, we propose to use deep neural networks and the automatically discovered lexical units in the extraction of speech features with important time-sequential information and discriminative properties. Third, based on the automatically induced linguistic structure of speech, we develop zero-resource speech processing applications, including spoken term detection and spoken document understanding.

当前的语音识别与合成系统是建立在音素、词等语音层级结构之上的有监督机器学习过程，需要大量语音学专家知识以及充分的标注训练数据。本项目旨在采用无监督的方法自动学习得到语音中的音素、词等语音结构单元，解决语音处理技术中过度依赖人工标注和专家知识的问题。首先，当前研究将不同语音结构单元单独建模、割裂研究，建模方法和数据高度相关,模型选择需要大量的人工干预。针对这些问题，以非参贝叶斯模型作为建模手段，研究语音层次结构联合建模方法,同时解决模型选择问题。其次，针对语音特征提取中未能充分考虑时序和语音单元可变长的特点，利用神经网络强大的特征学习能力,以语音层级结构为“弱监督”指导信息,得到既嵌入语音重要时序信息又具有区分性的语音特征。最后，利用自动学习到的语音层级结构，实现无标注抄本、无任何语言专家知识的零资源(Zero-resource)条件下的语音处理，包括语音关键词检测、语音文档的语义分析等。

本项目旨在解决当前语音处理技术过度依赖人工标注和专家知识的问题，采用无监督和深度学习方法自动学习语音中层级结构信息，并探索其在语音关键词检出和语音识别上的应用。在无监督与低资源语音特征表示学习方面，提出了基于词对深度学习和基于荻利克雷过程混合高斯模型（DP-GMM）的语音特征表示方法。针对过度依赖人工标注的问题，采用DP-GMM模型和基于词对的深度学习方法，无监督或弱监督地从语音中自动学习有效的语音特征表示，自动挖掘出语音中的结构信息，在语音发音分类、关键词检出等任务上进行验证，取得了良好的效果。在语音建模方面，提出了基于深度对抗学习的语音鲁棒建模方法，包括基于域对抗学习的鲁棒特征表示、基于对抗样本的语音数据扩充、基于对抗正则化和对抗dropout的声学模型训练方法。利用深度对抗学习的鲁棒特征表示和建模能力，明显提升了抗噪语音识别、关键词检出、说话人识别的性能。同时，本项目将基于特征学习和建模的成果应用于实际复杂场景的鲁棒语音识别和关键词检出等任务中，考虑实际应用场景中的挑战性问题（如中英混杂、复杂场景噪声、口音问题），有效提升了语音识别和关键词检出的鲁棒性。综上，本项目从新的角度解决目前制约语音建模关键技术和难点问题，为鲁棒语音识别与智能语音交互等实际落地提供了重要的应用基础理论和完备的实验验证。