基于语音信号和事件相关电位技术的多模态情感识别研究

情感的自动识别是实现自然人机交互的关键技术之一，随着情感识别向着多模态方向发展。本项目拟在以下几方面有所突破。①利用语音和生理信号等情感信息之间的互补性，将语音信号和事件相关电位（ERP）相结合，实现多模态情感识别。②针对情感语料库由于人工标注困难导致数据量过小的问题，将基于条件随机场模型的主动学习方法和基于条件随机场模型的半监督学习方法应用于情感识别。这两种方法都可以利用未标注数据的隐含信息，对解决情感语料库数据不足的问题具有一定的意义。本项目的研究将推动多模态情感识别技术的迅速发展，为建立未来和谐人机语音交互环境提供理论基础和技术支持。

本项目将ERP技术应用于情感状态的识别，并采用半监督学习和主动学习方法，着重解决情感识别分类器的训练过程中，特别是在情感语料库不足的条件下，如何提高情感状态识别率的问题，取得如下研究成果：.(1)当语音信号的采集受到影响时，生理信号为情感识别提供了重要的依据。本项目利用语音和生理信号等情感信息之间的互补性，将语音信号和事件相关电位（ERP）相结合，实现多模态情感识别。.(2)情感识别研究中，往往需要制作规模较大的语料库，这就离不开大量的手工工作，尤其是用于情感识别的情感生理反应样本库，数据采集很难。半监督学习是解决数据标注问题的有效手段。目前，研究者们对半监督学习已经有了比较深入的研究，提出了诸如Co-training 等有效的算法。但是，对于情感识别中半监督学习的研究刚刚起步，很少有成果发表。针对情感语料库由于人工标注困难导致数据量过小的问题，本项目将基于条件随机场模型的半监督学习方法应用于情感识别，建立了基于条件随机场模型的半监督情感识别算法。.(3)主动学习是解决训练样本获取代价过大的另一有效方法。主动学习在训练的过程中由学习器自动选择出“最值得标注”的数据进行人工标注，通过这种有选择的标注方法，主动学习能够在保证学习器性能的前提下有效减少所需的训练样本数量。目前，主动学习已经得到广泛的应用，很多有效的方法如query-by-committee 等已经被提出。然而，到目前为止，还未见有用于情感识别中的主动学习的研究成果发表。本项目的一个研究成果即建立了基于主动学习的语音情感识别算法。.半监督学习和主动学习都可以利用未标注数据的隐含信息，对解决情感语料库数据不足的问题具有一定的意义，也可用于提高学习效率，改善学习器自身性能，可以在训练样本集有限的情况下有效地提高标注准确性。本项目的研究将在一定程度上推动多模态情感识别技术的发展，为建立未来和谐人机语音交互环境提供理论基础和技术支持。