语音信号中未知情绪类别自主认知学习研究

As a critical procedure in human-machine interaction, emotional analysis and processing in spoken signal is of great value of research. This project sheds light on researching autonomous cognitive learning of unseen emotional categories in speech, in order to solve the problem that insufficient samples belongs to certain emotional categories. We make the system learn unseen emotional categories autonomously according to the samples from seen emotional categories. First, provided no speech sample of the unseen emotions, this project focuses on autonomous unseen emotion generation via attribute transfer in spoken signal, through the theories related to zero-shot learning (ZSL). Then, when provided very few speech samples belonging to the unseen emotional categories, this we plan to investigate autonomous cognitive learning of unseen emotional categories with few samples in speech, employing the theories of few-shot learning (FSL) and discriminative learning. Furthermore, when provided unlabelled speech samples from the unseen emotional categories, we research transductive transfer learning for unseen-emotion target domain of spoken signal, referring to the theories of transductive transfer learning (TTL) and domain adaptation (DA). On the basis of this project, it is expected that, machine can be more intelligent in understanding emotional factors in speech effectively, while the essence of various emotional states can be revealed naturally in the aspect of psychology.

语音信号中的情绪分析与处理作为人机交互中的关键环节，有着重要的研究价值。本项目针对语音情绪分析和处理中某些情绪类别样本缺乏的问题，拟研究语音信号未知情绪类别的自主认知学习，由已知情绪类别样本自主地学习得到未知情绪类别模型。首先，本项目在不提供未知情绪语音样本的条件下，利用零样本学习（ZSL）相关理论，研究基于属性传递的语音信号未知情绪自主生成；接着，在仅提供极少量未知情绪语音样本的条件下，借鉴少样本学习（FSL）和判别学习相关理论，研究小样本未知语音情绪类别的自主认知学习；进而，在提供无标签未知情绪语音样本的条件下，参考传导迁移学习（TTL）和域适应（DA）相关理论，研究语音信号未知情绪目标域的传导迁移学习。通过本项目的研究，使得机器能够更加智能和有效地理解语音中的情绪成分，同时在心理学方面揭示出各种情绪状态的本质特性。

作为基于语音的副语言副语言学一个主要课题，语音中的情感识别使机器通过语音信号感知情绪状态成为可能。然而，当对从属于新的情绪类别的语段识别其情绪状态时，这种感知可能很困难甚至不可用。因此，我们旨在研究语音中的自主情绪学习，以进一步赋予机器的听觉情感能力，以进行从可见情感到不可见情绪状态的知识迁移。首先，我们提出使用按样本标注的属性来进行知识迁移，得到了属性学习和标签学习两个步骤来构建特征到属性，以及属性到标签的连接。然后，为了减少按样本标注属性过程中的手动标注成本，我们进一步提出将按样本标注属性替换为按情绪类别给出的语义原型，这使得人们能够在零样本语音情绪识别中采用传统的零样本学习。之后，为了研究零样本语音情绪识别中的中间媒介特性，我们将这些中间媒介统一成为听觉情感描述子（AAD），用来描述听觉感知的情绪状态。我们发现与人类相比，机器可以更有效地识别和表述语音中的情绪成分，这与传统的直觉并不相同。此外，我们还研究了使用深度学习模型优化语音中情绪成分学习的声学表示。我们的研究结果有助于机器通过更准确、更简单的方式，自主感知语音中复杂或罕见的情绪状态。