基于声学与韵律特征的社交人格感知

Social personality attribution is an essential and practical issue in the field of human machine interaction. In this proposal, data and feature acquisition methods for social personality attribution are proposed, and are used for constructing a telephone recording conversational database of Mandarin. The database is used as a key experimental material in the research and understanding of automatic personality perception. Acoustic and prosodic features are selected and composed to be used in personality attribution. Factor analysis algorithms are applied and then machine learning algorithms are implemented for constructing statistical model of non-verbal acoustic and prosodic feature based social personality classifiers. A prototype system of instant social personality prediction from telephone conversations is constructed. By doing this research, more efficient acoustic and prosodic feature selection methods are proposed for personality prediction. On the other hand, the social personality perception has quite broad application prospects.

社交人格感知是目前人机交互领域中急需解决的问题，其应用富有实用价值。本课题提出适用于社交人格感知分析的数据获取方法，并构建基于中文电话录音的社交人格语音数据库，为深入研究和理解自动人格感知机理提供关键的实验数据；全面深入地研究声学特征与韵律特征的挑选与组合方法，比较不同特征在人格感知中所起作用的大小，并应用因子分析算法，寻求高效的声学与韵律特征获取方法；深入研究基于神经网络的社交人格预测新方法，使用机器学习算法构建基于语音声学和韵律特征的社交人格统计模型和分类器。最终建立一套能够快速准确地从电话录音中预测社交人格的原型系统。通过本项目的研究，一方面能够建立更有效的声学和韵律特征提取与挑选算法，得到更有效的人格预测模型，进一步提高人格感知的性能；另一方面基于声学与韵律特征的社交人格感知有相当广阔的应用前景。

基于语音的自动人格感知通过机器学习算法完成从语音的声学和韵律特征到社会心理学上的大五人格标注的映射。本项目针对本领域标注数据缺乏、涉及语种单一的挑战，项目建立了多语言的说话人人格语料库，研究传统的和基于深度学习的感知算法，分析不同语言、不同人格特性的感知表现，并探讨多语言之间的模型泛化和语种迁移等问题。.项目建立了普通话、英文和法语的人格语料库,并标注了大五人格模型下三十个子维度的分数。按照传统进行各个人格特性表现高低的多个二分类任务，采用标准韵律特征和SVM搭建基线系统，训练了混合语种和单语种模型，后者在语种内外均进行了测试。结果表明，大五人格准确率整体高于子维度；外向性最好，开放性最差，另外三个维度上不同语种有不同表现；单语种结果优于混合语种，跨语言测试近乎随机猜测，这说明单语言模型无法迁移到另外的语种上。.项目提出了适用于小数据集的跳帧LSTM系统，采用帧级别的声学和韵律特征及其一二阶差分，并用跳帧采样进行数据增强。实验表明略优于传统SVM方法。此外，还进行了预测连续人格分数的回归实验，跳帧LSTM同样略优于SVM系统。.项目还研究了跨语种迁移算法。首次把半监督算法TSVM应用在语种自适应中，其自适应性能随着额外无标记目标数据的增加而提升；若无标记数据直接采用待测数据的特征部分，效果更为显著，大部分人格维度达到自适应上下限区间22% - 63%的水平。项目还在跳帧LSTM系统上进行语种对抗训练，在多数维度上优于TSVM方法。.项目把语速估计算法应用于人格感知，韵律特征经过Relief特征选择后拼接语速统计量，能够提升系统性能。.项目建立了国内外首个多语言、也是首个普通话的人格语料库，首次标注了中国人的人格感知，也首次标注到大五人格的三十个子维度。项目提出了新的适用于小数据集的深度学习感知算法。多语言的自动人格感知也是首次被研究，不同语种的自动人格感知结果、模型的跨语种泛化性能和自适应算法，为后续研究提供了思路和结果上的参考。