基于认知机理的情感语音识别基础研究

Research on emotional speech recognition focuses on recognizing human emotions based on analyzing and processing speech signals. It has broad implications for harmonious human-computer interaction, distance education, robots, telemedicine and emotional adjustment etc. However, majority of current research on emotional speech recognition is approached by either the signal processing techniques or cognitive psychology perspective individually. Little research is reported by integrating two fields. The objective of the proposed project is to integrate cognitive mechanism with signal processing approaches in order to recognize human emotions effectively. Its major research contents lie in three-folds. First, a new emotional speech database will be established, and a new emotional speech feature based on human auditory perception with glottis compensation will be presented by analyzing and extracting prosodic features, auditory properties and voice mechanism. Second, the three-dimension model of emotions will be introduced into fuzzy cognitive map (FCM) to make sure the framework and initial values. Artificial bee colony (ABC) algorithm will be used to optimize the parameters of FCM. Third, on evaluation of emotional speech recognition, the proposed project will iteratively optimizing recognition network and emotional features by correlating participants' subjective results with signal processing results. In summary, the proposed project integrates theories in cognitive science and approaches in signal processing effectively. Its findings will have both theoretical contribution and practical implications.

语音情感识别是通过对人类的语音信号进行科学分析和处理以判断人的情感状态的研究，其研究成果在和谐人机交互、远程教育、机器人、远程医疗、情绪疏导等方面具有广泛的应用前景。目前关于语音情感识别的研究，多数是分别基于信号处理和认知心理学的独立研究，少见二者结合的研究报道。本项目将认知心理学和信号处理方法相结合，其主要研究内容包括：(1)构建基于认知心理学的情感语音数据库；通过分析韵律特征、听觉特性及发声机理，提出声门补偿的人耳听觉感知情感语音识别新特征；(2)将认知心理学的情感三维模型引入模糊认知图（FCM）,确定FCM结构及初始权值，并用人工蜂群算法优化FCM网络的参数；(3)在识别结果评测方法方面，利用主观认知结果与信号处理结果的相关性分析，去调整优化识别网络及情感特征。总之本项目将体现认知理论与信号处理方法的有效融合，具有认知科学和信息科学的交叉研究特色，其研究成果具有理论意义和实用价值。

语音情感识别是目前人工智能领域的热点之一，在教育、公安、医疗、健康等方面具有广阔的应用前景。本项目主要从信号处理和认知心理学两个方向开展项目研究。按计划完成了任务，达到了预期目标。所做主要工作和创新点包括：①建立了一个实用的摘引型情感语音数据库TYUT2.0。提出了一种综合模糊评价方法对初建的情感语音库进行有效性评价和语句筛选，得到更有效的情感语音库；对每句情感语音进行PAD标注，得到对应的PAD值，用于后续研究中。②情感语音新特征的提取。考虑声门的影响，利用非线性动力学模型提取多种非线性特征，实验结果证明，使用这些特征的识别系统性能有显著提高，在德语数据库上平均识别率提高了16.49%；将HHT及Teager能量算子结合提取了多种不同的语音特征，得到了较好的结果；将新特征和传统特征融合，进一步提高了识别率。③情感语音识别模型的研究。将FCM模型和三维PAD情感模型相结合，用PAD数据来调整FCM网络权值，构成了新的e-FCM网络，实验结果表明所该模型不仅速度快，且识别率也有提高；对e-FCM网络进行了决策融合，实验结果证明，平均识别率提高了4.06%。④识别结果评测的相关性分析。从连续维度的角度利用识别网络对情感PAD值进行预测，并将预测结果与情感本身的PAD值作了相关性分析，得到相关系数分别为0.671，0.822和0.879，平均79.06%，说明了识别网络的有效性。⑤脑认知方面。从认知心理学和信号处理的角度，研究了基于EEG和ERP信号分析的情感脑认知机理。建立了TYUT2.1非言语情感数据库；研究了情感语音的时长和基频对 ERP 成分（N100,P200和N300）的影响；研究了言语的可理解性与非言语情感的 ERP 认知过程的差异；采用信号处理理论，改进压缩感知方法，并应用于单次事件ERP信号的分类中，结果表明了所提算法的有效性。本项目的特色就是体现了认知理论与信号处理方法的有效融合，具有认知科学和信息科学的交叉研究特色，其研究成果具有理论意义和实用价值。