面向非特定说话人的实用情感语音特征分析与识别的关键技术及应用研究

In recent years, research of the speech emotion processing focus on the theoritical exploration of several kinds of basic emotions, not considering issues of applications. In this proposal, we propose the topic of practical speech emotion information processing for the first time. Based on the background of the working emotion detection of astronauts and working attitude detection of telephone customer service, we plan to research the practical speech emotion feature analysis and recognition for non-specific speaker. It concluds: the establishment of practical speech emotion database; the research of feature analysis and extaction for practical speech emotionn; the research of feature transform, processing and representation method for the practical speech emotion; the research of model-based approaches for practical speech emotion; the research of recognitions for practical speech emotion. The research results not only promote the development of speech emotion theory, but also speed up the practical process of speech emotion recognition, and have broad application prospects in other domains of information science. Therefore, this proposal has important theoretical significance and practical application value.

十几年来情感语音信息处理的研究活动主要集中在对几种基本情感的理论性探讨上，没有真正面向实际应用。本项目首次提出实用情感语音信息处理的问题，拟从工程信息处理的角度，以航天员工作情绪监测和电话客服人员工作态度监测为应用背景，研究实环境下面向非特定说话人的实用情感语音特征分析与识别处理的关键技术及应用课题，具体包括：实用情感语音信息数据库的建立与完善；实用情感语音特征的分析和提取的研究；实用语音情感信息特征的变换、加工和表现方法的研究；实用情感语音信息的模型化方法的研究；实用情感语音的识别算法的研究。可以预计，本项目的研究成果将有力的促进和推动语音情感识别理论的发展，加快语音情感识别的实用化进程，其在信息科学的其它领域也有广泛应用前景，具有重要的理论意义和实际应用价值。

本项目以心理学的情感特征分析研究为基础，从工程信息处理角度出发，研究实环境下面向非特定说话人的实用情感语音特征分析与识别处理的关键技术及应用课题，包括：紧张烦躁等极端情感语音库的建立；实用语音情感特征分析和提取方法；各类情感特征参数的有效组合；情感特征的模型化方法；情感特征的识别判定算法；情感信息处理系统的实现等。本项目的研究成果部分填补了国内外在面向非特定说话人的实用语音情感特征处理方面的空缺，是一个开创性、创新性课题，其研究成果将有力地促进和推动语音情感识别理论的发展，加快语音情感识别的实用化进程。. 几年来本项目着重就如下几个方面开展了深入细致的研究工作:（1）提出了基于似然概率模糊熵的紧张状态下语音情绪自动识别方法；（2）设计了嵌入短时记忆遗忘曲线的语音情感识别算法；（3）提出了基于伪说话人聚类的语音情感特征规整化方法；（4）研究了语音情感维度区域的自动识别方法；（5）提出了面向烦躁情绪的可拒判的自动语音情感识别方法；（6）研究了基于情感对特征优化的语音情感分类器；（7）研究了基于心电信号与语音信号的双模态情感识别方法。. 本课题的研究达到了下列目标：(1) 建立和完善了面向非特定说话人的实用情感语音数据库；（2）建立了一套正确描述实用语音情感特征的情感信息处理的数学模型；（3）提出了一套如何利用情感语音进行情绪分析，识别和分类的理论；（4）推动了相关研究成果向实践进行转化进程。. 通过本课题的研究，获得了国家教育部奖励1项，江苏省教育厅奖励1项，编著两本语音信号处理教材，发表了41篇研究论文，其中SCI收录13篇、EI收录20篇。申请并受理了12项发明专利，其中已授权5项发明专利。利用该项目培养博士研究生4名、硕士研究生8名。参加国际交流23次。同时，本课题的研究成果已成功应用于国家太空计划等国防科研中；应用到了中国儿童情绪能力的分析与分类、中国儿童情绪发展跟踪、中国儿童科学学习方法的研究中，得到了教育部和国家基金委的重点项目的支持。