人体情感生理反应系统的建模及其应用研究

Recognition of human emotion through machine has drawn both academic and commercial attention recently. The consumer electronics with ability to communicate with user on the emotional level are more popular. Though the physiological signal is more reliable than other signals (facial expression, speech, gesture, etc.) in emotion recognition, the lack of understanding to the fundamental rule of physiological responses to emotion restrains the development of the research and applications of emotion recognition. Therefore, this project firstly assumes the factors eliciting emotion and the physiological response of the emotion as input signal and output signal, and then establishes the optimal model of the psychological changes of emotion. Previous research showed that SCR is positively correlated to the arousal of emotion and that HR can represent valance. This project, based on the view of System Identification, employing SCR and HR as the psychological indexes of emotion, and conducts the research as follows: analyzing physiological responses under affective states, developing optimal models of SCR and HR responses to emotional stimulus, extracting new emotional physiological features for emotion recognition, and developing real-time system for effective emotion recognition. The system developed in this project can be used in human-computer interaction for real-time emotion recognition and regulation.

近年来，人类情感的机器识别在学术界和产业界迅速发展起来,使得能够与用户进行情感交流的商品更加受人青睐。尽管采用生理信号来识别人类情感与采用表情、声音、姿势等方式相比更具客观性，但缺乏对情感变化规律的准确刻画却阻碍了情感生理识别的实际应用。因此，本项目将人类情感的诱发和相应的生理变化抽象为系统的输入信号和输出信号，针对情感变化规律进行系统建模。该方法是有别于统计特征进行建模的新颖方法，能够更加准确地刻画情感变化的生理反应规律。已有的研究表明皮肤电信号与人体情感体验的唤醒度正相关，心率信号可以表征人体情感体验的效价。项目以皮肤电信号和心率信号作为情感的生理指标，基于系统识别的观点，主要开展以下研究：分析情感生理反应的系统特征，构建关于情感体验反应的皮肤电和心率的优化系统模型，提取系统模型参数作为情感识别特征，开发情感识别系统。该识别系统将在人机交互时进行实时情感识别和调节中得到有效应用。

开展人体情感生理反应系统的建模的研究工作，是为了建立从生理信号到人体情感状态的有效计算模型，为使用智能设备有效估计人类情感提供有效的帮助。同时，这也能达到增进人机情感交互的体验。本项目主要获得了情感的多模态生理数据集，包括正性、中性和负性情感的皮肤电和心电数据，焦虑的心电数据，情感的高光谱血氧饱和度数据以及情感声音的功能磁共振数据等；建立了估计情感维度的高阶多元多项式函数模型、测焦虑情感的生理识别模型与实时识别系统；发现了人脑听觉皮层拓扑分化的长程功能连接具有频率选择性，不同时间尺度的静息态功能脑网络对抑郁症识别效果具有非线性的影响，音乐生对情绪的体验更敏感，纯音在大脑中进行加工与传输的顺序通路，纯音在大脑中传递与加工的动态过程等结果。既丰富了情感识别的方法，又开发了典型的情感实时检测系统，还探索了人体情感的中枢神经机制及其病理性变化，为实时的焦虑情绪检测提供了便利，为采用智能设备来有效估计人类情感提供了有效的计算模型。与其他研究成果相比，该项目的主要创新之一是建立了几种人体情感生理识别模型，并开发了焦虑情感实时检测系统；项目的另一个创新之处是丰富了人体情感脑机制和精神病理脑机制的认识，为人体情感的更加高效检测打下了基础，为将来深入研究人体情感机制、机器自动识别与调节等多方面研究打下了基础，最终将增进人类精神健康。