多模态融合的情绪识别及其在用户体验中的应用

Affective computing is a new field of emotion research along with the development of computing technology and human-machine interaction technology. Recognition of continuous and dynamic changes of a user’s emotional states and a deep understanding of his affective experience in the process of product interaction as well as the internal cognitive processing mechanism provide the basis for the design and improvement of user interface and interactive mode, which provides new ideas and approaches for the research in the field of human-computer interaction and user experience. User experience in an open environment increases the difficulties in data acquisition with marked events and noise removal. Self-reported scales cannot evaluate a user’s continuous emotional feelings, which reduces the classification accuracy. This project will use a variety of physiological and psychological measures and sensing technologies to collect physiological (EEG, ECG, respiration, body temperature, skin conductance, etc.) and behavioral data (voice, facial expressions, eye movement data, etc.) in the process of user experience. We will study efficient methods to remove noises and enhance electrophysiological signals, construct an automatic system to mark events based on the analyses of video contents, propose effective methods to continuously assess a user’s subjective feelings during the process of product experience, design efficient and robust machine learning algorithms to build the model between multimodal physiological and behavioral indices and emotional states, and implement an accurate recognition and evaluation of a user’s real-time emotional states in the process of product experience.

随着计算技术和人机交互技术的不断发展，情感计算逐渐成为情绪研究的新兴领域。通过识别用户使用产品过程中连续、动态的情绪变化，深入地了解用户在产品交互过程中的情感体验及内部认知加工机制，为用户体验和人机交互领域的研究提供了新的思路和方法。开放环境下的用户体验增加了数据采集、去除噪音和事件标记的难度，而自陈式量表无法连续评价用户情绪感受也影响了识别的准确度。本项目将运用多种生理心理测量和传感技术，采集用户在产品体验过程中的生理（脑电、心电、皮肤电、呼吸、体温等）和行为（面部表情、语音、眼动等）数据，研究高效的电生理信号去噪和增强方法，构建基于视频内容分析技术的事件自动标记系统，提出产品体验过程中对用户主观感受进行连续评价的有效方法，设计高效鲁棒的机器学习算法建立多模态生理和行为指标与情绪状态之间的关联模型，实现对用户产品体验过程中情绪状态的实时、准确识别与评估。

随着计算技术和人机交互技术的不断发展，情感计算逐渐成为情绪研究的新兴领域。了解用户在情感体验过程中的神经生理机制，识别用户连续动态的情绪变化，能够为用户体验和人机交互领域的研究提供新的思路和方法。本项目从情绪神经生理机制、多模态数据分析关键技术、情绪识别模型应用三个方面的研究入手。根据积极情绪拓展-构建理论，建立涵盖共情、创造、乐趣、价值四个积极情绪类别，共22段华语电影视频的积极情绪视频库，弥补了国外标准情绪视频库无法适用于中国社会和文化背景的缺陷。情绪视频库自2021年发表以来，已有57家国内外大学和研究机构申请使用。开展包括多种积极情绪在内的情绪状态的神经生理基础研究，验证了大脑前额叶和中线不同频段的功率在区分相似情绪上的重要作用，为后续多种积极情绪的识别提供了先验知识。其次，运用多种神经生理测量和传感技术，采集300多名用户在情感体验过程中的生理信号（如脑电、脉搏、皮肤电阻）和行为数据（如运动加速度、面部表情、用户主观评分），为后续建立积极情绪识别模型提供了数据支撑。研发用于情绪连续标定的交互式评价工具，用于多模态数据时间同步的增补包算法逻辑，用于情绪体验过程中关键事件标记的API接口，以及表征不同脑电通道之间功能关系和群体脑活动相似性的脑电特征体系。最后，基于上述情绪标签和先验特征体系，本项目建立了基于脑电信号和穿戴式生理信号的积极情绪多目标识别模型，验证了支持向量机和长短时记忆网络模型对多目标积极情绪识别的效果，以及沿中线对称脑区alpha频段和皮肤电阻特征在区分四类积极情绪中的重要作用。本项目在IEEE Transactions on Affective Computing（JCR-Q1,IF=10.506）等国际顶级期刊上发表高水平论文13篇，相关技术申请发明专利2项，登记软件著作权2项。基于本项目成果，面向监狱服刑人员开发的抑郁情绪状态测评系统，在湖南长沙、永州等地监狱帮助狱警成功预防多起服刑人员自杀事件，并在2021年全国政法智能化建设技术装备及成果评选中荣获智慧司法项目第一名的殊荣。