面向非接触式、非稳定和长时间尺度生理信号的情感状态自动识别研究

The recognition of learner’s emotional state with the physiological signals is the necessary and scientific basis for teaching interaction, instructional designed teaching assessment. However, the value drop and distance is still and obviously existed between experimental study and reality application of affective recognition. The reason is: in the realistic classroom instruction, with the increasing difficulty of detection, procession and analysis of learners’ physiological signals, the tools and methods of affective analysis are double challenges which are still worthy of being further discussed, analyzed and explored in terms of the realistic-usability principles. From this point, this research presents an economical, convenient and non-contact measurement to capture the learner’s physiological signals in the learning process, and explores the analysis, procession and feature extraction methods for complex physiological signals. Furthermore, a new type of evolutionary algorithm will be constructed for solving adaptive classification problem based on multiple, high-dimensional and hybrid data. Positioning in realistic classroom instruction, the significance of this research is to develop new tools and methods for analyzing and collecting the learner’s emotional state data from the physiological signals (the goal of this current research) efficiently. Thus, naturally and hopefully, this research is expected to lay a foundation for the future research of the inherent influence and regularity between the emotional state and learning. Since the affective recognition is widely used, the expected results of this research will not only provides a brand new model for human-computer interaction, interpersonal interaction, but also a valuable solution for innovative applications based on emotional state recognition in many and different fields.

基于生理信号的学习者情感状态自动识别，可为教学互动、教学设计以及教学现场评估等提供必要的科学依据，但情感识别实验研究与现实应用之间依然存在明显的价值落差。究其原因是：在真实的课堂教学情境中，学习者生理信号的检测、处理与分析的难度增加，面临手段与方法创新的双重挑战。本研究提出用非接触式的检测方法实时捕获学习者学习过程中的生理信号，探索面向长时间尺度、非稳定复杂生理信号的处理、分析与特征提取方法，进而基于高维、混合型数据构建新型演化算法实现情感状态的自动识别。本研究的意义在于通过发展新型手段与方法从生理信号中高效地分析并收集真实课堂教学情境下学习者的情感状态数据（本次研究的目标），为后续揭示情感状态与学习效果之间的内在影响与规律奠定基础。由于情感识别的应用面极广，该研究的预期成果不仅为人机交互、人际交互提供崭新模式，还可为诸多领域中基于情感识别的创新应用提供极具价值的解决方案。

人工智能领域的下一个重要突破可能在于赋予机器情感能力，而“让机器识别情感”已然成为人类对人工智能技术追求的必然。从数据类型出发，在机器识别人类情感时（情感计算），主要面向的数据有图像、音频、文本和视频（视听内容）等。由于生理信号是人真实状态最直接反应，因此基于生理信号的情感分析逐渐成为一个热点研究问题，主要数据类型包括心电、皮肤电、肌电、呼吸信号、脉搏和脑电信号等。但是在现实的复杂应用情境中，学习者生理信号的检测、处理与分析的难度增加，面临手段与方法创新的双重挑战。首先，本研究立足于生理信号，利用并发展了非接触式的检测方法实时捕获用户的生理信号，在非稳定性、多噪声的环境下，利用便携式网络摄像头捕获生理信号，并率先提出用经验模态分解方法来对非接触式生理信号进行预处理。其次，本项目在面向长时间尺度、非稳定复杂生理信号的处理、分析与特征提取方法上进行了大量的探索。尤其针对长时间序列信息，提出了概率分布模式分析的方法，在数据的概率分布上，分别提出基于全局模式与局部模式的特征提取方法，发现这样进行特征提取能有效提升分类效率，为复杂长时间序列分析提供一个新的思路。再次，在情感状态识别算法研究中，我们提出了利用演化建模方法与深度学习相融合的方法来构建新型分类算法，一方面利用了深度学习强效的特征学习能力，另一方面利用演化建模方法构建具有可解释性的白盒分类模型，提升了分类的模型的可理解、可解释性。本课题不以设计一般的工具、方法和应用为目标，而是力争发展基于情感计算的人机交互、人际交互的新模式。通过本课题的实施，努力实现便捷与高效的“无处不在的情感感知”之愿景。情感计算的应用面极广，本研究成果可为诸多领域中基于情感识别的创新应用，如情感机器人、情感玩具、情感化软件等，提供极具价值的解决方案。