基于认知机理的心理状态识别技术研究：建模与算法

当前的人机交互系统仅局限于被动的接受用户指令，不能主动理解用户的目的或意图，无法推断用户的心理状态，缺乏感知和引导的能力。因此赋予计算机拥有像人一样的心理认知能力是和谐人机交互的重要组成，也是比较急迫的研究课题。针对当前心理推理研究在系统建模、模式表示等方面存在的不足，本申请拟融合面部表情、头部姿态、眼睛状态、视线四种面部信息，在传统的面部运动描述方法-FACS AUs的基础上，建立更接近人类认知经验的面部认知特征层，并将数据驱动与模型驱动有机结合起来，对基于认知机理的心理状态识别技术进行探索。具体的研究内容包括：基于认知机理建立心理状态识别系统的计算模型、定量特征提取与定性特征转换、面部认知特征的抽取与提取、心理状态的知识表征与动态识别算法。本项目的研究旨在探索基于认知机理的信息处理建模技术，提高计算机对用户交互意图的理解能力，为计算机能根据人的需求提供恰当的服务方式奠定基础。

使计算机能够自动理解人的心理活动并推测其意图是新型人机交互技术发展的重要目标之一。本项目通过提取人的面部器官和头部的动作与姿态变化来推断人的心理状态。首先根据心理状态的生理特点和人的认知特点，以面部运动单位为基础，构建了一个有效融合数据驱动和模型驱动的的心理状态识别模型，同时归纳总结了心理状态相关的头面运动单元特征与面部认知行为特征，形成心理状态的2层知识表征；根据人脸检测和面部关键特征点定位结果，利用面部运动单元的形状变化、位置变化以及灰度分布信息实现了面部运动单元的检测；以头面运动单元为基础，通过隐马尔科夫模型训练面部认知行为特征的模型参数，形成了后续心理状态识别的知识表征；最后借鉴人的认知特点，选择高相关度面部认知特征，运用隐马尔科夫模型实现了基于模型推理的单一心理状态推理和混合心理状态推理。为了验证算法的有效性，以Mind-reading 数据库为研究对象进行了实验，实验结果验证了所采用方案的有效性。以视频段为单位，对于单一心理状态的识别率为77.7%，同时，当某段视频包含的心理状态表现为混合心理状态时，检测结果会偏向多种心理状态。