自然和谐的人机交互中人脸表情识别研究

对人脸表情进行识别有利于了解人类的情感等心理状态，满足人机交互对自然和谐性的要求，本项目进行人脸表情识别模型与方法的研究。（1）根据心理学和神经学的研究结果，充分利用人们情绪发生改变时脸部静态特征和动态特征的变化，研究在视频序列中融合了图像帧时间间隔信息和三维空间信息的局部立方体时空特征。（2）针对基于子窗口的局部二元模式方法存在窗口划分无法实现最优化和子窗口边缘处信息可信度低等问题，研究基于核密度估计的像素式方法。（3）针对表情变化的复杂性与多样性，研究一种融合连续性与离散性的表情空间模型，以更好地反映表情的实际表现，揭示人脸表情的本质关系。

自然和谐人机交互的重要组成部分——人脸表情识别，是涉及图像处理、模式识别、机器学习、生理学、心理学等多个研究领域的交叉性课题。由于人脸表情包含丰富的行为信息，因此对人脸表情进行识别有利于了解人类的情感等心理状态，并可进行有效的人机交互。本项目主要研究了如下内容：1）通过建立和完善大量的表情视频数据库，研究了图像帧间信息和帧内信息的变化，将时间信息和空间信息结合起来，完成对视频序列局部立方体时空特征的提取，经实验验证，提取的该特征对于动态的表情识别很有效。2）对任何像素点处的局部二元模式（LBP）标记计算其概率密度估计，作为每个LBP标记处的核的标准化和值。对LBP标记的概率分布估计建立生成模型，并融入支持向量机的思想，实现像素式的特征提取。经实验验证，基于核密度估计的像素式方法优于基于子窗口的局部二元模式方法。3）实际生活中的表情表现出连续性与离散性，在表情空间，确定典型表情中心，并确定过渡表情的度量方法，经实验验证，可以实现有效的表情识别与表情成分分析，反映出表情的本质。总之，本项目在自然和谐的人机交互环境中，在实验平台上进行了相关软件的测试评价，使之系统化、可用化，并在机器人等典型应用系统平台上进行了深入的实践和应用。