表情人脸的视觉认知与智能计算

本项目利用计算智能最新研究成果- - 连续吸引子神经网络（一种目前最可能仿真人类连续行为特征的模型），探索人类识别表情人脸及其情感的基本原理，以期实现计算机对非理想采集条件和弹性形变下的人脸图像以及情感变化的智能识别。重点研究神经网络中存在连续吸引子的条件和理论模型；连续吸引子与人类表情及情感的视觉认知感知机理之间的关联，以及与真实世界生物特征流形之间的关系；拟从情感计算的角度用多维情感空间刻画人脸表情的语义特征；利用连续吸引神经网络进行表情人脸和情感特征的描述、识别和综合等。并提出了相关研究内容和具体技术方案、路线。本项目研究将有助于进一步揭示人类对连续变化信号的神经视觉感知机制，促进构建符合人类认知与感知机理的智能人机交互系统。

基于项目任务书中所列研究任务和目标，在该项目经费资助下，本项目深入研究了递归神经网络中的几个关键问题，探索研究了人类识别表情人脸及其情感的基本原理，研究了非理想采集条件（光照变化、局部遮挡等）和弹性形变下的人脸图像检测、跟踪、识别以及人脸表情识别方法等。项目完成情况和主要成果简述如下：.提出了LT神经元离散时间递归神经网络的竞争层模型CLM-方法。研究线性阈值神经元的离散递归神经网络的竞争层模型，网络的边界属性、全局吸引子和稳定性，以及该网络的动力学行为。提出了从连续到离散时间的递归细胞神经网络的竞争层模型，讨论了递归细胞神经网络中存在竞争层模型属性的充要条件，提出了该网络中竞争层模型迭代的新方法。.提出了符合人类视觉认知机理的、全局与局部特征融合的人脸检测与识别方法。提出了基于隐马尔可夫的局部遮挡人脸识别方法，及类内子流形局部间隔对齐的人脸图像判别方法，能有效降低因人脸图像拍摄角度、姿态、光照、眼镜和性别等因素导致的数据多模态或低维流形的高曲率对识别性能的影响。提出了基于有监督的局部子空间学习的连续头部姿态估计新方法。结合粒子滤波预测跟踪人脸，实现人脸特征点的精确定位，能有效跟踪复杂背景、恶劣光照和部分遮挡等条件下的人脸。提出了基于颜色与CLTP纹理特征融合的对象跟踪方法，能更稳定地跟踪复杂背景中的运动对象。.研究了核方法原像问题的局部同构处理技术。提出了基于面部器官运动语法分析的人脸表情快速识别新方法。首先提取人脸表情变化过程中的局部动态和静态特征，再利用支撑向量机SVM识别人脸各器官的表情动作，最后构建基于面部器官的贝叶斯网络，根据各器官的表情综合判别人脸表情。提出了基于序列特征的随机森林表情识别算法。针对表情图像序列，提出了基于AAM模型结合LK跟踪算法的序列表情特征提取和随机森林的表情分类方法。.开发完成一套视频人脸实时跟踪系统。在复杂背景、光照变化、目标快速移动、目标干扰等自然环境下，能实时跟踪指定人脸，绘制目标移动路径。可应用于视频监控、目标自动跟踪、海量视频流中特定人物的活动路径绘制等。开发完成了一台能依据实时采集的人脸、指纹和第二代身份证进行智能融合身份鉴别功能的“双模态智能身份鉴别系统”产品原型样机。