基于动态贝叶斯网络的头姿无关自发表情识别研究

Research on facial expression recognition has steadily been moving from posed frontal expressions to spontaneous expressions. but continuous head pose movement is key problem for application of spontaneous expression recognition such as smart phones. This project is mainly about two key problem in spontaneous expression recognition: expression feature extraction under continuous head posture and classification decision model. Firstly, according to the generalization ability of Gauss process regression algorithm in small samples of unknown data. Study a new method to get expression feature under continuous head posture using the expression training data of finite discrete head posture. Especially for the problem of complex calculation, noise must obey Gauss distribution and multi class output existing in Gauss process regression algorithm, which should be further studied. Secondly, considering the current most research build model on pose estimation, facial muscles respectively, Ignoring the fact that the head pose should belong to facial expression feature, just like facial muscle. We plan to model head pose and facial muscles based on Dynamic Bayesian Network jointly, solve the nonlinear coupling existing between the head pose and facial muscles. provide scientific theoretical basis for the spontaneous expression recognition. meanwhile, open up a new field for the study of nonlinear decoupling in time and space, fusion, decision between variables, which should be have broad application prospects.

表情识别研究热点正从摆拍表情转移到自发表情，但连续头姿运动阻碍了表情识别在手机等智能终端领域的应用。本课题围绕自发表情识别技术中头姿无关的表情特征提取、分类决策模型这两个关键技术展开研究。首先，根据高斯过程回归算法在小样本下对未知数据的泛化能力，研究利用有限离散头姿下的表情训练数据推测连续头姿下的表情特征问题的新方法，特别是对高斯过程回归算法模型中存在的计算量大、噪声必须服从高斯分布以及多类输出等问题开展进一步研究；其次，鉴于目前大多研究对头姿估计、脸部肌肉分别建模，忽视了头姿也是表情特征之一这个本质，拟运用动态贝叶斯网络对连续头姿和脸部肌肉联合建模，解决头姿与脸部肌肉的非线性耦合关系，为自发表情识别提供科学的理论依据，同时为变量的非线性时空解耦、融合与决策研究开辟一个新的领域，必将具有广阔的应用前景。

本课题针对头姿无关自发表情识别技术中的关键技术展开研究，包括表情特征提取、头姿无关技术、识别模型以及表情识别应用。在表情特征提取技术方面，首先，尝试基于LBP特征的融合脸部关键表情区域，本方法的创新之处在于在整脸表情特征的基础之上，有针对性的提取了鼻子眼睛嘴巴等关键区域特征，并进行合理融合，既保留了全局信息又增大了对表情分类贡献率较大区域的特征比重，其次，采用提取图像的LBP特征并基于深度置信网络进行识别的方法，在CK+数据库上与传统k-NN、SVM有监督分类模型进行的对比实验表明，提出的方法在识别率上分别提高了19.34%和14.22%；在头姿无关技术方面，提出了一个新的多角度人脸表情识别方法。该方法首先提取回归模型的增量修正特征，然后用PCA进行特征选择，最后采用判别共享高斯过程隐变量模型识别多角度人脸表情。在CMU-PIE和LFPW数据库上的对比实验表明了该方法的有效性；在自发表情识别技术方面，提出了一种基于改进的深度残差网络的表情识别算法。该算法采用小卷积核和深网络结构，利用残差模块学习残差映射，解决了随着网络深度的增加网络精度下降问题，实验通过迁移学习方法克服了因数据量不足导致训练不充分的缺点；此外，本课题还将表情识别技术实际应用进行了尝试，针对疲劳驾驶研究中面部关键特征精确定位与跟踪，提出了一种基于主动形状模型和肤色模型的疲劳驾驶检测方法。实验表明眼睛检测准确率可以达到90.7%%，哈欠检测准确率可以达到83.3%，疲劳检测准确率达到91.4%。并将该研究成果申报了国家发明专利CN105844252A。本研究为探讨自发表情特征的提取和识别以及走向实际应用奠定了一定的工作基础。项目资助发表CSCD中文核心论文6篇，会议论文5篇，申请国家发明专利1项，培养学术型硕士研究生9人。