基于面部遮挡的大学生心理测试视觉情绪计算模型研究

Mental Health test in undergraduate is presently too dependent on questionnaire,but sometimes the questionnaire could not give a real emotion of the test.Therefore,a visual computational model of emotion is explored and proposed by the project,and in-depth studies on the corresponding scientific issues and key technologies are carried out.The limitations of light,background,image occluded partially in current facial expression recognition system are not broken through,the robustness of expression recognition ability could be improved by solving the occluded images' recognition in the subject.The method used to deal with occluded images is adopted based on algorithms of RPCA(Robust Principal Component Analysis)and symmetry transformation about facial midline.The parameters could be adjusted adaptively to detect facial occlusion and make the occlusion reconstructed effectively.Afterwards,gesture expression is introduced instead of blindly removed as noise from expression recognition.Because of many uncertainties between face expression/gesture feature and emotional condition, dynamic Bayes network is used in the subject to solve the calculation problem of emotional condition, and scientific researches are made on the visual emotion model can be applied to spontaneous expression database will be built,as well as the actual mental health tests.When the facial expression on images are partially occluded due to non gesture/gesture,high compute capability and accurate emotion recognition can be got by the model presented in the project with facial expression or with both facial and gesture's expression.

针对现有大学生心理健康测试过于依赖问卷，而问卷一定程度上却不能反映真实测试情绪的问题，探究并提出一种基于视觉的情绪计算模型，并对由此引出的科学问题及关键技术开展深入系统的研究。课题首先突破目前大多人脸表情识别系统难以摆脱光照、背景、部分遮挡的局限，瞄准从解决遮挡入手提高表情识别的鲁棒性；而针对面部表情遮挡，采用基于RPCA和人脸中心线对称相结合的方法，创建算法的自适应调整机制，做到对遮挡合理检测并有效重构。然后在此基础上引入遮挡面部的手势识别，走出表情识别过程中把手势信息当作噪声盲目去除的误区。为有效解决面部表情/手势类别与情绪目标对应时的不确定性，本课题借助动态Bayes网络对模型的计算推理开展研究，并有计划、有步骤地应用到拟搭建的自发表情视频数据库、以及大学生心理健康测试的具体实践中，以稳健提高基于面部遮挡表情或面部表情/手势双模态的情绪推理能力，实现大学生心理测试时情绪的正确识别。

针对现有大学生心理健康测试过于依赖问卷，而问卷一定程度上却不能反映真实测试情绪的问题，本课题开展了基于视觉的情绪计算模型研究，用以对传统问卷形式作出有效的辅助决策。课题在完成普通面部表情识别的前提下，突破了目前大多面部表情识别系统难以摆脱部分遮挡的局限，研究了遮挡面部表情的识别的相关理论并进行了算法实现，过程中遵循检测遮挡，重构遮挡区域，提取有效的全局和局部特征，特征融合，送入分类器识别等步骤开展工作；实验结果有效提高了面部表情识别的鲁棒性。另外，手势姿态在以比较自然的方式遮挡面部时承载着一种更为生动的情绪，课题着力挖掘手势姿态的情绪信息从而走出了面部表情识别过程中把手势信息当作噪声盲目去除的误区；提出了时空局部二值模式矩TSLBPM，扩展VLBP二值模式的时空局部三值模式矩(TSLTPM)等特征提取方法，融合面部表情/手势姿态特征实现了双模态情绪推理。为有效解决面部表情/手势姿态在情绪状态推理时的不确定性问题，课题对DBN和Dempster-Shafer证据理论进行了相关研究和实验实现。情感化的智能交互要求机器具有接近人类的情绪推理能力；课题组拍摄完成了一套由数十位志愿者参与的包括7类情感信息的面部表情、遮挡面部表情和部分姿态表情的数据库，并基于此数据库开展了相应的实验工作；该情感库可进一步作为课题后续研究工作的测试平台使用，并有望开发出更鲁棒的算法。此外，课题组还基于实验室的人形机器人开展了“类人机器人表情识别与表情再现”方面的研究工作；在准确识别表情以及前期单样本工作的基础上，系统完成了基于单帧图像的机器人表情再现。为后续的可控、智能交互打下了坚实的基础。