视觉注意机制下基于深度概率图模型的情感计算

Synthesis of emotional facial expressions is an important research direction of affective computing，which converts the real face photo captured by the camera into a sketch with different expressions.It helps to build a more anthropomorphic style in the virtual world and stimulate students' motivation to learn. Existing research on facial photo-sketch transformation seldom refers to facial images with large shape exaggeration (For example, various expression). This project intends to explore the expression synthesis as a starting point to the key technologies of affective computing. In this project, the computational models of visual perception are studied and improved, based on which a robust framework for facial expression synthesis and optimization is constucted. .The study includes: 1) Visual selective attention model is constructed, based on which local semantic features of facial image are extracted. 2) Deep probabilistic graphical models is studied, based on which projection of local semantic features for photo and sketch is approximated to achieve the synthesized sketch with various expression. 3)Quality of the resulted sketch is evaluated based on human visual sensitivity and graph edit distance, and image quality feedback mechanism is put forward so as to optimize the expression synthesis method. . In this project, synthesis of emotional facial expressions is performd effectively, and furthermore, a new idea is provided for facial comic synthesis with broader geometric deformation. In this study, the research on computational theory of visual perception is enriched, and its application space in affective computing is expanded..

表情合成是情感计算的重要研究内容之一，它将摄像头捕捉的真实人脸照片转换成具有不同表情的画像，有助于在虚拟世界中构筑更加拟人化风格，激发学生学习热情。目前人脸照片-画像转换研究领域很少涉及具有明显几何形变（例如：表情变化）的人脸图像，本课题拟以表情合成作为切入点探索情感计算的关键技术，在对视觉感知计算模型进行研究改进的基础上，设计具有较强鲁棒性的表情合成及优化框架。. 研究内容包括：1)构建视觉选择性注意模型，基于该模型研究人脸图像局部语义特征提取；2)设计深度概率图模型，利用该模型逼近照片-画像语义特征映射关系，实现画像表情合成；3)联合视觉敏感度和图编辑距离评估合成画像的质量，并建立质量反馈机制优化表情合成方法。. 本项目可有效实现人脸表情合成，并为实现具有更宽泛的几何形变的人脸漫画合成提供新的研究思路。同时该研究丰富了视觉感知计算理论研究，拓展了其在情感计算中的应用空间。

表情合成是情感计算的重要研究方向之一，它有助于在寓教于乐等相关产业中构筑更加拟人化的风格和更加逼真的场景，即将人脸照片转换成具有不同表情的漫画。将视觉感知计算模型与具体的图像分析与理解任务相结合，将人类所具有的图像质量判断经验和视觉分析处理过程引入人脸表情的分析理解中，是本项目的核心内容。研究成果体现在如下五个方面： . 图像预处理方面，提出最大化保留对比度信息的彩色图像灰度化算法，最大程度保留原彩色图像的结构特征和对比度信息；提出基于自适应双边滤波去除蚊式噪声的算法，在保证去除蚊式噪声性能的前提下，提高图像的边缘保持特性；提出基于超像素半监督学习的图像分割算法，适用于大规模的图像分割；提出基于多特征组合的视频文本检测算法，提高了视频图像中文本区域的定位精度。. 人脸表情语义特征提取方面，针对训练样本不足的问题，实现了基于级联回归的两层框架的特征点提取算法，该方法提取的特征点更加符合人脸的物理意义，精度得到很大的提升；提出基于视觉选择性注意机制的局部语义特征提取算法，所提取特征可以更加凸显五官区域的视觉重要性。.基于深度学习、概率图模型的人脸特征识别方面，提出基于深度概率图模型的语义特征映射模型，提高概率图模型深度层次的自适应性；提出两种基于深度学习的人脸表情识别算法，有效地加快模型收敛速度，提高人脸表情识别率。. 提出基于人眼视觉敏感度和图编辑距离的合成图像质量评价算法，有效地判定合成图像失真程度和判别信息保有度两个方面的质量。. 面向教学实践的教学质量评价以及教学效果预测方面，提出并实现基于多终端的实时学习质量动态跟踪模型；提出基于CART算法的MOOC学习行为分析方法，实现根据学习行为对课程成绩的有效预测。. 培养硕士生十余名；发表与课题相关并标注本基金资助的学术论文共计17 篇，其中期刊论文10篇，EI检索的国际会议论文7篇；申请国家发明专利6项，其中授权2项，授权软件著作权15项，获省部级奖励1项。