无控制条件下上下文感知和遮挡鲁棒的人脸对齐研究

Face alignment is a key step in facial image analysis and understanding such as face recognition, face tracking, and face animation. Face is a non-rigid object with large variations in expression, lighting, occlusion and complex background, so face alignment in the wild is considered as a very important and challenging problem in computer vision. To address this challenge, a new unified optimization framework is presented in this proposal, which consists of the following several aspects. First, a large face database with labeled landmarks is created for face alignment. Second, sample context information among facial images is established via a neighborhood search method. Third, the global context information and the local context information among landmarks within the same face sample are exploited to learn spatial shape context online from sample context. Four, by mining occlusion information in training samples, and a new method is proposed to compute texture residuals and shape residuals incorporating the context information and occlusion information. Five, texture residuals and shape residuals are merged with spatial shape constraints to construct the optimization framework. To sum up, this study aims to provide a new theoretical research approach for face alignment in the wild in theory, and a new theoretical method and technique to effectively develop and utilize face information for the safety of city.

人脸对齐是人脸识别、人脸跟踪以及人脸动画等人脸图像分析和理解中的一个重要步骤，而人脸作为一种非刚性物体，其变化模式非常丰富，且其经常受到姿态、表情、光照、遮挡等因素的影响，因此如何实现无控制条件下的人脸对齐是计算机视觉中一个非常重要且具有挑战性的研究课题。本项目以构建无控制条件下人脸对齐框架为目标，创建一个适合人脸对齐研究的含标注点大型人脸数据库；运用近邻样本发现算法构建测试人脸的样本上下文；探索单样本特征点之间的全局约束和局部约束，通过样本上下文在线学习得到空间形状上下文；挖掘样本上下文中的遮挡信息，建立样本上下文和遮挡信息在纹理残差度量和形状残差度量中的融入方式；研究纹理残差度量、形状残差度量以及空间形状上下文约束的融合机理，构建无控制条件下人脸对齐的统一优化框架。本研究为无控制条件下人脸对齐解决方案提供了新的研究思路，为人脸信息在平安城市中的有效开发和利用提供了理论方法和技术手段。

目前的人脸对齐算法中，大部分都没有考虑特征点的上下文关系和遮挡信息。本项目通过深入研究特征点的上下文关系和遮挡信息，经过项目组成员三年的努力，取得的主要成果有：1.通过探索人脸样本特征点之间的约束关系，提出两种特征点之间的上下文关系刻画方式；2.提出利用平均纹理替代遮挡区域的纹理，在一定程度上提高了人脸对齐的性能；3.探寻了形状残差、纹理残差和其他约束的融合机理，并提出了两种融合方法，进而构建了无控制条件下人脸对齐的统一优化框架。.通过基金委对本项目的资助，项目负责人得以迅速成长（晋升副教授），形成了具有自身特色的研究队伍，在一定程度上解决了长期以来无控制条件下人脸对齐的局限性，完成了预期的目标。本项目资助共发表论文6篇（其中4篇被SCI或EI检索），协助培养博士毕业两人（涂丽云，谢挺），协助培养或独立培养硕士毕业生3人、在读硕士生1人，培养研究生中获得研究生国家奖学金2人次。