基于特权信息的不可控条件下侧面人脸图像识别方法研究

Face recognition plays an important role in identification applications, such as video surveillance and forensic investigation. Affected by the installation position and the angle of view of the cameras, face images captured in unconstrained environments usually suffer from dramatic pose variations, which severely degrades the performance of face recognition algorithms. The recognition of profile faces, whose yaw angles are beyond 60 degrees, is regarded as one of the most difficult problems in face recognition. However, existing works on profile face recognition are limited and most of them are based on images captured under constrained conditions. This project targets at profile face recognition in unconstrained environments. To handle the dramatic nonlinear appearance variation and small-sample-size problems encountered in profile face recognition in unconstrained environments, this project proposes strategies based on privileged information to promote the robustness of deep learning models and distance metric learning models. This project aims to develop complete and effective methods for profile face recognition based on privileged information. The research outcomes will be helpful to build pose-robust face recognition systems and promote their performance in real-world applications.

人脸识别在视频监控和刑侦破案等身份认证领域具有重要的应用价值。受到摄像机安装位置和角度的影响，不可控条件下拍摄的人脸图像往往存在较大的姿态变化，严重影响了人脸识别算法的性能。其中，对侧面人脸图像（Yaw角大于60度）的识别是当前人脸识别领域最为困难的问题之一。然而，现有的关于侧面人脸识别的研究较少，且大多针对可控条件下拍摄的人脸图像。本项目将研究新颖的面向不可控条件的侧面人脸识别方法。针对不可控条件下侧面人脸识别所遇到的强非线性表观变化和小规模标记样本两大难题，本项目提出基于特权信息的学习方法来增强深度学习模型和距离尺度学习模型在识别侧面人脸图像时的鲁棒性。本项目的宗旨是形成一套完整有效的基于特权信息的侧面人脸图像识别方法。本项目的研究有助于构建对姿态鲁棒的人脸识别系统，提高其在实际应用场景中的识别性能。

不可控场景下的摄像机受到安装角度等因素的限制，拍摄到的人脸图像往往处于较大的姿态角度。姿态变化极大的改变了人脸图像的表观，降低了人脸识别算法的性能。本项目立足于基于特权信息的学习（Learning Using Privileged Information, 简称LUPI）这一新颖的理念，针对侧脸图像的强非线性表观变化和小规模标记样本问题，对不可控场景下的侧脸识别及相关课题的模型和方法进行了研究。第一，我们提出了基于LUPI的pair-wise损失函数，该损失函数使用与侧脸相同身份的正脸图像的特征作为特权信息，该特权信息能够显式地指出每一对正脸-侧脸图像的特征向量中哪些元素具备显著的共同语义，并且在训练过程中加强对该语义元素的学习。第二，我们提出了基于渐进式摆正网络的侧面人脸图像识别方法，该网络结构逐步将侧脸特征空间转换到半侧脸特征空间、最后到正脸特征空间，该策略可以减小直接从侧脸特征空间到正脸特征空间进行变换的复杂度与困难度。第三，我们提出了基于LUPI思想的人脸图像填充方法，采用了两种特权信息，即完整人脸图像的特征相关性以及人脸关键点的位置。基于此，我们引导注意力模型了产生更高质量的注意力系数，并设计了多判别器结构提高生成图像的质量。第四，我们提出了三种基于LUPI思想的方法，用于建立基于组件的行人重识别模型。在训练阶段为网络提供特权信息，即人体组件的空间位置，引导网络学习与各个组件相关的特征图通道。在测试阶段不需要该特权信息，直接从组件相关通道中提取组件特征。该方法在四个大规模的数据库上取得了当前最高的性能。..基于本项目，课题组已经取得了一系列成果。其中，以本人为第一作者或通信作者身份，共发表学术论文8篇，在IEEE TPAMI上发表论文1篇，在TIP上发表论文3篇，在CVPR和ECCV上发表论文共3篇。