监控场景下人脸识别方法研究

Face recognition in surveillance is one of the most difficult applications for face recognition. The modern face recognition technique has achieved good performance in controlled environments; however; its performance in unconstrained scenarios (e.g., video surveillance) is still far from satisfactory. The severe variations of lighting, pose, image blur, occlusion etc.in surveillance prevents the high performance of face recognition, affecting the promotion of face recognition technique in real applications. This project focuses on face recognition research in surveillance, and proposes a series of methods based on data processing, training strategy design and network structure improvement etc. Observing the characteristic of large class number and few samples per class for surveillance data, we develop a deep learning method for shallow and wide data. A robust sample mining method is also investigated to alleviate the effect of label-noise samples on face recognition. We exploit the effectiveness of fusion of discriminative information from temporal and spatial for face representation and recognition. To address the occlusion and heterogeneity of face images in practical application, we propose an occlusion-aware network and a heterogeneous face matching structure to enhance the face recognition accuracy in surveillance.

监控场景下人脸识别，是人脸识别技术最难的应用场景之一。目前的人脸识别技术在可控环境下已经取得了比较好的优异性能，但是在复杂动态环境下（如监控场景），人脸识别性能还远不能满足用户的需求。由于监控场景的复杂性，光照、姿态、图像模糊、遮挡等因素均对人脸识别性能造成了较大的影响，误识率居高不下，严重影响了人脸识别技术的应用和推广。本课题针对监控场景下人脸识别技术展开研究，从训练数据、训练策略、网络结构优化等方面提出改进方法。针对现有监控场景数据类内数量少，类间数量大的特点，研究基于浅宽数据的深度学习方法；监控场景大数据中不可避免的掺杂着类别标记错误的噪声样本，研究噪声数据下的鲁棒样本挖掘方法；融合挖掘多张人脸视频图像的互补信息，提升人脸特征表示的判别能力；针对监控场景下的图像遮挡和比对图像模态差异问题，设计遮挡敏感深度神经网络和异质人脸图像比对网络结构，提高复杂动态场景下的人脸识别性能。

本项目针对监控场景下的人脸识别难题展开研究，针对训练数据单一，类别表达不充分的按难题，提出基于单张图像的高保真人脸三维模型重建方法，并基于此实现多姿态、多表情、多光照的人脸数据增强以及测试过程中的人脸图像姿态、表情校正，提升人脸比对的准确率；针对类内数据不充分，类别数大的特点，提出了双样本学习方法，充分挖掘监控数据性能，提升人脸识别准确率；针对训练样本大，难例样本挖掘不充分的难点，提出伪超组的难例挖掘方法，通过时间换空间的方法，有效扩大难例挖掘范围，提升低错误接受率（FAR）情况下的人脸识别精度；针对人脸识别模型在跨场景下泛化性差的问题，研究了基于元学习的人脸泛化方法以及人脸识别模型防遗忘和快速领域自适应方法，提升人脸识别模型的适用性；针对疫情期间人脸口罩遮挡问题，针对性的提出了戴口罩人脸识别方法，提高特殊时期人脸识别的可用性。本项目的研究有效促进了人脸识别技术的提升，为无约束条件下人脸识别技术的发展做出了贡献。