面向识别的低质量人脸特征超分辨率重建技术研究

Due to the influence of the capturing distance,illumination and compression,facial images in surveillance video usually suffer from compressed distortion, low resolution and blur. In such unconstraint situation, the perfermance of face recognition is unsatisfactory.In this proposal, we will investigate the techniques of face recognition for low quality images. Therefore,we will investigate the principle of facial features degradation due to low-bit compression,low resolution and noises.Then, we will build a degradation model for discriminative features. Finally, a framework of learning based high quality reconstruction for discriminative features will be explored. The facial discriminative priors will be introduced to enhance the discriminative information of the reconstructed feature and improve the recognition rate. The research findings of this proposal can be applied in the fields of social and information security, such as video surveillance, criminal investigation and identity management. They will provide new technical means and methods for the face recognition and further expand the scope of application of face recognition.

受采集距离、环境光照、压缩失真等各种因素的影响，视频监控等应用中的人脸图像往往是模糊不清、低分辨率的低质量图像，这类非约束条件下的人脸识别难以获得理想的识别性能。本项目将重点开展低质量人脸识别技术的研究。首先从机理上对压缩失真、低分辨率、噪声等因素所导致的特征降质过程进行深入的探讨和研究，建立人脸特征的统一降质模型。在此基础上，利用机器学习的方法，建立不同分辨率人脸图像的低质特征到高质特征的映射模型，实现低质人脸特征到高质人脸特征的超分辨率重建，有效解决不同分辨率人脸特征维度不匹配的问题。通过将人脸可鉴别先验信息引入到超分辨率重建中，提高特征的区分能力，从而提高低质量人脸图像的机器识别率。本项目的研究成果可以用于视频监控、刑侦、身份识别等社会安全和信息安全领域，为人脸图像的识别提供新的技术手段和方法，进一步扩大人脸识别的应用范围。

本项目针对含有严重压缩失真、模糊不清、低分辨率的人脸图像自动识别率低、难以满足实际应用需求的问题，开展低质量人脸特征的超分辨率重建技术研究，提出新的模型和识别方法。主要研究内容包括：（1）多降质因素图像超分辨率重建；（2）人脸可鉴别特征的提取、分析与重建；（3）面向识别的人脸图像超分辨率重建；以及（4）研制人证合一验证系统，对课题提出的理论和技术开展测试验证。围绕研究内容，取得的成果包括：（1）压缩低分辨率人脸图像的降质模型与联合重建方法。分别从离散余弦变换域、稀疏表示、梯度先验以及深度网络等角度对含有压缩失真、低分辨率、运动模糊和噪声的图像复原问题进行了深入研究，提出了一系列新方法。代表性成果为基于深度学习的多降质因素协同图像超分辨率重建方法。（2）在人脸可鉴别信息特征提取与表征研究方面，针对传统人脸识别特征，我们进行特征提取和融合。对图像降质引起特征退化与人脸识别率下降的影响进行了分析。最终，提出了低质鲁棒的融合特征，并据此提出了面向低分辨率人脸识别特征的超分辨率重建方法。（3）面向识别的低质人脸图像超分辨率重建方法。分别从特征和可鉴别信息约束的角度出发，提出了人脸特征超分辨率重建方案、基于可鉴别属性约束的对抗生成网络和基于属性描述生成网络的人脸图像超分辨率重建方法等，有效提高了低质人脸图像重建后的机器识别率。（4）最后，我们研制了人脸图像识别测试平台，从软件系统和一体机硬件系统两方面构建了原型样机，并进行了初步的测试试用。本项目全面、 按时完成了计划书中所规定的研究内容，达到并超过了计划书中的预期指标要求。在国内外学术期刊和国际会议上发表论文18篇，其中SCI检索4篇、EI检索11篇；申请发明专利12项，授权5项。培养博士生2人，硕士毕业生7人。本项目的研究成果可广泛用于智能安全监控、犯罪侦查和智能交通等领域。