真实世界非受约束多因素人脸图像超分辨率方法

The references have shown that it is common and mature for the research of face hallucination in the environment of single illumination, expression and pose domestic and abroad. And it is still at the stage of beginning for the research of face hallucination in the natural environment, and the key problems have not been solved successfully. This project will research the nature of the face in the unconstrained environment of real-world, and build a robust face representation model which is able to deal with the variations of illuminations, expressions and poses; research the mapping mechanism of facial multiple modalities in the low-resolution space, and build the mapping method of multiple modalities; research a large face image training dictionary model which is adaptive to the change of natural modalities, and propose a iterative method for facial detail reconstruction with the constrained multiple modalities priors and sparse representation. The main innovations of the proposed project are making the multiple modalities discretely following the characters of human vision, and building a dictionary adaptive to the outside multiple modalities in order to self-learning and approximate the natural modalities, and furthermore we use multiple modalities as priors constrain to reconstruct detail in a iterative way. The research can provide technical basis for the application of anti-terrorism, the software of social network service, commercials advertising, et al.

文献表明国内外针对单一光照、表情和姿态的人脸图像超分辨率研究，目前已经较为普遍和成熟，而对于真实世界非受约束环境下多光照、多姿态以及多表情变化的人脸图像超分辨率研究，尚处于起步阶段，关键问题并没有被很好地解决。本项目拟研究真实世界非受约束环境下多因素人脸图像特性，构建一种可以表征其多因素变化的鲁棒特征表示模型；拟研究低分辨率空间真实世界人脸图像多因素特征映射机理, 建立人脸多因素特征映射学习方法；拟研究适应多因素变化的人脸图像离线训练学习模型，建立基于真实世界多因素条件学习迭代的人脸细节重建方法。本项目研究方案的主要创新是将真实世界人脸多因素特征,根据人眼视觉特性进行离散化，构建可自学习更新的人脸多因素识别字典库模型，用有限的离散数据类型来表示连续的真实场景状态，并将多因素离散特征值作为先验约束进行迭代细节重建。研究成果可为反恐国土安全、移动互联网社交应用、商业广告等应用提供技术基础。

对于高清晰、高质量、可控状态、固定场景下的人脸图像识别，已经取得了满意的识别效果,成熟的商业产品也不断被推出。但对于真实世界非受约束状态下的多因素人脸图像识别问题，现有的人脸识别算法无法顺利解决，识别准确度并不高。真实世界人脸图像识别仍然是个未解决的问题。真实场景非受约束环境下人脸图像具有多样的表情、光照，和姿态等多因素条件，而现有的人脸识别算法往往只针对某一种固定因素具有比较高的识别率，假如该因素发生改变，识别率则会下降，而如果输入人脸图像的分辨率比较低的话，识别率则会更加恶化。在反恐、国土安全和社会安全中, 往往需要在一个真实场景中，在较远的距离上,识别出非受约束真实状态下特定人的身份，以便提前采取措施。由于视频监控视场范围需要尽可能大，即便使用高清摄像头，由于目标人距离摄像头较远，其面部图像分辨率往往会比较低。这时我们就需要能适应真实场景的、鲁棒性高的人脸图像超分辨算法，来重建目标的细节信息，从而提高识别准确度，以便捕获一些异常行为来提前预警。本项目主要研究真实世界非受约束环境下多因素人脸图像特性，构建一种可以表征其多因素变化的鲁棒特征表示模型；研究低分辨率空间真实世界人脸图像多因素特征映射机理, 建立人脸多因素特征映射学习方法；研究适应多因素变化的人脸图像离线训练学习模型，建立基于真实世界多因素条件学习迭代的人脸细节重建方法。本项目将真实世界人脸多因素特征,根据人眼视觉特性进行离散化，构建可自学习更新的人脸多因素识别字典库模型，用有限的离散数据类型来表示连续的真实场景状态，并将多因素离散特征值作为先验约束进行迭代细节重建。研究成果可为反恐国土安全、移动互联网社交应用、商业广告等应用提供技术基础。