不可控条件下的人脸图像生物学质量评价方法研究

Facial images are of great significance for public security, such as identity authentication and case solving. However, due to the effect of the environmental lighting, system performance and human being themself, facial images in real-world applications are always suffered from quality degradation problems, e.g. abnormal illuminations and low resolutions. Such degradation in quality challenges a lot to the identity authentication and recognition, which may result in huge security problem. Existing visual quality assessment (VQA) methods are mainly proposed for the perceived quality (e.g. clearity and aesthetics) of natural images with simulated distortions. However, most real-world facial images are captured in-the-wild with illumination changes, complicated background, or pose variation, and it is the biometric quality (effectiveness for identity recognition) that is of critical significance for public security. This project will study the biometric quality assessment (BQA) for facial images in-the-wild by exploring the ideas of deep learning, multi-label learning, and multi-task learning. This study would lead towards robust and efficient biometric recognition systems, and provide benefits to public security departments by improving the efficiency and accuracy of identity authentication and case solving.

人脸图像在公共安全领域（如身份认证或刑侦破案）发挥着重要作用。然而，受环境光线、系统性能和人为因素的影响，实际获得的人脸图像往往存在光照不均、分辨率低等质量问题，不利于身份认证与识别，造成巨大的安全隐患。现有视觉质量评价研究主要是针对模拟失真条件下自然图像的感知质量（如清晰度、美观度等）。然而现实中的人脸图像通常是在不可控条件下（光照变化、背景复杂、姿态变化等）获得的，并且在公共安全领域更看重其生物学质量（如用于身份识别的有效性）。因此本项目拟通过深度学习、多标记学习、多任务学习等思想实现真实失真条件下人脸图像的生物学质量评价。本项目的研究有助于构建鲁棒、高效的人脸识别系统，辅助提高公共安全部门身份认证及刑侦破案的效率与准确率。

人脸图像在公共安全和数字娱乐领域发挥着重要作用。然而，受环境光线、系统性能和人为因素的影响，实际获得的人脸图像往往存在光照不均、分辨率低等质量问题，不利于身份认证与识别，造成巨大的安全隐患。本项目对人脸照片和异质人脸合成中的生物学质量问题进行了大量探索，从保真度、美观度和可用度方面构建了相关数据集，提出了多种新颖的数学模型，并对自然图像的相关质量评价问题进行了拓展性研究。.首先，我们构建了人脸照片质量评价数据集，基于轻量型卷积神经网络构建了人脸可用度评价模型，并对可用度和保真度之间的关联关系进行了统计分析。该评价模型可以有效评估人脸图像用于身份认证的可靠性，对于人脸认证系统的开发具有重要的意义。.其次，我们探索了基于多层表征聚合的质量推理模型。我们提出同时使用多层（低层-中层-高层）特征进行质量评价。我们将该思想应用到自然图像保真度预测和人脸美观度评价任务中，取得了很高的预测精度。.然后，我们提出了基于属性信息辅助的质量表征学习。具体而言，我们提出利用人脸结构信息进行人脸吸引力评价，并引入协同注意力机制，以提升模型可解释性及预测精度。此外，基于图像风格与美学质量之间的关联关系，我们提出了基于多任务学习的风格自适应图像美学质量评价方法。.最后，人脸照片-画像合成的生物学质量问题，我们从模型架构、目标函数、后处理方式等多个方面对深度神经网络进行改进，提出了多种基于深度神经网络的异质人脸合成方法。例如，我们提出了一种结构辅助生成对抗网络和增量式聚焦生成对抗网络。这些方法合成的人脸图像（照片/画像）在保真度、自然性和可用度方面都得到了显著提升。.在该项目的支持下，课题组总计发表论文20余篇，申请国家发明专利5项，其中1项已授权。基于该项目的研究成果，我们合作研发了人脸肖像绘画机器人。整体而言，本项目的研究成果在公共安全和数字娱乐领域具有应用价值和市场前景。