面向公共安全的不可控条件下异质人脸图像变换和识别研究

For public security (such as case solving and anti-terrorist), simulated sketches and images from video surveillance are important cues for suspect searching. In this project, face images from different imaging sources (e.g. simulated sketches, video surveillance images, and normal captured face photos) are called heterogeneous face images. In real-world applications, these heterogeneous face images are used together to check and identify suspects. The study found that conventional face recognition methods cannot be directly applied to heterogeneous face image recognition because simulated sketches and video surveillance images have great difference with images collected by departments of public security. In order to reduce these discrepancies, this project will transform these heterogeneous images into homogeneous images for identification, or extract their common representation for identification. Existing heterogeneous face image transformation and recognition methods are mainly proposed for images collected under well-controlled environments. However, most real-world images are captured in-the-wild with illumination changes or complicated background. This project will study the heterogeneous face image transformation and recognition problem in-the-wild by exploring the ideas of multi-view representation, probabilistic graphic models, and cascaded linear regression. This study would help related public security departments to improve the efficiency and accuracy of arresting suspects.

在公共安全领域（例如刑侦破案或反恐）中，模拟画像和来自于视频监控中的图像是锁定犯罪嫌疑人的关键线索。本课题中，将来自于不同数据源的人脸图像（如模拟画像、视频监控图像和正常采集的人脸照片）统称为异质人脸图像。在实际应用中，这些异质人脸图像会被一起用来进行犯罪嫌疑人身份的排查与确认。由于模拟画像和视频监控图像与公共安全部门采集的照片数据分别在纹理和分辨率上存在很大差异，一般通过将它们先变换为同一模态进行识别，或者通过提取异质人脸图像间的共有表示信息进行识别。现有异质人脸图像变换和识别方法主要针对可控条件下获得的图像，而现实中获得图像往往是不可控条件下的（光照变化，背景复杂）。本项目拟通过多特征表示、概率图模型以及级联线性回归等思想实现不可控条件下异质人脸图像的变换和识别。本项目的研究能够辅助提高公共安全部门破案效率与准确率。

我们将不同模态的图像称为异质图像，如应用在刑侦追捕等领域的画像，应用在门禁系统等安全防范领域中的近红外图像，以及视频监控的低分辨率图像和对应的高分辨率图像。本项目以异质人脸图像中的人脸画像-照片对，高、低分辨率图像对为研究对象，为减小异质人脸图像间的差异，可以将他们转换为同一图像形态，之后进行人脸识别，也可通过异质人脸图像间的共性表示信息进行直接的异质人脸图像识别。主要的研究内容有：概率图模型框架下基于多特征表示的人脸画像-照片合成；快速鲁棒且有效的图像超分辨率重建；基于图模型表示的异质人脸图像识别等。针对以上研究内容，本项目提出一系列解决方法，代表性的方法如：基于锚点近邻索引的异质人脸图像合成方法，基于贝叶斯推断的异质人脸图像合成方法，基于随机采样的快速异质人脸图像合成方法，基于级联线性回归的高效鲁棒图像超分辨率重建方法，概率图模型下基于多特征表示的异质人脸图像合成方法，基于概率图模型表示的异质人脸图像识别方法，相关成果已经应用于多个公安部门。.本项目的研究成果包括：培养博士毕业生5名，在读博士生6名，硕士毕业生5名，在读硕士生5名；发表与课题相关并标注本基金资助的学术论文共计43篇；其中SCI检索（包括待检索）22篇，包括IEEE Trans.常文（Regular Paper）论文11篇；其中国际会议论文17篇，包括CCF A类会议论文8篇；获得国家发明专利授权8项，在申请中国家发明专利6项，登记软件著作权3件（包括计划实现的面向公共安全应用的异质人脸图像变换和识别系统）。项目负责人入选2016-2018年度中国科协青年人才托举工程、陕西省高校科协青年人才托举工程，获中国人工智能学会优秀博士学位论文、陕西省优秀博士学位论文奖，ACM中国新星奖(Xi’an Chapter)，陕西省科学技术奖一等奖，陕西省优秀自然科学论文二等奖(省部级奖), 中国科学技术协会全国工作者创新创业大赛铜奖，以通信作者身份指导研究生获得国际会议ACM ICIMCS 最佳学生论文奖。