法医素描异质人脸识别若干关键技术研究

Forensic sketch face recognition is to search a target in the photo gallery according to the provided sample sketch, and identify the identity information. Feature extraction and selection is an important part in forensic sketch heterogeneous face recognition. According to the characteristic that the contribution of different features for target recognition has a great difference, and with the principle of biological visual attention mechanism, our research group provides a sketch face recognition method based on the salience feature extraction, feature selection and multi-features fusion. Firstly, according to the low quality face of video or description of "eyewitness", artificial drawing or software generation method is used to extend and establish the new database of face sketch and corresponding photo images. Secondly, according to the cognitive process of sketch faces, we research novel sketch (photo) face synthesis methods based on deep learning. Then HOG and CNN features or other suitable sketch face features of the synthesized images which are hyposensitive to texture are extracted. For the extracted features, research group evaluates their salience using the distance between classes or minimum error probability, and assigns different weights for different saliency features. Finally, in the matching process of test face sketch and photo images, we design a salience-based weighted matching method to fully show the characteristic that "the more salient feature is, the larger contribution to the sketch face recognition is". It is widely used in criminal investigation and other applications.

法医素描异质人脸识别是指以所提供的画像为示例，在照片库中进行检索，确定待识别人的身份信息。特征提取和选择是法医素描异质人脸识别的重要环节。根据不同的特征对识别的贡献存在较大差异的特点，借助视觉注意机制，提出基于显著性的特征提取和选择以及多特征融合的法医素描异质人脸识别。首先根据视频低质人脸或“目击者”描述，采用人工绘制或软件生成的方式，扩展并建立新的人脸素描与照片对应的图像库。其次根据人对素描人脸的认知过程，研究基于深度学习的人脸素描（照片）合成方法。然后对转换后的图像提取HOG、CNN等对纹理敏感度低、适合素描人脸识别的特征。对于提取的特征，采用类内类间距离或最小错误率进行显著性评价，并为不同显著性特征赋予不同的权值。最后在待识别的人脸素描与数据库中人脸照片的匹配中，设计基于显著性的加权匹配识别方法，充分体现“越显著特征对素描人脸识别贡献越大”的特点。本研究在刑侦破案等方面具有广泛应用。

人脸素描草图已在许多领域得到广泛应用，特别是在追踪疑犯中，可以提供便利。目前，只有少数法医素描画师可以到达专业水平，这难以满足目标侦察和破案的需要。因此，人脸照片如何高效准确地转换成素描草图是一个紧迫问题。我们提出了一系列方法，包括基于多尺度梯度自注意力残差学习的人脸照片-素描转换方法、新的人类照片-素描转换方法、基于无监督风格编码的素描人脸合成方法、基于分辨率提升的残差素描人脸合成方法。其中，在最新的研究中，我们提出了一种新的基于注意力模块从人脸素描到照片的合成的无监督学习方法。该方法能够处理小型的照片-素描对数据集，根据辅助分类器得到特征图在注意力模块中能重点关注区分照片和素描的区域。与以前基于注意力的方法不同，这些方法不能处理领域之间的几何变化，我们的模型可以翻译需要整体变化的图像。同时，我们根据不同的残差层减少判别器的层数，以优化我们的网络。通过所提出的方法，我们可以使用少量的照片-草图对数据集与大量的脸部照片数据集，与自注意模型中更多的区分面部特征区域一起训练我们的网络。实验表明，与现有的固定网络架构和超参数的人脸素描到照片的合成模型相比，我们所提出的方法具有优越性。同时，在最新的专利中，提出了一种基于生成对抗网络的人脸图像转换成素描的方法及系统。该发明使用轻量级网络对人脸数据库中的样本合成素描图像，在保障合成图像质量的同时，提高了合成图像的速度。