基于跨模态深度学习的大规模异质人脸图像检索算法研究

Heterogeneous face image retrieval can solve the matching problem of face images from different visual modes. The scope of applications and the scale of data using these algorithms are all growing fast. The heterogeneous face image retrieval method based on deep learning has achieved good results in cross-modal face synthesis, cross-modal face feature extraction and cross-modal hashing. However, there are still problems such as the insufficiency of multi-modal face image data, the loss of cross-modal face information, and insufficient discrimination of the index coding. In order to solve these problems, this project intends to focus on the research of large-scale heterogeneous face image retrieval. The attribute preserved heterogeneous face synthesis method will be studied to improve the quality of face synthesis and solve the problem of insufficient multimodal data. The cross-modal deep ranking hashing algorithm and the noise robust training method will be studied to reduce the modal difference and improve the discrimination of the hash code. The image re-ranking algorithm based on two-level retrieval and multi-modal feature fusion will be studied to improve the efficiency of large-scale heterogeneous face retrieval. The research results of the project can improve the performance of heterogeneous face image retrieval in large-scale complex environments, which can be widely used in many applications.

异质人脸图像检索能够解决来自不同视觉模态的人脸图像的匹配搜索问题，应用范围和数据规模日益增大。基于深度学习的异质人脸图像检索方法，在跨模态人脸特征提取和跨模态的哈希编码方面都取得了不错的效果，但是仍然存在带标签多模态人脸数据不足、跨模态人脸信息丢失、索引编码的判别能力不足等问题。为此，本项目面向大规模异质人脸图像检索任务，研究属性保持的异质人脸合成方法，利用高质量的人脸合成图像进行数据扩充，解决标签数据不足的问题；研究基于对抗排序学习的跨模态深度哈希算法和噪声鲁棒的训练方法，减小模态差异，提高哈希特征的判别度；研究基于两级检索和多模态特征融合的图像重排序算法，实现高效的大规模异质人脸检索。项目研究成果能够提高大规模复杂环境下的异质人脸图像检索的性能，应用前景广阔。

本项目面向大规模异质人脸识别和检索任务，围绕异质人脸合成、跨模态特征表示和大规模异质人脸检索方法开展研究，具体内容和成果包括：（1）针对带标签异质人脸数据不足和多模态人脸信息利用不充分的问题，研究异质人脸合成方法，提出属性保持的异质人脸合成流程、基于图神经网络和多任务学习的人脸属性预测算法、基于生成对抗网络的异质人脸合成算法，通过迭代式的训练属性预测模型和人脸合成模型，不断优化合成图像的质量；（2）为了减少模态差异和噪声数据对深度哈希特征的影响，提出快速可靠的跨模态人脸检索算法，使用可靠的人脸特征表示方法来提高模型表示的能力，采用鲁棒的跨模态的深度哈希网络训练方法提高训练过程中的稳定性，利用轻量级的深度人脸质量评估技术来提高检索录入和查询过程中的鲁棒性；（3）针对大规模异质人脸图像检索对精度和速度的要求，提出基于重排序的异质人脸图像检索方法，利用两阶段检索流程来提高检索速度；针对并行检索过程中的同步瓶颈问题，提出面向高并发检索的多线程授权同步技术和可扩展的并发数据结构，提升多线程之间的并行效率，为实现高效的大规模异质人脸检索做支撑。基于该项目的资助，共发表相关论文6篇（其中SCI期刊论文5篇），申请专利4项，培养硕士1名，博士3名，并公开了相关算法代码(https://github.com/KaenChan)。