跨模态人脸特征学习方法及其应用研究

With the diversified development of image and video acquisition device, cross-modality face recognition becomes an essential issue in many real applications, such as multi-scene cooperative awareness under public security monitoring. This project focuses on the research of cross-modality face feature learning methods with two key issues, that is, cross-modality face invariant feature learning and homogeneous-heterogeneous cooperative features learning. It is studied from a combined view of working mechanism of biological neural and human cognitive psychology, and aims to solve some hot and difficult issues of cross-modality face image recognition and comprehension. The main contents of this project are roughly as follows: (1) Coupled cross-modality feature learning based method for effectively reducing the cross-modality feature differences; (2) Complete weight learning based feature learning for heightening the disctiminant of the projection vectors; (3) cross-modality face dictionary manifold learning for effective feature representation. The distinctive character of this project is that it analyzes the problem from a view of cross-modality feature learning and makes an exhaustive study on the data-driven based learning method. This project mainly aims at solving the problem of reducing the cross-modality feature differences and focuses on the foundation of the theory and application, thus, provides the foundation theory and technical support of the cross-modality face recognition for the public security.

随着图像、视频获取手段的多元化发展，跨模态的人脸识别对于公共安全监控下的多场景协同感知等实际应用问题，具有重要的研究意义。本项目聚焦跨模态的人脸特征学习方法研究，紧密围绕跨模态人脸不变性特征学习、同质与异质人脸特征的关联学习等关键问题，结合生物神经的工作机制和人类的认知规律，旨在解决目前当前跨模态人脸图像识别与理解中的一些热点和难点问题。具体研究内容：(1)研究基于对偶鉴别特征学习的跨模态人脸特征学习，有效减小跨模态特征差异；(2)为增强特征学习投影向量的判别能力，研究基于完备的权重学习的特征学习方法；(3)针对跨模态特征的有效表征方式问题，研究基于对偶流形字典学习的跨模态人脸特征学习方法。本项目的特色是从跨模态的特征学习角度进行分析，深入研究面向数据驱动的学习方式，重点解决如何减小跨模态特征差异的问题，并注重基础应用研究，为跨模态人脸识别在未来广阔的安全应用领域提供基础理论和技术支撑。

随着图像、视频获取手段的多元化发展，跨模态的人脸识别对于智能安防、智慧城市以及公共安全监控下的多场景协同感知等实际应用问题，具有重要的研究意义。本项目聚焦跨模态的人脸特征学习方法研究，紧密围绕跨模态人脸不变性特征学习、同质与异质人脸特征的关联学习等关键问题，以及当前跨模态人脸图像识别与理解中的一些热点和难点问题，具体研究内容：(1)研究了基于对偶鉴别特征学习的跨模态人脸特征学习；(2)研究基于完备的权重学习的特征学习方法；(3)研究了跨模态特征的字典结构方法。其中重要研究结果包括：(1)研究首次提出了基于对偶可鉴别特征学习的跨模态人脸识别方法，可以有效减小跨模态特征差异，其在千人以上的跨模态人脸数据库上，比传统方法能大幅提升识别精度50%以上；(2)完备权重学习可以有效增强特征学习投影向量的判别能力，并在此算法基础上有效提升跨模态的人脸识别精度；(3)基于对偶流形字典学习的特征学习方法可以有效的建构跨模态数据字典，其建构模型方法可以进一步扩展到其他跨模态问题应用领域。受本项目资助，共发表论文15篇，其中SCI检索论文10篇，其他检索论文5篇，已申报的发明专利2项目。本项目其科学意义在于，从跨模态的特征学习角度进行分析，深入研究面向数据驱动的学习方式在跨模态人脸识别领域的理论及实践意义，并重点解决了如何减小跨模态特征差异的问题，注重基础应用研究，为跨模态人脸识别在未来广阔的安全应用领域提供基础理论和技术支撑。