面向血缘关系认证的人脸特征学习方法研究

Kinship verification via human faces has huge potential applications in many areas such as forensics and social media. In this project, we will study new theories and methodologies for discriminative facial feature learning and its applications for kinship verification. Specifically, we will exploit three different discriminative feature learning techniques from three different levels such as low-level local feature, mid-level discriminative feature and high-level semantic feature, to achieve kinship-related representations in a data-driven manner. Our methods will improve the discriminative power of existing feature descriptors which have poor performance in kinship verification, which can be used to obtain accurate, effective, and robust facial kinship verification systems. The key characteristic of this project is to investigate how to learn discriminative features which are automatically from raw data, and how to adaptively learn kinship-related facial features in real scenarios, which can provide foundational theories and technical supports for real-world facial kinship verification applications.

人脸血缘关系认证在公安刑侦和社交媒体等领域有着巨大的应用潜力。本项目将深入研究面向血缘关系认证的判别人脸特征学习理论，围绕如何从人脸数据中自适应地学习出血缘关系判别力强的特征表示，分别在低层局部特征、中层判别特征和高层语义特征等三个层次研究判别特征学习方法，重点解决传统人脸特征描述子在人脸血缘关系认证中判别能力不足这一问题，实现精准、高效、鲁棒的人脸血缘关系认证系统。本项目的特色是从鲁棒判别特征学习角度进行分析，深入研究面向数据驱动的特征表达方法，重点解决如何在真实场景下自适应学习出与血缘关系相关的人脸特征，为基于人脸的血缘关系认证的应用提供理论支撑和技术保障。

围绕项目制定的研究内容，项目组面向人脸血缘关系认证的特征学习进行了深入研究，取得了多项创新性成果：针对传统人脸血缘关系识别方法忽略人脸动态信息的不足，提出了基于多种判别距离度量学习的视频人脸血缘关系认证方法，构造了无约束条件下的人脸视频血缘关系数据库验证了方法的有效性；针对单张图像真实环境下易受光照、姿态、遮挡、背景等因素的影响，提出了判别协同的多度量学习方法，方法在主流表情评测数据集上取得了较好的性能；针对人脸描述子的判别能力不足，提出了一种判别紧致二值特征学习方法，通过约束类内样本二值码的相似性提高了其判别力；针对传统相似性度量语义描述能力不够，提出了一种基于近邻排斥相关性判别度量学习，挖掘判别力强的负样本对，从而更有效地识别人脸血缘关系之间的相似性；提出了一种用于社会关系识别的方法，通过有效地利用语义信息直接从面部图像中学习区分特征；提出了一种用于面部亲缘关系验证的方法，通过使用注意网络来提取局部面部区域的信息，利用深度网络中引入了一种注意机制来提取面部的高级特征。相关成果在公安刑侦和社交媒体等领域有着巨大的应用潜力。.基于项目取得的一系列成果，项目组共发表学术论文9篇，其中国际期刊论文6篇（均被SCI检索），撰写了题为《Facial Kinship Verification: A Machine Learning Approach》的英文学术专著一本，同时申请国内发明专利3项。项目负责人自2019年1月开始担任国际期刊《Pattern Recognition Letters》的编委（Associate Editor），国际期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》、《IEEE Transactions on Image Processing》、《IEEE Transactions on Circuits and Systems for Video Technology》、《IEEE Transactions on Cybernetics》、《Pattern Recognition》等国际期刊的审稿人，2019年IEEE国际多媒体大会ICME 2019领域主席（Area Chair），全国生物特征识别会议CCBR 2017-2019的程序委员会委员。