语义跨库的人脸图像多属性联合估计研究

The estimation of facial age, gender and race attributes has attracted much attention and research because of its wide applications in intelligent recommendation and security monitoring, etc. However, existing approaches typically train their models just upon a single database (dataset) and rarely make use of the correlations within and between such facial attributes, leading to that 1) the label distributions or label annotations of the attributes of single database might be incomplete, implying that it is difficult to estimate the attributes jointly; 2) the insufficient or not use of the correlations within and between the attributes results in the non-optimality of the estimators. To overcome the drawbacks aforementioned, this project intends to 1) develop a joint estimating model for the attributes of facial age, gender and race across multiple databases, i.e., semantic-cross-database; 2) make fully use of the correlations within and between the attributes; and 3) extend the joint estimating model by deepening its architecture to enhance its capabilities of feature representation and correlation modeling. Through the research of this project, the developed joint estimating models of the facial attributes can be deployed and advance their applications, and moreover, it can provide a reference to handle other heterogeneous types of attributes across databases.

基于人脸的年龄、性别和种族等多属性估计，因其在智能推荐和安全监控等领域的广泛应用受到众多关注和研究。然而，现有工作通常仅基于单一人脸库(集)进行模型训练，同时又较少对相关属性内部和之间关系进行建模利用，这将导致：1）单一人脸库在某些属性上标记不完备以致人脸多属性的联合估计变得困难；2）属性内外关系的非充分利用导致属性估计器的性能非最优。为应对现有方法存在的以上问题和不足，本项目将：1）构建属性标记跨库互补训练（即语义跨库）的年龄、性别和种族等多属性联合估计模型；2）对跨库属性相关性表示和属性内外关系进行建模利用；3）为进一步提升联合估计器的属性语义表示和关系表征能力，对其进行架构深度化拓展。通过本项目研究，发展出人脸多属性联合估计模型以推动其在现实中的广泛应用，另外还可为其他问题场景的属性跨库标记学习提供建模参考。

人脸蕴含丰富的内在信息，如性别、年龄、人种等生物属性信息。这些属性信息在人脸门禁识别、公共人群监控、属性导向推荐等领域具有广阔的应用前景。尽管已有很多相关研究和方法被提出，但它们存在各种问题和不足。本研究主要从以下三个方面开展了工作：1）人脸属性协同估计研究；2）多层面关系挖掘利用的人脸属性估计研究；3）深度卷积特征拓展的人脸属性估计研究。具体而言，1）在人脸属性估计方面，从语义空间正则、多通道语义关系协同等层面进行了研究，构建了相应的人脸属性估计模型；2）在关系挖掘利用的人脸属性估计方面，对人脸不同属性内部关系（如结构关系、近邻关系、特征关系、标签关系、空间关系）、属性之间关系（如属性语义关系、语义空间关系、属性结构关系）、跨视图关系（如判别流形相关性、判别语义相关性）、跨数据库知识迁移关系等多个层面的关系进行了挖掘及在人脸属性估计中的融合利用；3）通过深度卷积通道融合等方式构建了深度网络架构，实现对所建人脸属性估计模型的架构拓展，提升了其判别和泛化能力。对以上所建模型，设计了相应的求解算法，并提供了算法收敛分析（深度模型除外）。最后，通过在真实人脸数据集上的大量实验，验证了所提模型和算法的有效性和优越性。相关研究成果已在IEEE TNNLS、IEEE TCYB、ACM TIST、CVIU、IVC、Neurocomputing、软件学报等国内外重要期刊（会议）发表或申请（授权）国家发明专利。研究成果既可用于人脸属性估计任务，也为多任务学习、跨视图学习、领域适应等更一般的机器学习建模问题提供了重要参考。