跨姿态人脸识别研究

跨姿态人脸识别是人脸识别技术向非可控条件下应用急需解决的科学技术难题。本项目对此展开针对性研究，研究内容主要包括：姿态估计、特征对齐和3D重建的同时迭代优化；面向姿态不变特征提取的多视通用判别特征子空间学习方法；基于局部特征弹性变形匹配的跨姿态人脸识别方法等。特别是针对姿态不变特征提取问题，我们将其形式化为寻求姿态不变的特征嵌入问题，并进一步将其形式化为"多视通用判别特征子空间"学习问题，即：针对K种姿态，同时优化学习K个线性变换，这些变换分别将不同姿态观测图像投影到同一个特征子空间中，且在该子空间内具有良好的类别可分性。同时，针对姿态差异导致的对齐误差问题，我们提出多姿态协同局部特征码本学习的方法，以容忍对齐误差，加速弹性匹配过程。预期上述理论和方法不仅可以有效的解决跨姿态识别的理论和实践应用问题，还可以解决更多一般性的"多视"不变模式识别问题。

项目组按照预定的计划，围绕跨姿态的人脸识别问题开展研究工作，取得了较大进展，体现在四个方面：1）在多姿态人脸对齐与姿态估计方面，我们提出了瀑布式剪枝和多阶段深度学习面部特征定位方法，实现了准确的姿态估计和特征定位，为后续人脸对齐提供了坚实的基础。2）针对跨姿态人脸的比对问题，我们提出的多视判别分析方法可以有效的提取多视共有的判别特征，所提出的渐进自编码深度模型以及结合3D的可变形位移场模型，实现了非正面人脸的正面化，从而可以完成跨姿态人脸的精确比对。3）在姿态鲁棒的通用人脸识别方法方面，提出了多种通过学习多姿态人脸数据分布获取姿态鲁棒性的人脸识别方法。4）在基础数据资源建设方面，构建并发布了COX多姿态、多摄像机视频人脸数据库。基于上述工作，课题组在领域顶级国际期刊上发表论文12篇（其中CCF A类国际刊物论文6篇），其他重要国际会议论文22篇（其中CCF A类国际会议论文8篇）。所发表的论文中，单篇被Google Scholar引用最高93次，另有一篇被Google Scholar引用72次。项目培养了相关方向博士7名（毕业5名，在读2人），硕士9人（毕业5人，在读4人）。其中，1人次获计算机学会优博，1人次获中科院优博。