困难光照下基于结构化预测学习的层次化人脸可形变模型研究

正确理解和跟踪人脸是构建能在复杂人类环境中自主工作的智能系统的首要和关键步骤，通过统计学习方法紧凑表示对象形状的可形变模型是达成这一目标的重要手段。本项目拟结合机器学习和计算机视觉领域的知识和方法，研究并构建复杂光照条件下高精度和高鲁棒性的层次化人脸可形变模型。具体而言，项目拟针对现有方法的不足，将自动人脸图像分析问题抽象为结构化预测学习问题，在建模过程中充分发掘和利用输入空间和输出空间各自的内部结构特点及其依赖关系，建立更鲁棒的人脸可形变模型，并缓解现有方法因没有充分利用信息而导致的局部极小问题。同时将研究各种中低层视觉信息及弱监督信息的利用问题，以进一步减少模型拟合的模糊性，并有效降低手工标注的代价。本项目的开展不但能有效提高计算机对非结构化视觉感知信息的能力，更好满足实际应用需求，还可为复杂环境下视觉信息的理解提供新的计算模型和研究思路，为相关基础理论作出贡献。

本课题的总目标是结合机器学习和计算机视觉领域的最新研究成果，通过充分发掘和利用图像数据内在的结构信息及其包含的丰富中低层视觉信息，构建并发展困难场景下高精度和高鲁棒性的人脸图像理解模型，从而提升现有机器在复杂条件下对人脸图像的基本认知能力和理解能力。为达成上述目标，我们在以下三方面进行了深入研究：1）困难场景下的人脸可形变方法及人脸图像理解方法，项目从自动检测和定位人脸图像的主要特征(如眼、鼻、嘴等)入手，建立了自适应的人脸形变模型，并将其用于人脸图像理解，如人眼状态识别、人脸属性表示等；2）鲁棒的模式识别方法。在真实的视觉应用场景中，常常需要以弱监督的方式来弥补标号信息不足的问题，另外一方面，图像数据的规律常常包含于局部空间之中。针对上述问题，项目提出了多种弱监督场景下的学习方法，并提出了利用图像局部空间信息的新方法；3）利用前述研究结果来解决现实场景下的计算机视觉问题。项目将前述工作发展的可形变人脸建模技术扩展到非控制条件下的人体姿态估计，并进一步进行动作识别；在花卉对象分类、复杂视频流下的对象计数、图像去模糊等应用问题上提出了新的解决方法。总体而言本项目完成并扩展了既有目标，有效提高了计算机对非结构化视觉感知信息的能力，更好满足实际应用需求，还为复杂环境下视觉信息的理解提供了新的计算模型和研究思路，为相关基础理论作出了贡献。