基于多张异源图像的人脸三维重建

近二十年来人脸识别技术的发展推动了大规模人脸图像数据库的建设。这些数据库中的人脸图像在不同时间，不同环境下由不同的设备采集，因此可以称为异源人脸图像。数字成像技术的发展和普及也使得高质量的异源人脸图像海量存在于个人相簿、社交网站等网络媒体中。同一目标人的异源人脸图像实际上蕴含了其人脸表面丰富的信息，包括三维结构和反射特性。当前包括人脸识别在内的人脸技术正在经历一个从二维图像到三维模型的关键性进化，这其中所面临的一个瓶颈就是三维人脸数据获取。针对这一现状，我们提出利用多张异源人脸图像进行人脸表面三维重建的研究。异源图像之间光照、角度的差异是三维重建的基础，而异源图像数据的不确定性和不一致性则是三维重建面临的主要难点。本研究旨在寻求一种准确、鲁棒、高效、便捷的人脸三维数据获取途径，推动人脸技术的进化。除了人脸识别之外，本研究的成果也可以应用于医疗、娱乐、文化等涉及人脸技术的领域。

真实的人脸表面具有复杂的表面形状，纹理和反射特性。这些变化很难用特定投影下的二维图像晚完备地描述。因此，人脸三维重建是已经包括人脸识别在内的各类人脸技术应用的重要基础。传统的三维人脸重建技术往往需要在受控的环境下获取特定姿态或光照的人脸图像。这极大地限制了这些技术更加广泛的应用。而现实情况是，随着数字成像技术的发展以及网络技术的普及，高质量的异源人脸图像海量地蕴藏在各类网络媒体中。这些图像实际上蕴含了人脸表面丰富的信息。本项目正是旨在探索从这类图像中重建三维人脸的关键技术。..异源人脸图像由于获取的环境、方式和设备的不同，存在多层次差异性。 检测和消除这些差异是三维人脸重建的基础。针对异源人脸图像易失配的问题，项目着重研究了复杂条件下的高精度人脸特征点定位，提出了一种基于人眼器官几何形态约束的眼球精确定位算法。针对异源人脸图像质量差异问题，提出了一种基于多特征融合和排序学习的人脸图像质量判别算法，可以有效地对人脸图像实现自动质量评分。进而避免了低质量的人脸图像蕴含信息的不可靠性导致的三维人脸重建精度退化。这一方法还有效地提高了非受控环境下多实例人脸识别的鲁棒性。从二维人脸图像重建三维人脸本质上是一个欠定的问题。针对这一特性，项目重点研究了异源图像三维重建中信息补充的方式。针对具有姿态变化的类序列的异源人脸图像，提出了一种结合稀疏重建和稠密重建的递进式算法，并在其中实现了鲁棒的特征点追踪和筛选。针对人脸本源的对称特性，提出了一种非对称性鲁棒的人脸镜像算法，提升了异源人脸图像对光照子空间的支撑，进而实现了极度欠定条件下的人脸三维重建。利用异源人脸图像表面反射情况的差异性，提出了一种迭代式的表面法向量和反射参数估计的算法，实现了高精度的人脸三维重建。我们还提出了多种融合了三维人脸重建的人脸识别框架，从应用层面验证了项目中提出的三维人脸重建的方法的有效性。..项目中提出的创新性的方法不仅以多篇学术论文的形式在本领域主要的国际期刊及会议上发表，还以软件模块的形式融入实验室既有的人脸识别系统中，相关应用成果支撑了研究工作获得省部级奖励。部分研究成果更是以开放共享的形式提供给本领域中其他研究者试用。本项目创新性地提出了基于广泛存在的异源人脸图像驱动的三维人脸重建问题，并验证了其可行性和有效性。项目产生的诸多关键性技术，可给相关的研究者提供借鉴和基础，推动本领域研究的发展。