非受约束环境下双目视频监控人脸序列组配准模型研究

Binocular video face sequences do not only contain temporal-spatial information, but also information from different views. They can provide strong support for face groupwise alignment. However, the groupwise alignment model using them is susceptible to face pose and expression variation. Illumination variation, occlusion and noise make the problem more serious. All these constrain the use of the model in face analysis. Thus, we will segment binocular video according to face pose, and consider faces from different views, intragroup and intergroup as a whole for face subsequence. Local feature descriptors and spatial relational operators are used for intensive corresponding of intergroup and block alignment of intragroup to establish a local model for groupwise alignment. Effect of illumination variation, occlusion and noise on the model are analyzed, so that robustness of the model can be obtained. Temporal-spatial correlation of face regions are used to explore smooth transition between local groupwise alignments in order to establish a global model for groupwise alignment. Globally optimal model for groupwise alignment can be obtained by cost function. The research results are not only of significance for face 3d reconstruction, especially reconstruction of face details, but also have important effect on development of practical 3d face recognition systems.

双目视频人脸序列不仅包含时间和空间信息，而且包含不同视角信息，可以为人脸组配准提供有力支持。然而，综合利用这些信息的组配准模型易受人脸姿态和表情变化影响，光照变化、遮挡和噪声使问题更为严重，制约了这类模型在人脸分析算法中的应用。为此，拟按照人脸姿态分割双目视频，对人脸子序列综合考虑不同视角人脸、组内和组间人脸，使用局部特征描述子和空间关系运算符研究组间密集对应和组内块配准，建立局部组配准模型。分析光照变化、遮挡和噪声对模型的影响，增强模型的鲁棒性。使用人脸区域的时间和空间相关性，探索局部组配准间的平滑过渡，形成全局组配准模型。研究造价函数，取得全局最优的组配准模型。所研成果不仅对人脸三维重建，特别是人脸细节重建具有重要意义，而且对于实用三维人脸识别系统开发具有重要影响。

获取视频人脸紧致轮廓且保证运动域平滑对于人脸识别具有重要意义，然而，非受限情况下人脸姿态变化、光照变化、人脸表情变化、遮挡是影响视频人脸配准的难题。首先，构造了局部人脸配准通用框架，在框架下描述且比较了三种方法，考虑双目视频人脸序列，把受限局部模型(CLM)应用于图像人脸，通过分析拟合性能确定不同视角人脸间松散对应建立的可行性，研究发现: 使用CLM有时无法取得人脸紧致轮廓的标定点集；有时标定点集部分偏离实际位置。把一对人脸作为信息单元，配准时刻考虑当前人脸对和之前k对人脸所构成的组，利用单一序列中人脸间的时间和空间连续性与人脸对间的极线几何约束研究组配准，从而解决使用CLM时的第一个问题。在2D空间难以解决使用CLM的第二个问题。其次，分析了组配准算法将使用的特征描述符和组合，研究发现：组合描述符更具优势且每种描述符都发挥作用。研究在2D空间人脸数量增加对刚性组配准性能影响，研究发现：因深度信息丢失，人脸数量增加没有提升单一人脸的配准性能。在非受限情况下借助金字塔光流研究连续人脸的标定点集间连续性描述的可行性，研究发现：光流可以描述连续标定点集间关联。因此，在构造双目视频人脸组配准时使用了组合特征，约束了k尺寸，使用光流描述连续标定点集间关联，研究发现：使用这种方式取得的组配准模型更为稳定。最后，研究了双目视频人脸序列连续追踪期间组的平滑过渡，以当前人脸对和之前k对人脸作为一组，利用3D人脸模型对CLM中布局施加约束且使用CLM进行图像人脸配准，利用时间和空间连续性描述临近组的重叠人脸标定点集间关联，实现组间平滑过渡。研究发现：对于姿态快速变化情况组配准模型仍然能够保持好的配准性能。所研内容的科学意义在于探索双目视频人脸密集对应方式，从而为人脸分析提供理论与技术支持。