基于分层子空间学习的三维动态人脸表情运动捕捉与迁移

Realistic 3D expression capture and transfer has abroad applications in human-computer interaction, virtual reality, video game, entertainment, film industry etc. Human being can act more than 7,000 kinds of expressions, which behave very complicatedly and possess characteristics of high dimensions and nonlinearity. On the other hand, high-quality expression capture usually requires a huge database of human expressions. In this project, based on hierarchical Gaussian process latent variable model (HGPLVM), we aim at building a statistic machine learning framework to capture high-quality dynamic expressions. HGPLVM is an effective nonlinear method, which can build a mapping from low-dimensional space to high-dimensional space while overcoming the drawbacks of linear methods, thus especially suitable for small samples and high dimensionality. We propose a hierarchical expression model, and implement the connection and control between global expressions and local features. We decouple the motion capture data and map them into the subspace. Then we track the facial motion by using on-line incremental PCA, and extract high-dimensional expression signals to control the avatar face. By exploiting detailed facial features extracted from the layered facial model, we further transfer realistic expressions by using the embedded deformation technique.

逼真的三维人脸表情捕捉和迁移在人机交互、虚拟现实、游戏娱乐、影视工业等领域具有广阔的应用前景。人类能表达多达7000种表情，表情的描述也极其复杂，具有高维、非线性的特点；精细表情的捕捉往往需要构造非常庞大的3D人脸表情库。本项目拟基于分层高斯过程潜变量模型，构建一个新的基于统计机器学习的处理框架，以获取高精度的三维动态人脸表情。我们的模型作为一种有效的非线性流形子空间方法，克服了线性方法的局限，建立了从低维隐空间到高维空间的映射关系，并且尤其适合处理小样本的高维数据。我们将脸部表情分层，高层为整体表情外型，低层为局部脸部特征，并实现全局表情与局部特征之间的关联与控制。我们对运动捕捉数据进行解耦、子空间映射等离线预处理，然后利用在线增量主成分分析对人脸进行跟踪，并将高维表情信号用于控制虚拟人脸表情。同时，我们的分层细节模型提取出细节的个体特征，通过嵌入式三维形变技术实现精细的真实感表情迁移。

逼真的三维人脸表情捕捉和迁移在人机交互、虚拟现实、游戏娱乐、影视工业等领域具有广阔的应用前景。人类能表达多达7000种表情，表情的描述也极其复杂，具有高维、非线性的特点；精细表情的捕捉往往需要构造非常庞大的3D人脸表情库。本项目基于分层高斯过程潜变量模型，构建了一个新的基于统计机器学习的处理框架，以获取高精度的三维动态人脸表情。我们的模型作为一种有效的非线性流形子空间方法，克服了线性方法的局限，建立了从低维隐空间到高维空间的映射关系，并且尤其适合处理小样本的高维数据。我们将脸部表情分层，高层为整体表情外型，低层为局部脸部特征，并实现了全局表情与局部特征之间的关联与控制。我们对运动捕捉数据进行解耦、子空间映射等离线预处理，然后利用在线增量主成分分析对人脸进行跟踪，并将高维表情信号用于控制虚拟人脸表情。同时，我们的分层细节模型提取出细节的个体特征，通过嵌入式三维形变技术实现精细的真实感表情迁移。