属性迁移学习及其在面部几何与行为数据分析中的应用

The functional facial muscles perform elementary emotion and language communications. With the development of hardware, facial geometry and behavior data can be obtained efficiently. It is desirable to find an effective representation and to reuse facial expression and speaking-related geometries and dynamic deformations, and furtherly to process facial multi-attributes. Our project puts emphasis on transfer learning and its application in facial shape and motion analysis. Our study focuses on the structure-constrained embedding algorithm, where the structure prior is combined together with multidimensional scaling for semantic embedding of datasets with multiple attributes. The unsupervised manifold alignment is introduced to deal with label transfer problem of static and dynamic facial database. The graph-based manifold transformation framework is established to process the dual-attribute transformations in facial video replacements. The parameter transfer across shape spaces provides an efficient approach to estimate facial geometries. Our project has a variety of application scenaries, such as virtual broadcasting and lipreading, craniofacial clinic diagnoses, natural human-machine interactions, and etc.

面部功能肌肉组合进行人类最基本的情感和语言交流。随着信息获取技术飞速发展，采集头面部几何形态与运动数据日益迅捷。如何有效表达、重用面部表情、唇形相关几何形态与动态变形，如何提取、编辑颌颅面多重属性还缺乏一个紧致简洁的解决框架。本课题研究属性迁移学习及其在面部几何与行为数据分析中的应用，包括面向迁移学习的结构约束嵌入算法，通过多维尺度算法结合结构先验以实现不同属性数据的语义相关嵌入。我们研究非监督流形对齐算法，基于局部样本点和切平面估计变换，从而实现参照和目标数据集在共有嵌入空间中紧密重叠。同时基于流形对齐技术研究人脸静动态标注以及属性迁移算法的泛化问题。通过构造流形图结构给出处理人脸姿态和表情变换的一致框架，其中引入概率回归模型进行视频人脸属性替换。我们研究形状空间中参数迁移技术以实现三维颌颅面几何估计。本课题在虚拟播音和唇读、颌面医学临床诊断，自然人机交互界面等领域具有广阔的应用前景。

本课题基于迁移学习理论，着眼于面部几何形态与动态变形的有效分析、表达、重用，并在此基础上开发面部动态序列识别、标注以及姿态属性迁移的紧致、简洁有效的解决框架。在以下三个方面展开研究：（一）研究颌面部二维与三维图像中颅面结构的自动解析。我们提出了基于双模态深度学习的颅面结构解析，利用一个四层的网络结构构造侧位片图像块和形状参数之间的相关模型，将形状参数的自动获取问题定义为在不同模态数据之间形态信息的迁移，并获取鲁棒的形状估计。我们提出基于随机游走技术的颌面部三维解剖结构自动解析与分割方法，系统将柔化约束引入随机游走算法中，将三维图像分割定义为柔化约束下标记扩散以及非刚性的三维模型对体图像中牙列分割表面的拟合，实现三维锥束CT图像中牙列的自动分割。（二）研究基于流形对齐技术面部形状以及行为的自动识别。我们提出非监督密度森林流形算法，其中节点分裂时的双重判决标准有效处理高维人脸动态数据分布所带来的秩不足的问题。在低维嵌入空间的流形对齐技术为唇形识别提供了一个解决方案。基于决策树节点最优分裂策略估计对于聚类区分能力强的变形场分量，寻找解剖结构中的显著区域，并改进相似度估计以及种属分类性能。（三）研究基于协同嵌入的三维颌面图像配准。提出基于子集定义和流形距离的多模态图像配准技术，其中原始图像之间的差异转化为低维空间内流形到流形的距离，配准参数的求解转化为低维流形之间距离的最小化问题。依据上下颌骨稳定结构分析三维颌面形态变化，提出球灰度积分算子描述体素的上下文纹理信息，并估计参照与目标图像子集的图拉普拉斯矩阵用于协同嵌入以及高效的三维图像配准。在项目执行期间发表与录用论文 15篇，其中SCI 3篇，EI 12篇。 申请专利5项，获得软件著作权1项。三维颅面结构标注重叠技术相应软件已应用于口腔正畸临床。