基于多模态数据的语音相关面部形变机理研究

三维人脸语音相关的形变是真实感人机交互中重要组成部分。广泛应用于可视语音合成和三维人体动画中。该项目致力于语音特定的面部形变机理的研究，结合基于物理的三维人脸静态结构和运动捕捉数据分析语音相关的面部形变机制，构造可视语音单元形变动态模型，分析不同人脸形变风格差异，使动态模型具有一定泛化能力能够适合不同风格人脸语音形变合成。.该研究整合多种来源数据：三维激光扫描获取的人脸表面静态模型、行为捕捉设备获取的面部特征动态轨迹、音频数据流等。建立高精度静态三维人脸模型到稀疏特征动态轨迹的映射，特征动态轨迹流数据和音频信号之间的映射等，构造基本发音单元对应的形变动态模型以及单元之间的转移矩阵，并实现基于音节动态模型的可视语音合成。