具有表现力的可视语音合成的研究

人们在面对面交流时，很自然地用到了语音和表情等行为，通过这些行为传达自己所要表达的意思。融合语音和人脸动画的可视语音合成技术，是近几年来人机交互领域中非常热门的研究课题之一。而这项技术目前还没有被推广开来，主要瓶颈在于语音与人脸的同步分析还多局限在唇部，与语音同步的表情生成方法目前还有很大的不完善，其原因在于人们对人脸及其运动太熟悉，对其运动的动态同步特性、表情与韵律的协同方式非常敏感。如何解决以上这些关键问题是本项目主要研究内容。本项目将以现有的语音唇动技术和视位模型为基础，建立融合整个脸部形变运动的视位模型，通过其相似性比较，建立从宽语境下的语音声学特征和韵律特征到人脸运动信息的非线性映射模型，最后通过视位模型与数据驱动方法的结合，从而实现具有表现力和逼真人脸表达效果的可视语音合成系统。此项研究对推进和谐人机交互研究的发展将起到重要的作用，同时还将有着广阔的应用前景。