听视觉融合情感描述与表达的关键问题研究

拟建立一个融合发音特征和面部表情特征的听视觉情感描述模型，该模型把人类带有情感的讲话中，情感、发音器官状态、面部表情器官状态和音视频观测量，有机地融合到一个模型框架中去，为其动态关系建模，而且允许发音器官和面部表情器官的运动在整个语句内异步，从而尽可能合理充分地描述音视频所携带的情感信息。为评价模型的正确性与有效性，拟推导听视觉多模态情感识别算法，进行情感识别实验；推导与语音及情感变化相一致的面部动画参数学习算法，构建带有表情的面部动画，并评价其自然性和表达情感的有效性。最后，作为听视觉情感描述模型的应用实例，将构建一个具有情感感知和情感表达能力的说话人面部动画系统。此听视觉情感描述模型包含信息量大，可扩展性强，克服了现有听视觉情感识别中，没有考虑语调表情和视觉表情的紧密耦合和异步关系的缺点；克服了情感面部动画合成中，过于简化说话内容和情感对面部参数的影响，以及音频视频单元不匹配的缺点。