基于动态图形模型和音视频的情感识别方法的研究

本项目旨在利用动态图形模型允许观察值缺省和隐状态丢失的特性，解决在视频丢帧、音频干扰的情况下准确、实时识别表演者情感的问题。本项目主要研究基于视频的混合式情感特征提取方法，针对面部表情的不同单元采取不同方法提取情感特征，在保留情感信息的前提下最大限度地降低情感特征的数据维度；研究基于回归分析和一致性选择相结合的实时语音情感特征提取方法，结合实时语音特点，考虑说话的时长、环境及不同说话者等相关因素，提取较现有声学特征丰富的语音情感信息；研究构建允许观察值和状态缺省的动态图形模型的一般方法，并用此方法构建二维嵌入式动态图形模型，该模型能够融合音视频特征，允许音频信息干扰甚至丢失，允许视频序列丢帧、视频图象中因脸部旋转运动造成的表情关键区域丢失等情形，同时快速、准确地识别音视频环境中表演者的情感类别。本项目的研究成果可应用于开发智能化、人性化的新型人机交互环境，将产生很好的经济效益和社会效益。