上下文感知的人脸表情理解研究

人脸表情理解在人类的非语言交流中尤为重要，实现人机交互中的人脸表情自动理解对于提高人机情感交互智能具有十分重要的意义。人脸表情所能表达的信息极为丰富，国内外研究者大多直接将人脸表情简单识别为高兴、悲伤、惊讶、害怕、嫌恶和生气等基本情感或多个面部动作单元，但未联系与人脸表情相关的上下文信息，仍未实现智能和有效的人脸表情理解，很难应用于实际。本课题提出上下文感知的人脸表情理解研究，对个性上下文感知的人脸表情理解、社交上下文感知的人脸表情理解和情感上下文感知的人脸表情理解进行创新性研究。拟解决上下文感知的人脸表情理解建模、人脸表情上下文感知方法、人脸表情学习和推理等关键问题。通过上下文感知弥补人脸表情识别的不足，实现对人脸表情的智能理解，将提高机器智能，早日实现和谐的人机交互。

人脸表情所能表达的信息极为丰富，一般将人脸表情与高兴、悲伤、惊讶、害怕、嫌恶和生气等基本情感相联系，或将人脸表情理解为多个面部动作单元的组合，这些方法都具有局限性，不能完全表达人脸表情的含义。感知人脸表情相关的上下文信息对于实现智能和有效的人脸表情理解具有重要意义。本课题进行了上下文感知的人脸表情理解研究，对个性上下文感知的人脸表情理解、社交上下文感知的人脸表情理解和情感上下文感知的人脸表情理解进行了创新性研究。本课题建立了个性表情数据库、上下文相关的多模情感数据库；提出了上下文感知的人脸表情理解模型；研究了多种人脸表情上下文感知方法，如个性上下文、光照上下文、个体面部差异上下文、文本交互上下文、Backchannel上下文、情感语音上下文、人脸非对称性上下文等；提出了多种人脸表情特征提取、识别、学习和推理等方法。发表论文11篇（其中SCI收录5篇，EI收录10篇，ISTP收录1篇），申请发明专利4项（其中国际专利1项，2项已授权）。培养硕士生4 人，博士生1 人，博士后1 人。