基于微表情的类人情感理解及其在危险行为预警中的应用

Violence is on the rise around the world. In order to advance warning of it, researchers began to pay more and more attention to the area of automatic identification and warning of dangerous behavior. Micro-expressions are inadvertently showing of human expression and lasts only 1/25-1/5 seconds. Micro-expressions reveals a person's true intentions, and is one of important clues of the detection process to prevent dangerous behavioral. This project intends to study and propose algorithms and technology for human-like emotional analysis and its application in warning of dangerous behavior based on micro-expressions. Main research contents include: 1) To propose an efficient Micro-expression detection algorithms to detect and locate Micro-expression in high-speed, high-definition video; 2) To propose robust Micro-expression feature extraction algorithms to extract robust features from facial and body motion videos, these features should be effective for next step of emotion analysis and warning of dangerous behaviors; 3 ) To design an artificial intelligent model to fuse the expert knowledge and multi-mode features extracted in step 2 , the final purpose is to implement system of human-like emotion analysis and warning of dangerous behavior. This project of the Micro-expression feature extraction and analysis technology is a cross-cutting research project involving multiple disciplines of computers, signal and information processing and clinical psychology, has important theoretical and practical significance, and may contribute promote mutual exchanges in various research areas and promote the development of related technologies.

世界各地的暴力事件呈上升态势，为了提前预警，研究人员开始研究相关自动识别和预警技术。微表情是人类无意间流露出的表情，持续时间仅1/25-1/5秒,它揭示了人的真实意图，是危险防范检测过程中必不可少的行为线索。本项目拟研究和提出基于微表情的类人情感理解及危险行为预警算法，研究内容包括：1）提出高效的面部微表情检测算法，实现在高速高清视频中快速检测定位微表情；2）提出稳健的广义微表情特征提取算法，实现对面部视频和姿态动作视频的特征提取，为情感理解及危险行为预警提供可融合的有效描述；3）设计智能决策模型，融合专家知识及多模特征，实现类人情感理解及危险行为预警。本项目针对微表情特征提取及分析技术的研究是一项交叉性的研究课题，涉及计算机、信号与信息处理和临床心理学等多个学科，具有重要的理论研究和实际应用意义，有助于促进各研究领域的相互交流和推进相关技术的发展。

本项目围绕基于微表情的类人情感理解及危险行为预警这一主题，分别从面部微表情检测、广义微表情特征提取以及智能决策模型三个层面展开研究，典型研究成果包括：1）在面部微表情检测方面：从面部宏观表象角度，提出了基于MHOOF特征的微表情识别算法；从面部微观细节角度，考虑面部AU的共生性，提出了基于多任务深度学习的鲁棒表情共生点检测及强度估计算法以及轻量级CNN模型。2）在广义微表情特征提取方面：针对广义微表情的肢体表情识别和理解，提出了基于层级编码的肢体表情描述方法，有效解决了现有方法中存在的独立编码致特征关联信息缺失、无序编码致时空信息缺失以及单层编码致高层信息缺失问题，提高了正确识别率；针对广义微表情的场景分类和情感理解，提出了一种基于多视图学习的多视图Hessian半监督稀疏特征选择算法，实验结果表明所提算法优于现有的半监督稀疏特征选择算法，能够提高图像及场景理解的性能，有助于解释类人情感理解及危险行为预警所涉及的When、Where属性。3）在智能决策模型方面：结合零样本学习理论，提出了具有样本对齐及动态保持特性的零样本识别方法，可解决现有方法时序信息缺失、域偏移现象严重以及类间差异性缺失的问题，可有效缓解域偏移现象，提高零样本识别的正确率，从一定程度上解决广义微表情样本不易获取的问题；结合深度学习理论，提出了基于特征重标定策略的长期循环卷积神经网络，可通过构建像素、帧粒度上的注意力机制挖掘视频行为的帧内、间依赖关系。以上三方面的成果在公开数据集上进行了大量实验评估和算法分析，取得了令人满意的实验效果，共完成学术论文28篇，其中包括IEEE Trans. CSVT、 IEEE Trans. IP等期刊论文以及CCF A类会议ACM MM论文，获得授权发明专利1项。