基于人体姿态线索的谎言识别研究

A gesture is a form of nonverbal communication in which visible body actions deliver particular messages. Gestures, including both bodily pose and movements, are important and available cues to lie detection. An automatic lie detection system based on body gesture cues could have broad applications and far-reaching influence on anti-terrorism, national security, and criminal interrogation. This project investigates lie detection based on body gesture cues by employing experimental methods in cognitive psychology and techniques in computer vision. On one hand, elaborated psychological experiments are conducted, along with the data collected by a motion capture system and a high-speed camera, to find useful gesture cues and their psychological implications. Both ERP (with high temporal resolution) and fMRI (with high spatial resolution) are used to investigate the neural mechanisms of processing gestures. These psychological researches provide scientific foundations to develop an automatic gesture-based lie detection system. On the other hand, based on the data collected and the results obtained from psychological experiments, we will improve and optimize the existing gesture recognition algorithms for lie detection by analyzing the movements of gestures. Specifically, we investigate illumination and view robust descriptors for micro-gesture representation which have the discriminative ability to detect and recognize subtle gestures in video sequences. With this research, an automatic gesture-based lie detection system can be developed.

姿态是一种通过可见的身体姿势和动作来传递信息的非言语交流形式，包括肢体的形态特征和变化过程，是谎言识别中可以利用的重要线索。研发基于姿态线索的谎言自动识别系统，在国际反恐、国家安全、司法侦讯等领域都具有重大的现实意义和应用价值。本项目综合使用认知心理学实验方法和计算机视觉技术，开展基于人体姿态线索的谎言识别研究。一方面，通过精心设计的认知心理学实验，借助运动捕捉系统和高速摄像机，采用高时间分辨率的ERP技术和高空间分辨率的fMRI技术，分析和总结撒谎姿态线索的特征，探查主要影响因素，阐释其心理学意义和生物学基础，为研发基于姿态线索的谎言自动识别系统提供科学依据；另一方面，基于心理学实验采集的数据和研究发现，改进和优化已有的姿态识别算法，重点提出光照和视角不变的细小运动的描述方法，实现在普通视频上对部分重要的细微姿态和姿态变化的识别，为研发基于姿态线索的谎言自动识别系统提供技术手段。

姿态是一种通过可见的身体姿势和动作来传递信息的非言语交流形式，是谎言识别中可以利用的重要线索。本项目综合使用认知心理学实验方法和计算机视觉技术，开展基于人体姿态线索的谎言识别研究。主要研究内容包括：一是通过精心设计的认知心理学实验，借助运动捕捉系统和高速摄像机，采用高时间分辨率的ERP技术和高空间分辨率的fMRI技术，分析和总结撒谎姿态线索的特征，考察主要影响因素，阐释其心理学意义和生物学基础；二是基于心理学实验采集的数据和研究发现，改进和优化已有的识别算法，实现在普通视频上对表情和姿态变化的识别。研究成果主要包括：（1）获得了具有高鉴别力的副言语线索指标和运动信息，并发现谎言识别的准确率与注意的线索有关，注意躯干线索有助于正确识别欺骗行为；（2）发现反馈能够降低识别者的“不确定性”，提高谎言识别的准确率；暗示性运动能够影响观察者的注意选择的神经机制；一致性的变化在场景短时记忆中起着重要作用；并首次发现动作可以促进联结记忆；高强度的情绪面孔更能自动吸引个体注意，从而影响个体的欺骗反应；（3）发现微表情识别与宏表情识别具有不同的脑机制；微表情识别受背景情绪词的影响，存在背景表情效价效应，该效应发生在面部表情加工的早期阶段；表情的事后觉察率高于实时觉察率，事后觉察受表情强度和表情时长的影响，而实时觉察仅受表情强度的影响；（4）建立微表情彩色空间模型；提出一种光流域矫正和主方向平均光流特征的微表情识别方法；将稀疏张量典型相关分析方法用于微表情研究；通过主方向最大差异的方法进行微表情检测；（5）构建了数据库CASME Ⅱ和CAS(ME)^2，以及交互情境下欺骗行为的多模态信息数据库。本项目的研究发现深化了对谎言识别相关的姿态线索以及微表情等线索的理解，具有重要的理论意义；为研发基于姿态线索的谎言自动识别系统提供科学依据和技术手段，在国际反恐、国家安全、司法侦讯等领域都具有重大的现实意义和潜在的应用价值。