动态面孔语音情绪的整合加工及神经生理机制

The integration of facial-vocal emotion is an important factor for successful communication that intrigue psychologists and neuroscientists in recent years. Previous studies have elaborated on the behavioral performance and the influence factors for facial-vocal emotion integration, as well as "when" and "where" information from the two modes integrated. However, It remains open questions whether the integration of facial-vocal emotion follows the principles of multisensory integration (eg.the principle of inverse effectiveness),and how the bimodal emotional information merges into a coherence emotional object. Therefore,taking "whether facial-vocal emotion integartion obeys the principle of inverse effectiveness" as main line, we designed six experiments which manipulated emotional salience of the dynamic facial-vocal emotional stimuli and task demands systematically. Moreover, using multi-dimentional analysis of behavioral and EEG data, expacially time-frequency and coherence analysis of EEG data, we aimed to answer the two proposed questions, to further reveal the neurophysiological mechanism of facial-vocal emotion integration.

面孔、语音情绪整合加工是社会交往的重要技能，近年来逐渐引起心理学、神经科学研究的关注。当前研究较为系统地考察了双通道情绪整合的行为表现和影响因素，也很好地回答了"何时整合"与"在哪里整合"两个认知神经科学关注的问题，但对"面孔、语音情绪整合是否遵循一般感觉整合的核心规则--颠倒效应规则（the principal of inverse effectiveness）？双通道情绪信息在大脑中如何整合为一？"两个关键问题都还缺乏系统研究。因此，本项目用动态面孔-语音刺激为实验材料，以考察面孔、语音情绪整合是否遵循颠倒效应规则为主线设计了六个实验，系统操纵面孔、语音刺激的情绪凸显度和任务要求，采集行为和脑电数据。然后从多角度对行为、脑电数据进行分析，特别是神经振荡（时频、相干）分析，系统考察动态性面孔、语音情绪整合是否遵循颠倒效应规则，并说明双通道情绪信息在神经振荡层面如何整合。

在本项目的资助下，我们围绕“动态面孔语音情绪的整合加工及神经生理机制”这一科学问题，共在国内外主流专业学术杂志发表学术论文6篇（其中SCI/SSCI收录论文5篇），国际会议论文1篇。主要取得了如下三个方面的成绩：一是考察了情绪变化加工中的双通道情绪整合，发现双通道情绪信息可通过P300皮层电活动与右侧前额区的theta振荡节律变化而整合成单一情绪客体，并促进人类对情绪变化的检测，该过程可能受到注意指向的调节；二是探索了情绪信息加工的神经振荡相关物，发现发现语音情绪变化加工与Theta能量增加和beta能量降低相关，前者不受注意指向的影响，而后者受注意指向的调控，而语句中情绪信息加工与概念信息加工均与Theta能量增加相关，但情绪信息加工还与gamma能量增加相关；三是探索了语音情绪强度对语音情绪加工加工的调控特点，发现不同情绪强度的刺激在P300上呈线性分离，二者P2等早期成分上只有中性与情绪性的分离，说明情绪强度可能在深度加工时线性地调控语音情绪加工。这些发现揭示了双通情绪信息整合机制、丰富了人们对情绪加工的神经振荡基础的理解，可为情绪障碍诊断和情感计算提供参考。