图文认知过程中多刺激元之间的易化和约束机制研究

人脑是极为精巧和完善的信息处理系统，是人体内外环境信息获得、存储、处理、加工和整合的中枢。因此，对人脑认知的研究具有重大的科学意义。多媒体因其对信息表示的直观性和准确性，已成为人类认识世界最常用的信息载体，几乎所有的多媒体信息都同时包含了图片和文字。但迄今为止，图文共同作用下的人脑认知机理还不甚清楚。本项目研究图文环境中图片认知和语言认知之间的易化、约束机制，通过揭示其认知特征，为图文环境下人脑认知的工作机制提供理论依据。本项目拟采用事件相关电位（ERPs，Event-related Potentials）研究方法，设计新型的实验范式，对ERP的成分从极性(P/N)、波幅、潜伏期、头皮分布等多个方面加以分析，建立图文环境下图片认知和语言认知过程之间的易化和约束模型，之后在该模型中引入情感变量，研究其对图文认知的调制作用。

为了研究图文之间的交互作用，我们通过观察不同条件下的正性偏移和负性偏差，研究了其实际唤醒水平的变化。我们使用情感文字和情感图片构造四种条件下的刺激材料，分别是：（1）Word Only condition，（2）Picture Only condition，(3) Word Before Picture condition， (4) Picture Before Word condition。 在（3）（4）条件下文字和图片的情感和语义内容是一致的。在the Picture Only和the Word Only条件下，我们发现显著的负性偏差，而在其他两种条件下观察到显著的正性偏移。这说明，图片和词组结合的刺激材料的唤醒度并不等同于单独图片和单独词组情况下的唤醒度，而单图和单文字情况下的唤醒度没有区别。这些结果说明，内容上的一致性可能在某种程度上降低了情感的唤醒度，且图片和词组之间的影响互不同。.同时，我们使用ERP研究方法证明了图文干涉任务中图文之间的情感易化作用。20名受试被要求对带有情感一致的位于中央或一侧的文字的图片的情感价态进行分类。与Picture-only presentation相比，无论是Foveal word presentation还是Lateral word presentation情况下反应时间均变短。与the picture-only presentation相比，P200的振幅在the foveal word presentation情况下会增大，而在the lateral word presentation情况下会降低。这说明文字出现在图片中央比文字出现在图片的一侧需要更多的注意力资源。对伴随文字的刺激，无论文字位置如何，都引发了潜伏期更短的P300，说明伴随的情感一致的文字易化了大脑对情感图片的处理。这证明了情感易化作用，且该结论与心理学上的结论一致。LPC的振幅看上去只和情感价态有关，而与文字的位置没有关系，当情感为正性的时候，无论文字位置如何，LPC的振幅都要大于Picture-only presentation的振幅，这符合正性偏移的特点。这些结果说明，情感易化的时间窗可能与P300相关。