视听觉时空间信息整合的脑机制研究

The integration of auditory and visual information plays an important role in the brain's information processing. However, the exact mechanisms are still not well understood. Research has shown that the process of integrating visual and auditory information depends on qualities belonging to the visual and auditory information respectively, and can be seen as an integrated processing of the various constituents present in the audiovisual information. A pressing current research issue is how to isolate the integration of a singe distinct constituent factor within a complex audiovisual integration process, without involving the influence of attention. Within this project, we focus on two of the most fundamental properties of a stimulus, its temporal and spatial characteristics, using implicit learning effects to isolate temporal integration, spatial integration, and temporal-spatial integration from the audiovisual integration process. We use behavioral techniques, ERP and fMRI brain imaging technology to examine the mechanisms of audiovisual temporal integration, spatial integration, and spatial/temporal interactions. At the same time, by studying audiovisual integration over various temporal-spatial intervals, we are able to examine the mechanisms by which temporal-spatial information influences the integration process, and construct theoretical models of temporal-spatial audiovisual integration processes on this basis. This research has great significance for the exploration of the generalized theoretical models and algorithms for multi-sensor data fusion.

视听觉信息整合在脑信息处理过程中发挥着重要的作用，但它的确切脑机制尚未阐明。大量研究显示视听觉信息整合加工与视听觉信息自身所具有的信息要素有关，它可以看做是对视听觉信息中的各个信息要素的综合处理过程。如何从复杂的视听觉信息整合加工过程中分离出单个信息要素的整合而不包含注意的影响是目前迫切需要解决的问题。在本项目中，我们抓住时间和空间这两个最基本的要素，利用内隐学习的特性，从视听觉信息整合过程中分离出时间信息整合、空间信息整合和时空间信息整合的加工过程。采用行为学、ERP和fMRI脑成像技术考察视听觉时间信息整合、空间信息整合、时空间信息整合及时间信息整合与空间信息整合相关性的脑机制，同时通过研究不同时空间间隔的视听觉信息整合，考察时空间信息在视听觉信息整合过程中的影响机制，并在此基础上构建视听觉时空间信息整合的理论模型。本研究对探索多传感器数据融合的广义理论模型及算法具有十分重要的意义。

近年来，多传感器数据融合技术已成为自动化控制领域的研究热点之一。然而，目前的多传感器数据融合技术尚未形成统一的融合理论和有效的广义融合模型。人脑是一个优化的多感官信息融合系统，它能自动的联合来自不同感官通道（眼、耳、鼻、四肢等）的信息(景物、声音、气味和触觉等)对外部世界中的事物进行统一感知。本项目采用基于脑电的事件相关电位（Event-related potential，ERP）和功能性核磁共振成像技术（Functional magnetic resonance image, fMRI）研究了视听觉信息加工过程中时空间两个信息要素的整合脑机制，并研究了视听觉信息间的时间间隔及空间位置差异对视听觉信息整合的影响。我们利用人脑具有内隐学习的特性，分离出了视听觉时间信息整合、空间信息整合的加工过程，并研究它们的脑功能机制。主要研究结果包括：（1）视听觉时间信息整合、空间信息整合促进了人们对视觉信息的判断，发现了视听觉时间信息整合与空间信息整合相关的脑电成分及脑功能区；（2）视听觉信息间的时空间关系可靠性是发生视听觉信息早期整合的必要条件，双侧枕叶（bilateral lateral occipital complex, bilateral LOC）与视听觉信息间的时间可靠性相关，纠正了很多研究者认为LOC与视听觉信息一致性相关的误区；（3）视听觉信息间时间间隔影响了视听觉信息整合，当听觉信息早于视觉信息50ms提示时，视听觉信息整合效果最强；（4）视听觉信息间的空间位置差异影响了视听觉信息整合，当任务无关的听觉信息出现在被试者的正前方和正后方时，视听觉信息整合的效果最强，当任务无关的听觉信息出现在被试者的正左方和正右方时，视听觉信息整合的效果最弱，表明人脑对来自正前方和正后方的信息是敏感的。（5）在被试者的前方，正前方的视听觉信息整合效果要强于周边的视听觉信息整合。基于本项目的研究成果，撰写学术著作1部，发表学术论文11篇，其中SCI收录5篇，EI收录论文4篇。研究视听觉信息整合的认知与脑机制有助于揭示人类脑认知过程的基本规律，尤其是揭示多感觉信息处理的脑机制，该项目的研究对探索多传感器数据融合的广义理论模型具有十分重要的意义。