不同加工处理阶段的视听觉整合及注意调节脑机制研究

The processing of bimodal audiovisual integration is very complex in the human brain. In addition, it is modulated by attention all the time in real life. So far, we are still unable to explain the exact neural mechanisms of audiovisual integration and how attention modulates the processing of audiovisual integration. This project plans to explore the neural mechanisms of audiovisual integration and its modulation by attention, using the methods of behavioral measure, event-related potentials (ERPs), functional magnetic resonance imaging (fMRI) and brain networks. Firstly, two experiments will be designed to divide the late-stage cognitive processing and early-stage perceptual processing on audiovisual integration using “bimodal stimulus”. Secondly, the neural mechanisms of audiovisual integration at the late cognitive stage and early perceptual stage, along with the mutual influence between different processing stages, will be investigated. Thirdly, modulation by attention on the mechanism of audiovisual integration at the different processing stages will also be investigated. Finally, the neural mechanisms of audiovisual integration will be illuminated through comprehensive analysis of audiovisual integration at the different stages. The project will provide theoretical basis and enlightenment for constructing the brain-like generalized theoretical models and algorithms of multi-sensor data fusion, which has important scientific significance to promote development of disciplines in the fields of artificial intelligence and intelligent systems.

人脑的视听觉整合是一个非常复杂的加工处理过程，在现实环境中它时刻受到注意机制的影响，到目前为止我们仍无法确切的解释视听觉整合及注意调节的脑机制。本项目拟将复杂的视听觉整合过程细化，采用“双模态”实验刺激设计实验，将视听觉整合的后期认知阶段和早期感知阶段的加工处理过程分离开，融合行为学、脑电、功能性核磁共振成像、脑网络等多种技术手段，分阶段的研究后期认知阶段和早期感知阶段的视听觉整合脑机制以及不同加工处理阶段视听觉整合间的相互影响，从局部到全局地探索视听觉整合加工处理脑机制，并在此基础上考察注意对不同处理阶段视听觉整合加工处理的调节机制，最终为模拟现实环境中人类视听觉整合加工脑机制奠定基础。本项目将为构建仿脑的多传感器数据融合广义理论模型及算法提供理论依据和启示，对推动人工智能与智能系统学科的发展具有十分重要的科学意义。

人脑的视听觉整合是一个非常复杂的加工处理过程，在现实环境中它时刻受到注意机制的影响，到目前为止我们仍无法确切的解释视听觉整合及注意调节的脑机制。本项目将复杂的视听觉整合过程细化，采用“双模态”实验刺激设计实验，将视听觉整合的后期认知阶段和早期感知阶段的加工处理过程分离开，融合行为学、脑电、功能性核磁共振成像、脑网络等多种技术手段，分阶段的研究后期认知阶段和早期感知阶段的视听觉整合脑机制以及不同加工处理阶段视听觉整合间的相互影响，从局部到全局地探索视听觉整合加工处理脑机制，并在此基础上考察注意对不同处理阶段视听觉整合加工处理的调节机制。本项目主要研究内容有：（1）从时间和空间上研究视听觉整合脑机理及注意对其的调节，揭示了视听觉整合加工处理的脑机理；（2）通过引入“双模态”实验刺激，从视听觉整合的加工处理中去掉了早期共刺激整合，分离出后期语义整合的加工处理以及注意对语义整合的调节作用；（3）基于fMRI数据建立了视听觉整合的皮层网络模型，基于图论方法分析网络的全局属性和节点属性，分析处理视听觉整合的脑网络结构特点，以及注意对网络的调节作用；（4）基于EEG数据建立了视听觉整合的多个频段网络模型，基于图论方法分析网络的全局属性和节点属性随时间的变化过程，揭示了不同频段网络与视听觉整合加工处理过程的关系；（5）建立了视听觉整合信息交互过程的DCM模型，根据最优模型的结构和参数，分析视听觉整合在局部脑网络中的加工处理过程，揭示了声音辅助视觉目标检测的脑机理。本项目为模拟现实环境中人类视听觉整合加工脑机制奠定基础，为构建仿脑的多传感器数据融合广义理论模型及算法提供理论依据和启示，对推动人工智能与智能系统学科的发展具有十分重要的科学意义。