多模态信息整合在非模补整过程中的作用及其机制

Signals for communication in natural habitats are disturbed and masked during their transmitting, resulted in incompletion of signaling. Amodal completion is a repairing process on which the central nervous system can recognize fragmentary signals. Multimodal integration can prompt this cognitive process through signal compensation between modals. The present project will investigate the mechanisms for amodal completion based on the integration of visual and auditory inputs. Most frogs communicate vocally during the breeding seasons. The sac expands and shrinks repeatedly in production of calls, which become a unique model to study signal integrations. We predict that the central nervous system can easily complete a fragmentary multimodal signal if two modals (e.g. auditory and visual signaling, occurred in the situation that some auditory disable persons can communicate through hearing and lip-reading) are compensation in the temporal dimension while overlapping in the spatial dimension. This process can be testable, reflected with responsive behaviors. The capability of amodal completion is very important for animals in adaptation to communication under noisy and/or weak lights. Our study will illuminate behavioral mechanisms of multimodal integration in amodal completion and ecological significances.

通讯信号在自然环境中传播，受各种干扰而导致信号受损。非模补整（Amodal completion）是指中枢神经能够自动修复残缺信号的感知信息，以完成对信号的准确认知。多模态整合（Multimodal integration）可通过信号间的互补，促进信号修复。本项目旨在通过非模补整探讨蛙类视觉与听觉信号的相互作用机理。多数蛙类在繁殖季节以鸣声通讯，鸣囊又可形成视觉刺激。视/听整合已成为一个热点领域，在蛙类的研究却很少。我们认为：当视觉和听觉信号具有时空互补性时，即视觉与听觉信号来自同一空间位置而缺失的部分在时间上错开，变单一模态（听）下不可修复的残缺信号为多模态（视/听）下可修复信号，且其结果可以通过行为呈现。这一过程对于在强噪声（池塘）和极弱光（夜间）背景下的通讯尤为重要，是动物适应环境的神经行为机制之一。我们的研究将揭示动物对残缺语音信号的认知机理和多模态整合的生态适应意义。

通讯信号在自然环境中传播，受各种干扰而导致信号受损。长期的进化和适应，许多动物包括人类具有对残缺信号进行补全的能力。非模补整（Amodal Completion）是指中枢神经能够自动修复残缺信号的感知信息（即所谓的“脑补”），相当于在高级中枢对不完整的输入信息进行类似计算机的插值处理，然后做出相应决策的过程，以完成对信号的准确认知。多模整合（Multimodal Integration）可通过信号间的互补，产生比单一信号更加可靠稳定的信息，促进信号修复。非模补整与多模整合紧密相关，后者的过程促进前者的完成。本项目借助自制的视听刺激仪器，全面地完成了研究目标和研究内容，取得较重要的成果。.1）蛙类的广告鸣声通常由几个音节组成，但每个音节功能的重要性是不一样的。我们发现，第二个音节的缺失导致对雌性的性吸引力显著下降；缺失第三或第四个音节，不影响对雌性的吸引；但不能同时缺失任何两个音节，因此原计划中的二音节剪切或噪声处理的刺激实验，无法开展。.2）缺失第二个音节，即使以白噪声代替也不能回复其吸引力；但如果加入鸣囊的视觉刺激，则可以完全回复对雌性的吸引力。第二音节静音加鸣囊刺激，并不能提升性吸引力。显示在蛙类的求偶通讯中，视觉的信号功能较弱。.3）本项目研究发现：视觉刺激（鸣囊）的存在，可显著提高蛙类对鸣声信号的工作记忆。推测多模整合的作用在于高级认知功能的提升，而不是在于非模补整。.4）在本项目执行中，主持人得以深入地思考行为进化的神经机制，完成《行为进化——从动物本能到人类文明》一书。已完成审阅，正由科学出版社进行排版。.存在的问题：事先对黑斑蛙行为（反应差）的基础研究不够，导致更改实验动物为锯腿树蛙和小湍蛙（反应快）。