基于脑信息解码的盲人听觉信息加工机制研究

Blind individuals interact efficiently with environment through perception of auditory information. The occipital visual cortex is involved in the auditory information processing because of compensatory plasticity and cross-pathway processing in blind. However, it remains unclear how the auditory content and spatial information is processed by dual-pathway model in congenitally blind. In this project, we use functional magnetic resonance imaging to study the congenitally and early blind and matched sighted humans with an auditory identification and location paradigm, and make the multivariate pattern analysis (MVPA) to decode the cortical representation of auditory content and spatial information processing based on the brain activation intensity and functional connectivity between specific regions. Meanwhile, dynamic causal modelling analysis is performed to select the best optimized model during the processing of the auditory content and spatial information in blind subjects, which can elucidate the spatial-temporal mechanism of auditory information processing and verify the role of primary visual cortex in the model. We finally try to propose a novel methodological architecture that combines the Deep Auto-Encode and Hidden Markov Model, in order to discover the hierarchical non-linear relationships between regions. This project tries to explore the auditory processing mechanism in blind with decoding methods, which will promote the development of neural rehabilitation and make a great contribution to developing the prosthetic vision system via auditory pathway for blind people.

盲人通过听觉与外界环境进行有效地交互，大脑的补偿可塑性和跨通道的信息处理让盲人的视觉皮层参与听觉信息的加工。然而盲人是如何通过听觉双通路模型加工听觉内容信息和空间信息的机制仍不清楚。本项目利用功能磁共振成像采集先天盲、早盲和正常被试在听觉识别和定位范式下的脑影像数据，基于脑区激活特征和脑区间功能连接特征，运用多变量模式分析方法解码听觉刺激内容和空间信息的皮层表征，研究听觉刺激内容信息和空间信息的加工机制。同时，利用动态因果模型分析方法，构建人脑处理内容信息和空间信息的最优网络模型，揭示人脑对听觉信息的时空处理机制。最后结合深度自编码模型和隐藏马尔科夫模型设计新的深度学习模型，发掘听觉信息加工过程脑区间的动态变化关系，从网络建模的角度探索听觉信息的加工机制。本项目从脑信息解码的角度探索盲人的听觉信息加工机制，有助于促进神经康复医学的发展，为开发基于听觉通路的盲人群体视觉补偿提供科学依据。

听觉认知过程中存在腹侧和背侧通路来处理声音的模式信息和空间方位信息。盲人是如何通过听觉双通路模型加工听觉内容信息和空间信息的机制以及视觉经验是否会影响盲人皮层组织结构仍然不清楚。本项目利用功能磁共振成像（fMRI）采集完成了40名盲人和正常被试的静息态功能数据、结构数据及在听觉识别和定位范式下的脑功能数据，完成了项目要求的三方面内容。1）动态网络分析方面：利用盲人被试和正常被试的静息态fMRI数据，利用频谱动态因果模型算法计算了大脑三个功能子网络脑区间的有效连接参数，检测了三个功能子网络间的有效连接盲人组和正常被试间的差异，发现了人脑处理内容信息和空间信息的最优网络模型；同时，通过利用动态时间规划方法重新构建脑功能网络提出一种更有效的脑网络检测算法，并通过检测不同尺度大脑的社团划分效率，发现我们的算法具有较好的社团检测效能。2）分类算法方面：利用盲人被试和正常被试做听觉定位和识别任务的fMRI数据，采用全脑搜索的支持向量机（SVM）的分类算法成功将不同听觉状态分类出来，并且识别出盲人被试编码声音和空间信息的皮层网络。引入有效连接作为分类特征，通过比较有效连接和功能连接特征，发现有效连接通过利用更少的特征达到了更好的分类效果（有效连接：19条边，分类准确率91.67%；功能连接：6650条边，分类准确率89.36%）。3）图像解码方面：根据初级视皮层的神经元特征，设计了一个基于稀疏框架的编码模型，并基于SVM分类方法提出了一种新的混合识别方法以实现fMRI信号的解码。结果发现，该方法具有较高的解码准确性。为优化深度学习网络，在传统u-net网络基础上，提出了一种新的U-net网络优化策略将编码路径高分辨率特征的拼接过程中，加入一个反卷积层和上采样层，实现不同分辨率特征融合，从而使U-net网络达到更好的数据增强效果。本项目最终从脑信息解码的角度探索了盲人的听觉信息加工机制，有助于促进神经康复医学的发展，为开发基于听觉通路的盲人群体视觉补偿提供科学依据。