基于卷积神经网络的人脑视皮层群体感受野建模研究及其应用

Human visual perception depends on the processing of the input signals from visual cortical neurons, and the role of these neurons in visual processing is determined by the receptive field properties of individual cells. Therefore, characterization of neuronal receptive fields is a crucial step for understanding the mechanism of visual processing. In this study, we will use functional magnetic resonance imaging to record the pooled responses of human visual cortical neurons to stimuli, and establish an interpretable, robust, and effective population receptive field (pRF) model of those neurons based on the convolutional neural network model. The model estimates the functional properties of the visual cortex by computational methods and systematically characterizes the role of different visual cortex in visual processing. Further, we will introduce eye movement information, as a probe of visual attention, in the pRF model to study the role of overt attention in modulating the properties of pRF. Moreover, we will also implement cutting-edge techniques in neural decoding to reconstruct visual stimuli basing on our pRF neural encoding model. This can be used to further validate the effectiveness of the neural coding model and optimize it. This study uses advanced computational modeling methods to reveal the visual processing mechanism of human brain. It also provides novel practical technologies for neuroscience research and can serve in visual injury assessment and brain-computer interface applications.

人的视觉感知依赖于视皮层神经元对外部图像的加工，而这些神经元在视觉加工中的作用则取决于它们各自感受野的性质。对神经元感受野性质的刻画是了解人脑视觉系统工作机制的基础。本研究将借助功能磁共振成像技术记录人脑视皮层神经元对外界刺激的群体反应，并基于卷积神经网络模型建立具备可解释性、鲁棒性和有效性的视皮层群体感受野神经编码模型，通过计算方法估计群体感受野的功能性质，系统考察不同视皮层在视觉加工中的作用。进一步，我们将在群体感受野模型中引入眼动信息，研究眼动这种视觉注意机制对视神经元群体感受野的调制作用。在此基础上，我们还将研究如何基于上述群体感受野编码模型实现视觉刺激重建等神经解码新技术，进一步验证神经编码模型的有效性并进行优化。本研究利用计算建模的方法，揭示大脑视觉信息编码加工机制，也为脑科学研究提供新的实用技术，并可服务于视觉损伤评估和脑机接口等应用领域，具有重要的科学意义和实际应用价值。

本研究通过对脑视觉系统层次化的功能结构进行深入的研究，进一步将预测的CNN特征反转回视觉图像。本研究通过高斯先验的协方差矩阵对特征维度之间和回归任务之间的结构进行约束，与目前常见的忽略这些结构的单输出回归模型形成对比的结果表明，这一方法提高了解码效率和可解释性。本研究针对两个公开fMRI数据集进行了详尽的实验，实验结果表明，本研究的方法可以更准确地预测CNN特征，并以更高的质量重建感知的自然图像和面部。本研究还通过高斯先验的协方差矩阵对特征维度之间和回归任务之间的结构进行约束，与目前常见的忽略这些结构的单输出回归模型形成对比的结果表明，这一方法提高了解码效率和可解释性。本研究提出了一种新的基于流的可逆生成网络的神经编码和解码方法，以减轻跨模态生成过程中的信息损失，并考虑了神经编码与解码之间的双重关系。模型训练包括两个阶段。首先，自动编码器提取图像特征。第二，视觉刺激和神经信号的产生是通过对抗性的跨模态归一化流程和训练有素的自动编码器来进行的。潜在空间上的局部和全局约束缩小了模态间隙。与其他比较方法相比，所提出的方法重建的刺激图像具有更多细节。此外，本研究的模型与最先进的模型相匹配，实现了最佳的综合性能。