基于脑功能信息的视觉图像重构理论和方法研究

Human visual system has the powerful ability of visual information processing. Understanding the visual cognitive activity of human brain is the most advanced and challenging direction of brain neuroscience. With the gradually knowing of the mechanism of visual brain encoding, scientists began to explore the visual brain decoding technology: that is, according to the brain functional signal, reconstructing the cerebral perception of visual information or images. In recent years, scientists can reconstruct perceived simple visual images based on fMRI signals with the rapid development of brain imaging technology and pattern recognition methods. However, there are still many difficulties in the reconstruction of illusion images and natural images. Based on our previous studies, this project will focus on improving the brain functional signal selection methods and feature extraction technologies, combining with the brain network analysis method, study the relationship between different visual images and fMRI activity patterns, and then set up the mind-reading models to achieve: (1) the reconstruction of simple geometric images, (2) the reconstruction of simple illusion images, and (3) the reconstruction of the contours of natural images. These proposed studies will make significant contributions to understanding of the brain mechanism of visual information processing and establishing the efficient bio-vision based models of image decoding.

人类视觉系统具有惊人的视觉信息处理能力，解读人脑视觉认知活动是脑科学最具前沿和挑战性的方向。随着人们对视觉脑编码机制的深入认识，科学家们开始探索视觉脑解码技术：即根据脑功能活动信号，反向重构出大脑所知觉到的视觉信息或图像。近年来，脑成像技术和模式识别方法的快速发展使人们已经能重构出简单的视觉图形，虽然重构准确率较低、噪声较大。但是，人们在错觉图像和自然图像重构方面还存在诸多困难。本项目拟在前期研究基础上，采用fMRI技术，重点研究有效的视觉脑功能活动特征提取技术和特征选择方法，结合脑连接网络分析方法，建立不同视觉图像和脑功能活动模式之间的对应关系，发展高效的脑信息解码模型，实现（1）简单几何图像的视觉重构，（2）简单错觉图像的视知觉重构，（3）简单自然图像的主要轮廓信息重构。该项目对深入理解视觉图像信息加工的脑机制以及建立高效的人工智能图形脑解码模型具有重要的意义。

人类视觉系统具有惊人的视觉信息处理能力，解读人脑视觉认知活动是脑科学最具前沿和挑战性的方向。近年来，随着人们对视觉脑编码机制的深入认识，随着脑成像技术和模式识别方法的快速发展，科学家们开始探索视觉脑解码技术：即根据脑功能活动信号，反向解读出大脑所知觉到的视觉信息或图像内容。本项目在前期研究基础上，主要进行了基于fMRI信号的视知觉脑信息解码研究，重点研究了有效的视觉脑功能活动特征提取技术和特征选择方法，结合模式识别与深度学习方法，建立了不同视知觉图像和脑功能活动模式之间的对应关系，发展了有效的脑信息解码模型，实现了：1）简单几何图像的视知觉重构解码， 2）复杂自然图像的分类脑解码， 3）复杂自然图像的重构脑解码， 4）复杂自然图像的语言解码，5）动态视频图像的快速知觉重构解码。该项目对深入理解视觉图像信息加工的脑机制以及建立高效的人工智能图形脑解码模型具有重要的意义。