基于神经影像反演的三维图像重构

The perception and reconstruction of 3D images is abig challenge of computer vision field. By comparing information about a scene from two vantage points, 3D information can be extracted by examination of the relative positions of objects in the two panels. This is the big challenge in computer vision field. It’s an effective way to overcome this problem in computer vision by developing image perception and processing methods that mocking the visual processing system of humankind. Nowadays, the neural decoding of visual information mainly include image classification, identification and reconstruction from electroencephalography(EEG) and functional magnetic resonance imaging(fMRI).The neural decoding models of visual information in these studies are still in the preliminary stage. This project focuses on the decoding model of 3-dimensional image reconstruction from neural image data. The research covers four problems: neural signal acquisition and processing under 3D image stimuli; the mechanism of human vision system for perception of depth information in 3D image; the quantitative neural decoding model for depth in 3D images, and the system of 3D image reconstruction derived from neural activities.By extraction of depth information from 3D image from neural image signals, and reconstruction of the 3D images inversely from the neural signals，this research may discover the working mechanism of human vision system, and promote the computer stereo vision technology.

三维图像的感知与重构是计算机立体视觉领域的难题，从人类感知与加工视觉信息的认知机理出发，建立可以模拟人类视觉系统的计算模型是解决这一瓶颈问题的有效途径。随着神经影像技术的飞速发展，基于神经影像的视觉信息编解码研究成为一个新的热点，研究人员基于功能磁共振影像和脑电信号开展了视觉图片刺激的分类、识别和重构，但现有研究主要是针对二维图片、且视觉信息的神经编解码模型也比较初步。本项目重点研究基于神经影像的三维视觉信息编解码数学模型，并从四个方面展开研究：研究三维图像刺激下的神经信号采集与处理方法；探究人类视觉系统如何感知三维场景中的深度信息；建立三维场景中立体信息的神经解码模型；最终完成基于神经活动的三维场景图像重构系统。本项目从神经影像信号中提取三维图像中物体的深度信息，并基于神经影像反演出三维图像，有望进一步揭示人类视觉系统的工作机理，推动计算机三维场景重构技术的发展。

基于神经影像的视觉刺激的重构是当前认知神经科学领域的研究热点。本项目借助多种神经影像技术，围绕三维视觉刺激的编解码计算模型中的关键技术问题，对三维视觉刺激的深度加工的神经机制以及深度的识别进行了深入探讨。本项目主要开展了以下几方面的内容。.一是本项目对编解码计算方法进行了深入探讨。（1）在编码方法方面，本项目对独立成分分析（Independent Component Analysis, ICA）方法进行了深入探讨，提出了两步超高斯ICA，提高了脑网络分离的准确性和有效性。（2）在解码方面，本项目提出了拉普拉斯的平滑L0模的特征提取算法，大大提高了计算效率及最终解码的准确率。此外，本项目对解码的模式分类方法深入探讨。我们开展了基于脑电信号的图片解码（分类）研究，我们深入探讨了提高图片分类正确率的两种方法：一种是分析刺激前相位信息与刺激后图片内容想着的ERP之间的耦合关系，据此设计分类器集成方法；另一种方法是利用多ERP之间的分类互补信息，构建基于多核学习的分类器融合方法。.二是本项目对三维视觉刺激的立体深度加工的神经机制进行了深入探讨。（1）研究采用fMRI技术，考察了三维视觉刺激的加工的神经机制。研究发现腹侧视觉区对视差符号的加工敏感，二背侧视觉区对视差符号的区分敏感。（2）研究采用fMRI技术，利用Garbor基构建了从深度到脑活动之间的编码计算模型，同时构建了从脑活动到深度的解码模型。通过该编解码计算模型， V3A是所有视觉脑区中识别新的视差准确率最高的脑区。.三是本项目搭建了三维视觉刺激呈现的环境以及基于神经活动的三维场景图像深度识别的系统平台。基于该系统平台，我们能够方便的开展三维视觉深度加工的神经机制研究。