基于fMRI神经信号的动态人脸图像重建

The current project will investigate how to reconstruct the perceived dynamic face images from the functional MRI signals—a hot topic in both the neuroscience and computer vision field. This project is based on the thorough understandings of the face perception mechanism in human brain. Considering the face images can express many kinds of attributes, and these attributes are expressed mostly with the high-level features, we design fMRI experiments to investigate this issue. We setup the multi-dimensional relationship between the voxel-based image space and the fMRI response brain space, and use the optimized PCA-based machine-learning algorithm to precisely reconstruct the dynamic faces from the functional MRI signal. We hope the study supported by this project will provide us with new ideas and tools for exploring the mechanism for dynamic face perception, and also provide us with new neuroscience evidence for developing the new artificial intelligence algorithm framework.

本项目围绕如何从脑感知信号还原动态人脸图像这一认知神经科学和计算机视觉领域的共同热点问题，开展基于fMRI神经信号的动态人脸图像重建研究。在对动态人脸的脑认知加工机制进行深入理解的基础上，我们针对动态人脸图像含有多种感知属性，并且都以呈现高级视觉特征信息为主的特点，设计合理的fMRI动态人脸图像感知实验，建立动态人脸图像在视觉图像空间和脑感知空间的多维映射关系，采用优化的图像重建算法来实现动态人脸图像高级视觉特征的精确重建，并对动态人脸图像重建效果从多个特征维度进行主观和客观两个方面的有效性论证。我们希望开展此项研究能够为探索大脑动态人脸识别提供新的思路，为揭示大脑动态人脸识别的认知神经机制寻找新的科学依据，也为开发动态面部特征识别的人工智能新算法提供更为科学的认知学证据。

从大脑神经信号中重建感知到的物体是当前计算机视觉和认知神经科学共同的热门研究领域，也是脑机接口领域的一个重要应用。当前，人们已经可以从脑感知信号中重建出颜色、数字、字符、自然场景等主要包含中、低层次视觉特征信息的物体，但是对于人脸，尤其是动态人脸图像的重建，相关的研究还非常的少。在本项目中，围绕如何从脑神经信号中精确的重建出动态人脸人脸图像，以及这项技术如何更好的揭示认知神经科学问题，我们开展了一系列研究。我们选择当前计算机视觉领域的主流生成模型抗生成网络（Generative Adversarial Network，GAN）作为重建人脸图像的框架，并在此基础上优化算法模型。考虑到我们构建的模型是基于深度学习的，需要大样本量的训练样本，而采集大样本量的神经信号耗时耗力，因此我们提出了一种只依赖小样本量神经信号数据就可以较好的重建人脸图像的算法框架，实验结果有效的验证了我们算法框架的有效性，为当前脑解码研究工作提供了一种有效的算法工具和解决思路；考虑到人脸同时包含了多种面部属性特征，而不同的属性是有大脑视觉系统的不同脑区分别负责加工的，我们构建了一种面部多属性约束脑感知信号人脸图像重建框架，该框架建立了大脑不同面孔加工区到人脸不同属性特征之间的多维度映射关系，通过用不同脑区的信号来预测大脑不同面部属性的特征，从而进一步实现了脑感知人脸图像的精确重建；根据我们构建的脑感知信号重建算法，我们验证了认知神经科学中长久以来存在争议的一个问题：大脑中不同的面孔加工区哪些负责表情识别，哪些负责身份识别？我们基于不同脑区重建人脸图像精度的结果表明，表情和身份在大脑的视觉区是双通路的加工模式，腹侧视觉通路负责面部身份的识别，而背侧视觉通路负责面部表情的识别。