基于视频刺激fMRI的视觉特征神经编码空间研究

The neural encoding space of visual features, that is the comprehensive mapping between visual features and the evoked brain responses, is a critical problem in exploring the brain mechanism of scene understanding. The studies on this issue are limited to the basic visual features and high-level semantic features, while the neural encoding of intermediate visual feature is largely unknown. Meanwhile, our previous research on multimeida analysis guided by functional brain responses has demonstrated the potential benefit of leveraging multimedia analysis by mearging braing imaging and multimedia. However, the optimization of the learning the brain guidence mechaism and the carrying forward of learning from brain is facing the bottle-neck problem of the visual feature nerual encoding space. The proposed project aimed at fulfilling the emergent demand for assessing visual feature neural encoding space originated from both our previous research and the theoretical exploring of the functional mechanism of natural scene understanding. We plan to take the advantages of hierarchical computational visual features in multimedia analysis field, to systematically explore the neural encoding space of visual features. The key innovation lies in mimicking the hierarchical visual features by hierarchical computational visual features and the multilayer latent features in deep feature self-learning, to leverage the study of the neural encoding space of hierarchical visual features. The achievement of the project will not only provide novel insights for exploring the functional mechanism of natural scene understanding, but also necessary information for the optimization of the guidance mechanism learning in content-based multimedia analysis.

视觉特征的神经编码空间，即视觉特征与脑功能活动之间映射关系的全面描述，是场景理解脑机制研究中的关键问题。目前的研究仅局限于基本视觉特征和高层语义特征，而中间层视觉特征的神经编码尚不清楚。同时，申请人前期的研究工作- - 脑功能引导媒体内容分析，展示了脑成像分析提升媒体计算的潜力，但视觉特征神经编码空间是优化脑功能引导机制、发掘向脑学习潜力所面临的瓶颈问题。本课题从场景理解脑机制的理论研究和我们前期工作的应用需求出发，结合我们在脑成像与多媒体融合上的研究基础，发挥媒体计算中多层次视觉特征描述的优势，系统研究视觉特征神经编码空间。核心创新点是：利用媒体计算领域人为设计的多层次视觉特征和基于深度特征自学习中的多层隐层特征，模拟人脑需感知的多层次视觉特征，以解决目前研究中中间层视觉特征断层的难题。本课题从研究手段和计算模型的角度为场景理解脑机制的研究提供借鉴，同时推动向脑学习的高效媒体分析方法的发展。

本项目利用自然范式磁共振功能成像（nfMRI）研究视觉特征的神经编码空间，阐释视觉信息与脑功能活动之间的映射关系，并为脑成像引导的视觉内容分析提供理论支撑。本项目在多层次视听觉特征的神经编码特性及其验证方面取得重要进展，总结如下。1）建立了三个以电影和音乐作为视听觉刺激的fMRI数据集，共招募34名被试，平均每位被试采集约1小时的fMRI数据，为本课题的开展奠定数据基础。2）发展了系列fMRI数据分析方法，包括基于稀疏编码算法的fMRI分析方法、基于浅层和深层神经网络的fMRI源成分分析方法，这些方法提升了fMRI特征提取的效果，为视觉特征神经编码空间的研究奠定方法基础。3）发现了多层次视听觉特征的神经编码特性。在底层特征方面，分析了常用视听计算特征的神经编解码性能，发现了大脑中声音强度分辨与音强差之间的Sigmoidal非线性关系；在中层特征方面，重点阐释了视觉注意和听觉注意的脑功能网络机制；在高层特征方面，发现了视听觉语义理解、视觉记忆度、视觉情感计算的复杂脑功能交互模式；在多层次特征方面，建立了基于深度神经网络自学习的视听特征与大脑皮层功能活动之间的对应关系。4）以脑成像引导的多媒体内容分析为平台，对项目研究的视听觉特征神经编码空间进行了验证，显著的提升了视频记忆度计算模型、视频场景情感计算模型和电影预告片受欢迎程度预测模型的准确性。. 本项目的研究成果在多个方面为理解视听觉信息处理的脑功能机制提供了新的线索。同时，与项目负责人前期的脑成像引导的多媒体内容分析研究工作相结合，初步建立脑多媒体组学“Neuromediaomics”的学科方向。. 项目执行期间，获陕西省科学技术一等奖一项、陕西省高等学校科学技术一等奖一项。在Brain、Cerebral Cortex、Human Brain Mapping和NeuroImage等领域内重要国际期刊发表SCI论文29篇；在领域内重要国际会议IPMI、MICCAI和ISBI等发表学术论文21篇，其中大会宣读论文4次；获国际会议ICME 2016最佳学生论文奖提名。协助培养博士生8人，两人获陕西省优秀博士论文。项目组成员2人晋升教授，2人晋升副教授。