脑功能引导的视频内容分析

本项目提出利用量化的脑功能响应引导视频内容分析的创新方法。立项依据是：1、传统的视频内容分析方法缺乏脑功能响应的引导；2、近期结合脑功能的研究工作的重点在于分析脑功能响应模式在训练样本上的组间差别，而无法推广到大规模测试样本的内容分析中；3、在前期研究中，我们已初步建立了一种脑功能响应信息引导的视频内容分析方法，且实验表明能够提高视频分类准确确率10%～15%（该工作全文发表在多媒体分析与应用领域顶级国际学术会议ACM Multimedia 2010），初步验证了"脑功能引导"这一方案的可行性。本项目结合我们近期研究工作，计划进一步扩展研究方案，完成两个核心任务：1、丰富、拓展脑功能响应这一引导信息；2、开拓非线性的脑功能引导机制。以强化脑功能引导的视频内容分析方法的应用面和适应度，提高视频内容分析效果。

本课题围绕脑功能引导的视频内容分析这一核心科学问题展开研究，创新性的在视频内容分析中引入量化的脑功能响应作为引导信息，为视频内容分析提供了一个全新的研究思路。在研究过程中，课题组及其合作者开发了新的脑网络定位系统——“大脑GPS系统”DICCCOL；开发了新的大脑功能响应度量方法脑功能连接组和脑网络效应连接分析方法；研究了与视频理解相关联的脑区定位方法，并同时研究了视频理解的脑功能机制；研究了基于典型相关分析的特征映射模型、基于高斯过程回归的显式预测和特征融合模型、基于深度学习的特征缺失情况下的特征融合方法；以这些方法为基础，研究了脑功能响应引导的视频、音频分类与检索、视频可记忆度预测和视频注意力模型与视频摘要。我们的研究结果表明，以脑功能响应为引导，能够有效的提高视频内容分析的效果。. 在本课题的资助下，课题组发表SCI索引国际期刊论文18篇，EI索引国际会议论文4篇，其中大会宣读论文2篇，授权国家发明专利3项，软件著作权1项。. 在学科发展方面，以本项目为依托，项目组初步建立了脑成像引导的多媒体内容研究方向。应浙江大学唐孝威院士邀请，在其著作“一般集成论——向脑学习”一书中介绍了该研究内容。. 在人才培养方面，项目主持人以该项目研究内容和成果为基础，于2013年入选“教育部新世纪人才支持计划”；入选西北工业大学首批“翱翔新星”。项目主持人协助团队培养博士生研究生3名，其中2人先后获得2013和2014年度“国家奖学金”；协助培养硕士研究生5名，其中3人获得2014年度“国家奖学金”。.在国际合作方面，在本课题的研究过程中，我们深化了与美国佐治亚大学刘天明教授的长期合作，并与耶鲁大学统计学系张京博士和昆士兰大学脑研究所Christine Guo研究员建立了合作关系。. 在学术创新方面，申请人以本项目研究过程中新发现的关键科学问题为背景，于2015年获得国家自然科学基金面上项目“基于视频刺激fMRI的视觉特征神经编码空间研究（61473234）”的资助，该课题着重研究计算多媒体对脑功能映射的推动作用。将该课题与本青年基金课题的研究方向相结合，课题组已建立了脑功能与多媒体信息融合的新的学科与研究方向，我们将该方向总结为“脑多媒体组学（Neuromediomics）”。. 综上所述，课题组圆满的完成了预期研究内容与研究目标。