由概念驱动的多模态多媒体信息融合技术

本项目针对多媒体的多源特性，提出一种新颖的、由概念驱动的多媒体信息融合方法，充分利用模态间信息互补优势，对多媒体信息进行在语义层的挖掘和检索。为解决查询空间与模态权重空间之间的不可直接映射问题，该方法构建一个概念空间作为映射的桥梁。该概念空间是能综合表达用户查询所包含的语义、视觉和上下文信息的一个最紧致概念集合张成的向量空间。该空间可以对查询信息进行向量化，从而为后继的信息挖掘和分析算法提供规范和量化的基础。同时，由于概念集可提前预知，概念空间与模态权重空间的映射关系也可以预先学习或估计。利用这些预学习的知识，该方法使用模糊综合评价的方法将向量化后的用户查询动态地、自适应地映射到模态权重空间，从而解决查询空间到权重空间的映射难题，同时完成对多模态数据的有机整合。本项目研究成果将成为多模态融合技术一个新的分支，为网络信息的高层认知提供基础算法，并为视频的检索、不良信息过滤等应用提供理论基础。

本项目提出了一种新颖的、由概念驱动的多媒体信息融合方法。该方法充分利用模态间信息互补优势，动态地根据用户给定查询中的语义内容给各模态分配合理的融合权重，从而对多媒体信息进行语义层的精确检索。该方法在大规模视频数据集的表现达到或超过国际同类方法的水平。项目组按原计划开展了研究，并获得了达到或超出预期的研究成果，发表论文6篇，全部为多媒体方向的顶级国际期刊和国际会议，并申请专利6项。项目组积极参与国际交流，邀请本方向国内外知名专家来访6人次，项目组成员受邀赴国(境)外交流19人次，并与加拿大渥太华大学、芬兰坦佩雷大学、香港城市大学、中科院自动化所的相关实验室建立了长期的合作关系。