大规模Web共享图像的关联分析和主题检索

随着互联网用户、图像以及评论和标签等数据的日益增长，主题检索成为互联网中Web共享图像的高级检索方式。然而，多模态异构特征构成的Web共享图像特征具有噪声，且带有复杂的高阶和时序关联，这给Web共享图像的关联分析和主题检索带来了诸多挑战。本项目的研究思路是：在超图模型的基础上，研究基于混合学习模型的特征去噪方法和异构超边权重的自适应学习方法，使之能更有效表达Web共享图像；研究基于分布式超图仿射传播算法的主题发现和基于超图随机行走模型的主题表示方法，并研究主题相关度计算方法和进化聚类算法以挖掘主题间的时空关联关系，形成主题时空网络；研究能蕴含图像、文本和用户信息等多模态异构媒体对象及相互间高阶关联关系的跨媒体索引和跨媒体查询表达方法。.基于上述理论研究成果，开发一个原型系统，研究中形成的理论成果在国内外重要学术期刊和会议上发表，形成的核心算法将申请国家发明专利。

Web共享图像含有大量的多模态异构特征，如图像底层视觉特征、图像标签、评论甚至图像GPS信息等等，然而这些特征具有特征带噪、高阶关联以及数据海量等特点，这给Web共享图像的关联分析和主题检索带来了诸多的挑战。. 项目按照计划书所列内容顺利开展，重点围绕传统媒体表达方式不能充分表达Web共享图像数据的复杂特征，索引方式忽略媒体模态间关联，以及单一媒体的查询意图不适合复杂Web共享图像检索等核心关键问题，对如下内容进行了深入研究：多源多模态Web共享图像标签去噪、特征选择、主题建模、主题表示以及跨媒体哈希和排序等算法和方法。. 项目研究期间，项目组提出了基于非负矩阵分解的多源多模态Web共享图像标签去噪、基于组群效应的Web共享图像特征选择、基于社会属性的Web共享图像主题建模、基于半监督层次化主题模型的Web图像建模、基于组群效应的Web共享图像主题表示、基于超图模型的Web共享图像哈希以及基于深度神经网络的Web共享图像排序等算法和具体方法。. 项目组一共发表论文10余篇，其中包括本领域顶级和权威学术期刊IEEE Transaction on Multimedia（1篇）、Journal of Visual Communication and Image Representation（1篇）、Neurocomputing（1篇）、Pattern Recognition Letters（1篇）以及ACM Multimedia（1篇）、ICME（1篇）。