基于上下文信息的社交网络图像分析与理解

With the popularity of social media, mass user-contributed images with rich context, including tags, title, description, group, location, etc., are easily available on image sharing websites. These data are helpful for the problem of image analysis and understanding. However, most of the previous works do not consider these context and the homogeneous or heterogeneous correlations between them. In this proposal, we focus on exploring the rich context to solve the problems of social image analysis and understanding, and take more attention on image representation, social image annotation and tag recommendation. We plan to use the high level semantic to learn a representation with semantic information by analyzing the visual content and semantic tags, which can reduce the semantic gap; and will jointly exploit the visual content, the context information and the homogeneous or heterogeneous correlations to provide more high-quality tags, and suggest personalized tags to decrease the tagging cost. This proposal can provide some theoretical and technical support for image management and search.

随着社交媒体的发展和流行，图像分享网站上存在海量的用户上传图像以及对应的标签、标题、描述、相册、地点等丰富的上下文信息；这些数据有助于图像分析与理解任务。而大多数现有工作未充分考虑这些上下文信息以及它们内部或者之间的同构/异构关系。基于此，本课题将以具有丰富上下文信息的社交网络图像为研究对象，研究社交网络图像分析与理解的相关问题，重点关注社交网络图像特征表示、社交网络图像标注、以及个性化标签推荐等方面的关键技术。本课题拟通过分析图像视觉内容、语义标签，利用高层语义指导图像的特征学习，为图像学习一个具有语义信息的特征表示，在一定程度上缓解“语义鸿沟”的影响；综合分析图像视觉内容和标签、用户等上下文信息以及它们内部或者之间的同构/异构关系，提高社交网络图像的标签质量与数量，以及为用户推荐个性化的标签，降低用户标注代价。本课题的实施，能够为图像的管理和检索提供一定的理论和技术支持。

图像分享网站上存在海量的用户上传图像以及对应的标签、标题、描述、相册、地点等丰富的上下文信息；这些数据有助于图像分析与理解任务。基于此，本课题以具有丰富上下文信息的社交网络图像为研究对象，通过分析图像视觉内容、语义标签等信息，利用高层语义指导图像的特征学习，提出了多种图像特征学习方法，为图像学习到具有语义信息的特征表示；通过综合分析图像视觉内容和标签、用户等上下文信息以及它们内部或者之间的同构/异构关系，提出了潜在因子分解方法，如深度矩阵分解方法和张量分解方法，提高社交网络图像的标签质量，并能够为用户分享的新图像推荐个性化标签，降低了用户标注代价。经过项目的执行，本项目研究成果出版英文专著一部；在高水平国际期刊和国际顶级学术会议上发表论文30篇，其中ACM/IEEE Transactions论文12篇，CCF A类国际学术会议论文4篇，其中一篇国际会议学术论文获得IEEE MMSP 2015 Top 10%论文奖；申请发明专利和软件著作权5项；设计一套图像标注与标签推荐验证系统。项目负责人获批了江苏省自然科学基金杰出青年基金，入选了中国科协青年人才托举工程和江苏省双创团队核心成员，获得了江苏省计算机学会青年科技奖。项目参与人员舒祥波博士获得了中国人工智能学会优秀博士论文奖和江苏省优秀博士论文奖。