基于多视角融合的社交网络图像语义学习与搜索技术研究

With the rapid development of social network, large amount of image data appear on the network every day. These images generally lack of tag information and contain heterogeneous attribute information, so how to accurately understand and search social network images is a challenging research topic. Multi-view fusion can make full use of a variety of features and attribute information of social network images to accurately understand the high-level semantics, therefore, it is of great significance to carry out social network images semantic learning and searching based on multi-view fusion. On the basis of multi-view fusion, this project will propose semantic learning and understanding methods for multi-view images to accurately annotate the unlabeled social network images. Then hot topic detection methods will be proposed for social network images, which can effectively find out what users care about and what they are interested in. Furthermore, social network image hashing and searching methods will be proposed to construct efficient representation and searching mechanism for multi-view image data. Finally, social network image searching system based on multi-view fusion will be designed, which can provide powerful theoretical and technical support for social network image topic detection and searching. This project will strive to achieve a breakthrough in the social network image semantic learning and searching.

快速发展的社交网络平台上存在着海量的图像数据，这些图像数据的视觉特性复杂、缺少标签信息并且包含异质的社交网络属性信息。如何准确地理解和搜索社交网络图像是富有挑战性的研究课题。多视角融合能够利用图像的多种特征和属性信息，准确理解图像的高层语义，因此开展基于多视角融合的社交网络图像语义分析与搜索的研究具有重要的理论意义和应用价值。本项目以多视角融合技术为基础，提出社交网络多视角图像的语义学习与理解方法，对无标签的社交网络图像进行准确标注；提出社交网络多视角图像的热点话题检测与发现方法，通过对多视角信息的深度融合，有效地发现用户关心和感兴趣的内容；提出社交网络多视角图像的哈希学习与搜素方法，构建多视角图像数据的高效表达和搜索机制；建立基于多视角融合的社交网络图像搜索系统，为社交网络图像的热点话题检测以及高效准确的搜索提供有力的理论与技术支撑，力争在社交网络图像语义学习与搜索领域取得突破性进展。

本项目按照研究计划开展研究工作，从模型建立、算法设计和系统实现等方面对基于多视角融合的社交网络图像语义学习与搜索技术进行了深入研究。提出了社交网络多视角图像语义学习与理解方法，建立了面向完整和不完整多视角数据的半监督分类框架，实现了社交网络图像语义的准确理解；提出了社交网络多视角图像的热点话题检测与发现方法，解决了社交网络图像缺少标注、关联隐匿导致的话题难以发现的问题，实现了基于深度低秩集成学习的社交网络话题检测；提出了社交网络多视角图像的哈希学习与搜索方法，实现了社交网络图像的多视角哈希表示与高效搜索。构建了基于多视角融合的社交网络图像搜索原型系统，为实时检测与发现社交网络的热点话题、精准搜索热点话题相关内容提供了有力支持，获得了良好的应用效果。在基于多视角融合的社交网络图像语义学习与搜索领域取得了突破性进展。在ACM MM, IJCAI, ICDE, IEEE TKDE, TNNLS, SPL, Information Sciences, ACM TIST,计算机学报等本领域著名会议及期刊上发表学术论文28篇，其中发表SCI论文12篇，CCF A类论文5篇。申请和授权发明专利11项，其中已授权2项。获2019年中国智能自动化会议最佳论文奖。本项目团队圆满完成了项目预定的研究目标。