基于深度学习的社交图像多模态表示学习研究

With the development of social networks and the vigorous emergence of smart terminals, social media data has been exploding. Compared to traditional data, social media usually contain multiple modalities of data, such as visual content, textual description, user information, and social relations. Due to the heterogeneity, interactivity, and diversity of social images, this project takes full advantage of relevant technology of deep learning, representation learning, and multi-modal fusion and makes deep fusion of the visual content, text description, relational networks, user information of social images. Then we will try to study how to fuse social relation and meta-information for social image representation learning, how to fuse multi-modal content for network embedding, and how to capture fine-granularity correlation for joint multi-modal representation learning, thereby improving the performance of tasks such as social image classification and multi-modal retrieval based on the learned representation. This project will strive for breakthroughs in social image representation learning, heterogeneous network representation learning, multi-modal joint representation learning, etc. The research results can provide new ideas for the analysis, mining and application development of multi-modal data of social images, and make positive contributions to the basic research and application research of social network data.

随着社交网络的快速发展和各种智能终端的大量普及，社交媒体数据呈现爆发式的增长。相比于传统数据，社交媒体数据包含有多种模态的内容，比如视觉内容、文本描述、用户信息、社交关系等，给传统的数据挖掘和分析方法带来了很大的挑战。本课题针对社交图像多模态数据的异构性、交互性、多样性等特点，综合应用深度学习、表示学习、多模态融合等相关先进技术，深入研究融合关联关系和元数据信息的社交图像表示学习、融合多模态节点内容信息的网络表示学习、捕捉细粒度关联的多模态联合表示学习，进而提升社交图像分类、多模态互检索、链接预测等应用的性能，力争在社交图像表示学习、异构网络表示学习、多模态联合表示学习等方面有所突破。本项目的研究成果可为社交图像多模态数据的分析、挖掘和应用发展提供新思路，为推动社交网络数据的基础研究和应用研究做出积极贡献。

本项目针对社交图像多模态数据的异构性、交互性、多样性等特点，基于深度学习技术、数据表示学习技术、多模态融合技术等方面入手，实现融合网络结构和数据多模态内容的有效表示，为社交图像多模态数据的分析、挖掘和应用发展提供新思路。.本课题主要聚焦于多模态表示学习，在多模态情感分析、社交网络节点识别、多模态旅行路线规划、图像文本多模态特征学习、多模态网络表示学习、社交图像情感分析、深度社交网络嵌入、基于语义的视频自动问答、面向冷启动的推荐系统等方面取得了大量原始性创新研究成果，最终圆满完成了既定的研究目标。.本课题完成了既定的研究目标，研究成果众多，对学术研究和现实应用问题都有很高的借鉴意义。相关研究成果分别发表在TIP、TKDE、IEEE TITS、IEEE TEVC、TCYB、TOMM等SCI期刊和SIGIR、CIKM等顶级或重要国际会议，并受到业界的广泛关注和大量引用。共培养或指导博士生3人，毕业硕士生5人。本项目的研究成果具有重要的学术价值和现实应用前景，有助于推动社交图像多模态表示学习关键技术的发展。