社会媒体中图像自动描述关键技术研究

The goal of automatic image description/captioning in social media is to describe an image from a social network platform with a textual paragraph in natural language. In particular, it needs to describe what objects, scenes, activity are contained in images. It is a kind of high-level image understanding, and is the foundation of social media analysis and sentiment analysis. This project stems from general automatic image description, however, the special characteristic of social media is carefully considered, and hence our project contains: (1) object proposal discovery; (2) multimodal hierarchical embedding; (3) image set description; (4) image sequence description; (5) image emotion description and hot event detection and description. From the perspective of technology, our project is based on the popular probabilistic graph model and deep learning methods, and we will propose novel topic models, novel neural network, and learning algorithms. Our papers will be published on international important journal and top conference, and a system will be developed for demonstration.

社会媒体中的图像自动描述是用一段自然的文字对社交平台上的图像进行描述，包括图像中的目标、场景、动作、彼此间的相互关系等。它是社会媒体内容分析的高级阶段，是社会舆情分析的技术基础。本项目在一般图像自动描述前沿技术基础上，针对社会媒体的特有性质，拟开展以下几个方面的研究：（1）图像集合中潜在目标的发现；（2）多模态数据的层次化表示与嵌入；（3）图像集合的描述；（4）图像序列的描述；（5）图像情感的描述及热点事件全方位描述。其中，潜在目标发现、多模态层次化表示与嵌入是基础，然后从图像集合、图像序列、图像情感三个方面设计有针对性的嵌入约束和自动描述算法，并最终生成图像全方位描述。在技术路线设计上，本项目采用近年来流行的概率图模型和深度学习方法，并针对以上几个研究内容设计新的主题模型、神经网络结构、及学习算法。成果将发表在国际一流期刊、会议中，并通过开发应用演示系统进行可视化验证与展示。

社会媒体中的图像自动描述是用一段自然的文字对社交平台上的图像进行描述，包括图像中的目标、场景、动作、彼此间的相互关系等。它是社会媒体内容分析的高级阶段，是社会舆情分析的技术基础。本项目在一般图像自动描述前沿技术基础上，针对社会媒体的特有性质，拟开展以下几个方面的研究：（1）图像集合中潜在目标的发现；（2）多模态数据的层次化表示与嵌入；（3）图像集合的描述；（4）图像序列的描述；（5）图像情感的描述及热点事件全方位描述。其中，潜在目标发现、多模态层次化表示与嵌入是基础，然后从图像集合、图像序列、图像情感三个方面设计有针对性的嵌入约束和自动描述算法，并最终生成图像全方位描述。在技术路线设计上，本项目采用近年来流行的概率图模型和深度学习方法，并针对以上几个研究内容设计新的主题模型、神经网络结构、及学习算法。成果将发表在国际一流期刊、会议中，并通过开发应用演示系统进行可视化验证与展示。