社会媒体中基于主题模型的图像表示与识别方法研究

The analysis and management of social media become more and more important for society stabilization, the Internet development and management, etc. In this project, with the help of one kind of Probability Graph Model –“Topic Model”, we will study the image content analysis in social media, such as exploiting the image contextual information, building image hierarchical representations, and conducting image recognition, etc. Specifically, 1) most existed methods cannot leverage loosely related contextual information, however we propose to build an image network for adequately exploiting those loosely related contextual information; 2) most existed topic models cannot model an image network, however we proposed a network based topic model to model such image network for building hierarchical image representations; 3) previous proposed topic model is unsupervised and cannot conduct image recognition, however we extend it to an (semi-) supervised topic model to conduct image representation and recognition simultaneously. This project plans to make some contributions for topic modeling, and provide the technical support for the public sentiment analysis and the social media management.

社会媒体的分析与监管在社会稳定、互联网发展与治理等国家重大需求方面有着重要的意义。本项目主要研究社会媒体中图像内容的分析，以概率图模型中受到普遍关注的主题模型为主要理论工具，挖掘图像的社会上下文信息，建立图像的层次化表示，实现图像的分类识别。具体包括：1)针对已有方法大多难以处理图像“弱相关”上下文信息的不足，本项目通过构建图像网络的方式，实现“弱相关”上下文信息的充分利用；2)已有主题模型不能分析图像网络，本项目通过提出基于网络结构的主题模型，对图像网络进行分析，实现图像层次化表示；3)通过将图像类别信息引入主题建模过程，将(2)中的主题模型由无监督改进为有（半）监督形式，在建立图像表示的同时实现图像识别，使得图像表示与识别可以联合优化。4) 搭建针对社会舆情分析的社会媒体内容分析演示平台。该项目研究成果为主题模型的研究提供新的思路，同时也为社会媒体管理及舆情分析提供了坚实的技术保障。

社会媒体的分析与监管在社会稳定、互联网发展与治理等国家重大需求方面有着重要的意义。本项目主要研究社会媒体中图像内容的分析，以概率图模型中受到普遍关注的主题模型为主要理论工具，挖掘图像的社会上下文信息，建立图像的层次化表示，实现图像的分类识别。具体包括：1)针对已有方法大多难以处理图像“弱相关”上下文信息的不足，本项目通过构建图像网络的方式，实现“弱相关”上下文信息的充分利用；2)已有主题模型不能分析图像网络，本项目通过提出基于网络结构的主题模型，对图像网络进行分析，实现图像层次化表示；3)通过将图像类别信息引入主题建模过程，将(2)中的主题模型由无监督改进为有（半）监督形式，在建立图像表示的同时实现图像识别，使得图像表示与识别可以联合优化。4) 搭建针对社会舆情分析的社会媒体内容分析演示平台。该项目研究成果为主题模型的研究提供新的思路，同时也为社会媒体管理及舆情分析提供了坚实的技术保障。