基于跨媒体数据挖掘的社会图像事件分析与标注

The rapid development of social network media poses a severe challenge to the multimedia data management and application, which bring up a serious problem of how to effectively manage a large number of dynamic and user-generated multimedia data. The traditional technologies of social image event analysis and annotation mainly focus on the image itself. They do not consider the relationship between multi-type features in social image event detection, and they do not use the cross-media data mining technology to make a more in-depth and comprehensive analysis of social image events. Moreover, the context information of social image isn't well used to improve the performance of social image annotation. To take full advantage of the rich content of social networking media to enhance the social image management and application performance, this project aims to do research on event analysis and annotation of social image. The research topics include: event detection and tracking of social image based on multi-type feature fusion; event analysis of social image based on cross-media data mining; incorporating event information for social image annotation. The research of this project will fully mine the associated pattern of cross-media events, and also exploit to improve the performance of image annotation algorithms by using the rich content of social network. These researches will provide theorical and technical support for a more comprehensive analysis of social network event and optimization of the social image management.

社会网络媒体的迅速发展对多媒体数据管理和应用提出了严峻的挑战，即如何有效地管理大量的、动态的、用户产生的多媒体数据的问题。传统社会图像事件分析和标注技术主要关注图像本身的信息，没有综合考虑不同特征的关联关系对社会图像事件检测的作用，没有利用跨媒体数据挖掘技术更深入全面的分析社会图像事件，并且没有充分利用图像的上下文信息提高图像标注算法的性能。为了充分利用社会网络媒体丰富的内容以提高社会图像管理与应用的性能，本项目拟对社会图像事件分析与标注进行研究。主要研究内容包括：融合多种特征的社会图像事件检测与跟踪；基于跨媒体数据挖掘的社会图像事件分析；结合事件信息的社会图像标注。本项目的研究将充分挖掘跨媒体事件的关联模式，并探索利用社会网络丰富的信息改进图像标注算法性能，为更全面分析社会网络事件和优化社会图像的管理提供理论依据和技术支撑。

社会网络媒体的迅速发展对多媒体数据管理和应用提出了严峻的挑战，即如何有效地管理大量的、动态的、用户产生的多媒体数据的问题。传统社会图像事件分析和标注技术主要关注图像本身的信息，没有综合考虑不同特征的关联关系对社会图像事件检测的作用，没有利用跨媒体数据挖掘技术更深入全面的分析社会图像事件，并且没有充分利用图像的上下文信息提高图像标注算法的性能。为了充分利用社会网络媒体丰富的内容以提高社会图像管理与应用的性能，本项目拟对社会图像事件分析与标注进行研究。主要研究内容包括：融合多种特征的社会图像事件检测与跟踪；基于跨媒体数据挖掘的社会图像事件分析；结合事件信息的社会图像标注。提出了一个基于图像视觉特征、文本特征、人物关系的图像事件检测算法，该算法采用概率图模型计算图象属于已知事件的概率值；提出了一个基于社交关系的图像距离测量方法，该方法利用图像发布者之间的关系以及图像的语义相似性指导距离测量方法的学习；提出了一个基于bi-DBN的多模数据融合模型，该模型把视觉特征和文本特征作为深度神经网络的输入，模型的输出为社会图像多模数据的统一表示向量，该向量可以用于图像的各种应用，例如图像聚类、标注、分类等；提出了一个基于地理信息的社会图像话题模型，该模型能够发现不同地方的事件标签及语言特点，进而可以用于图像的标注及地理位置的识别。本项目的研究充分挖掘了跨媒体事件的关联模式，并利用社会网络丰富的信息改进图像标注算法性能，为更全面分析社会网络事件和优化社会图像的管理提供理论依据和技术支撑。