社会化多媒体中的事件分析研究

With the rapid development of social multimedia, a lot of multimedia content is shared online. With the aim of improving the multimedia management and retrieval system, how to efficiently mine the relations among all kinds of social multimedia still remains an open and challenging problem. In recent years, event, as one of the most effective way to organize media data, has drawn more and more attention in research community. Actually, there are different modality data in social media share sites, and the event-related documents are captured in different format and then shared in different social web service. The proposal aims at detecting and illustrating social events from the multi-source heterogeneous data. Our roadmap is generally described as follows. We first study how to formulate the social media by ubiquitous model, and then investigate detecting events from multi-source data streams; finally exploit summarizing the detected events by multimodal data. This project presents a new roadmap for the social multimedia management and retrieval in the perspective of event, which paves a way to new methods and technologies in next-generation social media management services.

随着社会化多媒体的快速发展，大量媒体数据被共享到互联网上。挖掘社会化多媒体信息之间的潜在关联，高效地进行社会媒体组织和管理成为一个具有重要现实意义的科学问题。近年来，事件作为一种非常有效的信息管理方式，得到了学术界越来越多的关注。目前互联网上面存在不同模态数据的共享平台，而记录事件的相关文档被不同的用户，以不同的格式共享到这些平台上。如何综合利用这些多源异质数据，进行事件的检测和摘要，为本课题的核心研究目标。主要研究内容包括：对社交共享平台的社会化多媒体数据进行特征学习和建模；从多源异质数据流中进行事件的检测；以及对检测到的事件进行多模态的摘要表示等。本课题提出以事件为中心的社会化多媒体管理和检索的新思路。本课题的实施将对社会化多媒体内容分析研究起到推动作用，并为新一代网络社会化多媒体服务与管理提供核心算法。

随着社会化多媒体共享平台的发展和移动数据采集技术的进步，庞大的互联网用户群体每时每刻都通过各种网络平台分享丰富的图像、视频、音频和文本等不同类型的社会化多媒体数据。如何利用这些社会媒体数据，挖掘社会化多媒体信息之间的潜在关联，高效地进行数据的组织和管理成为一个有现实意义的科学问题。.本课题致力于研究对社会化多媒体采用以事件为中心的管理,主要研究如何从社会化多媒体数据流中进行事件检测，以及对事件关联的媒体进行摘要描述。研究拟在多模态特征学习的基础上进行事件的检测和呈现的理论研究，以便于互联网用户能够在事件层面上协同理解社会化多媒体内容。.课题以社会化多媒体文档为研究对象，首先采用特征学习的方法对多模态异质信息进行建模，实现这些模态数据的高维语义理解和相似性计算。课题主要研究了采用卷积神经网络和自动编码器两种模型进行特征的提取，并研究了采用特征融合和哈希的策略来更好的表示媒体内容，主要研究了包含多个语义概念的复杂图像的表示问题，深层卷积神经的隐层特征融合问题，图像和文本特征的跨模态融合问题，以及采用图拉普拉斯的图像哈希表示问题。.对于事件相关联的多媒体数据集，课题主要研究如何发掘其中的最具代表性的媒体内容，构建基于事件的多媒体内容高效表示方法，以生成每个事件的文本和视觉表示，帮助用户快速理解互联网上海量的图像数据内容。为此，研究提出了一种从大规模数据集进行基于事件的多媒体展示框架，在该框架内研究了采用非结构化数据库进行大规模多媒体数据的存储，事件和多媒体数据的相似度计算，以及图像和文本的高效表示等关键问题。在此框架基础上，课题研究成果还构建了一个简单的原型系统。.课题相关研究成果共发表SCI检索期刊论文3篇，EI检索会议论文7篇。