社交网络多媒体事件检测与影响力预测方法研究

Identifying multimedia events on social networks is a crucial part of social network research, as it benefits multiple important applications such as public opinion monitoring, entertainment, pop-culture research etc. Existing methods generally aim to detect events happening/happened in the real world through their digital presence on the Internet, and the evolvement of such digital contents is often overlooked. This project will study multimedia events and look into their derivative events online, to better quantify the impact of multimedia events. The project will develop a concept of "derivative events", and will propose a multimodal feature extraction method for individual contents on social networks to facilitate the identification of such events. A matching model between multimedia events will then be devised to determine if two multimedia events are derived from the same source of impact. Once the true boundary of a multimedia event is determined, its future impact will be predicted. Finally, a prototype will be built to implement the entire algorithm framework, based on which evaluations will be conducted on real-life datasets.

社交网络多媒体事件检测是社交网络研究中的重大而新颖的问题，在反应社会热点、民意舆论、娱乐潮流、文化演化等方面具有举足轻重的意义。而现有的方法着眼于利用社交网络中的信息来检测现实生活中的事件，对于社交网络多媒体事件在虚拟空间的衍生和演化缺乏系统性研究。本项目将立足于社交网络中多媒体事件的衍生与演化，研究多媒体事件检测及其影响力预测相关的关键技术。本项目首先将对衍生事件进行清晰的定义；其次为检测此类事件而提出一种人工特征工程与无监督特征学习相结合的特征抽取方法，这种方法能够综合利用社交网络内容中的文字信息、视觉信息以及社交信息，为衍生事件的检测和影响力预测提供特征；接下来本项目将利用上步所得到的特征，建立事件之间的关联模型以及影响力模型，全面提高现有事件检测方法和影响力预测方法的效能；最后基于以上提出的一系列方法，本项目将建立实时运行的原型系统，使用真实、时效性较高的数据来改进方法的效能。

当前社交网络中的数据呈现规模大，且种类多样的特性。除去作为网络信息常用载体的文本数据，以图像和视频为代表的多媒体数据在社交网络相关的各项研究和应用中的重要性正在急剧上升。多媒体作为一种信息量极大的载体，其所携带的丰富视觉内容对传统的文本信息是重要补充、甚至是“不可言传”式的升华；同时在当前社交媒体的短文本环境下，用户往往会倾向于使用多媒体传达比文本更多的信息。因而近年来对社交网络多媒体内容进行分析追踪也是学界的一大热点研究方向。本项目立足于社交网络中多媒体事件的衍生与演化，研究多媒体事件检测及其影响力预测相关的几个关键技术和问题，即社交网络中存在的图像质量问题的复原方法、基于网络结构的各种信息节点的表示学习方法、具有时序信号的事件预测方法等。在此之上，本项目建立能够实时运行的原型系统，并且寻求产业化以更好地服务于实际的生产活动。..课题主要在在社交网络中存在的图像质量问题的复原方法、基于网络结构的各种信息节点的表示学习方法、具有时序信号的事件预测方法三个方面取得了方法研究上的重要进展。1) 由于社交网络中图像普遍存在的图像压缩、图像编辑所导致的质量问题，会严重影响检索和追踪的结果，因而课题组研究了使用带跳连接的自动编码器，进行图像复原，从而对社交网络上的低质量图像进行去噪、超分辨率等质量增强。方法在公开数据集上取得了超越当时最好方法的效果。处理过后的PSNR值相对对比方法，有着50%~5%范围的提升。2) 社交网络中的事件由大量相互连接的节点构成，社交网络本身就是复杂网络的一种，为了判定社交网络中的多媒体事件是否存在依赖关系，需要新型的网络节点表示学习方法。课题提出，可以用各种节点之间组成的基础结构来加强图节点表示学习的效果，因而课题组提出了一个新型的利用图中元组子结构的图嵌入方法，并在理论上论证了方法与基于元组子结构的图聚类方法有着紧密的理论联系，并在实验中取得了良好效果，性能超越了DeepWalk、node2vec、LINE等现存的领先方法。3) 课题还发现在具有部分社交属性的电商销售环节中，也存在明显的突发性“事件”，课题组提出一种基于多步预测与组合特征的方法，来预测类似事件的起点、周期和强度。..项目不仅在方法上创新，还建立了较为成熟稳定的原型系统，成果在服务国家对外宣传等应用场景中进行了成果转化，在社会实际应用中获得了高度认可。