多模态、跨平台、大规模社会媒体事件分析关键问题研究

With the rapid development of Internet, especially the mobile Internet, multimedia data clearly present its multimodal, cross-platform, large-scale features, which pose much difficulties and challenges to the detection precision and efficiency of traditional event analysis algorithms. To address these issues, this proposal focuses on the researches on semantic presentation of multimodal features, supervised training model of the fusion of multimodal data, and dynamic evolution of multimedia event. First, an uniform feature representation model of multi-modal and cross-platform multimedia data is studied by using word vector embedding and non parametric Bayesian theory. Then, based on the uniform feature representation, we propose an event detection model to improve the accuracy of event detection, where trusted modal information is used as the “supervised guidance” of topic model when training unknown modal information. Finally, we plan to use multi-expert information entropy to correlate the historical events, and then studies the dynamic evolution of the media events with the combination of fine-grained opinion analysis of events on different social media platforms. The research achievements of this research will provide theoretical support and technical guidance for the dynamic monitoring of public opinion and social events on the Internet.

随着互联网、特别是移动互联网技术的日益发展，网络媒体数据明显呈现出多模态、跨平台、大规模的特性。面对这三大特点，传统媒体事件分析理论方法在检测精度和效率方面面临更高的要求和挑战。本课题结合媒体数据的新特性，分别从多源数据的语义特征表示、多模态事件的监督融合学习模型，以及事件动态演化分析多角度对媒体事件发展的关键问题展开研究。首先，采用词向量嵌入和非参数贝叶斯理论研究多模态、跨平台媒体数据的深层语义的统一表达模型；然后，基于该特征表示提出基于多模态信息“互为补充、互相启发”的事件检测主题模型，创新性地将可信模态信息作为未知模态信息主题模型训练的“监督指导”来提高检测的精度；最后，拟采用多专家信息熵对历史事件进行关联，并结合课题提出的不同平台事件细粒度情感观点挖掘研究媒体事件的动态演化分析。课题研究成果对于国家实时感知监控网络舆情动态，分析重大社会事件的舆论走向提供理论支撑和技术指导。

多模态监督主题模型在社会事件分析建模中具有重要的建模价值，研究社会事件分类效果的多模态监督主题模型具有重要的理论意义和应用前景，本课题将最大间隔原则、外部先验知识、语料内部语义融入到多模态监督主题模型中，旨在建立分类精度高、主题可解释性强的社会事件分类主题模型。.本课题的研究工作主要包括如下部分：支持向量机的最大间隔原理，知识图谱和监督语料的先验知识，社会事件的内部语义和外部知识，多模态监督主题模型。.其中，利用支持最大间隔原理提取多模态文档的类别标签信息，指导社会事件分类，建立多模态最大间隔有监督主题模型；分析知识图谱的先验知识，将知识实体嵌入到主题模型中，提出基于知识和最大间隔原则的主题模型；获取监督语料的先验知识信息，融合数据集的多模态属性，研究基于知识的多模态加权主题模型；基于社会事件的本身属性，创新性地引入了文本语义和监督语料库的类别语义，研究融入内部语义的多模态监督主题模型；通过扩展一个知识模态引入外部知识，并结合文本内部词性语义，研究融合内部语义和外部知识的多模态监督主题模型。.在国家自然科学基金项目(No. 61772170)的支持下：课题组围绕多媒体事件分类的若干关键问题展开研究，包括监督语料的先验知识和内部语义，社会事件的外部知识，多模态监督主题模型方向展开研究，课题组累计发表、录用学术论文12篇，申请目相关的发明专利5项，授权2项。在基金的资助下，培养研究生6名，其中博士生1名，硕士生5名。