面向社会事件的跨模态知识构建、演化与推理

In recent years, with the widespread of social media big data and the wide focus on social event from government and the people, how to realize the deep understanding and application on social events has become an important topic in academia. This project proposes event-centric multimedia knowledge graph to construct, update and reason event knowledge. This project focuses on three limitations of event-centric multimedia knowledge graph, that is, hard integration, hard updating and hard reasoning on event knowledge, and three key issues respectively, that is, event knowledge graphic methodology, knowledge dynamics, and knowledge intelligence. Firstly, we will study on multimedia knowledge construction for social event, and propose a unified cross-modal feature representation modal and a multimedia knowledge graph construction framework. Then, we will focus on the method of event, entity and relation updating, and propose an event knowledge graph evolution theory. Later, we research on multimedia knowledge graph reasoning. At last, we will realize of a multimedia event knowledge verification platform, including a database platform and a verification on application platform.

近年来，随着社交媒体大数据的爆发，以及国家和人民对社会事件的广泛关注，如何实现对社会事件的深度理解和应用，已经成为学术界的一个重要课题。本项目提出基于事件多媒体知识图谱，对社会事件进行知识融合、更新和推理。针对事件多媒体知识图谱所面临的事件知识难整合、难更新和难重用三个挑战出发，围绕事件知识图谱化、知识动态化、知识智能化三个关键科学问题，研究面向社会事件的多媒体知识的构建，提出跨模态统一特征表示模型和多媒体知识图谱构建框架；通过对事件更新、实体更新和关系更新的算法研究，提出图谱化事件知识的动态演化理论；基于事件多媒体知识图谱，研究跨模态知识的复用和迁移、知识跨模态智能推理、知识驱动的协同决策；最终实现一个新型图谱化事件多媒体知识验证平台，在真实大数据环境下形成示范性资源和应用系统，促进事件知识深度理解与应用上的成果突破。

本项目基于事件多媒体知识图谱，研究了社会事件的知识融合、更新和推理。针对事件多媒体知识图谱所面临的事件知识难整合、难更新和难重用三个挑战，围绕事件知识图谱化、知识动态化、知识智能化三个关键科学问题，研究了面向社会事件的多媒体知识的构建，提出了跨模态统一特征表示模型和多媒体知识图谱构建框架；通过对事件更新、实体更新和关系更新的算法研究，完成了图谱化事件知识的动态演化理论；基于事件多媒体知识图谱，完成了跨模态知识的复用和迁移、知识跨模态智能推理、知识驱动的协同决策。发表论文38篇，其中SCI检索期刊22篇，申请专利3项。获得国际会议MMM'19 Best Paper Runner-Up奖， ICME杰出领域主席奖和ACM MM 2019最佳论文候选。在数据方面，搭建了社交媒体知识图谱数据库。在平台方面，搭建了智能跨媒体创作知识库与应用系统、面向公共突发事件的验证系统与示范平台、以及公共服务跨媒体应用系统。