面向社会多媒体内容的知识表达研究

Social media that attracts hundreds of millions worldwide users to create and share information, has generated a huge amount of texts, images, audios and videos. Facing such big multi-source and multi-attribute heterogeneous social multimedia content data, how to effectively and efficiently conduct knowledge extraction and representation for end-user information services, becomes the key problem to realize the value of social media content data. Concerning this issue, in this project, we study the theories and methodologies for knowledge representation of social multimedia content, explore the effect of knowledgization of social multimedia content data. It mainly contains the following four parts: (1) To deal with semantic correlations among different modalities, we study effective methods for multimodal feature representation; (2) To deal with the characteristics of social multimedia content data, such as heterogeneity, multi-sources and complex associations, we study effective methods for knowledge extraction to construct the knowledge network base; (3) Based on the constructed knowledge network base, we investigate the effective methods for knowledge representation of entities, concepts, relations and attributes; (4) To promote the demonstration applications in various information services, we develop the verification platform for knowledge representation of social multimedia content.

社会媒体吸引着数以亿计的用户参与其中进行创造和分享信息，产生了海量的文本、图像、音频和视频数据。 面对这些数量巨大、异构多源、多属性关联的社会多媒体内容数据，如何从其中有效地进行知识获取和表达，支持信息应用服务，成为实现社会媒体大数据价值化的关键。针对此问题，本项目研究社会多媒体内容的知识表达的基础理论和关键技术，探索社会多媒体内容数据知识化的方法和规律，拟从以下四个方面展开工作：（1）针对社会多媒体内容的多模态以及各模态之间的强弱语义关联性，研究多模态内容的统一特征表示的方法；（2）针对社会多媒体内容的多源异构和多属性关联特性，研究有效的知识提取方法并建立知识网络库；（3）基于建好的知识网络库，研究面向知识库的实体概念、关系和属性的表示学习方法；（4）研发基于社会多媒体内容的知识表达应用的验证平台，推动其在信息服务中的示范性应用。

社会媒体平台产生了海量的文本、图像、音频和视频等类型的数据。面对这些数量巨大、异构多源、多属性关联的社会多媒体内容数据，如何从其中有效地进行知识获取和表达，支持信息应用服务，成为实现社会媒体大数据价值化的关键。针对此问题，本项目研究了社会多媒体内容的知识表达的方法和规律，取得了如下成果：（1）针对社会多媒体内容的多模态和异构性，提出了一种基于注意力机制的协同多模态异构网络表示学习框架，能够有效地学习社会媒体内容的鲁棒特征表示；（2）针对社会多媒体内容的多源异构和多属性关联特性，提出了基于图深度学习建模进行多媒体知识图谱构建的系统性方法框架，解决了大规模自动化构建多媒体知识图谱的效率瓶颈问题；（3）针对社会媒体内容的统一知识表示学习问题，提出了基于图神经网络的多模态多关系的知识学习框架，解决了知识图谱网络中的多模态、多结构和异构性问题，能够有效支撑下游推理等任务应用；（4）针对社会多媒体内容的信息服务需求，提出了基于知识图谱的可视化和可解释问答推荐的应用方法框架，解决了社会多媒体信息获取效率的问题。项目发表学术论文17篇，其中IEEE/ACM汇刊论文4篇，包括领域顶级会议CCF-A类 ACM Multimedia在内的国际会议论文9篇，并申请专利6项，获得授权专利1项。项目研制了面向学术知识服务的社会多媒体内容知识表达应用的数据资源与验证平台：构建了可采集PB级以上的分布式实时爬虫数据采集系统，研发了人工智能知识分发平台-专知(www.zhuanzhi.ai) ，利用社会多媒体内容知识表达的方法技术为用户提供专业可信的学术知识服务。专知示范应用产品累计服务超过十五万注册用户，用户阅读量累计超过1000万次，专知获得2018年中国多媒体大会杰出技术展示奖和2019年中国多媒体大会最佳论文奖，在人工智能领域有显著的传播影响力。项目成果能够为社会媒体环境下的知识表达提供基础理论和关键技术支持，使多媒体知识更好地在网络多媒体信息服务等方面发挥作用。