基于知识库构建的图像和视频角色语义关系的研究

With the development of information technology, the amount of multimedia in a digital era has been surged. Images and videos are emerging to be an important media carrier for information dissemination, to advance the traditional text based media. To make sense of images and videos, we need to understand the basic roles: person, object and scene, as well as the semantic interrelations among different roles. ..We aim for constructing knowledge base by analyzing objects and people from images and videos. To distill the deep semantics of images and videos, we will focus on two aspects: knowledge harvesting and knowledge management. This project makes the following contributions: 1) populating commonsense knowledge base from images; 2) applying relation extraction for joint text and video analysis; 3) applying named entity disambiguation for textual descriptions of videos by combining textual and visual information; 4) designing new interface for multimedia knowledge bases containing images and videos. To evaluate the theoretical studies, we will run extensive experiments, and build prototype systems. The research results of this project will improve the theory and technology of images and videos understanding, and provide useful knowledge bases for deep semantic analysis of images and videos.

随着社会的进步和多媒体技术的发展，网络带宽和终端计算能力不断增强，图像和视频越来越成为信息传播的主要载体。快速高效处理大量的图像视频数据，找到自己需要的内容，已经成为迫切的需求。如何正确识别出图像和视频中的角色，即人、物体和场景，以及他们之间的语义关系，是对图像、视频内容理解的基本要素。. 本项目研究如何分析图像和视频中的角色语义关系，构建知识库系统的相关问题。我们拟从图像和视频的知识获取以及知识管理两个层面进行研究。项目的主要研究内容为：1)如何设计算法分析图像中的角色从中抽取常识知识；2)如何结合文本和视频数据共同进行关系抽取；3)如何设计算法结合视频信息对视频字幕或脚本进行实体消歧；4)如何设计含有图像和视频多媒体知识库的查询界面及解析算法。最后，基于理论研究成果，构建有效测试平台和原型系统，并为深入理解分析图像和视频中的角色，进行语义分析提供实际可用的知识库系统。

随着社会的进步和多媒体技术的发展，网络带宽和终端计算能力不断增强，图像和视频越来越成为信息传播的主要载体。快速高效处理大量的图像视频数据，找到自己需要的内容，已经成为迫切的需求。如何正确识别出图像和视频中的角色，即人、物体和场景，以及他们之间的语义关系，是对图像、视频内容理解的基本要素。..本项目研究如何分析图像和视频中的角色语义关系，构建知识库系统以及研究其相关应用的问题，并且实现实际可用的系统。我们从图像和视频的知识获取、知识管理与展示和知识库应用三个层面进行研究。本项目设计算法从图像中抽取常识知识构建知识库以辅助物体识别，并且设计基于Kinect的步态识别算法，研究了知识库的链接预测算法，设计并实现基于多媒体知识库的智能问答系统、可视分析系统。项目研究成果可以应用于新闻传播领域，因为新闻数据是多媒体数据，包含文本、图片和视频等。近些年融媒体时代的到来，加大了信息表现形式的发展，出现了大量的VR/AR新闻。因此项目研究了媒体上的内容和传播分析，基于知识获取的自动摘要算法，并且基于VR知识研发了3D虚拟场景的协同构建。项目理论成果还可以应用于机器人等领域。