基于网络知识和人工知识的图像语义建模方法研究

With the rapid development of Internet techniques, the amount of digital images on the Internet increases dramatically. How we can leverage the rich Web image resources to benefit image semantic modeling in order to realize semantic based image retrieval and management becomes an increasingly important problem. In this proposal we target to address the key problems in image semantic understanding by leveraging the knowledge mined from Web images as well as obtained from human beings. Firstly, as the Web knowledge is highly noisy, we propose an Web knowledge quality assessment method by analyzing the images from both textual and visual cues. In addition, we propose to further improve the quality of the Web knowledge, based on two methods: image search visual reranking and multi-source Web knowledge fusion. Then, to model the semantic concepts better, light human supervision is introduced as complementary to automatically-collected Web knowledge. To obtain the human labeling information efficiently, we propose an active learning based sample selection method to select the most informative images for labeling. Finally, with the collected Web knowledge and human knowledge, we discuss the methods to employ them for learning semantic concept specific visual features and to develop novel machine learning methods which can optimally utilize the two kinds of knowledge. This proposal presents a deep and extensive framework for automatic image semantic modeling, which we believe, will advance the development of not only image semantic modeling theories but also Web multimedia mining applications.

随着Internet技术的发展，互联网上的图像数量飞速增长。针对如何利用丰富的网络图像资源实现基于语义的图像检索和管理，本课题致力于研究基于网络知识和轻量人工知识的图像语义模型学习关键技术。本课题拟从网络知识的获取出发，首先利用图像搜索自动搜集网络图像作为语义模型的训练数据，解决传统语义模型学习中训练数据不足的问题；然后针对网络知识噪声大的特点，提出网络知识的质量评估概念，用于定量分析网络知识的可靠性，同时研究基于多样化重排序和多源知识融合的网络知识的质量改进方案；在网络知识质量差时引入轻量人工知识进行辅助，针对人工标注代价高的特点，提出高效的主动样本选择方案，用尽量少的人工标注量获取最多的信息；最后探讨如何充分利用网络知识和人工知识各自特点的图像特征表达和机器学习问题，全面分析图像语义模型学习中的关键问题。本课题将有力推动图像语义理解和网络知识挖掘的基础理论和技术研究。

为了实现对互联网上快速增长的海量图像进行有效的管理，本项目致力于研究如何利用丰富的网络图像资源实现基于语义的图像检索。本项目的研究思路是结合大量网络知识和轻量人工知识进行图像语义模型学习来解决图像语义建模中的关键问题。主要研究内容包括：1）网络知识的获取。利用图像搜索自动搜集网络图像作为语义模型的训练数据，解决了传统语义模型学习中训练数据不足的问题。2）网络知识质量评价。针对网络知识噪声大的特点，提出了网络知识的质量评估概念，用于定量分析网络知识的可靠性。3）网络知识质量改进。提出了基于多样化重排序的网络知识的质量改进方案。4）图像语义建模。研究了如何充分利用网络知识和人工知识各自特点的图像特征表达和机器学习问题，全面分析图像语义模型学习中的关键问题。经过三年的研究，本项目取得了一系列研究成果，在图像检索结果质量评价、图像检索重排序、机器学习和图像分类等方面都取得了不错的研究进展，相关研究成果发表在国际著名期刊和会议等。这些成果将有力推动图像语义理解和网络知识挖掘的基础理论和技术研究。