基于无视觉码本框架的大规模图像检索研究

Currently, most content-based image retrieval (CBIR) algorithms and techniques adopt the "Bag-of-Visual-Words" model using the idea from information retrieval, and make use of the visual codebook to perform quantization on image local features. However, such codebook-based feature quantization in many existing CBIR methods is essentially a kind of data-compression-oriented vector quantization, which is not fully applicable to the large-scale image retrieval which targets at visual content identification. With awareness of this problem, this project proposed to research the visual content similarity-preserving quantization on local visual features. We propose a novel codebook-free image retrieval framework, which avoids the constraint of training visual codebook and can be flexibly adapted to any diverse image dataset for efficient quantization and indexing for scalable image search. Moreover, to enhance the codebook-free framework, we propose to research the visual feature sampling method before feature quantization and the search re-ranking method with image context analysis after feature quantization to further boost the retrieval performance. This project is to make a breakthrough in the quantization theory on local visual feature and make significant novelty contributions in techniques and methods for large-scale image retrieval. Besides, it will also explore the data compression theory for large-scale content data processing and analysis to lay the foundation for theoretical and practical large-scale image retrieval techniques.

现有基于内容的图像检索借鉴文本检索思想，采用视觉词袋模型,其核心技术之一是利用视觉码本将图像局部特征量化为视觉单词。然而，基于码本的量化本质上是一种面向数据压缩的矢量量化，并不完全适用于面向视觉内容识别的大规模图像检索。本项目拟研究的关键科学问题是：面向视觉内容相关度保持的局部视觉特征量化方法。本项目创新性地提出研究无视觉码本的图像检索框架，避免训练视觉码本的约束，可对任意图像数据库自适应地生成量化器，对局部特征进行快速量化和索引，实现可扩展的大规模图像检索。此外，为完善无码本检索框架，本项目还拟研究量化前的视觉特征采样方法和量化后的基于图像上下文分析的检索重排序法方法，以进一步提高检索精度。本项目预期在局部视觉特征的量化理论上有所突破，在基于内容的大规模图像检索技术方法上取得重大创新，尝试探索面向大数据处理与分析的数据压缩理论，为大规模图像检索技术的理论化、实用化奠定基础。

现有基于内容的图像检索借鉴文本检索思想，采用视觉词袋模型,其核心技术之一是利用视觉码本将图像局部特征量化为视觉单词。然而，基于码本的量化本质上是一种面向数据压缩的矢量量化，并不完全适用于面向视觉内容识别的大规模图像检索。本项目拟研究的关键科学问题是：面向视觉内容相关度保持的局部视觉特征量化方法。本项目创新性地提出研究无视觉码本的图像检索框架，避免训练视觉码本的约束，可对任意图像数据库自适应地生成量化器，对局部特征进行快速量化和索引，实现可扩展的大规模图像检索。本项目的研究内容包括3 部分：1)局部视觉特征采样；2)局部视觉特征量化和索引；3)基于图像上下文分析的检索后处理。.经过4年研究，项目组在上述三项研究内容取得了重要进展。在局部视觉特征采样方面，提出了基于视觉对象检测置信度的局部特征采样方法，提出了基于视觉显著度的深度局部特征采样方法等；在局部视觉特征量化和索引方面，提出了基于二值SIFT的无码本训练的图像检索方法，提出了基于双分辨率的层级标量量化方法，提出了图像局部视觉特征融合方法，提出了基于自组织映射的深度有监督量化方法等；在基于图像上下文分析的检索后处理方面，提出了基于图像近邻上下文分析的图像检索方法，提出了基于扩散的层级图像特征增强方法，提出了基于深度学习的图像检索质量评价方法等。这些成果丰富和发展了大规模图像检索理论与方法，为进一步探索适用于大数据处理与分析的数据编码压缩理论奠定了理论、方法和技术基础。.项目执行期间项目组发表学术论文44篇，包括IEEE/ACM Transactions论文15篇、CCF A类会议11篇；申请专利5项，其中授权2项。项目负责人获2018年国家基金委优青项目资助。该项目培养博士毕业生2人，硕士毕业生10人。项目组圆满完成了项目计划书制定的研究计划，达到了预期的研究目标。