基于特征融合的图像近似最近邻搜索哈希方法研究

Owing to the significant improvement of storage and indexing efficiency, hash based methods for image approximate nearest neighbor search has attract much attentions in recent years. However, their retrieval performance still stays beyond the satisfactory one, because the hash functions usually lack discriminative power. This project will utilize the complementary relationship between multiple visual and semantic features of images, and systematically study the construction of informative hashing functions, from the view of hierarchical feature fusion. On the theoretical level, we will first analyze the distribution characteristics of high dimensional data, exploit the mechanism of nearest neighbor search, and establish performance evaluation criteria and the overall performance improving methods using maximum entropy principle and subspace methods. On the technique level, we will study three fusion based hashing methods: hashing with multiple visual feature fusion based on multiple kernel learning, supervised hashing based on semantic feature learning, and query adaptive hashing and its transfer mechanism based on multiple sematic share. On the application level, we will represent hash function candidates as a graph, and study the unified hashing selection method and multiple hash table construction strategy. Overall, the project will establish a theoretical system for informative hash function construction, and efficiently improve the nearest neighbor search performance of hash based image retrieval.

基于哈希的图像近似最近邻搜索方法，能够显著提高高维数据的存储和索引效率，成为当前的一个新研究热点。在这种方法中，目前由于缺乏高性能的哈希函数，使检索的准确率还不能满足要求。本项目结合图像多种视觉与语义特征在反映图像特性上具有互补性的特点，以特征的多层次融合为着眼点，对高性能哈希函数的构造方法展开系统研究。在理论层面上，通过研究高维空间数据的分布特性，利用最大熵原理和特征子空间方法，研究哈希最近邻搜索机理与哈希性能评价指标体系及提升方法。在技术层面上，研究基于多核学习的多视觉特征融合的哈希方法，研究基于语义特征选择的哈希监督学习方法，以及基于多语义共享的哈希迁移与查询自适应机制。在应用层面上，通过构建哈希函数图，研究普适的哈希选择及多表构建方法。本项目最终将建立一种高性能哈希函数构建理论体系，有效提高基于哈希的图像近似最近邻搜索的准确率。

本项目针对大规模图像数据的高效检索问题，以特征的多层次融合为切入点，对基于哈希的图像近似最近邻搜索方法展开了系统、深入的研究。理论层面上，通过研究高维数据空间的分布特性,揭示了哈希整体性能提升的内在因素，并提出了提升方法。技术层面上，提出了基于多核学习的多视觉特征融合的哈希方法，基于哈希的多特征融合重排序方法，图像语义-视觉特征融合的查询自适应哈希方法，基于哈希的图相似性检索方法等。应用层面上，提出了基于马尔可夫的通用哈希选择方法，面向大数据的分布式迭代量化哈希学习算法。项目所提出的方法与技术，在实际非结构化数据管理系统中进行了应用验证。本项目的研究工作与国内外同类研究相比具有创新性与先进性。项目取得的成果主要包括：.（1）提出了分布敏感的结构共享哈希方法。该方法揭示了哈希整体性能提升的内在因素，很大程度是上哈希函数是否存在一个高区分力的共享内部结构，并给出了结构共享哈希函数的学习方法；.（2）提出了多特征融合的核哈希方法。该方法利用多核学习方法将多个核进行组合，并通过学习找到性能最好的多核组合方式，从而提升了哈希函数的性能；.（3）提出了基于哈希的多特征融合的重排序方法。该方法较好解决了由于哈希编码的信息损失所导致的排序不准确问题，提升了基于哈希检索方法的性能；.（4）提出了基于哈希的查询自适应多标签图像检索方法。该方法将图像的标签语义信息与视觉特征融合进行哈希函数训练，同时检索过程能够根据用户输入信息的不同（图像实例及语义标签），自动完成最优化哈希函数的选择，生成效果最好的哈希编码；.（5）提出了基于马尔可夫的通用哈希选择方法。该方法建立的哈希表，选择了信息丰富的位并保证位之间信息互补，同时，能够从哈希表池中挑选具有优秀检索性能且互补的哈希表组合成多哈希表，有效提高了检索效果；.（6）提出了面向大数据的分布式迭代量化哈希学习算法。该方法充分利用大规模训练集的优势，实现了大规模分布式哈希函数学习，得到了性能优越的哈希函数；.（7）提出了基于哈希的图相似性检索及其在图像检索中的应用方法。基于哈希的思想，对图数据进行向量化表达并构建哈希表索引，显著提高了图数据的检索效率，进而提出了基于图的图像表示方法，并将基于哈希的图检索方法应用于图像检索，取得很好的检索效果。