基于相似性的图像特征逆向学习算法与应用

Designing good image features in general or for a specific task is a longstanding research problem and a grand challenge for the computer vision community. And it is known that excellent image features are esential for boosting the performance of scene categorization, object recognition and image retrieval systems. Up to now, most common image features are either global or local ones that are computed in a pre-defined manner based on the information of image pixels. However, similarities between these manually curated image features usually do not represent the true affinities between these image patches. As a result, those "forward designed" image features may achieve good performance on some specialized image processing tasks, but they are not ideal candidates for more general computer vision problems such as natural scene categorization and retrieval. To resolve this problem, in this proposal, we investigate a novel approach to reverse engineering features from similarities between image patches. Different from traditional "forward" feature design approaches, the proposed approach has the unique advantage that the similarities between those reversed image features could represent the real affinities between image patches arbitrarily well, which also makes the classifier design much easier. In summary, the key research issues in this proprosal include: How to construct an ideal similarty measure for image patches, how to reverse engineer patch-level features from the similarity measure and how to design a good image-level similarity measure based on the patch-level features. To address the key problem of reverse engineering image features, we propose an efficient algorithm based on incomplete Cholesky factorization and demonstrate its effectiveness.

设计图像特征是计算机视觉领域内的最基本研究内容之一，优秀的图像特征能够有效地提高图像分类、识别与检索等相关算法的性能。常见的图像特征分为全局和局部特征两大类，通常，这些特征都是利用图像中像素点的信息计算得到。然而，人为设计的图像特征之间的差异往往不能足够理想地反映图像块的相似性，因此这些正向设计的特征往往在某个图像处理任务上有较好的性能，但不能保证较好的通用性。本研究的核心是从图像中的图像块间相似性度量出发，逆向生成图像块的特征。这种特征构造方法是传统上由特征计算相似性的逆过程，其优点是图像块之间的特征差异能够理想地反映图像块之间的相似性并易于分类器设计。本项目主要研究内容包括：图像块之间的相似性度量；根据该相似性度量设计自动的特征提取算法以及图像间相似性度量的构造。其最核心的问题是如何逆向构造图像特征，我们将设计基于矩阵不完整Cholesky分解的算法完成这个关键的步骤，并证明其有效性。

在众多计算机视觉任务中，一个本质的难题是得出具有良好判别能力的图像特征表示。由于优秀的图像特征不仅应对类内变化有较好的不变性，还应对类间差异具有足够的判别能力，因此设计优秀的图像特征是一项极具挑战性的工作。本项目主要研究从图像块之间的相似性逆向构造图像块以及图像特征表示的新算法，在避免人工设计图像特征的基础上，提高算法对物体、场景识别的正确率。为此，我们提出一种基于矩阵不完整Cholesky分解的新算法——高效核描述子（Efficient Kernel Descriptor-EKD），它能从图像块两两之间的相似性出发，自动提取图像块特征并进而获得整个图像的特征表示。在此基础上，我们还进一步提出了结合图像类标的不完整Cholesky分解算法——基于监督学习的高效核描述子(Supervised Efficient Kernel Descriptor-SEKD)，它能够有效地利用已知的图像类别信息，通过监督学习，得出具有更强区分能力的图像块特征表示。我们还研究了图像边界提取与自然场景分类中的其它特征学习算法。在Scene-15和Caltech-101两个标准图像数据库上的实验表明，我们提出的SEKD算法分别取得了89.2%和79.3%的正确率，其性能优于核描述子（Kernel Descriptor），监督核描述子（Supervised Kernel Descriptor）等已有的图像特征学习算法，并在相似规模训练样本的基础上取得了和Places-CNN，ImageNet-CNN等基于深度学习的图像分类算法较接近的正确率。综上，本项目提出的一系列图像块、图像特征的自动学习算法，不仅克服了传统图像分类算法需要针对特定的任务人工设计图像特征的局限性，还在物体识别/场景分类应用中取得了相对优秀的性能。这些算法一方面提升了经典的图像字袋模型表示的判别能力，另一方面，它们生成的高质量底层图像特征也可大大降低深度学习算法直接从像素特征进行学习的复杂度。本项目的成果对进一步深入研究图像的特征学习方法，融合传统的图像特征表示与基于深度学习的图像分类算法具有重要意义。