大规模图像检索中多源异质视觉特征的学习与表达

With big data for social multimedia, we mainly focus on learning and representation of visual features in large-scale image retrieval in this project. To address conventional problems in feature learning, e.g., the curse of dimensionality and the semantic gap, we are devoted to devising multi-source, multi-view and multi-level feature learning algorithms for improving the descriptiveness and discriminative power of visual features. Specifically, our research comprises the following three parts, namely low-dimensional manifold recovery from high-dimensional feature space based on multiple random projections and multi-graph embedding, multi-view discriminative feature subspace learning based on user-relevance feedback for image re-ranking and multi-view binary hash learning based on learning using privileged information (LUPI). Overall, the descriptive and discriminating power of visual features is enhanced through the above-mentioned three-fold research while the computational efficiency and the memory consumption is maintained in large-scale image retrieval, which is beneficial for the further development of learning and representation of visual features in large-scale social multimedia.

在社会多媒体大数据背景下，本项目以大规模图像检索中多源异质视觉特征学习与表达作为研究主题，针对特征学习中的“维数灾难”、“语义鸿沟”等问题，通过设计多结构多视角多层次的特征学习算法，提高图像特征的表示力和判别力。本项目研究内容主要包括基于流形学习的无监督特征表达、基于多视角学习的有监督特征表达以及基于特权信息的多视角哈希学习，并从以下三个方面逐层推进：通过多子空间随机投影和多图嵌入的方法挖掘高维特征空间隐含的多结构低维流形结构；基于用户相关性反馈，通过多视角判别式特征子空间学习进行图像的重排序，以提高图像检索的准确率；利用基于特权信息的多视角哈希学习获得图像的紧凑二值编码。本项目主要从上述三个方面提高大规模图像检索中视觉特征的表示力和判别力，同时保证大规模图像视觉特征表达的计算效率和内存开销，为社会多媒体大数据中视觉特征的学习与表达的研究奠定基础。

本项目以大规模图像检索的特征学习与表示为研究背景，针对传统的高维特征空间存在信息冗余、视觉特征可靠性不足、低层和高层特征之间存在的语义鸿沟等问题，通过结合多结构多视角多层次的特征学习算法，设计具有良好表示力、判别力和语义感知力的图像视觉特征表示，具体研究内容主要包括基于多子空间流形结构的鲁棒特征表示、判别式多视角多层次的特征子空间学习以及基于多视角多层次的哈希二值特征学习。本项目在前期研究工作取得的成果的基础上，进一步深入研究基于视觉搜索和重排序的判别式多视角特征子空间学习方法，先后提出了鲁棒的判别式特征子空间学习框架和基于特权信息学习的判别式多视角特征子空间学习框架，特别是在大规模图像检索任务中，验证了本项目提出的算法的有效性。在100K规模的数据集上的重排序的检索准确率达到85%左右。相关成果分别发表在数据挖掘领域的顶级期刊IEEE Transactions on Knowledge and Data Engineering和图像处理多媒体计算领域的顶级期刊IEEE Transactions on Image Processing上。本人的研究是围绕图像检索中的视觉特征表示与学习这一核心问题所展开的，这也和当前模式识别和人工智能研究领域中的视觉分类、情景理解、智能感知等一系列问题紧密相关，因此，对于推动相关领域的发展具有重要的科学意义。本项目的研究工作和相关成果已经应用于包括行为识别，行人检测等其它视觉领域中，取得了预期的效果。