移动视觉搜索关键技术研究

Mobile Visual Search is a new information retrieval pattern, which uses a photo taken by mobile camera as query image, and obtains relative information based on image content recognition. It not only has important practical value, but also has high theoretical significance. This new application raises some new challenges to its essential technology-large-scale image retrieval. Our research will focus on four key problems of it: the extraction, representation, indexing and matching of visual features. ①we will study how to extract visual features with high robustness, using an effective and efficient algorithm which is suitable for the computing environment of mobile terminal. In addition, the acceleration algorithm based on mobile GPU will also be studied. ②In order to reduce the transmission and storage cost, without sacrificing the distinctivenes of features, a low-bit feature representation method will be proposed. ③Furthermore, we will also propose a compressed indexing method based on optimized sparse coding, in order to decrease memory cost of index. ④Most importantly, we will study how to improve the retrieval recall under various image distortions, especially affine distortion caused by viewpoint changes. A query expansion method based on features' relationship mining will be proposed to solve this problem. Based on the above research achievements, an experimental system will be established, in order to make a breakthrough in the basic research of mobile visual search, and promote the development of multimedia information retrieval.

移动视觉搜索是以手机等移动终端拍摄的图像作为查询条件，通过图像样例匹配实现特定内容识别、和获取相关信息的一种新检索方式，具有重要的研究价值和应用前景。移动视觉搜索这个新应用领域对其核心技术- - 海量图像检索提出了新的挑战。本项目拟就其中的四个核心基础问题，即视觉特征的提取、表示、索引和匹配展开深入研究：①拟提出一种适合移动终端计算环境的，具有高鲁棒性、低计算复杂度的局部特征提取方法，并基于手机GPU硬件平台进行算法加速；②拟提出一种低比特数特征表示方法，在保证特征区分性的同时显著降低特征的传输和存储消耗；③拟提出一种基于优化稀疏编码的压缩索引方法，降低索引的内存消耗；④拟提出一种基于特征关联规则挖掘的查询扩展方法，提高视角变化下的图像检索查全率。在此基础上，拟构建实验验证系统，以期在移动视觉搜索这个新应用领域中的基础研究方面取得突破，从而促进多媒体信息检索技术的发展。

移动视觉搜索涉及计算机视觉中的很多重点难点问题，是一个极具挑战性的研究领域。项目资助期间，本课题针对移动视觉搜索这个新应用领域中的新的技术挑战进行了深入的探索，从多个角度展开了充分的研究，主要研究成果包括：①图像样例匹配中的高鲁棒性特征提取方法--提出了一种基于目标一致性的近目标级区域检测方法，通过融合似物性(objectness)和显著性(saliency)分析，提取图像中接近完整语义目标的高信息量、高鲁棒性的视觉基元；②图像样例匹配中的低比特数特征表示方法——提出了一种低比特数、高信息量的特征表示方法，在保证特征区分性的同时显著降低特征的传输和存储消耗；③图像样例匹配中的海量特征压缩索引方法——提出了一种基于局部敏感聚类的二进制特征的压缩索引方法，降低海量特征索引与匹配的内存和时间消耗；④图像样例匹配中的多视角查询扩展方法——提出了一种基于语义与视觉关联规则挖掘的目标级视觉短语查询扩展方法，有效提高视角变化下的图像检索查全率。⑤图像语义识别中的无监督学习方法——提出了一种基于样本自动增强的无监督/弱监督学习方法，充分利用海量无标注/弱标注数据进行标注信息的自动传播，减少了深度学习算法对人工精确标注的依赖性，显著提高了图像语义分类精度；⑥图像语义识别中的联合学习方法——提出了一种融合外部知识的联合学习方法，与清华大学合作，提出了一种基于关联信息挖掘的语义识别算法，大幅度提升了衣物图像分类识别的精确度。.综上所述，通过有效融合图像高层语义分类与样例精确匹配两类核心技术中的六大研究点，我们对移动视觉搜索进行了比原定计划更为全面完整的研究，在资助期内超额完成了各项研究任务，发表了20多篇IEEE Trans.和Best paper在内的高水平国际期刊与会议论文，并获得包括北京市科学技术一等奖在内的多个高层次国际国内奖项；项目资助期间，我还赴新加坡国立大学(NUS)访学一年，获邀作院级报告，并开展了一系列成功的国际合作，取得了多项研究成果和良好的国际影响。