基于紧凑视觉特征与混合索引的海量图像检索技术研究

With the rapid advances on computer technology, recent years has witnessed the explosion of Internet image data. Such large-scale data has made studies how to effectively store, analyze and find massive image data important for both theoretical advance and real applications. This project focuses on two key issues in large-scale image retrieval: 1) how to extract compact and discriminative feature extraction, and 2) how to achieve effective multi-feature fusion. Two conquers these two issues, we will study the following topics: compact local descriptor extraction, compact Convolutional Neural Network (CNN) feature extraction, hybrid indexing, and applications in mobile visual search and surveillance video retrieval. The discriminative power of visual feature will be enhanced by combining two complementary features describing low level visual details and high level semantics, respectively. The compactness will be achieved by compressing these two features. The multi-features will be seamlessly fused in the hybrid indexing structure. This novel retrieval framework is expected to significantly reduce the computational, memory, and network transmission cost, as well as to achieve better retrieval accuracy. Hence it is potential to promote the development of applications like mobile visual retrieval and surveillance video retrieval. This project is expected to advance the field of large-scale image retrieval research and provide theoretical, technical and methodological support for multimedia big data analysis.

随着计算机技术和网络技术的进步，网络上的图像数据已经呈现爆炸式增长。研究如何有效地存储、检索和分析海量图像数据具有重要的理论和实际意义。本课题围绕如何提取高判别力紧凑特征、如何合理融合多模态特征，这两个海量图像检索中的重要问题开展研究。具体的研究内容包括：（1）紧凑局部特征提取、（2）紧凑深度卷积神经网络特征提取、（3）混合索引建立、（4）移动视觉与监控视频检索应用。本课题通过提取两类互补特征来同时获取图像的局部细节与高层语义信息，通过分别对两种特征进行二值化和压缩获得紧凑的特征表达，利用混合索引离线融合多模态的图像特征。研究提出的紧凑特征和高效索引框架有望提升检索准确率并降低检索的计算、内存、网络传输开销，实现对海量的监控视频数据的有效索引和检索，推动移动视觉检索技术的发展。本课题预期在海量图像检索领域实现研究突破，并为多媒体信息大数据处理提供理论、技术和方法支持。

随着计算机技术的进步，网络上的图像视频数据已经呈现爆炸式增长。研究如何有效地存储、检索和分析海量图像视频数据具有重要的理论和实际意义。本课题围绕如何提取高判别力紧凑特征、如何合理融合多模态特征，这两个海量图像检索中的重要问题开展研究。具体的研究内容包括：（1）紧凑局部特征提取、（2）紧凑深度卷积神经网络特征提取、（3）混合索引建立、（4）细粒度行人车辆检索应用。本课题通过设计紧凑的浅层神经网络提取二值紧凑局部特征，所提特征比传统手工特征具有更强的判别力与紧凑性；通过设计新型的网络结构与网络训练算法，显著提升了神经网络特征的判别力与推广能力；通过设计高效的多层索引结构，提升了检索的时间与空间效率；通过设计高判别力鲁棒车辆与行人特征，显著提升了行人与车辆细粒度检索准确率，并构建了原型系统。项目执行期间，项目组发表权威期刊与会议论文33篇，包括T-PAMI论文3篇、T-IP论文4篇、T-MM论文3篇、T-CSVT论文2篇，Patter Recognition论文2篇，CVPR、ICCV、AAAI、ACM Multimedia等CCF-A类会议长文9篇。课题负责人以第一发明人申请国家发明专利9项。项目组共培养博士生6人、硕士生3人。其中，博士毕业1人，硕士毕业2人。项目执行期间，负责人获得首批北京市杰出青年科学基金、国家重点研发计划政府间/港澳台重点专项资助，获得教育部技术发明一等奖、中国电子学会科技进步一等奖等奖励。