基于深度神经网络的相似性保持哈希的关键技术研究

Similar image retrieval on large-scale databases is a hot research topic in both computer vision and information retrieval communities. Among various approaches for large-scale image retrieval, similarity-preserving hashing is one of the leading approaches. Similarity-preserving hashing methods use random projections or machine learning techniques to construct a set of hash functions. These hash functions can map each of the input samples (e.g., an image) to a binary code, so that similar samples have nearby binary codes but dissimilar samples have binary codes with large distances. This project aims to conduct research on the key techniques for deep-networks-based similarity-preserving hashing methods. (1) We plan to propose novel deep architectures that can convert images/videos to length-limited but similarity-preserving binary codes, where the binary codes can capture the most important content in the input images/videos. (2) We plan to propose learning-based hashing methods by using small set of training samples (e.g. k-shot hashing, hashing based on generative adversarial networks), so as to tackle the cases that are lack of training samples or the cases of cross-domain retrieval. (3) To improve the retrieval efficiency, we plan to propose novel strategies to optimize the procedure of partitioning a long hash code into multiple pieces.

面向海量数据的相似图片检索是计算机视觉、信息检索等领域的热门研究问题。在各种面向大规模图片数据的检索方法中，相似性保持的哈希是主流方法之一。相似性保持的哈希是通过构造随机投影或机器学习等手段得到一组哈希函数，这组哈希函数可以把每个样本（如图片）转换成一定长度的二进制哈希码，并使得相似的两个样本所对应的两个哈希码距离较小，不相似的两个样本对应的两个哈希码距离较大。本课题拟研究基于深度神经网络的相似性保持哈希的关键技术：（1）拟提出合适的深度神经网络结构，可以直接把图片/视频转换成长度受限的二进制哈希码，使得得到的哈希码尽可能地表示复杂图片/视频中的关键信息，并做到“相似性保持”；（2）拟研究基于少量训练数据的哈希模型学习方法（如k-Shot Hashing，基于生成式对抗网络的哈希方法等），以应对训练数据不足或跨领域检索的问题；（3）拟研究对较长哈希码进行分段时的优化方法，以提高检索速度。

本项目研究基于深度神经网络的相似性保持哈希的关键技术，研究内容主要包括（1）提出合适的深度神经网络结构，可以直接把图片转换成长度受限的二进制哈希码，使得得到的哈希码尽可能地表示复杂图片中的关键信息，并做到“相似性保持”；（2）针对细粒度图片检索等场景中每个类别样本较少导致用于训练的三元组数量不足的问题，提出基于知识蒸馏和软标签的三元组构造方法，可以在训练样本较少的情况下构造足够多的三元组，从而提升梯度估计的稳定性，改善生成的哈希码的检索效果；（3）研究对较长哈希码进行分段时的优化方法，以提高检索速度。.本项目已发表（含录用）论文13篇，其中期刊论文10篇（其中IEEE Trans. on Image Processing两篇，为CCF A类期刊；IEEE Trans. on Cybernetics两篇，为中科院JCR一区期刊；IEEE Trans. on Circular Systems and Video Technologies三篇；Information Sciences一篇），国际会议论文3篇（其中CCF B类会议两篇）。本项目申请专利4项（其中1项已获得授权）。