非监督深度哈希图像表示学习方法研究

The current deep hash learning method is mainly supervised learning methods, which requires a lot of data annotation. For large-scale unlabeled data, effective learning methods are very rare. This project takes deep hash image representation learning under unsupervised conditions as the research object, and studies the new generation network structure design, loss function and attention mechanism in unsupervised deep hash learning. Based on this, the project intends to study the following: (1) Unsupervised deep hash learning architecture design and model solving algorithm based on generative adversarial networks; (2) Hash coding and decoding model based on vector neural network, and heuristic approximation method based on hash constraint; (3) According to the local characteristics of multiscale features, a local hash coding strategy will be proposed, and the association between hash bit and semantic object will be designed. An interpretable model of deep hash coding will be proposed; (4) Based on the saliency mechanism in human brain, a method to construct saliency in deep hash networks will be proposed and an algorithm to solve the model in forward and back propagation optimization will be designed. The research of this project will provide a basic theory for constructing a reliable and efficient unsupervised deep hash image representation learning method and provide technical support for efficient retrieval of large-scale unlabeled images.

目前深度哈希学习方法主要是有监督学习方法，训练需要标注大量数据。对于大规模无标签数据，缺乏有效的学习手段。本项目以非监督条件下深度哈希图像表示学习为研究对象，围绕非监督深度哈希学习中新形态网络结构设计、损失函数构建以及图像处理中的注意力机制等问题展开研究。基于此，本项目拟研究如下内容：(1)基于对抗生成网络结构的非监督深度哈希学习体系结构设计和模型求解算法；(2)基于向量神经网络构建哈希编码解码模型，并根据哈希约束条件设计启发式近似求解方法；(3)根据多尺度空间局部特性提出局部哈希编码策略，设计哈希比特位与语义对象的关联模型，提出深度哈希编码的可解释模型；(4)基于人脑中的显著性机制，提出深度哈希网络中显著性的构建方法，并构建前向传播和反向传播过程中的求解算法。通过本项目的研究将为构建可靠、高效的非监督深度哈希图像表示学习方法提供理论基础，为大规模无标签图像高效检索提供技术支持。

利用无标签的图像数据进行哈希特征学习是计算机视觉中一个极具挑战的问题。而公认制约其应用的瓶颈是非监督哈希特征表示学习的精度受多种因素影响难以有效提高，且长期未被有效解决。本项目以非监督条件下深度哈希图像表示学习为研究对象，围绕非监督深度哈希学习中新形态网络结构设计、损失函数构建以及图像处理中的注意力机制等问题展开研究。基于此，本项目研究的主要技术包括如下内容：(1)提出了基于生成对抗网络的非监督深度哈希学习框架，提出了基于向量神经网络编码解码网络结构的模型结构、损失函数与模型求解算法，并通过实验评估了模型性能，有效改善了实例级图像哈希特征检索性能。(2)提出了结合非监督聚类与非监督对比学习的深度哈希学习框架，设计了去除噪声标签的学习策略，显著提升了语义级图像哈希特征检索性能，并根据哈希约束条件设计了启发式近似求解方法。(3)提出了自监督局部分组哈希编码方法，利用成对的分组哈希特征的相似性关系构建损失函数进行优化，进而得到了更加鲁棒的哈希特征，增强了哈希学习的可解释性。提出了一种多尺度特征编码模块，该模块由一系列平行的具有不同感受野的紧致空洞卷积组成，能够以一种更紧致的方式来捕获多尺度特征。(4)基于人脑中的显著性机制，提出了一种基于互补注意力机制的显著性哈希编码方法，对不同的显著性机制加入到编解码网络的各个位置进行了实验分析，验证了无监督互补显著性机制的有效性。项目在模型设计中的有效机制，可以应用于多种视觉任务中，如图像分类、行人重识别、图像融合、视频前背景分割、细粒度分类等众多领域，具有广泛的应用前景。通过本项目的研究一方面显著提升了非监督哈希检索的精度，为构建可靠、高效的非监督深度哈希图像表示学习方法提供了理论基础；另一方面，项目显著减少了海量数据存储和通信的内存开销，有利于大规模图像视频数据的分析处理，为大规模无标签图像高效检索提供了技术支持。