基于深度语义哈希的大规模图像检索算法研究

In order to overcome the limitation of the weak robustness and high computational complexity of traditional visual features used in large-scale image retrieval, this project aims to make a trade-off between the robustness of image representation and the computational complexity of large scale image retrieval. Based on the advantages of hashing techniques which can generate compact yet powerful image binary representations, the superiority of deep Convolutional Neural Network (CNNs) in strong discriminative representation generation, and the image generation capability of Generative Adversarial Networks (GANs) which can automatically learn the internal distribution of image data, a novel semi-supervised deep semantic hash encoding is designed in this project for large scale image retrieval. The main purpose of this project is to provide a high accuracy and high efficiency deep semantic hash model for large scale image retrieval by designing a high-performance deep convolutional neural network architecture, an effective object hash function, as well as combining GANs with the CNNs.

本项目针对传统视觉特征在大规模图像检索中存在的鲁棒性差，计算复杂度高等缺点，以解决图像特征表达能力与计算复杂度难以自适应平衡的问题为目标，拟开展基于深度学习的图像语义哈希编码研究。通过利用图像哈希编码具有的空间、时间复杂度低的优势，深度神经网络对图像的逐层特征抽象表示和自主学习的优良特性，以及生成式对抗网络模型能够自动学习图像数据内部分布的特点，进行基于半监督深度语义哈希编码的创新研究。通过设计高性能的深度卷积神经网络模型，有效的目标哈希函数，以及将生成式对抗网络模型与卷积神经网络模型相结合，旨在提高深度语义哈希编码鲁棒性的同时，有效克服小样本训练数据集对深度卷积神经网络模型训练造成的局限性，为大规模图像检索提供有效并且稳健的算法。

针对海量多模态数据检索面临的挑战：检索精度、检索效率、存储空间以及多模态异构数据之间的语义鸿沟，即在保证较高精度的前提下，快速完成满足用户需求的多模态数据检索，并使用尽可能小的存储空间。.针对海量多模态数据检索面临的挑战，本项目针对传统特征在海量多模态异构数据检索中存在的鲁棒性差，计算复杂度高等缺点，以解决多模态异构数据特征表达能力与计算复杂度难以自适应平衡的问题为目标，开展了基于深度学习的多模态语义哈希编码研究。通过利用哈希编码具有的空间、时间复杂度低的优势，深度神经网络对多媒体数据的逐层特征抽象表示和自主学习的优良特性，以及生成式对抗网络模型能够自动学习不同模态数据内部分布的特点，开展了基于半监督深度语义哈希编码的创新研究。通过设计高性能的深度卷积神经网络模型，有效的目标哈希函数，以及将生成式对抗网络模型与卷积神经网络模型相结合，有效地提高了深度语义哈希编码鲁棒性的同时，有效克服小样本训练数据集对深度卷积神经网络模型训练造成的局限性，为海量多模态数据检索提供了有效并且稳健的算法。.该项目所产出的成果具有重要的科学价值，能够有效地推动信息安全和搜索引擎等领域技术的发展。该项目在2019年至2021年实施期间，共发表和项目研究主题相关的SCI期刊论文7篇，EI检索会议论文5篇（其中CCF-C推荐会议论文4篇），达到预期研究成果。