基于多标签语义本体的图像深度哈希学习新方法研究

The unstructured characteristics of massive image data become great challenges for big-data processing and analysis. The image hashing can represent an image as binary codes, which would dramatically reduce the storage and analysis cost, thereby improving the efficiency of big-data system. For the semantic incompleteness problem of existing approaches, this proposal aims to explore new deep image hashing method based on multi-label semantic ontology. This would achieve the hashing representations of images, which help to keep the visual and semantic features consistent. The main content of our research includes: (1) This proposal aims at a regularized optimization model based on recurrent convolutional neural networks (CNNs), so that the multi-label information can be refined by utilizing multi-layer visual features and correlations between tags; (2) This proposal aims to develop a hierarchical semantic model based on semantic ontology and explore the interactive method for constructing an ontology; (3) This proposal aims to propose the construction method of deep hash functions and explore the multi-layer supervised Restricted Boltzmann Machine model by utilizing the semantic ontology, so that the symmetrical model structure can further be designed for the deep image hashing..The most novelty of this proposal is to propose a new way that leverages the hierarchical semantics information from multi-labels of images and design new deep hash functions corresponding to the multi-level visual representations and semantic ontology. The research achievements will be of great theoretical value on the fields of computer vision as well as pattern recognition, and provide key technical supports for developing the systems, such as visual search and image recommendation.

海量图像数据的非结构化为大数据处理与分析带来巨大挑战，而图像哈希方法可将其表示为二进制形式，能显著减少存储和处理开销，提高大数据学习系统的效率。针对现有方法中标注语义欠丰富问题，本项目旨在探索基于多标签语义本体的深度哈希学习新方法，获取图像视觉与语义一致的多层哈希函数。研究内容主要包括：1）研究基于循环卷积网络的正则化优化模型，利用多层视觉特征与标签相关关系优化图像多标签信息；2）研究基于语义本体的多标签语义层级模型，探索语义本体的交互式建模方法；3）研究深度哈希函数的构造方法，探索基于语义本体的多层限制玻尔兹曼机监督学习模型，设计适合深度哈希学习的对称模型结构。.项目主要创新点在于提出挖掘图像多标签层级语义信息的新思路，并基于多层视觉表示与语义本体设计相应的多层哈希函数。项目研究成果对计算机视觉、模式识别等领域具有重要理论价值，将为视觉检索、图像推荐等系统提供关键技术支撑。

本项目通过构建基于卷积神经网络的深度学习系列模型，挖掘图像多个标签间的不同语义描述方式，构建了多种深度哈希学习新方法，获取了图像视觉与语义一致的多层哈希函数，完成了图像有效简洁的表达。. 研究内容与取得的技术主要包括：1）本项目针对多种视觉分析任务，探索了多种深度卷积网络结构（以循环卷积网络为主），如深度孪生网络、异构双流网络、局部二值模式网络、多连接循环卷积网络，参数不敏感结构等，并进一步提出了面向不同任务的损失函数，从而建立了多种面向图像或视频的视觉内容深度网络表示模型；2）本项目进一步研究了多标签的相关关系多种建模方式，如Pairwise方式、Hierarchical方式和Multiscale方式，构造了面向层次化分类方法的语义本体，建立了面向大规模图像分类的树型分类结构和面向目标检测的多尺度标签；3）通过结合视觉表征与语义描述，构建了变换鲁棒的视觉特征描述方式，针对上述不同的标签语义度量方式，面向不同任务，分别构建了Flat方式和Hierarchical方式的哈希函数层，并通过在特征描述层后引入哈希层来学习高效率的哈希码。. 项目获得的主要创新工作在于面向多种视觉任务，构建了基于多流、多尺度等结构多样化的循环卷积网络，构建了多种标签语义的相关关系，尤其挖掘了图像多标签层级语义信息（语义本体），并基于上述多层视觉表示与语义本体设计相应的多层哈希函数。本项目提出的方法一方面可有效地表征图像视觉内容，提升图像的表达能力，另一方面可显著地减少海量图像的存储、通信以及搜索开销，有利于数据的处理与分析，因此广泛应用于视觉检索与识别、数据挖掘、多媒体处理、推荐系统以及社交网络分析等领域中，对计算机视觉、模式识别等领域具有重要理论价值。