面向社交图像检索的语义迁移离散哈希方法研究

With the proliferation of mobile devices and social networks, these days witness an explosive growth of user generated social images. In a sense, effectively retrieving social images is highly desired by both academic and industrial communities. Hashing is an important technique to support large-scale social image retrieval. However, existing image hashing techniques ignore the important characteristic that, social images are generally accompanied with heterogeneous multiple modalities (such as social relations, GPS location and text descriptions), which potentially involve rich discriminative semantics. They still suffer from two important problems: 1) semantic shortage and 2) discrete optimization. In this project, we investigate a semantic transfer discrete hashing method for social image retrieval, to solve the problems in existing hashing techniques and take the full advantage of the characteristics of social image retrieval. First, we construct a social image dataset including multiple heterogeneous social modalities. Based on it, we investigate a semantic transfer discrete hashing learning framework. Our framework can simultaneously preserve the visual relations of images, discover the potentially valuable semantics from the accompanied modalities, and transfer them into the learned hash codes. Then, to avoid the information loss of discovered semantics and guarantee the direct and effective semantic transfer, an efficient discrete hashing optimization method is investigated to directly solve the hash codes. Our research can substantially propel the binary representation learning techniques of large-scale social images, theoretically and applicably. Moreover, it can also offer the key algorithms for large-scale social image retrieval.

随着社交图像数量呈现爆炸式增长，高效地检索社交图像成为学术界和工业界的迫切需求。哈希是支持大规模社交图像检索的重要技术。然而，现有的哈希技术并没有考虑到社交图像周围通常伴随着语义丰富的异构多模态数据（如社交关系、GPS位置和文本描述）的特性。它们存在着语义信息不足和哈希离散优化两个重要问题。针对当前哈希技术存在的问题，并充分利用社交图像的特性，本项目研究面向社交图像检索的语义迁移离散哈希技术。首先，构建一个包含多种异构社交模态的社交图像数据集。在此基础上，我们研究一种基于语义迁移的离散哈希学习框架，在保留图像间视觉关联的同时，充分挖掘伴随模态中的有价值语义并将其保存至哈希码。其次，为避免语义信息的丢失和保证语义的直接有效迁移，我们研究高效的哈希离散优化方法。本项目的研究将推动社交图像二值哈希学习的理论和应用，为大规模社交图像的检索提供核心算法。

随着社交图像数量呈现爆炸式增长，高效地检索社交图像成为学术界和工业界的迫切需求。哈希是支持大规模社交图像检索的重要技术。然而，现有的哈希技术并没有考虑到社交图像周围通常伴随着语义丰富的异构多模态数据的特性。它们存在着语义信息不足和哈希离散优化两个重要问题。针对当前哈希技术存在的问题，并充分利用社交图像的特性，本项目研究面向社交图像检索的哈希技术。首先，构建一个包含多种异构社交模态的社交图像数据集。在此基础上，1）提出了可扩展语义迁移方法，充分地挖掘社交标签语义，高效地将其迁移至二值图像哈希码中；提出了包括直接和间接语义迁移的互补性双层语义迁移方法，进一步丰富二值哈希码的语义；提出了基于增广拉格朗日乘子法的离散哈希优化方法，直接高效求解二值哈希码，避免量化损失；提出了基于双管齐下策略的轻量级增强图网络哈希方法，挖掘图像的结构语义并利用语义迁移提高图像哈希的性能。2）本项目基于社交图像的多模态数据，研究多模态社交图像哈希方法。提出了自适应的无监督和有监督多模态哈希方法，自适应调整多模态融合权重，在线处理流式多模态数据，动态捕捉多模态特征的互补性；提出了非对称多模态哈希学习框架，高效融合多模态特征和显式语义学习二值哈希码；提出深度协同多模态哈希方法，利用深度网络充分挖掘多模态潜在语义；提出了自适应部分多模态哈希方法，解决缺失模态下的多模态社交图像哈希问题。3）基于构建的哈希学习框架，本项目研究了将哈希应用到多媒体推荐和特征选择两个领域。提出了多模态离散协同过滤方法，用于高效的冷启动推荐；提出利用二值哈希学习，提高半监督学习下标签学习的效率，提高特征选择的精度。本项目的完成推动了社交图像二值哈希学习的理论和应用，为大规模社交图像的多模态检索提供核心算法。