面向检索的大规模多模态数据表示方法研究

Large-scale multimoal data are avaible in various areas. To manage and organize such data, people usually need to efficiently search the data. Therefore, how to represent the multimodal data becomes an important and key problem to improve the search efficiency and accuracy. Recently, hashing technique has attracted more and more attention, which is able to transform the data into short binary codes while preserving the similarity of the data. However, there are still some challenges when existing hashing methods are applied to the large-scale multi-modal data. To address these challenges, this project aims to propose efficient and effective hashing schemes for the binary representation of large-scale multmodal data. The contents include: (1) Proposing an efficient and easy-to-be-optimized descrete hashing method and building the theoretical basic for it; (2) proposing a hashing scheme which can make full use of multiple supervised information; (3) proposing a hashing method with low memory space requirement and fast optimization speed; (4) proposing an effective scheme to fuse deep learning and traditional hashing techniques for multimodal data. In general, the project will provide new and efficient schemes and directions for large-scale multimodal data represenation and hashing techniques.

目前，各个行业中多模态数据大量存在。在对这些多模态数据进行组织和管理中，往往需要对其进行快速检索。为此，多模态数据的有效表示无疑成为提高检索效率和精度的重要因素。近几年能够对数据进行二进制表示并保持相似性的哈希技术引起越来越多研究者的关注。但是，目前的哈希技术针对大规模多模态数据时仍然存在许多挑战。针对大规模多模态数据的二进制表示问题以及目前哈希技术存在的问题，结合监督学习理论本项目将开展的研究内容包括：(1) 提出易于优化的高效离散哈希方法和理论；(2) 提出能够有效利用多模态多种监督信息的哈希方法；(3) 提出一种能够降低内存消耗提高优化效率的哈希学习方法；(4) 提出针对多模态数据能够对深度学习和传统哈希技术进行有效融合的方案，并构建其理论基础。本项目将为大规模多模态数据二进制表示提供基于哈希技术的新的更为高效实用的解决思路和方向，研究成果将丰富多模态数据表示、哈希学习等领域的理论和

目前，各个行业中多模态数据大量存在。在对这些多模态数据进行组织和管理中，往往需要根据给出的查询样本对数据库进行快速检索。为此，多模态数据的有效表示无疑成为提高检索效率和精度的重要因素。近几年能够对数据进行二进制表示并保持相似性的哈希技术引起越来越多研究者的关注。但是，目前的哈希技术针对大规模多模态数据时仍然存在许多挑战。针对大规模多模态数据的二进制表示问题以及目前哈希技术存在的问题，结合监督学习理论本项目开展的研究内容包括：(1) 提出易于优化的高效离散哈希方法和理论，所提出的离散优化方法能够避免因为离散变量的松弛而引起的量化误差问题，从而提高模型的性能；(2) 提出能够有效利用多模态多种监督信息的哈希方法，所提出的方法可以充分利用标签所包含的信息，比如标签之间的结构信息，同时也能够充分利用数据结构信息，通过多种信息的充分利用，可以有效提高模型的性能；(3) 提出能够降低内存消耗提高优化效率的哈希学习方法，所提出的方法避免使用样本对相似性矩阵，从而将空间复杂度有效降低，同时时间复杂度保持线性；(4) 提出针对多模态数据能够对深度学习和传统哈希技术进行有效融合的方案，提出了基于深度的特征表示方法，同时结合传统学习方法学习数据的二进制表示。以上所提出的方法为相关领域的离散优化问题提供了可以参考的解决方案，为多媒体快速检索任务提供了有效解决方案，为相关领域的研究和行业应用提供借鉴。