面向大数据跨媒体检索的多模态哈希学习方法研究

To confront with the difficulties of high-cost storage and low-efficiency retrieval for large-scale database, hashing based methods have attracted more and more attention and acceptance for people all over the world. The appealing property of hashing methods is they index data with binary hash codes which enjoy not only the compactness of the representation but also the low complexity in distance computation. Based on the recent related work on hashing, this project proposes to research on nonlinear multimodal hash function learning as well as their application in real-world cross media retrieval problems, to deal with the challenges of multimodal, high-dimensionlity, and nonlinear in feature spaces. More specifically, we aim to (1) propose novel nonlinear multimodal hashing approaches by fully use of local information to better modal the complex structure of big data, and analyze and verify their properties; (2) based on the manifold structure of image data and active selection for supervised information, propose semi-supervised multimodal hash learning incorporating with active learning and manifold learning; (3) apply the proposed algorithms to the real-world large scale cross media retrieval systems, in order to improve the query accuracy, recall and efficiency.

为了应对大数据所带来的存储代价大、检索效率低等难题，基于哈希的方法近年来受到了越来越多人的关注和认可。基于哈希的方法最吸引人的特性为将数据表示成二进制的哈希编码来索引，不仅具有更紧致的表示，缩小了存储空间，且采用二进制哈希编码计算复杂度更低。本项目将面向跨媒体检索，在以往相关工作的基础上，针对大数据特征空间所具有的多模态、高维非线性问题，研究新的非线性多模态哈希学习方法以及在具体的应用问题中所需的特定技术。具体研究目标包括：(1) 提出新的非线性多模态哈希学习算法，并利用局部学习，更好的建模大数据的复杂结构，并对算法的各项性能做出分析与证明; (2) 基于图像分布的流形特征和对有监督信息的主动选择，提出融入主动学习、流形学习的半监督多模态哈希学习方法; (3) 所提出的新方法将应用于大数据跨媒体检索系统，以期望提高这些系统的查询精度、召回率和效率。

本课题以多媒体大数据为应用背景，着重研究基于哈希函数学习的离散二值化编码和海明距离计算的核心技术和方法，并兼顾图像处理相关技术在大规模图像视频存储、检索、推荐系统以及视频会议等实际应用问题。在国际顶级期刊上发表研究型长文7篇。在以下几个方面取得了重要研究进展：1) 提出了一种面向大数据多媒体检索的有监督分布式哈希学习技术，该技术在性能损失差别不大的情况下，大大节省了通讯代价、存储代价，节约了时间开销，特别适用于如手机端、客户端、或大数据多终端等场景下的分布式大规模多媒体检索；2) 提出一种新型的参数化局部多视海明距离度量学习方法，更好的建模了大数据的复杂结构，在跨媒体检索中取得了较传统方法更好的性能；3)提出了一种面向大规模推荐系统的离散正则化协同滤波技术。实验结果证明该技术能够进一步提升推荐效率和准确率，在现实的大规模推荐系统中更加有效。4) 提出了一种基于双重稀疏约束的先验模型，针对视频会议中的注视点缺失问题，基于此先验，进一步提出了一种联合注视点纠正与人脸美化的框架。可以有效的纠正视频会议中对话人的视点不相交问题，同时提升对话人的面部美化程度。该技术对在线约会，在线求职等多网络社交活动中具有广泛的应用前景。