检索引导的多模态数据稀疏化降维及哈希技术

Multi-modal data storage and retrieval become much challenging, since these data are high dimensional and their scale is expanding constantly. Studies on the sparse dimensionality reduction and hashing techniques of multi-modal data are helpful to decreasing the data storage space and improving the retrieval speed, thus, have attracted many attentions in academic and industrial circles. Traditional techniques perform sparse dimensionality reduction and hashing on multi-modal data independently from the retrieval requirement, thus, they ignore the impacts of the semantic correlation among heterogeneous modal data on the sparse dimensionality reduction and hashing. This research studies how to combine the multi-modal data retrieval requirement with data dimensionality reduction and hashing, and makes the techniques retrieval steered. This project first studies the establishment of multimodal data models, such as the semantic correlation model, the retrieval sequence model, the intra-modality and inter-modality similarity model, and then unifies these models in one framework. When performing sparse dimensionality reduction and hashing projection on multi-modal data, the framework not only preserves the global, the local and the semantic similarity properties of homogeneous data, and but also preserves the semantic correlation, the retrieval list and inter-modality similarity of heterogeneous data, thus improves retrieval performance and efficiency.

高维多模态数据规模不断扩大，数据存储和检索面临新挑战。研究多模态数据稀疏化降维及哈希技术，降低存储空间，提高检索速度，已引起学术和产业界的高度关注。传统稀疏化降维及哈希技术处理多模态数据时，与检索应用分割开来，忽略多模态数据间语义关联对降维的影响。本课题研究，如何结合多模态数据检索需求，实现检索引导的多模态数据稀疏化降维及哈希技术。首先研究建立多模态数据语义关联模型、检索序列模型、同模态与不同模态数据相似保持模型，然后将多个模型统一在一个框架中。执行多模态数据稀疏化降维及哈希投影时，该框架既可以保持同模态数据的全局、局部及语义相似特性，又可以保持不同模态数据间与检索密切相关的语义关联、检索序列和语义相似特性，从而有利于提高稀疏化处理后多模态数据的检索性能和检索效率。

项目研究多模态数据稀疏化降维及哈希技术，降低存储空间，提高检索速度,提出了改进的子空间学习技术、深度跨媒体检索及跨媒体哈希技术，达到预期研究目的。研究建立了多模态数据语义关联模型及语义关联保持的降维技术，利用语义空间投影技术，结合稀疏表示技术，实现了面向检索的多模态数据降维；利用标记和未标记数据间的关联信息，提出了半监督跨媒体检索算法；依据检索任务及检索方向，对不同的检索任务学习不同的投影矩阵，并加入联合图正则化，结合模态间相关性、语义信息以及半监督正则化，进一步提高检索精度。针对建立的多模态数据语义关联及检索序列表达模型，开展实验验证工作，在得到验证的基础上，实现关联保持及序列保持的数据降维。同时研究构建同构数据局部、全局及稀疏化保持模型；结合前期工作，提出同时保持同模态数据特性及异构模态数据特性的数据稀疏化降维技术，实现真正意义的检索引导的多模态数据降维。讨论引入数据判别信息，提高降维数据的判别能力，有利于数据检索，实验验证有监督、半监督及无监督情况下的降维效果。考虑不同模态数据的统计特征，提出了利用生成学习分别对数据进行生成，通过数据生成得到不同模态数据间关联关系。提出了一种多模态图正则化方法，通过利用不同模态数据的近邻关系对各个模态数据进行图建模，以此提高所获得的空间结构质量。为解决哈希编码的非对称及表示问题，我们利用深度神经网络对原始的图像及文本数据进行嵌套降维使之获得更为有效、判定性更强的数据表示特征，提出了一种非对称优化算法减少了离散优化中的编码损失和在线学习中的数据编码问题，通过将不同的成对语义信息加入自适应学习到的权重，提高了在线跨模哈希的效果。