基于层级多模态的深度相似度学习方法研究

Similarity learning is a type of machine learning algorithms that aims at automatically and accurately measuring the relevance between objects. To address the problems of conventional similarity learning algorithms that ignore the heterogeneous properties of given objects and insufficient to measure the hierarchical multi-modal relevance between them, we propose a deep similarity learning method based on hierarchical multi-modality. From the data point of view, it first mines the complementary information within given multi-view features and eliminates redundant information. Then the multi-view embedding is used to guide deep learning algorithm for further representation learning. From the model point of view, the proposed method defines different relation vectors to extend conventional single-modal similarity learning to hierarchical multi-modal similarity learning. In addition, external memory is added to shift the focus of proposed method to more relevant contents by reading and writing learned memories. In the end, in order to seek the global optimization of the proposed method, we unify the improvements from both data and model into one deep similarity learning method based on hierarchical multi-modality. This project will make an important theory and practical significance with boosting the similarity learning and promoting the deep learning applications.

相似度学习作为机器学习算法的一种，其目的在于自动并且准确的衡量输入样本之间的相关性。针对当前相似度学习方法忽视输入数据的优化和难以度量输入样本之间层级多模态相似度的问题，本课题以相似度学习算法为主线，从数据和模型两个方面对基于层级多模态的深度相似度学习方法进行研究。首先，从数据的角度，对不同输入特征进行融合，在获取互补信息的同时消除冗余信息，并利用特征融合的结果指导深度学习更完善更全面地对输入数据进行表示学习；其次，从模型的角度，通过定义不同的关系向量，将样本之间单模态的相似度学习转化为不同层级关系下的多模态相似度学习；同时，针对不同的实际需求，利用已经学习到知识对复杂样本中不同显著区域和它们之间的关系进行选择;最后，将上述数据和模型两个方面的改进方法统一于一个深度学习网络中，构建基于层级多模态的深度相似度学习方法。本课题研究对推动相似度学习发展、促进深度学习应用具有重要意义。

相似度学习作为一种经典的机器学习方法，其目的是自动并且准确的衡量输入样本之间的相关性。在人工智能领域，相似度学习在信息检索、多媒体和知识图谱构建等实际任务中已经得到广泛的应用。本课题以智能衡量输入数据在层级多模态关系下的相似度为目标，以相似度学习方法为主线，从数据和模型两个方面开展研究，提出一种基于层级多模态的深度相似度学习方法。本项目的主要研究内容包括多特征融合、层级多模态相似度学习和基于外部记忆选择的多模态相似度学习三个方面。针对上述研究内容，本项目提出了一种基于局部投票的多特征融合方法，设计了两种层级相似度计算网络结构，提出了三种层级相似度计算网络神经元初始化方法，提出了两种外部记忆网络，根据不同的相似度计算条件选择不同的记忆中的样本和关系向量，并且利用自监督学习技术，从关系向量中生成相应样本，挖掘样本分布中更多地语义关系。上述研究内容发表于领域内知名国际、国内期刊共6篇。