基于多潜在空间的迁移学习关键问题研究

The widely distribution of latent information makes it difficult to obtain substantial latent information in a single latent space, which prevents us from establishing an effective bridge for knowledge transfer in cross-domain classification tasks. Due to the diversity of latent spaces and the experienced settings of the numbers of latent spaces, it is full of challenges to train transfer learning models using multi-latent spaces. This proposal focuses on the construction and fusion of multiple latent spaces in transfer learning, providing novel theories and methods for building transfer learning systems based on multiple latent spaces. Based on the classic cosine distance theory and considering the diversification of latent spaces, we first study the indirect formalization method and the similarity measurement method for multiple latent spaces, and then build up a set of fundamental theories for the transfer learning based on multiple latent spaces. Secondly, in order to improve the quality of latent spaces, we study the construction quantity, the boundary definition and the reconstruction methods of multiple latent spaces. Thirdly, in order to improve the effectiveness of utilizing various latent spaces, we study the fusion problem of multi-type latent spaces in the multiple latent spaces framework. Finally, we gradually build up a prototype system of transfer learning based on multi-type latent spaces during our research progress, which aims to verify the practical values of our research outcomes.

跨领域分类任务中潜在信息分布广泛，这使得基于单一潜在空间的迁移学习方法难以充分获取这些潜在信息，从而影响知识迁移桥梁的有效构建。而潜在空间的类型多样化、关系复杂化以及数量经验化的特点，又使得利用多潜在空间进行迁移学习模型训练充满挑战。本课题致力于研究迁移学习中多潜在空间的有效构建与融合问题，为基于多潜在空间的迁移学习系统提供新理论和新方法。首先，从经典的余弦距离理论出发，结合潜在空间的多样性特点，研究多潜在空间的间接形式化方法和相似性度量方法，建立基于多潜在空间的迁移学习理论基础。其次，研究多潜在空间的构建数量、边界界定和重构方法，以提高多潜在空间的构建质量。再次，研究多类型潜在空间在多潜在空间框架内的融合问题，以增强各类潜在空间的利用效果。最后，在上述问题的研究过程中逐步构建基于多类型潜在空间的迁移学习原型系统，以验证研究成果的应用价值。

跨领域分类在实际应用领域正得到越来越广泛的关注。由于领域间潜在信息分布广泛，使得基于单一潜在空间的迁移学习方法难以充分获取这些潜在信息并有效的构建知识迁移桥梁。而潜在空间的类型多样化、关系复杂化以及数量经验化的特点，又使得利用多潜在空间进行迁移学习模型训练充满挑战。因此，针对上述问题，本课题致力于研究基于多潜在空间的迁移学习相关核心问题，以寻求能够更加有效的利用潜在信息进行跨领域的知识迁移。目前我们主要从以下几个方面开展工作，包括：潜在空间的间接形式化、潜在空间类型的明确、潜在空间之间相似性度量函数的设计问题、多潜在空间构建质量的提升问题、融合多类型潜在空间的多潜在空间迁移学习模型的构建问题以及相关应用。研究工作按照预定计划，研究工作取得的主要研究成果总结如下： .(1)理论方法上强调创新：在国内外重要学术刊物上发表高质量论文 4篇。其中，已发表SCI 检索期刊论文2篇、 北大核心期刊论文2篇； .(2) 技术方法在实际应用领域的探索与应用，提高其社会效益：申请专利1项。