基于生成模型的迁移学习算法研究及其应用

In this project, we first study the transfer learning algorithms from the perspective of generative models. Through the analysis of commonality between the source and target domains, we study the transfer learning algorithm sharing the common topics based on generative model. And for the Scenario different tasks can benefit from each other when learning simultaneously, we study the uniform transfer learning framework for classification and clustering tasks. Second, to analyze how the transfer learning algorithms work, we introduce the Dirichlet model to study the measures of distribution differences between the source and target domains, and investigate the relationship between distribution measures and algorithmic performance. Third, we study the MapReduce based transfer learning algorithms to handle large-scale data in social network, e.g., social community partition and link prediction, and propose the distributed transfer learning algorithms to alleviate privacy-concerning when the data are distributed. We expect to publish fifteen papers in the international journals or important academic conferences, which are indexed by SCI or EI.

本项目从生成模型的角度，对迁移学习算法进行研究。通过分析源领域与目标领域之间的共性，研究基于生成模型的深度挖掘源领域与目标领域中共享主题的迁移学习方法；针对不同学习任务之间的分类知识共享与相互促进，研究基于生成模型的分类与聚类任务统一学习的迁移学习框架。在探索迁移学习算法的工作机理方面，通过引入狄利克雷模型对数据分布的描述，研究基于狄利克雷模型的源领域与目标领域数据分布不一致性度量，并分析该度量与迁移学习算法性能之间的关系。研究基于MapReduce的并行迁移学习算法用于处理海量社交网络数据中的社区划分和链接预测等方面，并研究分布式环境下只传递中间统计变量的迁移学习算法进行隐私保护。预期在SCI 或EI 收录的国际期刊及重要学术会议上发表论文15 篇。

依据项目研究内容和研究目标，该基金项目执行三年以来，按照计划进行，研究成果覆盖了研究计划中的各项内容。1) 在基于生成模型的迁移学习算法方面，深入分析领域间的不同概念，系统定义了三种概念，即一致性、同构以及领域特有概念。基于这三种概念，提出基于概率语义模型的概念学习方法以及基于矩阵三因子分解的迁移学习模型。2) 在数据分布描述以及度量方面，提出基于狄利克雷过程对数据的分布结构进行刻画，发现数据内部的聚类结构；提出一种非参数贝叶斯多任务大间隔分类模型；提出基于自动编码机的领域间的分布度量准则，可以更好反映该度量与迁移学习算法性能之间的关系。3) 在并行迁移学习算法以及社交网络应用方面，提出基于MapReduce的并行桥接精化迁移学习算法；提出一种基于逆序数度量准则和极限学习的推荐算法。4) 在保护数据隐私方面，提出只传递模型结果的多模型融合算法进行迁移学习，从而保护原始数据的隐私性。5) 在多任务学习研究方面，提出共享结构的多任务多视图学习算法；提出异构任务的多任务学习算法；提出异构空间的多任务学习算法以及基于半监督表示学习的多任务学习算法。.论文成果方面，在IJCAI，AAAI，IEEE ICDE，IEEE ICDM，ACM CIKM，ECML/PKDD，IEEE TOC，Information Sciences等国际顶级、重要会议和期刊发表论文25篇，超额完成了预期目标。申请专利两项，构建迁移学习算法工具包，已经获得软件著作权。