面向异构环境的多任务多视图学习算法研究

In this project, we will deeply analyze the challenging problems of multi-task learning based on the data characteristics in heterogeneous environment, and systematically study the multi-task multi-view learning algorithms. Through investigating the relatedness of multiple tasks, they may be related to each other partly, rather than that all tasks are globally related to each other. Thus, we will investigate the relatedness measure among multiple tasks via deep learning techniques, and study the clustered multi-task learning algorithms based on Dirichlet process to avoid inappropriate knowledge sharing. Due to the diversity of multi-task data characteristics in heterogeneous environment, the sample category space and feature space among multiple tasks may not be consistent. To address these challenges, we will systematical study the multi-task multi-view learning algorithms applying the techniques of topic models, discriminant analysis and graph models etc. To meet the requirement of real-world applications, we will also design and implement parallel multi-task multi-view learning algorithms based on the Spark coding framework to process large-scale data sets. We expect to publish twenty papers in the important international journals, such as IEEE TKDE, IEEE TOC and so on, or important international conferences, such as SIG KDD, IJCAI, AAAI, ACM CIKM and so on.

本项目针对异构环境下的数据特点，深入分析多任务学习的挑战性问题，系统地对多任务多视图学习算法进行研究。通过考察不同任务之间的相关性，即多个任务可能只是部分相关而不是所有任务都相关，探讨基于深度学习的任务间相关性关系度量,并研究基于狄利克雷过程的聚类多任务学习算法避免不适当的知识共享。异构环境下的多个任务数据通常呈现多种多样性，即它们包含的样本类别空间和特征空间可能都不一致。研究基于主题模型和判别分析的多任务多视图学习算法解决任务间含有不同样本类别空间的学习问题；研究提出基于图模型的多任务多视图学习算法解决多个任务具有不同特征空间的学习问题。为了满足海量数据的处理需求以及实际应用，研究基于Spark 的高效并行多任务多视图学习算法。预期在IEEE TKDE、IEEE TOC 等重要国际期刊，以及SIG KDD、IJCAI、AAAI、ACM CIKM等重要学术会议上发表论文20篇。

针对异构环境下的多任务多视图学习问题，依据项目研究内容和研究目标，该基金项目执行四年以来，按照计划进行，研究成果覆盖了研究计划中的各项内容。1) 在任务相关性度量方面，提出了基于自动编码机的相关性度量准则，提出基于非参数贝叶斯的标签敏感任务聚类算法；针对不同的标签，任务的聚类模式不一样，从而避免不适当的任务聚类；提出基于狄利克雷过程的多视图学习算法。2) 在多任务多视图类别空间不一致方面，提出了基于线性判别分析的多任务学习算法，通过共享任务无关的结构信息进行降维，最后在降维后的特种空间上训练模型和分类。3) 在多任务特征空间不一致方面，提出语义特征学习的多任务学习算法，从而转化为多任务多视图学习问题。4) 在高效算法方面，研究设计了并行自动编码机、并行聚类算法，已经申请专利且应用到多任务学习中；提出了在线全局与局部迭代学习的多任务学习算法；提出了在线非参数贝叶斯多视图学习算法。5) 另外，在迁移学习算法方面，提出了基于双层自动编码机的迁移学习算法；提出了主题聚类的迁移学习算法。6) 在推荐算法方面，提出了基于对偶自动编码机的协同排序算法；提出基于可解释性的推荐算法。.论文成果方面，在SIGKDD，SIGIR，IJCAI，AAAI，IEEE ICDM，ACM CIKM，ECML/PKDD，ACM WSDM，WWW，IEEE ICDE，IEEE TKDE，IEEE TOC，Neural Networks等国际顶级、重要会议和期刊发表论文42篇，超额完成了预期目标。另外，构建了迁移学习算法工具包，已经获得软件著作权，在高效并行算法方面，申请专利四项。