面向复杂数据的多任务学习方法与应用

Multi-task learning is an important problem in machine learning and data mining, which seeks to learn multiple tasks simultaneously and hence improves the generalization performance in the scenarios that samples are draw from different distributions and are insufficient. With the rapid growth of complexity and diversity in data and task structure, it becomes a significant problem to effectively model the relationship among tasks while fully considering the abundant semantic and multi-domain information in complex data. In this project, we study the problem of multi-task learning from various perspectives including considering the structure information contained in the natural representation of complex data, and incorporating multi-domain information associated with data as well as the semantic information associated with tasks. We further apply the algorithmic framework to real applications with complexity and diversity in data for empirical investigation.

多任务学习是机器学习、数据挖掘领域中一个非常重要的研究分支，旨在面对任务样本来源于不同分布且样本容量过低的情况，结合多个任务同时学习以降低系统的泛化错误。随着数据形式及任务间关系的不断复杂化及多元化，如何在对任务间的关系进行有效建模的同时充分考虑复杂数据中的丰富语义及多元信息具有重要意义。本课题在该背景下，对多任务学习展开研究，充分考虑数据的自然表示形式中所包含的结构信息，有效整合复杂数据中的多元化信息以及与任务相关联的语义信息，从多个角度提高多任务学习的性能，并在实际的复杂数据上加以验证。

本项目的研究重点是针对复杂数据中的多种表达形式及丰富语义，对多任务学习展开研究。在这个过程中需要充分考虑数据的自然表示形式中所包含的结构信息，有效整合复杂数据中的多元化信息以及与任务相关联的语义信息，从多个角度提高多任务学习的性能，并在实际的复杂数据上加以验证。为此，项目组的研究工作从以下四个不同的角度展开：面向复杂数据的表示学习与应用、跨数据类型的特征及语义传递模型及应用、多任务预测问题的模型构造以及实际应用、有效的优化算法研究。. 在国家自然科学基金面上项目的资助下，我们对机器学习中如何提炼复杂数据中的丰富语义及多元信息，并进一步提炼多任务之间的相关性以及整合任务相关联的语义信息等科学问题展开了深入研究，共发表标注基金资助文章18篇，包括于人工智能、机器学习与数据挖掘等领域顶级会议及期刊NeurIPS, ACL, AAAI, IJCAI, Machine Learning Journal, ICDM及DASFAA发表的高质量工作，总计CCF-A类论文12篇，CCF-B类论文4篇，超额完成任务。总的来说，在本项目的资助下，课题组在面向复杂学习的多任务学习方法与应用等方面均取得了较好的成果。