多任务深度学习研究

Multi-task learning aims at improving generalization performance by learning multiple tasks simultaneously. It is well-known that real-world data are usually high-dimensional and noisy, which poses challenges for the current literature on multi-task learning. To tackle with this situation, deep learning techniques are exploited to perform representation learning. However, the existing literature usually can not take fully advantage of the correlation information between tasks and background knowledge, which explains why the existing deep methods for multi-task learning are still not effective enough. A new theory of deep learning is introduced to be aimed at multi-task learning, called multi-task deep learning. We first investigate the methods based on accurate task relationship modeling, and then propose multi-modal multi-task deep learning methods as the key technique of heterogeneous data processing. Consequently, we extend the theory by incorporating semi-supervised learning, manifold learning, and reinforcement learning to meet the requirements from specific applications. Finally, we shall demonstrate the promise and effectiveness of this theory in the applications of text analysis, video processing, and face recognition. The success of this project shall refine the basic research of multi-task learning and deep learning, and further promote the development of the related industries.

多任务学习旨在通过对多个相关任务同时进行学习，提高学习系统的泛化能力。由于很多真实应用的数据特征维度高噪声大，使得多任务学习受到了很多制约，严重影响算法的泛化能力和效率。为了克服这些不利影响，现有方法通常会利用深度学习进行表征学习。但是现有的深度学习方法大多没有充分利用任务相关信息和背景知识，因而不能达到面向多任务学习的最佳表征学习效果。本项目提出充分利用多任务学习机制的新型深度学习理论（简称“多任务深度学习”），首先研究基于任务关系精准建模的多任务深度学习方法，接着基于复杂数据多任务学习中的多模态形式，提出多模态多任务深度学习算法作为处理异构数据的关键技术，然后将进一步与半监督学习、流形学习、增强学习等方法相结合，扩展特定背景下的研究内容，最后结合文本分析、视频处理、人脸识别等实际应用验证算法的先进性和适用性。本项目的实施将完善多任务学习和深度学习的理论研究，推动相关产业的发展。

多任务深度学习可以有效利用多个任务之间的相关性，提高深度特征的表达力，实现学习系统泛化能力的提升，在图像识别、视频分析和文本处理等领域有着重要的意义。但是因为不同任务如何高效的进行联合学习一直是研究的难点问题，本项目在共享网络结构设计和不同注意力机制指导中，目前完成了以下工作：.1）基于多任务特征和结构共享的方式，提出了两种新型的多任务深度学习网络：在特征共享的基础上设计了一种部分共享的多任务深度学习结构，通过信息分发和共享机制，在整个网络上进行了高效的多任务联合特征学习；在特征共享的基础上引入了一种注意力感知的多任务卷积神经网络，有效的抑制了冗余的信息。.2）针对视频描述学习特有的多模态和多标注任务学习特性，提出了多模态注意力机制方法，能够有效融合多模态信息。在此基础上，利用长短时记忆网络和卷积网络联合设计解码器，捕获了不同标注之间的依赖性，提升了视频描述的准确性。.3）将文本中多句子排序模型转化为一种多任务多目标优化问题，提出了一系列基于深度学习自注意力机制的句子排序模型。