面向计算机视觉任务的深度神经网络领域自适应学习

In recently years, deep learning has shown state-of-the-art results for many computer vision tasks, e.g., object recognition, object detection and semantic scene segmentation. However, for many real world applications, the distribution of the training data (source domain) and the testing data (target domain) have inherent difference, which makes the accuracy of the source domain trained model drops significantly when testing in the target domain. Aiming at addressing this problem, this proposal explores domain adaptation methods for deep neural networks (DNN). We propose to work in two directions: (1) design and implement network architectures for learning domain-invariant feature representation; (2) since the source domain training data is large and retraining is expensive, we design adaptation algorithms which does not rely on source domain data. Finally, we validate the proposed methods on computer vision tasks, e.g., object recognition, detection, semantic scene segmentation. In particular, we use virtual synthetic data as source domain, real world data as target domain, and adapt the virtual world trained model to the real world.

近年来，深度学习在计算机视觉领域取得了很多突破性的进展，如目标识别，目标检测，语义场景分割等。然而，对于很多实际应用，训练数据集（源领域）和测试数据集（目标领域）的分布概率存在固有的差异，使得模型在测试时性能严重下降。本课题主要针对这一问题，探索基于深度神经网络的领域自适应学习算法。我们拟从两个方面进行研究：(1) 利用深度神经网络的特征学习能力，设计和实现用于学习具有领域不变性的特征表示的深度网络架构，从特征表示上解决领域偏移问题；(2) 考虑到深度神经网络的（源领域）训练数据量通常非常庞大，重训练代价大，设计不依赖源领域数据的自适应算法，实现对目标领域的快速自适应学习。最后，对提出的方法在计算机视觉任务上进行验证，如目标识别、检测、语义场景分割等。特别地，我们采用虚拟合成数据作为源领域，真实数据作为目标领域，实现从虚拟领域向真实领域的自适应学习。

深度学习在计算机视觉领域取得了很多突破性的进展，如目标识别、检测，语义场景分割等。然而，在真实应用中由于测试数据集（目标领域）样本和训练数据集（源领域）样本的概率分布差异，使得模型在测试时性能严重下降。本课题针对这一问题，探索了基于深度神经网络的领域自适应学习算法，主要从以下几个方面开展了研究：(1)基于自监督学习的领域不变特征表示学习方法的研究；(2)基于一致性训练的自监督领域自适应方法研究；(3)基于知识蒸馏的模型迁移学习方法研究；(4)基于增量学习的自适应学习方法研究。我们在目标识别、检测以及语义场景分割等计算机视觉任务上对提出的方法进行验证。实验结果表明提出的方法在各种计算机视觉任务均取得较好的领域自适应学习性能。我们在领域自适应标准测试数据集如Office-31，PACS，SYNTHIA，GTA以及CityScapes等上的测试结果表明，提出的方法达到了跟当前最好的领域自适应学习算法相当的性能。本课题的研究对解决由于领域偏移造成的深度学习模型性能下降问题提供了新的解决方案。特别是基于自监督的领域自适应学习为学习领域不变特征表示提供了新的途径。为了便于同行开展相关研究，我们将算法进行了开源。