面向服务机器人的无监督领域自适应目标检测方法研究

When a service robot is working in a new scene, because of the inconsistency of the data distributions between the source and the new scenes, the detection performance of object detector always will drop rapidly. Transfer learning is a good solution; however, almost all of present domain adaption methods require that the training set is kept or some of target samples are labeled. These requirements for service robots are usually not met. From the previous research experiences in the fields of deep learning and machine vision, we propose to study the unsupervised transfer methods which are based on network control and consistent feature learning. The research contents include: 1）network control framework for transferring neural network based object detector, 2）unsupervised consistent feature learning model for transferring neural network based object detector, 3）unsupervised context feature learning methods and the corresponding object detector transferring methods, 4) unsupervised multi-modal information learning methods and the corresponding object detector transferring methods. The main innovation points are: 1) network control framework for transferring learning, 2) unsupervised consistent feature learning model, 3) the combing methods which absorb context and multi-modal information based on network control and unsupervised learning. The results obtained through these studies are expected not only to enrich the methods of object detection of robot and machine learning theory, but also to make important contributions to social and economic development.

当服务机器人工作于新场景时，因源场景与新场景数据分布的不一致，目标检测效果通常会下降。迁移学习是一个很好的解决手段，但目前绝大多数领域自适应目标检测方法要求在迁移的时候保留源样本，或者少量新场境样本有标签。这些要求服务机器人通常无法满足。针对这种情况，在以往深度学习和机器视觉研究基础上，本课题提出通过网络调控和一致特征学习等方法实现目标检测器对新场景的无监督迁移。研究内容有：基于网络调控的目标检测神经网络迁移方法研究；基于无监督一致特征学习的目标检测神经网络迁移方法研究；结合上下文信息与融入多模态信息的无监督领域自适应目标检测方法研究。创新之处有:不保留源训练集、没有新场景目标标签，基于无监督学习的目标检测网络迁移模型；基于调控网络的迁移学习框架；基于网络调控和无监督学习的上下文和多模态信息的融合方法。 取得的成果不仅能丰富目标检测方法和机器学习理论，也有很重要的社会与经济价值。

项目背景：当我们将训练好的目标检测器应用于服务机器人的时候，由于工作环境的变动， 源场景与目标场景数据分布不一致，目标检测效果通常会迅速下降。原因有两种情况，第一种情况是训练源目标检测器的时候，有足够多的训练样本，足够多的训练样本能让算法更泛化，然而因为训练集包含了太多不同情形下的目标样本，而新场景中目标只是源训练集的一个小子集，充分训练后的目标检测器会在新场景中产生较高误报，也就是所谓的负迁移情况；另一种情况，我们不可能收集所有情形下的样本，可能缺失与新应用场景相关的目标样本，此时的目标检测器将产生很多漏报。. 主要研究内容：基于网络调控的目标检测神经网络迁移方法研究；基于无监督一致特征学习的目标检测神经网络迁移方法研究；结合上下文信息的无监督领域自适应目标检测方法研究以及融入多模态信息的无监督领域自适应目标检测方法研究。. 重要结果：建立了系列无源目标检测迁移模型；提出了基于知识蒸馏、基于类别原型的二个无源无监督领域自适应迁移学习框架；形成了基于语义和知识的迁移方法以及融合多源信息的目标检测迁移方法。发表论文19篇，其中中科院1区以上期刊论文5篇，CCF A会议论文2篇。 在CVPR2019，ICCV2019姿态估计比赛分别获得第3和第2名。专利申请7项，授权专利4件。出版学术专著1本，另1本专著正在整理中。 . 科学意义：面向服务机器人的无源领域自适应目标检测方法研究属于跨域跨任务学习，是后深度学习时代基于少样本学习研究的重要问题之一。隶属于视听觉信息的认知计算与人机交互方向，该方向属于《国家自然科学基金“十三五”发展规划》中重点支持研究方向，同时也是《国家中长期科学和技术发展规划纲要》前沿技术类智能感知技术方向，也符合中国人工智能 2.0 规划的跨模态、迁移学习等研究方向。同时，研究也有很重要的社会价值与经济价值，在许多学科和工程应用领域都有广泛应用，诸如军事，国家安全，自主驾驶，医学图像分析，物联网等等。