面向弱监督视觉目标检测的表征学习和模型优化问题研究

In recent years, although general object detection methods have achieved remarkable progress, its strict dependence on a large number of manually labeled data has become a bottleneck in the practical applications for object detection. Weakly Supervised Object Detection models (WSOD) just rely on image-level object category labels, which greatly simplifies the manual labeling. Due to the uncertainty of annotations for object recognition, weakly supervised object detection suffers from three major challenges: detection/semantic ambiguity, the uncertainty of model learning, and inconsistency between the model optimization targets and optimization goals. In order to solve these problems, from the perspective of theory and application, this project plans to conduct research on representation learning and model learning for weakly supervised visual object detection and propose a class-prototype based Fisher vector feature, min-max entropy based WSOD model, and divergence learning based WSOD model, to explore visual feature learning and WSOD model learning with weak annotation (weak supervision). It aims to provide theoretical and technical supports for weakly supervised target detection research and improves the accuracy and generalization of the object detection models. This is not only a deeper exploration of object detection researches, but also a promising strategy to open up practical application areas for object detection.

近年来，虽然通用目标检测方法已取得显著的进步，但其对大量人工标注数据的高度依赖已成为目标检测在实际应用中的瓶颈问题。弱监督目标检测则只依赖图像级的目标类别标号，大大减化人工标注工作。弱监督目标检测面临三大挑战性问题：标注信息不确定所带来的检测/语义歧义性、模型学习的不确定性、模型的优化对象与优化目标不一致性。为了解决这些问题，本项目从理论和应用的角度出发，开展弱监督视觉目标检测的表征学习和模型优化问题研究，提出基于类别原型的费希尔向量特征学习、基于最小最大化熵的弱监督目标检测模型和基于差异分歧化学习的弱监督目标检测模型，具体探索如何在弱标注下（弱监督）有效地实现视觉特征学习与目标检测模型的优化学习，使得模型降低对数据标注的依赖，为弱监督目标检测研究提供理论和技术支撑，最终提升检测模型的准确度和通用性：这不仅是对目标检测问题研究进行更深度的探索，也有望开拓目标检测的实际应用领域。

该项目按照项目计划展开研究，分别形成无监督自适应、泛化性、鲁棒性目标检测研究工作，同时还考虑了实际应用中所存在的典型跨领域问题和开放集问题。具体地，考虑到视觉模型，尤其是弱监督学习下的视觉模型，极易受到噪声的干扰，为此，我们提出对抗自适应的鲁棒目标检测器，较为深入地探索目标检测器的检测鲁棒性瓶颈问题，发现了目标检测对抗训练中正常样本和对抗样本的冲突，提出RobustDet模型，极大地提升了检测器的对抗鲁棒性，在几乎不损失正常样本检测性能的前提下，对抗样本mAP检测性能最高提升了17%。另外，由于传统的弱监督目标检测研究都假设训练集和测试集的数据：1）来自同一个域，2）目标类别保持一致，但是实际应用通常会遇到跨领域问题，甚至测试集里往往包含一些目标种类并不存在于训练集，这就为弱监督目标检测研究带来了比较大的挑战。为此，我们在该项目中，进一步拓展研究内容，针对于跨领域自适应模型和面向开放域新类发现展开了研究。另外，我们还拓展了弱监督目标检测方法在其他任务上的应用，如弱监督三维人体姿态估计。根据研究工作成果，在国内外知名期刊和会议上发表高水平学术论文7篇，其中包括2篇CCF-A类期刊论文（IJCV、TNNLS）、5篇CCF-A/B会议论文（ICCV、ECCV、ICME），同时一篇会议论文被评为ECCV 2022口头报告论文（oral, 接受率仅2.7%）。