抗遮挡的行人检测算法研究

Vision based pedestrian detection is a popular research topic, due to its wide applications in the industry. However, state-of-the-art detectors usually fail in occluded scenes. Aiming to improve the detection quality for occluded people, we propose a multi-task, semi-supervised, and end-to-end deep convolutional neural network (CNN) in this project. In summary, our proposal is novel in the following three ways: (1) joint learning of pedestrian detection and pose estimation is helpful to reason the number of people and occlusion pattern, thus to separate dense detections for multiple people; (2) a domain adversarial based semi-supervised learning framework is proposed to improve the generalization ability by accessing to a large amount of unlabeled training data; (3) a new image-content based and clustering formulated non-maximum suppression (NMS) technology is proposed to reduce the miss rate and also enable an end-to-end learning by embedding to the general detection network. We will develop a new detector by unifying the above three contributions into one learning framework, which is particularly robust to occlusion.

基于视觉的行人检测技术在诸多领域都有着极其广泛的应用，是一个热门的研究课题。尽管现有方法在一般场景下取得较高的检测率，但其在遮挡场景下的性能依然难以满足实际应用的需求。由于实际环境中背景和前景行人均动态变化，加之行人之间遮挡模式复杂多变，该领域的遮挡问题特别具有挑战性。因此本项目拟提出一个新的多任务、半监督、端到端的深度网络学习方案，提高遮挡环境下的行人检测精度。本项目有以下三个主要创新点：（1）通过行人检测和人体姿态估计的联合学习，实现对密集遮挡行人的有效分离；（2）利用域对抗技术，实现对少量带标记数据和海量不带标记数据的联合半监督学习，以提高模型的泛化能力；（3）设计一种新的基于图像内容和聚类算法的非极大值抑制方法，降低行人密集环境下的漏检率，并嵌入深度卷积神经网络，实现对整个检测网络的端到端学习。本项目拟将以上研究内容融合成一个统一的学习方案，研发一套抗遮挡的行人检测系统。

本项目针对行人检测中遮挡这一难题开展了一系列研究工作，重点研究了如何在卷积神经网络中提高遮挡行人特征的辨识度：提出了一种新的利用通道间注意力机制对遮挡行人特征进行动态提取的方法，一种不依赖可见框等额外信息的行人遮挡模式自动建模方法，以及一种基于层级图的遮挡行人特征增强方法。所提出的行人检测方法在多个标准数据集上均取得了比同期方法更加优越的性能，同时能够有效迁移至越野道路等复杂场景，具有较强的可推广性。此外，本项目还研究了指定身份行人检测方法，提出了前景人体和背景物体分别建模的机制，基于层级损失函数和基于特征分解的端到端高效率方法。..在该项目的资助下，目前已发表高水平论文20篇，其中顶级期刊或会议论文8篇，申请专利2项，培养硕士生5名，博士生3名。相关研究成果达到国际领先水平，根据微软学术的统计，项目负责人位列行人检测领域全球学者第一位（2015-2020）。