基于CNN的遮挡定位方法及其在目标检测与分割中的应用

Image-based object detection and segmentation is an important topic in autonomous driving and visual surveillance. In recent years, methods based on convolutional neural networks (CNN) have achieved great success in object detection. However, partial occlusion is still a non-trivial cause of missed detections. For this reason, the project aims to handle detection and segmentation of partially occluded objects based on the CNN-based detectors. A method to establish feature-level occlusion likelihood maps will be proposed based on the local connectivity of CNN structure and selectiveness of neuron responses. Based on the likelihood maps, a method will be developed to improve the classification of partially occluded objects. By combining the low-level image features, occlusion likelihood maps from CNNs, and prior foreground probabilities of occluded objects, simultaneous object detection and segmentation can be achieved. Finally, the application of thermal images will also be investigated for more robust pedestrian segmentation. The results will provide new ideas for detection and segmentation of partially occluded objects, which are important for better autonomous driving and video surveillance systems.

基于图像的目标检测与分割是自动驾驶、视频监控等诸多应用中非常重要的一个课题。近年来，基于深度卷积神经网络（CNN）的目标检测框架在诸多目标检测应用中都取得了很大成功，但是，遮挡目标的检测与分割仍然是当前目标检测中的一个突出难点。为此，本项目将基于CNN的局部连接特性和神经元响应的选择性，在不增加原有检测网络复杂度的前提下，通过分析神经元的响应获取目标局部得分图，实现目标特征级的遮挡定位。进一步地，依据遮挡物体的局部可见特性，通过目标局部得分图的描述改进遮挡目标的分类性能。通过目标局部得分图和图像底层信息、目标遮挡先验概率的结合，实现遮挡目标的像素级分割。最后，项目将进一步研究多光谱信息在图像分割中的应用。研究结果将为当前目标检测与分割中遮挡这一突出问题的解决提供新的思路和方法，对提升当前自动驾驶与智能视频监控系统的鲁棒性有重要意义。

基于图像的目标检测与分割是自动驾驶、视频监控等诸多应用中非常重要的一个课题。鉴于近年来基于深度卷积神经网络的巨大成功，本项目对基于图像种类标注的目标区域粗定位、基于粗定位的目标实例分割、基于多传感器融合的三维目标检测、融合热红外信息的多光谱目标检测等问题展开研究。主要研究内容及成果概述如下：..1）基于种类标注的目标区域粗定位。基于卷积神经网络的局部连接特性，在仅有图像类别信息的条件下，本项目提出了一种基于字典法的目标粗定位方法，并紧随该领域最新研究进展，对目标峰值响应图方法进行了研究和改进。研究成果是后续仅基于图像类别标注进行目标检测、分割和姿态分析等相关研究的基础，对降低卷积神经网络对大量精细标注的依赖有重要意义。.2）基于粗定位的目标同时检测与分割。基于分类网络的目标定位结果往往比较粗糙且不够完善，不能直接用于目标的检测和分割。为此，项目组分别以PRM和IRNet两个先进方法为基础，提出了多种弱监督实例分割方案，大幅改进了基准算法，达到同期方法的领先水平。此外，在二维目标检测问题上，项目组提出了全时段车辆检测、基于原图的车道线及路面标记检测等方法，对提升未来智能监控与自动驾驶领域的智能感知功能有重要促进作用。.3）基于激光融合的三维目标检测。激光雷达可以提供目标的三维深度信息，研究组提出基于三维形状注意力机制及基于点云稠密化的三维目标检测方法，解决二维图像中远处小目标、遮挡目标等的检测难题。.4）基于可见光与红外融合的目标检测。可见光与热红外图像的融合，可以补充新的信息，解决通用的可见光图像中因为采集信息有限导致的目标漏检。为此，本项目提出了像素级、特征级多级融合的策略并进行广泛测试，提升行人检测与分割性能；提出了融合注意力机制与光照自适应策略的多光谱道路场景分割方案，达到了同期领先水平，为全时段场景感知的应用提供新的解决方案。