复杂成像条件下道路场景物体检测的深度学习方法

Detecting road scene objects is one of the key techniques in autonomous driving system, which enable it to perceive the transportation entities actively. Though deep learning and visual information based detection methods have been developed rapidly in recent years, they confront the following barriers: 1) there are less datasets with annotations for object detection which can cover various imaging conditions (e.g., illumination and weather). 2) The variety of imaging conditions and object distributions in road scene leads to the variety of colors, contrasts, sizes and shapes for objects in images, which results that learning robust feature representation is difficult. 3) It is difficult to utilizing prior knowledge of road scenes to construct a compact and efficient detection model. To tackle the above problems, we propose to study: 1) the imaging model and image synthesis method for road scenes under various imaging conditions, 2) the method for learning feature representations robust to various factors, 3) the object detection method based on prior knowledge of road scenes. An image synthesis method based on imaging model is proposed for automatically transfer the labelled data in a single imaging condition to their counterparts under various imaging conditions. A cascade neural network is proposed to model the statistical regularities based on point-wise convolution and multi-scale varieties based on attention mechanism, which enables to learn robust feature representations. A novel deep neural network based detection method is proposed based on scale-adaptive anchor boxes and contextual relations modelling. These researches will make a sound preparation both in theories and methods for improving scene perception abilities of autonomous driving system in real road environment.

道路场景物体检测是自动驾驶系统的关键技术之一，使其具有对交通实体进行主动感知的能力。基于深度学习和图像的物体检测技术近年来发展迅速，但是面向实际应用的物体检测研究仍然面临以下难点：1）覆盖多种成像条件（光照、天气）的标注数据集匮乏；2）成像条件以及空间分布的多样性导致了图像中的物体存在颜色、对比度、大小、形状等多种变化，使得学习鲁棒的特征表示很难；3）结合道路场景的先验知识，建立紧凑、高效的检测模型很难。本项目拟针对上述问题，重点开展：1）复杂道路场景的成像机理建模和图像合成；2）对多种变化因素鲁棒的特征学习；3）结合道路场景先验知识的物体检测等方面的研究；提出单一成像条件数据集到多种条件数据集的自动迁移的方法、基于统计正则性和注意力机制的级联建模实现鲁棒特征学习的方法、基于尺度自适应锚框和上下文关系建模的新检测方法，为提高自动驾驶系统在实际道路环境下的场景感知能力，提供理论和方法上储备。

道路场景物体检测是自动驾驶系统的关键技术之一，使其具有对交通实体进行主动感知的能力。基于深度学习和图像的物体检测技术近年来发展迅速，但是面向实际应用的物体检测研究仍然面临以下难点：1）覆盖多种成像条件（光照、天气）的标注数据集匮乏；2）成像条件以及空间分布的多样性导致了图像中的物体存在颜色、对比度、大小、形状等多种变化，使得学习鲁棒的特征表示很难；3）结合道路场景的先验知识，建立紧凑、高效的检测模型很难。本项目针对上述问题，重点开展：1）复杂道路场景的成像机理建模和图像合成；2）对多种变化因素鲁棒的特征学习；3）结合道路场景先验知识的物体检测等方面的研究。具体来说，我们提出了一种新的成像模型可以描述多种降质因素，并据此设计了可以合成多种降质图像的新方法，从而实现从清晰图像数据集到多种降质图像数据集的自动迁移。提出了一类基于全1*1卷积的去雾、去色偏和低光照提升算法，可以显著提升不同降质图像的图像质量。除了图像增强，我们还从特征增强的角度研究了鲁棒特征学习的问题，提出了一种深度降质先验和特征去漂移模型，可以作为即插即用的模块显著改进预训练模型的分类和检测精度。进一步，我们还从域自适应和域泛化的角度研究了鲁棒特征学习问题，提出了多种域自适应新算法，可以实现跨域特征对齐，提高模型在无标注降质图像上的检测和分割性能；提出了一种基于新风格探索的域泛化方法，显著提升了模型在未知降质类型的图像上的检测性能。此外，我们还针对道路场景的特点和多传感器数据，提出了一种尺度自适应的新锚框机制，可以降低模型复杂度和提高检测精度；提出了一种基于激光雷达和彩色图像渐进融合的道路检测新方法，在KITTI数据集上排名第一。通过本项目的研究，取得了一些具有原创性的研究成果，为提高自动驾驶系统在实际道路环境下的场景感知能力，提供理论和方法上储备。