复杂交通环境下自动驾驶视觉环境感知系统关键问题的研究

The core of the automatic driving technology is to replace the driver to complete the perception of complex dynamic scene and make the right judgment, that is, through carrying variety of sensors to obtain effective information related to driving. The existing vision environment perception system has the following technical difficulties:（1）The "unclear" problem in the complex weather environment;（2）The visual environment perception system needs to obtain a variety of information related to driving simultaneously, namely, "multi-task" problem;（3）The "real-time" problem under resource-constrained conditions. In view of the above technical problems, this project has put forward the corresponding solutions: Aiming at the technical difficulties of "unclear", and puts forward the fusion of visible and infrared heat sensors, and build a multi-sensor fusion deep learning network. Aiming at the technical difficulty of "multi-task", we proposed the establishment of a multi-task deep learning network sharing the same image feature layer. Aiming at the system of "real-time" requirements, the paper proposed a model compression solution which conforms to the characteristics of vehicle vision imaging. Intends through a single deep learning framework to complete the multi-sensor fusion and vehicle visual environment perception, so as to realize in the resource constrained conditions, to adapt to the complex weather and road traffic environment, provides driving related information for automatic driving system in real time and accurately.

自动驾驶技术的核心在于替代驾驶员完成对复杂动态场景的感知并做出正确的判断，即通过搭载的多种传感器获取与驾驶相关的有效信息。现有的车载视觉环境感知系统存在着以下技术难题：（1）复杂天气环境下的“看不清”问题；（2）视觉环境感知系统需实时获取多种与驾驶相关的有效信息，即“多任务”问题；（3）资源受限条件下的“实时性”问题。本项目针对以上技术难题分别提出了相应的解决方案：针对“看不清”的技术难点，提出可见光与红外热传感器相融合，并构建多传感器融合深度学习网络的解决方案；针对“多任务”这一技术难点，提出建立共享图像特征层的多任务深度学习网络；针对于系统“实时性”的要求，提出符合车载视觉成像特点的深度学习网络轻量化解决方案。拟通过单一深度学习框架完成多传感器融合及车载视觉环境感知的多项任务，从而实现在资源受限条件下，适应复杂的天气及道路交通环境，实时、准确地为自动驾驶系统提供驾驶相关信息。

自动驾驶技术的核心在于替代驾驶员完成对复杂动态场景的感知并做出正确的判断，即通过搭载的多种传感器获取与驾驶相关的有效信息。现有的车载视觉环境感知系统存在着以下技术难题：（1）复杂天气环境下的“看不清”问题；（2）视觉环境感知系统需实时获取多种与驾驶相关的有效信息，即“多任务”问题；（3）资源受限条件下的“实时性”问题。本项目针对以上技术难题分别提出了相应的解决方案：针对“看不清”的技术难点，提出可见光与红外热传感器相融合，并构建多传感器融合深度学习网络的解决方案；针对“多任务”这一技术难点，提出建立共享图像特征层的多任务深度学习网络；针对于系统“实时性”的要求，提出符合车载视觉成像特点的深度学习网络轻量化解决方案。拟通过单一深度学习框架完成多传感器融合及车载视觉环境感知的多项任务，从而实现在资源受限条件下，适应复杂的天气及道路交通环境，实时、准确地为自动驾驶系统提供驾驶相关信息。. 在本项目的资助下，项目组建立两个大型中国交通图像数据库：车载视觉可见光图像样本库及车载视觉近红外图像样本库，并均已开源；构建了多光谱源、多任务深度学习网络模型，分别在多个国际公开数据库及自采集数据集中进行试验仿真研究，得到较好的检测精度；将本项目提出的多任务目标检测与分割网络移植到军用场景中，完成设备研制；将产学研合作开发的产品“智慧矿山主运输皮带智能化综合监测系统”应用于多个煤矿，获得了良好的经济及社会效益；共发表学术论文10篇，其中SCI检索论文9篇，IEEE Trans 期刊上发表论文2篇；申请国家发明专利4项，获授权专利3项；培养博士研究生1名和硕士研究生9名，培养科技骨干2名；项目组获得各类科研奖励5项；项目负责人出版专著2项。. 综上所述，本项目圆满地完成了任务书所规定的全部内容，并在此基础上，还超额完成了产学研合作、科研成果转化、科研奖励、专著出版等工作。