面向无人驾驶汽车的恶劣天气环境下视觉计算技术

Self-driving car is one of the main projects of the thirteenth five-year plan of China. The technology of self-driving car becomes a hot research topic. However, the perception performance of existing methods degrades severely when the car is in bad weather environment which is the bottleneck for the techniques of self-driving car. This project is aimed at dealing with the problem from the perspective of visual computing. Specifically, to robustly detect and recognize objects, we propose a negative-factor suppressed framework of deep neural networks which optimally unifies the tasks of negative-factor suppression and object detection/recognition. To deal with the situation where multiple negative factors co-occur, we propose a deep learning mechanism to simultaneously suppress the influence of the multiple negative factors. Based on this mechanism, we create a joint loss function to jointly suppress the multiple negative factors. Moreover, we propose to detect and recognize objects by combining residual information. In the field of image/video enhancement and restoration, we present a direct matrix decomposition framework. To train and evaluate the methods, a large-scale bad-weather visual database is acquired.

我国十三五规划将“推进驾驶自动化”作为重点工程和项目，国际上无人驾驶技术已经成为重要的研究热点。但现有无人驾驶汽车技术在恶劣天气环境下环境感知能力严重下降甚至失效，是制约无人驾驶汽车走向实用的瓶颈。本项目旨在研究面向恶劣天气环境的视觉计算理论和方法，从视觉计算的角度破解无人驾驶汽车在恶劣天气环境中的环境感知问题。针对恶劣天气环境下的物体检测和识别，提出基于负面因素抑制的深度神经网络学习机制，将负面因素抑制和物体检测与识别统一在一个框架下。指出恶劣天气环境往往不是由一种负面因素而是由多种负面因素造成的现象，提出基于混合负面因素抑制的深度神经网络学习机制；基于该机制，提出基于联合损失函数的联合负面因素抑制方法和基于残差信息融合的联合负面因素抑制方法。在面向辅助驾驶中的图像/视频增强与恢复方面，提出基于直接矩阵分解的新架构。构建持续时间长、数据规模大、恶劣天气环境类型全的恶劣天气环境视觉数据库。

恶劣天气环境导致图像质量下降、环境感知能力减弱，是制约无人驾驶汽车技术的重要因素。本项目从视觉计算的角度破解无人驾驶从在恶劣天气环境下的感知问题，取得了如下成果。①建立了面向智能驾驶的大规模目标数据库(称为TJU-DHD)，是同期已知公开的、有标注信息的分辨率最高、天气-季节-光照-尺度变化最大的数据库。② 提出了生物视觉启发的双目图像去雾方法，建立了基于隐式距离引导模型，形成了基于残差估计的渐进式双目增强方法，克服了单目独眼感知局限，解决了双目测距不准引发的误差累积难题。③ 提出了基于特征深度补偿的信息缺失目标方法，发现了尺度混淆现象，构建了尺度解混模型和目标部件图模型，避免了大尺度目标对小尺度目标的干扰，提升了对尺度变化和遮挡变化的处理能力。④提出了复杂恶劣天气条件下场景自适应的图像去模糊算法，利用运动方向、速度与视觉感受野权重的作用规律，建立了轻量自适应感知的交通场景运动去模糊模型，实现了多种恶劣场景下自适应去模糊。⑤提出了基于非一致混合噪声盲去除的恶劣环境下图像噪声盲去除方法，建立了基于噪声强度估计的噪声分布特性学习机制，实现了多种典型混合噪声盲去噪，并进一步发明了基于多尺度半稠密网络的非一致混合噪声去除方法，实现了对不同复杂噪声特性的自适应盲去除，解决了复杂环境下视觉感知系统干扰噪声分布未知且多样的共性难题。发表学术论文60篇，其中SCI刊源39篇、IEEE汇刊25篇，CVPR/ICCV/NeurIPS等领域顶会论文21篇。申请和授权发明专利15项。先后获2018年中国电子学会自然科学一等奖、2019年陕西省科学技术一等奖、2020年天津市科技进步一等奖。成果在智能驾驶汽车评测、边防无人挺感知、智慧交通等系统中得到重要应用。项目负责人和成员分别入选或承担2021年度国家万人计划科技创新领军人才、2018年度国家杰出青年科学基金项目、2018年度国家博士后创新人才支持计划、连年入选爱思唯尔中国高被引学者。