应用于自动驾驶车辆环境感知系统的去雾技术研究

Most recent existing image defogging algorithms perform the same restoration processes for the whole image regions by using the atmospheric scattering model. If we directly adopt these algorithms to process the road images that captured by the environment perception system of autonomous vehicle, apart from the high time complexity, it may also cause the enhancement to be partial in the near road surface (within the visibility distance), while the far-away area (outside the visibility distance) are less enhanced. In this case, the image features of road marks, road signs, traffic lights and other traffic scene objects may be lost, which may lead to a low detection rate and influence the driving safety of autonomous vehicle. Therefore, this project will study the partitioned real-time defogging technique for foggy road images based on the road image features and the concept of visibility. The technique can further improve the image defogging effect and ensure the safety of automatic driving. The project will mainly include the following aspects. Firstly, a new road image defogging model is constructed based on the visibility distance. The new model can perform different restoration processes by assigning different enhancement coefficients for different regions of foggy road images. Secondly, an image defogging algorithm based on the new model is designed. Thirdly, the defogging effect assessment methods based on the visibility distance detection or the traffic scene object detection are studied. Finally, a software platform of road image defogging is designed and applied to the environment perception system of autonomous vehicle to test the robustness and real time capability of the platform.

现有的图像去雾复原算法大多利用大气散射模型采用整幅图像统一增强的方式，若直接将这些算法运用于自主车环境感知系统中道路图像的处理，除不能满足车辆行驶的实时性外，很可能还会产生近处路面区域（能见度范围内）过增强，而远处区域（能见度范围外）增强不够的问题，导致道路标志线、标志牌、交通灯等交通场景目标图像特征缺失，检测率低，影响行车安全。本项目将根据道路图像的特点，基于能见度概念，研究雾天道路环境下的图像分区实时去雾技术，进一步提高去雾效果，保证自动驾驶的安全性。研究内容主要包括：1）构建基于能见度的道路图像去雾新模型，为雾天道路图像的不同区域分配不同的增强系数以分别进行去雾处理；2）设计基于新模型的去雾算法；3）研究基于能见度检测和交通场景目标检测的道路图像去雾效果客观评价方法；4）设计与实现道路图像去雾软件平台，并运用于自动驾驶车辆环境感知系统以检验其鲁棒性与实时性。

本项目围绕应用于自动驾驶车辆环境感知系统的去雾技术，从去雾新模型的构建、去雾新算法的设计、去雾算法参数的优化、去雾效果的定量评价、去雾工作的实际应用五个方面展开研究。经过三年的研究，取得了较为显著的研究成果：.1. 去雾新模型的构建方面：结合能见度的相关概念与道路图像的特点，构建了专门针对自动驾驶车辆所拍道路图像的去雾新模型。此外，基于对夜晚雾天图像中多光源所引起的发光现象的考虑，构建了一个专门针对夜晚雾天图像的多光源去雾新模型。.2. 去雾新算法的设计方面：提出了一种专门针对道路图像的去雾新算法。在此基础上，完成了道路图像去雾软件平台的设计、开发与测试，并通过自主改造的无人车验证了该方法的有效性。同时，提出了一种基于多光源去雾新模型的夜晚图像去雾算法。实验结果表明：此算法在去雾结果的对比度、色彩自然度和算法运算时间等方面均优于其它对比算法。此外，还提出了一种基于融合策略的深度卷积神经网络去雾新算法，该算法利用深度残差卷积网络有效整合雾天图像不同角度的衍生图信息，实现了对不同场景、不同浓度雾天图像的有效去雾。.3. 去雾算法参数的优化方面：针对雾天图像去雾算法的参数自适应调控问题，利用计算智能方法优异的寻优能力，分别提出了基于遗传算法、粒子群优化算法、人工鱼群算法的参数自适应调控方法，由此即将静态开环的参数估计问题转换为闭环的动态参数调节问题。实验结果表明：相比于参数值固定情况下得到的去雾图像，采用上述这些方法对不同输入图像自适应地选取参数值能获得更好的去雾结果。.4. 去雾效果的定量评价方面：提出了一种专门针对道路图像的能见度检测方法，以便利用能见度数值来对图像的去雾效果进行评估。同时，将去雾前后交通场景相关目标的检测正确率的提升值作为衡量道路图像去雾效果的另一重要评价指标。此外，还提出了一种基于视觉感知的去雾效果评价指标，以便从多个不同角度来全面评价各算法的去雾效果。.5. 去雾工作的实际应用方面：将去雾工作与脑机接口相结合，实现了通过脑电信号控制虚拟雾天场景雾气浓度大小的功能。实验结果表明，利用此方法可以生成具有较好逼真度与沉浸感的虚拟雾天场景，因此可广泛应用于儿童注意力训练、老年人或患病人士的智力恢复，以及虚拟游戏场景的真实感渲染等教育、医疗、娱乐领域。.总的来说，本项目的成果显著，能够极大的促进去雾算法的理论研究及其在实际工程中的应用。