自动驾驶场景下视觉语义分割算法研究

In autonomous driving, it is necessary for the car to collect high-definition images or videos around and predict the semantic labels for each pixel by semantic scene segmentation. It helps the machine to perceive the environment by providing the positions, shapes and locations of all objects. Deep learning based scene semantic segmentation is still one of the most challenging tasks in the field of computer vision and video processing. It is important not only in the theoretical area but also in autonomous driving application and intelligent navigation. This project adopts the advanced deep learning technology to solve the problems in scene semantic segmentation, including: developing a real-time segmentation algorithm via light calculation and knowledge distillation; using selective transfer learning to select reliable samples and features from source domain and adopting multi-branch network ensemble learning to generate final semantic prediction; introducing a low latency video semantic segmentation method by adding the iterative feature reconstruction modules to accelerate video processing and keeping long range spatiotemporal semantic information; exploring the idea of using a memory module that is dynamically updated to remember rare scene for auxiliary decision and overcome the few-shot learning problem in semantic segmentation. The project finally integrates the above methods to realize an efficient autonomous driving scene semantic segmentation system.

自动驾驶场景中为车辆采集道路高清图像或视频信息，并通过场景语义分割获得所有物体位置、形状和类别信息，以感知行车环境。基于深度学习的场景语义分割技术仍然是视觉计算领域研究难点之一，具有重要的理论研究意义，并在无人驾驶、智能导航等领域具有重要的应用价值。本项目研究基于深度学习的场景语义分割方法。设计基于轻量级计算和知识蒸馏的实时场景语义分割算法。设计基于选择性迁移学习和多分支网络集成学习的场景语义分割域迁移算法。设计基于视频冗余信息快速处理和长范围时空语义特征记忆的低延迟视频语义场景分割方法。在骨干网络之外添加持续记忆单元对因季节更迭、早晚光照和天气变化引起的小样本场景进行记忆并动态更新以辅助决策的图像场景语义分割方法。项目最终把上述各种语义分割方法进行集成并实现计算高效的基于深度学习的自动驾驶场景语义分割系统。

本项目以自动驾驶场景为应用背景，以深度学习的场景语义分割技术为研究对象，主要研究并提出了多种高清晰度的图像和视频的实时分割，提高实算法的预测精度；提出了协同学习的自适应度量蒸馏方法。项目结合技术的发展和时代热点技术问题，开展了一些相关研究：提出双重语义一致性原则实现了视觉-红外图像的人员检索；提出跨模态的图匹配注意力机制实现视觉问答；提出了模态协同互补的视觉-红外图像的人员检索方法；提出了单阶段无锚框的3D车辆检测方法；实现了模态混淆的视觉-红外图像的人员检索方法；提出了在线模拟学习的自动驾驶模拟方法；提出了自学习矫正的人体解析方法。本项目对所提出的解决方法进行了代码实现、实验分析、和同类先进方法对比，结果证明本项目所提出的方法在该领域同时期具有国际领先水平，对相关科学研究和产业落地具有一定的推动作用。