基于移动立体视觉的多线索城市道路环境感知预测模型

Self-driving cars can decompose “human” from the current “vehicle-road-human” closed cycle. Not only can it promote the safety of the traffic system greatly, but also a lot of time and fuels could be saved, which is expected to bring large amounts of economical benefits. While existing self-driving technologies focus on well structured high-way environments, the urban roads are much more complex, which requires more informations to make an accurate and secure navigation decision. This project plans to achieve a generalized urban scene model by combining multiple visual cues, which is based on a movable stereo vision system. By achieving our goal, we expect to solve the following basic scientific problems: Firstly, given the specific urban traffic scenes, how to find a proper depth restraint model to help improve the performance of stereo matching? Secondly, is there any inner relations between the scene depth information and other visual cues, and how to make use of these relations to obtain related visual cues more fast and accurately? Thirdly, based on these multiple visual cues, how to construct a proper and generalized model for urban scene understanding and inference, and how to provide self-driving systems the scientific evidence to make navigation decision?

自动驾驶汽车能够将“人”从现有的“车-路-人”闭环系统中分离出来，在提高交通系统安全性的同时，能够有效节约时间和燃料成本，为社会带来巨大的经济效益。现有的自动驾驶技术一般多针对结构简单的高速公路环境，复杂城市道路环境对车辆的环境感知和预测提出了更高的要求。安全、准确的导航决策需要丰富的场景感知线索做为基础。本项目以移动立体视觉系统为平台，拟利用场景深度信息为基础，探索结合多种视觉信息的城市道路环境感知预测模型。本项目拟研究解决三个基本的科学问题：一是在城市公路环境这类特定三维场景中，如何构建合理的深度预测约束模型，提高立体匹配算法在户外场景中的精度与速度？二是道路场景深度信息与其它相关视觉线索存在何种内在联系，如何使用深度信息辅助相关视觉线索的获取？三是基于多种视觉线索，如何构建合理的场景感知预测模型，为自动驾驶系统提供科学的决策依据？

自动驾驶汽车能够将"人"从现有的"车-路-人"闭环系统中分离出来，在提高交通系统的安全性同时，能够有效节约时间和燃料成本，为社会带来巨大的经济效益。现有的自动驾驶技术一般多针对结构简单的高速公路环境，复杂城市道路环境对车辆的环境感知和预测提出了更高的要求，安全、准确的导航决策需要丰富的场景感知线索做为基础。本项目以移动立体视觉系统为平台，利用场景深度信息为基础，探索结合多视觉信息的城市道路环境感知预测模型。通过对城市道路环境和自动驾驶车载立体视觉系统的成像特点的研究，提出了将局部平滑模型结合到代价扩散聚合中的思想，设计了两种不同树结构下的高效立体匹配算法，获得了三维场景理解中重要的深度信息。本项目提出的高效立体匹配算法可以在单核CPU上达到每秒约126百万次视差计算，在保证高精确度情况下，能够保持较好的物体边缘，是目前最优的高效算法之一。本项目还提出了一种基于生成树模型的代价聚合框架，在理论上统一了各种局部立体匹配方法中的代价聚合问题。通过研究道路深度信息在场景感知预测中的作用，结合道路几何模型与道路场景的三维深度信息，本项目研究并提出了一种高效的基于场景深度信息的道路平面检测方法。