城市复杂环境下基于视觉和通信的智能车辆感知与定位

Environmental perception and self-localization are the two key technologies for the intelligent vehicles with auto-driving capability. Under complex urban environment, the intelligent vehicles are facing the challenges like variety and complexity of the perception task, unstable localization capability. Aming at meeting the general requirements from the autonomous navigation of the vehicles, this proposal focuses on the perception and localization technologies with low-cost sensors and the infrastructures, i.e., cameras, vehicle communication, low-cost IMU and road network map. We propose to rely on the deep learning and multi-sensor fusion to encounter the bottle-neck of the expensive sensors used in the intelligent vehicles. The three research key points that we plan to break through are: (1)high performance autonomous environmental perception based on binocular vision and multi-task deep neural network; (2)Cooperative and enhanced perception based on vehicle communication; (3)Reliable localization based on binocular vision and multi-modal data fusion. The accomplishment of this project will firmly sustain the development of the low-cost autonomous driving vehicles under complex urban environments.

环境感知与定位是实现具有自动驾驶功能的智能车辆所必需的两大核心关键技术。城市复杂环境下，智能车面临着感知任务多样、复杂度高，定位可靠性差等重大挑战。项目针对复杂城市环境下具有自动驾驶能力的智能车辆的总需求，提出以低成本视觉传感器为核心，结合车辆通信、低成本IMU、路网地图等城市环境下智能车辆的基础设施和设备，以深度学习、多传感器融合等技术为主要手段，对基于低成本传感器的智能车辆感知与定位技术进行深入研究，力图突破目前智能车过于依赖高性能昂贵传感器的瓶颈。重点突破基于双目视觉和多任务深度神经网络的高性能自主式环境感知技术、基于车辆通信的协同式环境感知增强技术，以及以双目视觉为核心、多模数据融合的车辆可靠定位技术，为实现复杂城市环境下的低成本自动驾驶提供坚实的技术支撑。

城市复杂环境下，智能车的自动驾驶面临着感知任务多样、复杂度高，定位可靠性差等重大挑战。项目针对复杂城市环境下智能车辆的自主导航需求，将单车智能与网联智能相结合，提出了以立体视觉和多传感器融合为核心，结合车辆通信、路网地图等城市环境下智能基础设施共同提升智能车感知与定位能力的总体解决方案。针对自主感知受环境噪声影响大的问题，提出了一系列以视觉为核心的深度网络多传感器融合方法，提升了底层三维重构和高层语义理解任务的性能；针对通信信道资源分配与网联协同感知问题，提出了面向冲突避免和位置追踪准确性的自适应信标消息广播和资源分配策略，以及通信传感异步数据融合的协作邻居车辆定位方法，改善了通信资源受限环境下的协同感知性能；针对城市环境下车辆可靠定位问题，提出了视觉IMU融合的鲁棒初始化和基于语义特征的SLAM定位方法，并通过融合城市路网地图的约束进行累积误差修正，提升了大范围GPS拒止场景下视觉定位的可靠性。大量理论仿真和实际实验验证了本项目所提出的方法的有效性，部分成果已经在国防无人系统中得到应用。本项目的成果为实现复杂城市环境下的可靠自动驾驶提供了坚实的技术支撑。