面向复杂遮挡环境的车辆视觉自定位方法研究

Vehicle self-localization is one of the active topics in research of intelligent vehicles. For complex occlusion environment, this project proposes semantic segmentation based visual localization. We propose a CNN based semantic feature extraction method and light-weight HD map matching method to realize the robust vehicle self-localization. Then, we propose heterogeneous semantics-based data fusion method to estimate the vehicle position continuously and reliably. Meanwhile, we study HD map supervised training method for end-to-end network. In the framework of deep learning, we explore efficient network framework and make full use of HD map to increase the performance of vehicle self-localization. This project establishes a systematical and complete theory of vision self-localization based on the extraction of semantic features. Based on the foregoing research, a novel perception of vehicle self-localization is proposed, which lays a solid foundation for research and application of vehicle localization for intelligent vehicle.

车辆自定位是智能车研究中的核心科学问题之一。本课题面向复杂遮挡环境这一应用难点，提出一种基于语义特征的视觉定位方法，采用卷积神经网络进行鲁棒的语义特征提取，与轻量级高精度地图信息配准，实现鲁棒的车辆自定位。提出了对遮挡鲁棒的基于语义特征的横纵向定位方法，在此基础上，提出一种基于异源异类语义特征的数据融合算法，对车辆自身姿态与位置进行连续可靠的估计。与此同时，探索基于高精度地图的端对端网络的有监督训练方法。在深度学习的框架下，挖掘高效的网络架构，充分利用地图信息，提高车辆定位的性能。本项目通过对语义特征的提取，建立系统完整的面向复杂遮挡环境的视觉自定位理论，基于以上研究结论，提出车辆自定位的新认知，为智能汽车定位技术研究与应用建立理论基础。

车辆自定位是智能车研究中的核心科学问题之一。本项目重点研究了面向复杂遮挡环境的车辆视觉自定位方法，并针对车道级横向定位、道路级横向定位和车辆全局定位方法开展研究。1）本项目提出基于环视端对端的车道级定位方法，解决了典型车道级定位算法在复杂遮挡环境中准确性下降的问题。使用环视原图进行特征提取,避免了去畸变和正射影像投影产生的误差。引入卷积神经网络对概率横向道路特征进行端对端学习，减少了光线变化和动态遮挡带来的干扰。应用基于高斯混合模型和概率数据关联的定位方法，实现了多车道环境中亚米级的端对端车道级定位。2）本项目提出基于像素级环视语义分割的道路横向定位方法，解决了车辆易受周围动态障碍物干扰的问题。为充分利用道路边界和路面标志特征，提出粗定位和细定位方法用以获得高精度的车辆位置。粗定位模块利用道路边界信息与地图进行匹配来获得一个粗糙的定位结果，细定位模块将路面标志点与地图匹配，获得厘米级的横向定位结果。3）本项目提出基于空中目标特征的全局定位方法，降低了动态车辆遮挡对定位造成的影响。为提升交通标志检测的精度，提出了一种基于图像梯度的边缘校正算法。为提升定位的鲁棒性和精度，提出基于多源信息融合的车辆自身状态估计方法，实现了亚米级的车辆全局定位。基于以上研究结论，本项目提出对车辆自定位的新认知，为智能汽车定位技术研究与应用建立理论基础建立了理论基础。本项目研究期间共计培养人才43名，基于项目研究成果共计发表论文52篇，授权国家发明专利14项，并获得上海市技术发明一等奖、教育部技术发明二等奖等多项省部级奖项。本项目实现了多项技术转化及应用，包括校园无人小巴、无人物流车和井下铲运无人巡检车的落地应用。