基于地理视觉标签库的双目视觉SLAM技术研究

High precision positioning can help driving scene perception in the complex environment and improve the status stability for the intelligent car, therefore how to keep high precision positioning with low cost is a hot topic in the intelligent driving area. The traditional vehicle-mounted positioning systems include GPS, IMU, lidar and visual sensors, GPS signal is easy to be lost in the urban area, IMU and lidar are very expensive, so recently visual sensors show great potentials. In this project, regarding the need of consistent high precision positioning with low cost for intelligent car, in the GPS-denied area, with the help of visual perception and positioning, using integration of simultaneous localization and mapping (SLAM), stereoscopic vision, deep learning, geographic visual labeling and so on, we are exploring the key issues of application of binocular visual SLAM for driving scenarios, high precision dynamic positioning technology based on geographic visual labeling, semantic segmentation and scene understanding based on deep learning algorithms, and in the end we will test our system with real vehicle tests. The research results can complement and improve the existing high precision positioning methods and theory. It will provide the development and application of intelligent vehicles with strong support.

定位技术是当今智能驾驶的核心和关键。高精度定位能够极大降低车辆在复杂环境下信息感知难度和提高自身状态信息的可靠性，而低代价连续高精度定位是智能驾驶的瓶颈问题。传统车载定位方法包括GNSS、惯导、激光雷达和视觉传感器等，由于价格昂贵无法大范围推广使用。本项目面向智能汽车低代价连续高精度定位的需求，围绕智能汽车在不依赖GPS信号条件下的视觉感知与定位，综合运用即时定位与地图构建技术（SLAM）、立体视觉、深度学习、地理视觉标签库等方法，重点探索双目立体视觉SLAM技术在驾驶场景中的应用、基于地理视觉标签的高精度动态定位技术、基于深度学习人工智能算法进行语义分割场景理解，并通过实车实验进行测试验证。课题研究成果可补充和完善现有的低代价连续高精度定位相关理论，为智能汽车的发展与应用提供理论支撑，具有重要的研究意义与应用价值。

定位技术是当今智能驾驶的核心和关键。高精度定位能够极大降低车辆在复杂环境下信息感知难度和提高自身状态信息的可靠性，而低代价连续高精度定位是智能驾驶的瓶颈问题。传统车载定位方法包括GNSS、惯导、激光雷达和相机等传感器，在项目申请阶段，考虑到相机相对低廉的价格，仅采用了视觉定位。近几年我国涌现出速腾聚创、禾赛科技等一大批优秀的激光雷达厂商，将激光雷达的价格降至千元人民币级，与双目相机价格相当。此外，随着GNSS、惯导技术的发展，此类传感器也迎来了降价热潮。因此，在项目执行期间，我们除了完成申请书中基于地理视觉标签库的双目视觉SLAM技术研究外，还探索了低成本的GNSS、惯导、激光雷达的定位性能。本项目主要完成了以下工作：1、提出了一种基于视觉地理标签语义辅助的双目视觉SLAM方法，利用YOLOv3目标检测框架提取出来的交通标志牌作为地理视觉标签，其语义特征作为传统ORB-SLAM2框架的新增特征点，借鉴图像检索技术完成立体匹配，为了降低左右目相机误匹配率，提出了距离约束、行对准约束、尺度约束、相对关系一致约束四种约束方法；2、提出了一种基于地理标签辅助的低成本激光雷达/GNSS定位方法，分别采用道路两侧的电线杆和道路路沿作为地理标签，利用激光雷达对地理标签进行目标识别，采用后方交会和模糊匹配等方法，将地理标签作为三维位置约束加入GNSS RTK解算，提高RTK模糊度固定率；3、提出了一种基于地形地理标签的低成本惯导定位方法，借鉴语音识别中的动态时间规整算法，将道路地形的上下起伏类似为语音信号，通过惯导设备实时记录车辆因地形变化导致的俯仰角变化，与预先采集的地形数据实时匹配获取当前位置信息。上述研究取得的成果包括6篇论文，其中SCI检索5篇、会议1篇，申请发明专利1项。本项目还将理论成果应用于实践中，带领武汉大学自动驾驶团队参加了“跨越险阻2021”陆上无人系统挑战赛、参与了东风自动驾驶领航项目等，低成本高精度定位模块得到了广泛了应用与验证。