面向季节变化的机器人视觉全局定位

Localization is indispensable for robot navigation. Conventional robot localization solution depends on the laser, which has two problems: 1) global localization is hard due to the limited field of view and data resolution, 2) the cost of the robot with laser may not be accepted by the consumer market. Therefore, the visual global localization technique draws the attention from both industry and academia. There are several challenges to visual global localization in natural environment, including view point change, local and global ambiguity, and illuminative variation. In this project, we set to study the visual global localization across seasons, which contains significant changes covering most factors mentioned before. Motivated by the perception and inference skills performed by humans when localization, we try to discover and understand the invariance in changing environment. We propose an attention mechanism based feature detector, a multi-granular representation for feature description, and an efficient hypothesis validation method against high percentage of outliers, to improve the repeatability, stability and robustness of the localizer, finally bringing better autonomy to robots.

定位是移动机器人自主导航的关键技术。传统的定位技术主要以激光传感器为主，存在两方面问题，一方面，激光传感器的数据稀疏，鉴别信息不足，难以全局定位；另一方面，激光传感器成本较高，显著增加了机器人的价格。因此，视觉全局定位成为业界关注的解决方案。然而，自然环境下的视觉全局定位包含诸多挑战：当前图像与地图之间存在显著视角变化，海量地图图像间存在全局或局部相似混淆，自然环境变化导致光照甚至环境内容发生改变等。针对这些问题，本项目以机器人视觉全局定位为研究对象，以环境变化中时间跨度最长、变化因素最多的复杂长期季节变化为场景，以环境变化干扰下的不变信息挖掘为基本思路，模仿人在定位任务中表现出的感知和推理智能，重点突破具有主动关注机制的特征提取、具有多粒度信息表达的特征描述以及高离群点数据的高效假设检验等关键技术，从重复性、不变性和鲁棒性三个维度提升定位性能，最终提升机器人的自主性。

全局定位无法使用先验信息作为辅助，因此是机器人定位中最具挑战的问题。针对基于视觉观测的全局定位问题，该项目从地点识别、特征提取、特征匹配、系统集成四个方面开展研究：1）在特征提取方面，提出了基于生成对抗学习的伪激光数据生成方法，从而能够利用点云方法进行特征匹配；提出了位姿估计的可微分设计，将位姿监督的损失反向传播到特征提取网络，避免了特征提取缺少真值的问题，实现了端到端学习。2）在地点识别方面，提出了单帧图像的表观与结构解耦表征、多帧视觉融合的局部地图表征，并将三维结构的几何不变性考虑到神经网络网络中，解耦了位姿和环境变化引起的观测差异，提升了网络提取特征的泛化性，实现了跨季节的地点识别。3）在特征匹配方面，提出了针对2D-2D及3D-2D特征匹配的鲁棒求解器，能够在高达85%以上错误匹配干扰下找到正确的特征匹配，从而求解正确的定位。并将求解器拓展到多帧，进一步提升了跨季节定位的精度。4）在系统构建和验证测试的过程中，还提出了建图和稠密重建方法、多传感器标定方法、轨迹规划方法等，完善了机器人导航系统，重复定位精度达到厘米级。与定位算法一起集成部署到机器人，在实际应用场景中构建了数据集，开展了试验验证。