2D/3D视觉信息融合仿生SLAM关键问题研究

A bottle-neck problem which restricts mobile robots moving from controlled and structured environments to practical applications is that the long-term Simultaneous Localization and Mapping (SLAM) ability is insufficient. Inspired from the brain navigation mechanism and based on its computational model, pure 2D visual bio-inspired SLAM has already overstepped fliters and graph optimization based SLAM approaches. However, it still suffers from limitations such as low accuracy, lack of geometric information, relies on sufficient illumination. Therefore, we propose to fuse multi-modal visual information in the bio-inspired SLAM system to overcome the above-mentioned limitations: .1. A featureless 3D vision based visual odometry is proposed, which can fulfill real-time and accuracy requirements with 6 degree of freedom pose estimation..2. A novel topological-metric hybrid map representation is proposed; The hybrid map is incremental constructed based on 2D/3D visual information, where the topological map has global consistency and local metric maps are accurate according to geometry..3. A multi-modal visual information based loop closure detection method is presented, which makes use of as much information in both modalities to improve the robustness of accuracy of loop closure. .The research result is significant for improving the SLAM ability for mobile robots, and can provide certain theory foundation and technical support to make mobile robots really applicable in complex environments.

长时间大范围可靠的同步定位与建图（SLAM）能力不足是制约移动机器人走向实际应用的瓶颈问题之一。相比较基于概率计算和图优化的方法，受大脑导航定位机制启发的2D视觉仿生SLAM已经显示了其处理长时间大范围SLAM问题的优势，但还存在精度低、缺少几何信息、对光照条件鲁棒性不高等缺陷，尚未研究利用对动物导航定位而言重要的3D深度信息。项目研究融合2D/3D视觉信息的仿生SLAM，以克服上述缺陷：1、提出基于深度图的与特征无关的6自由度视觉里程计，满足实时性和精度要求；2、提出一种新的拓扑米制混合地图表示方法，基于2D/3D视觉信息增量式地构建全局拓扑一致，局部几何信息精确的混合地图；3、提出基于多模态信息的闭环检测方法，最大限度地融合两个视觉模态的信息量，提高闭环检测的鲁棒性和准确率。研究成果对提高机器人SLAM能力具有重要意义，能为移动机器人早日实用于复杂环境奠定一定的理论基础和提供技术支撑。

长时间大范围可靠的同步定位与建图（SLAM）能力不足是制约移动机器人走向实际应用的瓶颈问题之一，本项目融合颜色和深度信息，针对其中涉及的若干关键问题开展了深入研究，包括基于混合信息残差的视觉里程计、基于图像级联网络的图像语义分割、融合惯性测量单元和激光雷达的精确地图构建、基于位姿和外观的闭环检测方法等。重要研究进展包括：. 提出了基于混合残差的视觉里程计，将图像特征点信息、光度信息和深度信息相结合，设计了混合残差联合优化模型。在高斯牛顿优化框架下，推导了非线性优化的求解公式，并在求解过程中分阶段地使用了鲁棒核函数和外点滤除，来增强迭代过程的鲁棒性和保证结果的最优性，实验表明同时提高了视觉里程计的定位精度和鲁棒性。. 提出了基于图像级联网络ICNet 的图像语义分割，以多分辨率的图像作为网络输入，低分辨率图像通过完整的语义感知网络获得粗略的图像语义分割结果，然后采用级联特征融合网络结构将中、高分辨率图像的细节特征融入进来，逐步改进粗略的语义分割图，最终可以快速地输出高质量的语义分割结果。. 提出了融合惯性测量单元（IMU）和激光雷达的级联SLAM算法用于大范围精确地图构建，IMU 的高频率位姿估计为点云配准提供初值，基于迭代最近邻（ICP）算法进行点云粗配准，然后基于3D-NDT 进行点云精配准，在保证实时性的同时，提高了增量式点云配准的精度和鲁棒性，为大范围户外场景三维模型构建提供了解决方案。. 提出了一种基于位姿与外观的概率闭环检测方法，将SLAM 中所提供的位姿信息与传统闭环检测方法所使用的图像外观信息相结合，利用这两种信息的互补特性，联合用于闭环检测，提高了算法的闭环检测性能。. 本项目研究成果在地面救援机器人自主导航上得到了成功的应用，对提高移动机器人的视觉自主导航能力具有重要意义。. 在本项目支持/部分支持下，共出版学术专著1 本、译著2 本、英文图书章节1 章，发表SCI 收录国际期刊论文6 篇，EI 收录国内期刊论文2 篇，EI 收录国际会议论文16 篇，申请发明专利4项。