基于新型事件相机的同时定位与地图构建

Simultaneous Localization and Mapping (SLAM) is one of the key technologies for autonomous robots. The new emerging Event camera, which mimics the human retina, captures only the dynamic changes of the scene and outputs an asynchronous sparse event stream. It has the advantages of high time resolution and wide dynamic range. Aiming at the challenges and opportunities brought by asynchronous sparse event streams for the SLAM problem, this project will study the feature extraction and tracking algorithm for asynchronous event streams. Then the project will explore the scene recognition technology based on sparse asynchronous event streams, and propose a loop closure optimization method based on event streams. In this way, we can achieve fast and lightweight loop detection and closed-loop correction. Afterward, we will study the theory and algorithm of the spatial 6-DoF autonomous localization and semi-dense mapping based on asynchronous event streams, and try to solve the problem of bundle adjustment for the spatial probability distribution map and estimated poses. Finally, the multi-source heterogeneous sensor fusion algorithm will be studied. Based on the new asynchronous event streams, synchronous image frames and IMU data, we will also build the prototype system to achieve fast, robust and accurate pose estimation and map construction. The results of the project will have a positive impact on exploring the advantages of novel event cameras in dealing with dynamic and complex scenes. It will also improve the theory and algorithm of simultaneous localization and mapping, and enhance the long-term and large-scale autonomous operation ability for robots in dynamic and complex environments.

同时定位与地图构建（SLAM）是自主机器人的一项关键技术。近期出现的新型事件相机，模仿人类视网膜，输出异步事件流，具有时间分辨率高、动态范围广等优点，适合应用于高速动态复杂场景。针对异步稀疏事件流为SLAM问题带来的挑战和机遇，本项目将研究异步事件流的特征提取和跟踪算法；探索基于稀疏异步事件流的场景识别技术，提出基于事件流的回环优化方法，实现快速、轻量化的回环检测，完成闭环修正；进而研究基于异步事件流的空间六自由度自主定位与半稠密构图理论与算法，解决异步事件流空间概率分布地图与位姿估计的捆绑调整问题；最后，开展多源异构传感数据融合算法研究，基于新型异步事件流、同步图像帧和IMU数据，搭建原型系统，实现快速、鲁棒、精确的位姿估计与地图构建。项目研究成果对挖掘新型事件相机在应对动态复杂场景时的优势，提高机器人在动态复杂环境中长时间、大范围的自主作业能力，完善相关的理论与算法具有积极意义。

针对高速复杂动态环境下，标准相机难以实现长时间、大范围、鲁棒的自主定位与地图构建的问题，本项目以探索新型事件相机在自主定位与构图中的应用为目标，分别提出了新型异步事件流的特征提取和匹配跟踪算法，提高了算法实时性、准确性和鲁棒性；探索了深度学习在稀疏异步事件流场景重构与深度估计中的应用，实现快速、准确的图像重构；搭建了基于异步事件流的6-DoF自主定位与半稠密构图系统，实现了快速、准确的位姿估计与半稠密建图；最终，在以上研究的基础上，融合新型异步事件流、IMU等数据，实现快速、鲁棒、精确的位姿估计与地图构建。. 学术成果方面，以本项目为依托，面向基于新型事件相机的自主定位与环境构图算法，执行期内（2020年-2022年），共计已发表学术论文7篇（SCI论文5篇，EI论文2篇）、授权专利4项，其中，包括1篇IEEE Transactions on Industrial Electronics（影响因子：8.162）、2篇IEEE Robotics and Automation Letters（影响因子：4.321）、1篇International Journal of Advanced Robotic Systems（影响因子：1.714）。除此之外，一篇投稿至机器人领域顶级会议2023 IEEE International Conference on Robotics and Automation (ICRA 2023)的论文已被接收，还有两篇期刊论文正在投稿返修过程中；人才培养方面，项目负责人作为协助指导老师，共计培养硕士研究生5名（李凯月、李若祥、景罗希、芦悦、高云琦），博士研究生1名（刘哲）；在工程应用方面，还搭建基于事件相机的自主定位与环境构图系统平台，支持在室内、室外环境下采集双目事件流、双目图像、IMU等数据，为本项目理论方法的实验验证提供支撑，为其在机器人、AR/VR中的应用奠定基础。. 综上所述，该青年基金项目完成了既定的研究目标，取得了预期的研究成果。