面向复杂环境的同步定位与制图技术研究

Along with the rapid development of virtual reality, augmented reality and intelligent robotics industry, the solving of the basic problem Simultaneous Localization and Mapping (SLAM) is becoming increasingly urgent. However, in practice, it is still quite challenging for accurate and stable SLAM in complex environments. In order to satisfy these practical applications, the objective of this project is to study and explore a set of theories and methods for 3D reconstruction of images and SLAM. We mainly focus on solving the following key problems: 1) Developing an efficient image matching and 3D reconstruction technique for massive image/video data from different sources. 2) Developing a robust and accurate SLAM technique for complex environments by fusing multiple sensors which are available on a mobile or wearable device. 3) Developing a large-scale SLAM technique based on a Client/Server architecture by taking the advantages of mobile devices and cloud computing. With this technology, the 3D structure of large-scale scenes can be completed and refined online, and the mobile devices can be accurately localized. By combing the above techniques, a SLAM prototype system based on mobile devices and cloud computing platform will be built to verify the effectiveness of the proposed methods.

虚拟现实、增强现实和智能机器人产业正迎来井喷式发展，其中的基础问题“同步定位与制图”的解决也变得日益迫切。然而在实际应用中，由于环境的复杂性，精准、稳定的同步定位与制图存在很大的挑战性。面向实际应用需求，本项目的研究目标是研究和探索一整套面向复杂环境的影像结构化表示与移动实时定位与制图的理论与方法，重点研究：大规模影像数据的高效结构化表示技术，实现多源海量影像数据的高效匹配与三维结构的恢复；基于多传感器融合的SLAM技术，将基于移动/穿戴式设备上的各种传感器充分整合利用起来，优势互补，实现复杂环境下的稳定精准SLAM；基于C/S构架的大尺度场景的SLAM技术，将移动端和云端的各自优势结合起来，实现大尺度场景的三维结构的在线完备和优化以及精准移动定位。在此基础上，本项目还将搭建起一个基于移动终端和云计算平台的SLAM原型系统，验证所提出的方法。

同步定位与制图（SLAM）技术可以在未知环境中定位自身方位并同时构建环境三维地图，有着广泛的应用。虽然同步定位与制图技术在过去的十多年里发展很快，但在很多实际复杂环境中仍面临精度、效率和鲁棒性不足等问题。为此，本项目按计划围绕大规模影像数据的高效匹配关联与结构化表示、基于移动和云计算平台的高效同步定位与制图这两个关键科学问题开展了系统深入的研究，取得了重要突破，在国内外知名期刊和会议上发表研究论文13篇，其中发表在CCF-A类国际期刊/会议（IEEE TVCG、IEEE TIP、ICCV、CVPR）上的论文5篇，申请国家发明专利4项和2项软件著作权。主要研究内容和重要结果包括：1）在大规模影像数据的高效结构化表示方面，深入研究了图像序列和无序图像混合的数据集的高效匹配、运动恢复结构和深度恢复，以及本征图像分解、动态物体三维重建等技术，相关研究成果发表在国际顶级期刊IEEE TVCG和IEEE TIP以及国际会议ICRA和3DV上；2）在基于多传感器融合的SLAM方面，深入研究了视觉惯性SLAM、RGB-D SLAM等多传感器融合的同步定位与制图技术，对SLAM中的关键模块（初始化、集束调整和稠密地图构建等）提出了相应的创新解决方案，相关成果发表在IEEE TVCG、VRIH、IROS、PRCV等国内外重要期刊和会议上；3）构建了端-云协同的大尺度场景跟踪定位与重建框架，重点研究了视觉重定位技术，并研发了一个低成本可扩展的大尺度场景定位基准构建框架，相关成果发表在国际会议ICCV、ISMAR、ISMAR Adjunct上；4）通过整合以上各项研究成果搭建起了一套端-云协同的同步定位与制图系统，并成功应用于增强现实和定位导航等。