基于多模态图像融合的微型飞行器自主多维环境建模技术研究

Mapping technology has many potential applications in exploration of dangerous environments and disaster rescue. Most existing mapping technologies are based on vision sensors or laser scanners for pose estimation and perception. Therefore, they cannot work in degraded visual environments, for example featureless or smoky environments. Besides, they can only create map with visible-spectrum information. To solve those problems, this project tries to develop a new mapping technology based on multi-modal images using a micro aerial vehicle to create dense multi-dimension maps which contain color information, depth information and temperature information simultaneously. To achieve this goal, we first try to fuse the multi-modal images from a color camera, a depth camera and a thermal camera and use direct motion estimation method to estimate the pose of the vehicle, which will enable the vehicle to estimate its pose robustly in normal or degraded visual environments. Then, a real-time autonomous exploration strategy is proposed based on stochastic differential equation and localizability theory. Finally, we use keyframe and global pose graph optimization method to create dense map that simultaneously contains color information, depth information and temperature information. This project can potentially break through the bottleneck of existing mapping technology and dramatically extend the application domain of autonomous mapping technology.

环境建模技术在危险环境探测、灾难搜救等领域具有重要的应用价值。现有的自主环境建模技术多是利用视觉或者激光传感器进行姿态估计与环境感知，因此无法适用于无视觉特征或者烟雾等视觉退化环境且所建立的环境模型只包含了可见光部分的信息。针对于上述问题，本项目拟研究基于多模态图像融合的微型飞行器自主环境建模技术来重建同时包含颜色信息、深度信息和温度信息的致密多维环境地图。为了实现该目标，首先利用彩色、深度和红外热成像传感器所提供的多模态图像信息，将三种图像信息融合并采用直接运动估计方法提出适合于正常环境和视觉退化环境的实时鲁棒的姿态估计方法；然后，提出结合粒子随机运动方程和可定位性理论的实时三维自主导航方法；最后，研究利用关键帧信息和全局位姿图优化方法来重建同时包含颜色信息、深度信息和温度信息的致密多维环境地图。本项目有望突破现有的三维环境建模技术，极大地扩展三维环境建模技术的应用领域。

环境建模技术在危险环境探测、灾难搜救等领域具有重要的应用价值。现有的自主环境建模技术多是利用视觉或者激光传感器进行姿态估计与环境感知,因此无法适用于无视觉特征或者烟雾等视觉退化环境且所建立的环境模型只包含了可见光部分的信息。针对于上述问题,本项目研究了基于多模态图像融合的微型飞行器自主环境建模技术来重建同时包含颜色信息、深度信息和温度信息的致密多维环境地图。项目组首先建立了基于RGB-D摄像机、Optris热成像相机和Xsens IMU的多模态感知系统，实现了硬件触发同步，并进行了时空标定。在此基础之上，提出了融合了温度场信息的RGB-DT位姿估计和重建方法，实现了视觉退化场景中的鲁棒位姿估计；然后，进一步研究了融合IMU信息的基于直接法的红外图像和IMU紧耦合方法，进一步提高位姿追踪的准确性；同时，基于点云和TSDF两种三维模型描述方法分别实现了稀疏和致密多维环境模型的重建。此外，我们开展了三维环境的路径规划和完全未知环境的探索方法研究，提出了基于采样的在线自主探索方法，有效提高了高维环境的探索效率和降低所需的计算资源。本项目突破了现有的激光或者视觉三维环境建模技术,扩展了三维环境建模技术的应用领域，同时也为微型无人机在挑战性环境中的环境感知和自主导航奠定了理论和技术支撑。