基于深度学习的航空序列遥感影像快速三维重建方法研究

The aerially remotely sensed imagery is the main data source of precise 3D information acquisition, and the Simultaneous Localization and Mapping (SLAM) is one of the main methods for 3D reconstruction. However, the mono-SLAM method mainly focuses on the close-range computer vision problems. The low-level features are used for computation by both the feature-based methods and the direct methods, which results in deficiency of robustness and expansibility. Furthermore, the classic mono-SLAM method could have the scale uncertainty and the scale error accumulation problems, which would result in accuracy decrease when the controlling information is not enough or the loop closure could not be conducted..This project intends to introduce the deep learning technology to SLAM for fast 3D reconstruction from aerially remotely sensed image sequences. The Convolutional Neural Network (CNN) is introduced to learn the deep-level features in images, based on which the research on supervised and the unsupervised accurate pose estimation would be conducted. The POS, ground control points assisted SLAM method would be researched under the Lie algebra framework to eliminate the systematic errors in positioning parameters and improve the precision of results. The main purpose of this project is to propose a relatively complete theory and method for fast and intelligent 3D reconstruction from aerially remotely sensed image sequences.

航空序列遥感影像是快速获取高精度地面三维信息的重要数据源，SLAM是当前重要的实时三维重建方法之一，但是经典的单目SLAM方法主要面向近景机器视觉的问题，无论是特征点法还是直接法，仍然使用低层次的图像特征，其方法的稳健性和场景可拓展性不足，此外单目SLAM方法会存在尺度不确定与尺度误差积累等问题，在无控、非闭环的航带模型下难以满足摄影测量的精度要求。.本项目将研究基于深度学习的序列遥感影像快速三维重建方法，在SLAM的理论框架下，将引入卷积神经网络来学习图像的层次化特征表示，研究监督和非监督学习下的成像传感器高精度位姿估计方法；研究李代数描述下的POS、地面控制点等控制信息辅助的SLAM方法，以消除定向参数的系统误差，提高几何定位与三维重建的精度。本项目的研究目标是建立一套相对完整的低空序列遥感影像智能化快速三维重建的理论与方法。

利用多视遥感影像恢复地物的三维信息，是数字摄影测量学的重要科学问题。近些年，随着深度学习技术的不断发展，利用深度神经网络实现地表三维信息的重建，已经成为了基于影像三维重建方向的重点问题。本基金项目围绕该问题，按照通用视觉任务、稀疏三维重建、稠密三维重建这三类任务开展了研究工作，取得了一定突破以及丰硕的成果。在通用视觉任务方面，重点研究了全局特征、局部特征以及显著性对于下游视觉任务的影响，以及多视角学习、少样本学习以及多模态学习等视觉任务学习策略，为三维重建的研究提供理论基础；在稀疏三维重建方面，本项目以视觉即时定位与地图构建技术为基本框架开展了研究，重点研究了逆深度滤波的三维重建方法，融合了间接法与直接法进而形成了混合的三维重建框架，能够高效、准确的构建场景的稀疏或半稠密点云；在稠密三维重建方面，基于通用视觉任务的研究成果，将深度学习方法引入多视图几何，重点研究了多视影像的实时深度图估计方法，可以利用多视影像之间的几何关系，将多视影像的特征进行聚合，进而回归得到参考影像的高精度深度图。本基金项目的研究成果，是经典数字摄影测量理论与方法的拓展与补充，可为相关研究与应用提供理论基础与技术支撑。