面向激光点云与序列影像的空间指纹图自动配准方法

Unmanned Aerial Vehicles (UAV) and Vehicles borne Mobile Mapping System (MMS) are new and sustainable earth observation methods to gather low-altitude / streetscape laser point cloud and image data. However, the acquired cross-platform, multi-temporal laser point cloud and the sequence images are different in data quality, accuracy and spatial reference. Pixel-level registration accuracy which is the pre- requirement of data fusion application can’t be achieved using direct geo-referencing data. The registration bottleneck restricts the development and application of the point cloud and image fused classification, recognition and modeling methods applying to UAV/Vehicles borne MMS. Therefore, this study aims to register the LiDAR point clouds and sequential images/panoramas collected by UAV/Vehicles borne MMS in an automatic and robust way. SFG (Space Fingerprint Graph) registration method is proposed to solve the registration. The SFG utilizes spatial graph to match automatically extracted geometry features, solves the coarse registration parameters based on conjugated geometry features and refine the registration iteratively through minimizing the distance between the dense image points and the laser points. This research provides pixel-grade registered LiDAR point clouds and sequential images for data fusion research and application, such as object perception and semantic modeling.

新型无人机/车载移动测量系统是采集低空顶面/街景立面激光点云与影像数据的一种低成本、高时效的可持续途径。但由于其采集到的多平台、多时相激光点云与序列影像在数据质量、精度、空间基准方面存在较大差异，难以直接实现像素级高精度配准，制约了融合点云与影像数据的分类、识别、建模方法在该平台上的应用与发展。数据配准是新型移动测量平台点云与影像数据融合研究的瓶颈问题。因此，本课题以无人机/车载移动测量系统采集的激光点云与序列影像为研究对象，提出空间指纹图配准方法，自动提取被测场景蕴含的地物几何特征作为配准基元，以图方法度量配准基元空间结构相似性实现同名基元匹配，从基元对驱动粗配准到点间距最小化精配准完成两步法配准模型参数估计，实现数据集稳健高精度配准，服务于联合点云与影像数据的目标感知与语义建模等后端数据融合研究与应用。

新型无人机/车载移动测量系统是采集低空顶面/街景立面激光点云与影像数据的一种低成本、高时效的可持续途径。但由于其采集到的多平台、多时相激光点云与序列影像在数据质量、精度、空间基准方面存在较大差异，难以直接实现像素级高精度配准，存在技术瓶颈问题。因此，本项目以无人机/车载移动测量系统采集的激光点云与序列影像为研究对象，以统一数据空间基准为研究目标，研究激光点云与序列影像鲁棒自动配准方法，并采用多平台移动测量系统实测数据进行了验证：1）提出了面向多种复杂环境的激光点云与序列影像3D-2D空间特征提取方法，实现了配准基元高精度自动提取；2）提出了HMP-TDP树动态规划的层次PatchMatch 3D立体匹配方法，将影像-点云2D-3D配准问题转换到3D-3D点云配准问题；3）提出了多RGB-D激光点云与影像数据自动标定配准方法，95%采样点配准精度优于0.025m；4）提出了基于语义特征的车载移动测量激光点云与序列全景影像自动配准方法，配准精度达1.5像素级；5）提出了NRLI-UAV非刚性无人机移动测量激光点云与序列影像配准方法，配准精度达亚像素级。研究成果实现了多时相、跨成像模型的点云与影像稳健高精度配准，高精度配准数据成果为激光点云与影像数据联合分析与处理奠定坚实的数据基础，服务于融合几何与光谱信息的目标感知与语义建模等后端应用。按照既定的研究计划，项目圆满完成了课题设定的研究内容，达到了预期目标，并在研究的深度和广度上有扩展。在项目资助下，项目组发表论文16篇，其中 SCI论文7篇，EI论文9篇，申请国家发明专利2项，软件著作权1项，培养了11名研究生，参加国际学术会议5人次，获湖北省科技进步二等奖1项（2018，排名2），测绘科技进步特等奖1项（2019，排名2）、二等奖1项（2020，排名6）。