中国古建三维数字化保护中的天地图像融合问题研究

Using image based 3D modeling technology for ancient Chinese Architecture 3D digital preservation is an important means to promote and inherit Chinese civilization. Ancient Chinese architectures have the characteristics of large scale, complex structure and rich details. Thus the reconstruction results may suffer from low precision and incompleteness when using UAV or ground images alone, and combine them together is an effective way to solve this problem. However, the differences of view direction, scene distance, and field of view between aerial and ground images, as well as the differences of accuracy, coverage, and density between ground and aerial point cloud, bring essential difficulties for aerial-ground image matching and aerial-ground point registration. To solve this problem, this project intends to build a new framework for aerial-ground image fusion in the 3D modeling pipeline to enhance the accuracy and completeness of the modeling results. This framework consists of rough scene geometry modeling, aerial-ground image matching based on scene geometry, and aerial-ground image fusion based dense point cloud generation. The research results will rich the theories and methods of image based 3D reconstruction for large-scale scenes, and provide technical methods for ancient Chinese architecture 3D digital preservation.

使用基于图像的三维重建技术对中国古代建筑进行三维数字化保护是推广和传承中华文明的重要手段。中国古建具有建筑规模大、结构复杂、细节丰富等特点，单一使用无人机图像或地面图像进行三维重建不可避免的会出现重建结果精度低和完整性缺失的问题。融合天地图像进行重建是解决这一问题的有效途径，但由于无人机和地面图像在视角、场景距离、视场范围等方面差异显著，且天地图像重建得到的点云在精度、覆盖度、密度等方面差异明显，给图像特征匹配和点云配准融合带来了本质困难。为解决这一难题，本项目拟构建一套新的天地图像融合建模框架，提升图像建模结果的精度和完整性。这一框架以场景粗略几何模型的构建为基础，以基于场景结构的几何变换作为天地图像的匹配手段，以融合天地图像的稠密三维点云为输出。研究成果是对大场景图像三维重建领域理论和方法的丰富，也为中国古建的三维数字化保护提供了技术手段。

本项目以中国古建三维数字化为研究对象，以典型中国古建数据集为研究载体，针对中国古建三维数字化保护中的天地图像融合问题开展了系统性研究，形成了“复杂场景多源联合位姿解算→复杂场景完整化几何重建→复杂场景细粒度语义分割”的层次化技术框架，以此实现复杂中国古建场景“数据获取→传感器标定→几何表达→语义解析”的全流程数字化重建能力。在中国古建三维数字化涉及的关键技术领域，本项目在融合航拍图像与地面图像的完整化三维重建方法、融合激光与图像的复杂场景完整化三维重建方法、融合迷你飞行器与机器人数据的室内完整化三维重建方法、大规模分布式点云网格化重建方法、基于主动学习的三维模型语义分割框架等方面取得了创新性研究成果，并构建了佛光寺和南禅寺两大唐代建筑群数据集，为中国古代建筑三维数字化保护和数字化传承提供了技术手段。本项目取得了一系列创新性研究成果，在计算机视觉、摄影测量、机器人等领域国际期刊和国际会议，如IJCV、IEEE TIP、IEEE TCSVT、AAAI、ICRA、IROS等发表学术论文21篇；获得CVPR2019长时视觉定位竞赛冠军、CVPR2021三维矢量化BIM建模竞赛冠军等2项三维视觉领域国际竞赛冠军；申请/授权发明专利7项。此外，本项目还进一步将关键技术和技术系统拓展到数字城市、无人系统、混合现实等领，推动了本项目科技成果在多个重要行业应用中的转移转化。