结合LiDAR点云和多视角航空影像的建筑物结构化模型重建理论与方法

3D reconstruction of building models by integration of LiDAR point clouds and aerial images has great advantages against the traditional methods that only use single data source. This proposal puts forward a novel structural 3D building model reconstruction theory and the corresponding realization methods by integration of LiDAR point clouds and multi-view aerial images. Planar feature can be easily extracted from LiDAR point clouds, and linear feature can be effectively extracted from aerial images. A completely new idea of wire frame and TIN hybrid representation of 3D building model is proposed by taking the full advantages of mutual constraint mechanism of the extracted planar and linear features. The topology relationship among building vertices is also explicitly reconstructed. Several key technologies, such as 3D mesh reconstruction of point clouds with linear and planar features, building façade restoration based on image texture recognition, two-steps simplification of building models by maintaining optimum texture mapping, and structural building model reconstruction by hybrid wire frame and TIN representation, will be deeply studied. Prototype software for structural 3D building model reconstruction by integration of LiDAR point clouds and multi-view aerial images will be developed and tested with real datasets to verify the correctness and effectiveness of the proposed theory. Our achievements provide strong technical solutions for universal building vector model reconstruction, and make good foundation on both theory and applications in the fields of intelligent building, smart city, and 3D city database.

LiDAR点云与航空影像联合进行建筑物三维重建相比单一数据源的传统方法有突出优势。本项目率先提出结合机载LiDAR点云和多视角航空影像的建筑物结构化模型重建理论与方法，创造性地提出线框与三角网混合的矢量模型构建思想，基于线面特征互约束机制，利用点云精确三维几何信息提取平面特征和影像丰富纹理信息提取直线特征，共同构建带有精细纹理且包含建筑物角点间拓扑关系的结构化矢量模型。重点围绕基于线面特征的三维点云表面重建、基于影像纹理识别的建筑物立面修复、保证纹理映射最优的两步法模型简化、线框与三角网混合的建筑物矢量模型提取等核心问题展开系统深入的理论探索和算法研究，并研发基于机载LiDAR点云与多视角航空影像的建筑物结构化三维重建原型系统，验证相关理论和算法的正确性和有效性。研究成果可为通用化矢量模型重建提供有效的解决方案，并为智能建筑、新型智慧城市、城市三维数据库等应用奠定坚实的理论和技术基础。

建筑物结构化模型具备单体化、语义化与结构化特性，其自动化重建是影响实景三维中国、数字孪生城市建设进程的关键一环。本项目在国家自然科学基金的资助下，形成了结合机载LiDAR点云与多视角航空影像的建筑物结构化模型重建总体方案，并严格按照立项申请内容和进度安排开展研究。.项目研究了影像数据、点云数据及多模态数据联合处理算法，为建筑物结构化重建提供高质量数据基础。研究多模态影像配准及粗差剔除方法，为多模态数据配准奠定理论基础，实现了影像数据的多源融合与超分辨率重建。研究了LiDAR点云与航空影像高效精配准方法，空间一致性约束的LiDAR点云引导立体影像匹配算法，联合多源异构数据得到高精度高覆盖率密集点云数据。.提出多视多特征多几何约束联合的城区大场景线云重建理论框架，为建筑物结构化重建提供高精度直线特征。提出地形自适应的正则化TPS滤波方法，超体素约束下的主动再学习LiDAR点云分类框架，非监督建筑物实例分割方法，实现了复杂场景下点云数据的自动语义化及单体化处理。提出基于对立推理理论的三维航空点云平面分割方法，研究了基于线面特征推理机制的建筑物多面体模型重建算法，最终实现了联合LiDAR点云与多视影像的建筑物结构化模型自动重建。.项目建立了较为完整的结合LiDAR点云和多视角航空影像的建筑物结构化模型重建理论和算法体系，并研制了三维建模原型系统LiDARPro，该系统支持国产银河麒麟及Windows操作系统，实现了核心技术自主可控和完全国产化，且已供多家单位测试、生产使用。.项目组经过4年的积极探索和潜心研究，圆满完成了规定的研究内容。项目组成员获得国家自然科学基金青年科学基金项目一项（2022年），获得博士后创新人才支持计划一项（2022年）。研究成果发表学术论文25篇，其中SCI/EI/核心收录论文15/6/2篇，国际会议论文2篇；获得授权国家发明专利6项，培养博士硕士研究生12名；按计划提交了课题年度报告及结题研究报告，达到了预定的研究目标。