基于多视影像的大范围数字表面模型快速生成理论和方法

Traditional multi-view based digital surface model (DSM) generation methods face some problems, such as low efficiency of reconstruction, rough surface and low quality of reconstruction in textureless areas. According to graph theory, discrete optimization theory and convex optimization theory, this project reconsiders multi-view reconstruction problems and proposes a new theory on multi-view based rapid generation of large scale digital surface model. The proposal puts forward a novel graph based optimal stereo pair selection method which can reduce the redundant matching to a great extent and raise the DSM generation efficiency. A new state of the art stereo matching algorithm is proposed. The matching algorithm is the combination of image guided matching algorithm and energy function guided matching algorithm, which can achieve robust and accurate 3D points even in textureless areas. We also proposes a new patch based global point clouds fusion method. The fusion method transforms the point clouds fusion problem into the solving of a patch based global energy function. The fusion method can smooth the rough surface which is common in traditional DSM generation methods. Finally, we will establish new theory and practical methods on multi-view based rapid generation of large scale digital surface model, which can generate accurate point clouds with space, aerial, and low altitude images. Our achievements are promising to make a good foundation on both theory and applications of digital surface model, Architectural 3D Reconstruction, and so on.

传统的基于多视影像的数字表面模型生成方法存在建模速度慢、模型表面粗糙、弱纹理区域重建质量差等问题。本项目根据图理论、离散优化理论和凸优化理论，重新审视多视建模问题，提出一种新的基于多视影像的大范围数字表面模型快速生成理论和方法，提出基于Graph的最优立体像对选择策略，能够极大程度上减少冗余匹配，提高数字表面模型的生产效率；提出联合图像引导和能量函数的分级立体影像密集匹配算法，能够充分利用两种算法各自的优势，生成高精度、鲁棒的密集匹配点云，解决弱纹理区域的三维建模问题；提出基于Patch的全局物方多视点云融合方法，将点云融合问题转换为基于Patch的全局能量函数最优解的计算问题，能够保证融合后的点云表面连续光滑，解决传统算法的重建表面粗糙问题；最终建立较为完整的基于多视影像的大范围数字表面模型快速生成理论和方法体系，实现卫星、航空、低空等传感器平台获取的多视立体影像的密集匹配，为高精度数字表面模型、建筑物三维重建等应用奠定坚实的理论和算法基础。

大范围数字表面模型(digital surface model, DSM)产品在国民经济建设和国防军事领域，发挥着重要作用，如：一带一路建设、虚拟现实士兵演习、智慧城市、无人机导航等等。传统方法采用无人机、激光雷达等设备，生产高精度、高分辨率的DSM产品。但是，这些方法往往适用于小范围(10平方公里)三维重建，对于更大范围三维重建，成本极高。例如，广东省全省30厘米分辨率三维重建，成本约1亿。随着卫星分辨率逐步提高（目前商业卫星最高0.3米分辨率），使得用卫星影像生产大范围数字表面模型产品成为可能。卫星影像具有全球覆盖、成本低廉的优势，其三维重建成本只有无人机或者激光雷达的十分之一，因此非常适合大范围DSM生产。但是，国内现有卫星三维重建产品，均未达到实景三维的程度。..根据大范围数字表面模型快速生成目的，本项目采用多视角高分辨率卫星影像，并根据卫星影像三维重建整套流程中的重点和难点，进行一系列技术攻关，包括：(1) 多视角卫星影像特征匹配和区域网平差；(2) 立体像对选择；(3) 立体卫星影像密集匹配和DSM生产; (4) DSM优化，以及(5) 实景三维模型纹理映射。最终，本项目提出了一套完整的基于多视角卫星影像的实景三维模型重建方案，并研制了相应的软件原型系统，能够根据卫星影像快速生成实景三维模型。..从理论创新和工程实践两个方面，对项目相关成果进行总结和发表，包括：(1) 期刊会议论文，SCI期刊论文5篇，EI期刊论文2篇（其中一篇主编终审状态），国际会议口头报告1篇；(2) 发明专利，授权发明专利共计8项，公开发明专利1项；(3) 软件著作权2项，其中一项在审查阶段；(4) 获奖，国际会议最佳口头报告1项；(5) 软件原型系统一套，并邀请测绘实际生产单位进行测试。..总体来说，本项目研制的卫星多视影像三维重建软件原型系统具有较高的重建精度，在城市地区三维重建精度优于1米，并优于商业软件MetaShape和RSP。此外，本项目研制的原型系统，能够利用卫星影像生产实景三维模型，填补国内该领域的空白。本项目成果具有极大转化潜力，为国防军事、一带一路等提供技术服务。