基于单立体模型的多视影像密集匹配理论与方法

Dense matching with stereo images is one of the hot topics of Photogrammetry and Computer Vision communities in recent years. The key technologies are the theory and method of fast and robust pixel-by-pixel image matching. This proposal puts forward a novel dense matching theory and the corresponding realization methods of single stereo based on cost matrix and multiple soft constraints. This approach totally changes the traditional idea of applying constraint conditions during dense matching. A new idea of automatic optimal stereo pair selection is proposed by considering multiple conditions, such as baseline length, normal vector of image plane, intersection angle, and corresponding points of aerial triangulation. We also put forward a new method of multi-view point clouds fusion in the object space by minimizing the global energy function. Line buffer and winner takes all strategies are adopted to get complete identical edges between image and depth map of linear features. Invalid or mis-matching areas are recoginzed and area features from image segmentation are also integrated to eliminate mis-matches in texture less areas for further improving the accuracy of matched point clouds. Finally, we will establish new multi-view dense image matching theory and practical methods that can generate accurate point clouds with space, aerial, and low altitude images. Our achievements are promising to make good foundation on both theory and applications of digital surface model and true orthoimage generation, three-dimensional building model reconstruction, and to provide strong technical supports for geographical conditions monitoring and intellectual city applications.

立体影像的密集匹配一直是摄影测量和计算机视觉领域经久不衰的研究热点，其核心是快速且稳健可靠的逐像素匹配理论与方法。本项目创新性地提出基于代价矩阵和多重软约束的立体影像密集匹配理论与方法，从根本上改变了传统密集匹配算法的约束条件实现思路；率先提出结合基线长度、像平面法向量、交会角、空三匹配点等多重约束的最优立体像对自适应选择方法；提出基于全局能量函数最小化的物方多视点云融合方法；采用线缓冲区和赢家通吃思想实现线状地物影像边缘和深度图边缘的完全统一，进行无效匹配区域识别并联合面特征消除纹理贫乏区域的误匹配特征，提高密集匹配点云的精度水平；最终建立较为完整的多视影像多约束密集匹配理论和算法体系，实现卫星、航空、低空等传感器平台获取的多视立体影像的密集匹配，为高精度数字表面模型、真正射影像、建筑物三维重建等应用奠定坚实的理论和算法基础，同时为我国地理国情监测和智慧城市的发展提供技术支撑。

立体影像密集匹配是三维重建的核心问题，也是智慧城市、实景三维中国等应用的关键支撑技术之一，密集匹配点云的密度和精度直接决定后续三维重建的质量。本项目获得国家自然科学基金资助后，形成了基于代价矩阵和多重软约束的单立体影像密集匹配总体方案，并严格按照立项申请内容和进度安排开展研究。.提出基于卷积神经网络的轻量级场景分类方法，提出并实现基于多约束的最优立体像对选择方法。研究了基于P2L的误匹配剔除方法，并基于向量场内插理论进行自适应粗差剔除。提出基于代价矩阵和图像引导的多级分步密集匹配及视差图融合方法，实现了基于影像匹配的稠密点云生成。.提出基于Log Gabol滤波器的多模态遥感影像相位相关配准和基于超像素配准噪声检测的高分辨率影像精配准方法。提出基于PMVS稀疏点云的快速多视密集匹配，基于顶帽变换的点云去噪方法，以及LiDAR点云辅助下的立体影像密集匹配方法。提出基于半全局铅垂线轨迹法的多视影像密集匹配方法，以及基于深度图的DSM精化方法。.实现基于空-谱联合特征的影像水体提取及基于鲁棒主成分分析的云检测去除，采用匹配可靠度进行DSM云水区域自动修补，并完成基于两步半全局滤波的DTM自动提取。.综上所述，项目组建立了较为完整的基于单立体模型的多视影像密集匹配理论和算法体系，实现基于最优立体像对的多重软约束立体匹配、LiDAR点云辅助密集匹配、基于PMVS稀疏点云的快速多视密集匹配、半全局铅垂线轨迹法密集匹配等一系列关键技术，并进行点云去噪、DSM精化及DTM自动提取等处理，研发了多视影像密集匹配原型试验系统，为多视密集匹配产品生产及各领域应用奠定了较好的理论和应用基础，同时为我国自主知识产权的多视密集匹配系统研制与应用提供技术参考。.项目组忠实执行了研究计划，完成了规定的研究内容。在部分研究成果支撑下，项目负责人张永军以第一完成人获得2017年国家科技进步二等奖1项，并入选2017年度教育部长江学者特聘教授。研究成果发表学术论文27篇，其中SCI/EI收录论文18/4篇，国际会议论文5篇；获得授权国家发明专利4项，培养博士硕士研究生8名；按计划提交了课题年度报告及结题研究报告，达到了预定的研究目标。