自适应三角形约束的多角度影像多基元匹配方法

Oblique photogrammetry is an international academic frontier of the new generation of photogrammetry. By simultaneously collecting images from a vertical angle and sevral tilt angles, oblique photography system can obtain high-resolution top and side images of terrain and scene. It brings more information for three-dimensional reconstruction and orthophoto correction, however, reliable and automatic processing the multi-angle images arouses a new challenge to existing photogrammetry system. Aiming at reliable multi-angle image matching for the common problem of oblique photogrammetry, this project analyzed the sensor geometry, scale difference and high resolution characters of the multi-angle images comprehensively, as well as the mapping relationship between 3D object features and multi-angle 2D images features, then proposed a multiple primitives image matching method for multi-angle images constrained by self-adaptive triangulation, which is designed to overcome the bottleneck of traditional image matching method with single feature and low reliability. The main research contents include: 1) Line features extraction method with high repeatability and precision; 2）Constraints and similarity measure for line features matching; 3）Integrated point-and-edge matching propagation by using the self-adaptive triangulation constraint; (4) Multi-angle images dense matching. This research would provide an innovation way for automatically and intelligent processing of multi-angle images, precisely 3D reconstruction and ortho-image rectification.

倾斜摄影测量是新一代摄影测量研究的国际学术前沿。倾斜摄影系统通过同时从一个垂直角度和多个倾斜角度采集影像，能够获取地形地物顶面和侧面的高分辨率影像，给三维重建、正射影像纠正带来了更多的信息，但多角度影像的可靠自动处理也给传统摄影测量带来了挑战。针对倾斜摄影测量的共性核心问题- - 多角度影像可靠匹配，本项目在深入分析多角度影像的成像几何、尺度差异和高分辨率等特点，并系统研究三维目标特征与多角度二维影像特征之间映射关系的基础上，提出自适应三角形约束的多角度影像多基元匹配方法，旨在突破传统方法匹配特征单一、可靠性较差的瓶颈，主要内容包括：（1）高重复率与高精度线特征提取；（2）线特征匹配约束条件与线特征匹配相似性测度；（3）自适应三角形约束的多角度影像点-线特征联合匹配传播；（4）多角度影像密集匹配。该研究将为多角度影像的自动化智能化处理、高精度三维重建、正射影像纠正等提供新的途径。

项目组按照课题任务书的进度要求，完成了相应研究内容。本项目针对多角度影像的点、线特征提取、描述、匹配开展了研究工作，并且开展了特征匹配结果的应用研究。主要工作如下：.(1) 利用不同分辨率的影像，研究比较了当前4种先进特征提取算子SIFT、SURF、ORB、Harris在影像存在尺度、方向、光照等差异时的重复率；针对ADS40 L0 级影像变形大的问题，提出了一种基于SIFT特征和相关系数法相结合的由粗到精匹配方法；针对航空倾斜影像尺度差异大、仿射变形大的问题，提出下视影像生成DSM辅助的倾斜影像匹配方法。.(2) 提出了利用重复率来比较直线提取算法的框架，通过试验比较各算法的性能，结果表明LSD和EDLines提取的直线更有利于直线匹配；针对现有相位编组方法在区域分界线处产生边缘断裂及同一分区内直线拟合难题，提出了一种叠置分区辅助的相位编组直线提取算法，经过实验验证和对比分析，该算法不仅能有效、准确地提取影像上的直线特征，而且对于影像上的曲线特征，也能通过直线拟合得到较好的提取结果；针对直线匹配可靠性问题，提出了一种基于三角形约束的立体影像线特征多级匹配方法，三角形约束条件可以减少直线匹配的奇异性，提出的移动窗口的自适应直线相关系数可以有效解决深度断裂区域难以衡量相似性测度的问题。.(3) 研究提出了一种基于物方几何约束的半全局多视影像匹配方法，在物方几何约束下利用多视影像的灰度信息计算匹配代价，并利用半全局优化选择每一个像素对应的深度值，实验结果表面本项目方法相对于PMVS等方法效果更好；针对大规模密集匹配的计算瓶颈问题，实现了基于MPI加速的多机并行密集匹配方案。.(4) 在密集匹配方法研究上，开展了基于影像的三维建模研究；在对点特征匹配和三角网结构研究基础上，提出了基于GPU的大尺寸遥感影像配准方法，方法采用由粗到精的控制点的选择方法，融合了ORB特征和SIFT特征的优势，针对大尺寸高分辨率遥感影像的精确纠正问题，提出了一种基于三角形自适应扫描的方法，研究了基于GPU的配准加速策略，实现了相对于基于CPU配准方法的21×的加速比。