多基线全景摄影测量关键技术研究

全景图像（Panoramas）作为一种全视角成像，比一般的透视成像系统具有更完备的场景信息,而利用多基线全景序列影像能够以更高的自动化程度获取360度场景的三维信息。本课题通过研究典型全景相机的成像模型，对经典摄影测量解析理论进行扩展，并推演误差传播规律和精度评定指标；同时研究通过多基线立体匹配和区域网三角测量，实现多基线全景影像数据的全自动处理。具体内容包括：研究典型全景成像系统的光路成像过程和构象几何，以及全景相机的标定方法；建立单视、双视、多视条件下的全景影像位姿解析与目标三维坐标解算理论；研究多视全景图像在全局一致性条件下的同名点自动匹配算法，多基线全景影像区域网平差方法，以及与透视投影数码相机数据的组合解算方法。通过模拟成像、室内外控制场、三维激光扫描点云等实验手段对上述理论方法进行验证。研究成果可对使用全景影像进行大比例尺近景测绘具有指导意义。

本课题针对全景成像模式的特点，深入研究全景图的构像几何及其数学描述，对经典摄影测量理论进行扩展，系统地提出全景成像模式下的相机标定、位姿解算、前方交会、核线约束及区域网平差等摄影测量关键技术理论；并推导这种特殊几何投影关系下解析过程的误差传播规律和精度评定方法。提出多基线全景摄影测量系统实现完整场景的360度高精度自动三维重建任务。同时，开发验证软件系统，对全景成像技术指标展开系统的研究。采用计算机视觉中常用的本质矩阵对同名光线的共面关系进行描述，同时研究了全景影像中核线的形式以及核线影像的生成方法。针对全景影像畸变大的特点，本课题采用具有优良仿射不变特性的SIFT特征进行同名点匹配，并采用目前被广泛应用于散乱影像的SfM算法对全景影像进行自动相对定向。同时，考虑到目前常见的全景影像通常为序列影像，具有类似视频的序列化特点，本课题尝试采用基于卡尔曼滤波的SLAM对其进行自动定向，在滤波算法普遍存在漂移的情况下，本课题在滤波过程中加入控制点，在一定程度上减弱了漂移。..本课题研究了在利用Geyer通用相机模型的基础上，利用类似Micusik的方法，将中心投影过程分为一个刚性变换过程和一个中心投影过程。在刚性变换的基础上，以摄影光束为出发点，建立通用的成像模型，并对多种相机的中心投影成像过程进行了研究。从摄影光束出发，研究了全景影像的极线几何，利用本质矩阵描述其极线约束即共面条件，介绍了一种最新的5点法相对定向算法，同时对不同参数化方法的全景影像核线进行了代数推导。在对极线几何研究的基础上，从代数上推导了一种全景影像核线重采样方法，开创性地对其几何意义进行了解释。在建立完整的成像模型与相对模型的同时，建立了基于经纬网格参数化的全景影像的光束法平差模型，在此模型的基础上将计算机视觉中广泛使用的基于卡尔曼滤波的SLAM算法以及基于散乱影像的SfM算法应用于序列全景影像。利用全景影像数据集进行实验，取得了阶段性成果，实验结果表明基于卡尔曼滤波的SLAM解算具有较大优势，而SfM算法在精度上有巨大优势，具有一定潜力。最后对基于全景影像的渲染与虚拟环境中的相应渲染技术做了探索。..课题出版专著一部，发表文章10余篇，其中EI检索6篇，SCI检索1篇，开发软件一套，完成了既定的研究目标。