MRF模型的车载全景视觉位姿估计最优化方法研究

The fusion precision of point cloud or image data are influenced by the pose data precision of Vehicle-borne mobile measurement system, and the geometric basis to realize the street view measurement and 3d reconstruction. The pose data are acquired mainly by the GPS/INS modular navigation and positioning method. But the dense regions of buildings in the city, when GPS signals keep out zone is bigger,Only rely on INS makes the vehicle positioning precision rapidly decrease over time. The pose estimation method at home and abroad has carried out based on visual, but the parameter precision of position estimation is not high, and estimated pose some prone to drift within the scope of long sequence and big scene. This project will improve pose estimation accuracy problem from big scene panoramic image sequence using the Markoff model. First of all, starting from the panoramic model, geometric model of the multi view projection cubes panorama based on geometric constraint conditions will be studyed; and research on feature matching and vanishing point extraction method of building vertical line; Study of local energy optimization model of angle elements and line elements and the optimal solution method in Markov random field to solve pose estimation problem for the panoramic image; For the panoramic adjustment problem, using fusion drift detection algorithm and "incremental" adjustment strategy, The last experiment, and quantitative analysis results of the bundle adjustment are given.

车载移动测量系统的位姿数据精度直接影响点云(或影像)数据融合的精度，是实现街景量测与三维重建的几何基础。目前位姿数据的获取主要采用GPS/INS组合式定位导航方式。但在城市建筑物密集区域，当GPS信号遮挡区范围较大时，仅依靠INS会使得车辆定位精度随时间迅速降低。目前国内外已开展了基于视觉的位姿估计方法，但位姿估计的参数精度不高，且在长序列大场景范围内估计得到的位姿点容易产生漂移。项目从提高大场景全景影像位姿估计的精度出发，采用马尔科夫模型研究全景序列影像的位姿估计问题。首先从全景模型入手，研究基于立方体投影的全景多视几何模型；利用几何约束条件，研究全景点特征匹配与建筑物垂直线灭点提取方法；针对全景影像的位姿估计问题，研究马尔科夫随机场域下的角元素和线元素局部能量优化模型以及最优求解方法；最后融合漂移检测算法的“增量式”平差策略进一步优化位姿数据。

车载移动测量系统的位姿数据是实现街景量测与三维重建的几何基础。目前基于视觉的位姿估计精度不高，且在长序列大场景范围内估计得到的位姿点容易产生漂移。项目从提高大场景车载全景影像位姿估计的精度出发，采用马尔科夫模型研究全景序列影像的位姿估计问题。首先针对全视角场景中存在的重复纹理、动态性、尺度变化等造成的匹配不确定性问题，提出了一种自适应光流运动特征的全景影像匹配方法。以运动结构特征为约束条件，将匹配描述为采用非参数均值漂移方法估计最优局部运动相似性结构特征的过程，可有效解决全景影像匹配中的低匹配率问题。在此基础上以正确匹配点的运动结构相似性和错误匹配点的稀疏性为约束条件，构建影像间匹配点的低秩和稀疏优化模型。统计稀疏矩阵奇异值特征，以此为判断条件完成正确与错误匹配点的检测。实验结果表明在高纹理重复特征、高重叠度下，本文方法相较经典方法能更好的区分正确与错误匹配点，在正确率、召回率、精度和F-measure指标评价方面表现占优。然后提出了一种全景序列影像的视觉位姿估计方法，根据全景多视几何关系，建立了角元素和线元素多视约束的优化模型，并推导完成模型的位姿求解方法。实验选择IP-S2车载移动测量系统获取的全景序列影像，对比分析单视图、全景视图的连续位姿估计、本文方法和GPS/ INS控制数据，结果表明本文方法可提高位姿估计的精度，并减少连续位姿估计产生的累计误差。最后研究全景序列影像的空三平差方法。分析全景组合式相机的成像原理，探讨基于空间球的理想成像模型和严格成像模型的表达方法。在全景成像模型的基础上，分析球模型、立方体模型下的全景影像极几何关系，研究全景影像的多视前方交会和空三平差的数学模型。实验对比和分析了单相机模型、立方体模型、球模型三种成像模型下的平差精度，结果表明，采用球模型的平差结果内符合精度更高，平差后的中误差为0.12个像素。