面向互联网同目标影像集的准稠密立体匹配

There are many internet images containing the same objects, and the key step to reconstruct the 3D model with those images is to obtain high quality dense matching points. However, there may be a big difference between the internal and external camera parameters when obtaining those images, and quasi dense matching method is used to establish the pixel mapping between the image pairs under wide baseline condition. The following problems still exist though: 1) Quantity deficiency of sparse matching points affects subsequent dense diffusion matching; 2) In weak texture or repetitive texture region, matching quality is generally low; 3) Partial matching points may not be divided into its actual spatial plane..In this research we mainly focus on using RANSAC method, combining Delaunay triangulation nets with the results of local invariant feature matching. The candidate matching points are purified by iterative method, and the coplanar matched grids are simultaneously obtained. Based on the coplanar grids and PDE sub pixel interpolation, we focus on robust matching method of sub pixel with homography and epipolar constraints. On the level set of the edge map and interpolation process, matching method of three view geometry constraint calibration and correction of error is mainly explored to obtain the final robust stereo matching results. The results can contribute to improve the quality of 3D reconstruction for cultural heritage sites and digital city, and are significant in both theoretical and practical aspects.

互联网环境下存在着大量同目标影像，利用这些影像重建三维模型的关键步骤在于获得高质量稠密匹配点。在获取这类资源的过程中，由于相机内外参数可能存在较大差异，常采用准稠密匹配方法建立这种宽基线条件下像对间的像元关系，目前仍存在的问题有：1) 稀疏匹配点数量不足影响后续稠密扩散匹配；2) 弱纹理或重复性纹理区域匹配质量不高；3) 部分匹配点可能未被划分到其实际所在空间平面上。.本项目利用局部不变特征匹配结果，研究结合随机抽样一致估计与Delaunay三角网的外点剔除方法，通过迭代的方式逐步提纯候选匹配点集，并获得共面匹配网格。以共面网格为基础，结合PDE亚像素插值，研究极线与单应约束亚像素鲁棒匹配方法。利用边缘图及插值过程中的水平集，研究三视图几何约束校验与修正异面误匹配方法，以此获得最终的鲁棒立体匹配结果。相关研究成果将有助于提高文化遗产、数字化城市的三维重建质量，具有重要的理论意义与应用价值。

互联网环境下存在着大量同目标影像，利用这些影像重建三维模型的关键步骤在于获得高质量稠密匹配点。在获取这类资源的过程中，由于相机内外参数可能存在较大差异，常采用准稠密或稠密匹配方法建立这种宽基线条件下像对间的像元关系。针对目前存在的问题，本项目从像对稀疏匹配、准稠密及稠密扩散匹配，匹配结果提纯等方面入手，对面向互联网同目标影像集的准稠密立体匹配方法进行研究，取得了一系列创新性研究成果：(1) 像对稀疏匹配方面，首次提出无纹理区域纹理构造法、彩色空间抽样校验模板匹配法、基于分值图的最佳模板选择法，解决了无纹理、弱纹理区域的匹配问题，提高了彩色图像对稀疏匹配的准确率与速度。(2) 准稠密及稠密扩散匹配方面，创新性地提出金字塔式像对稠密及准稠密匹配方法、证明了三角网等比例剖分性质，解决了像对匹配过程中重复纹理及非刚性形变区域难以稠密及准稠密匹配的问题，并提高了稠密及准稠密匹配的鲁棒性。(3) 匹配结果提纯等方面，以ORB特征点为中心的邻域中密度直达的特征点数目，计算像对间每个特征点对的偏移角、位置信息以及欧氏距离后进行密度估计聚类，通过平滑约束条件扩充聚类中的特征点对，从而快速提纯内点集；通过梯度引力图矫正直线位置，采用点特征匹配结果计算像对极线，结合直线匹配结果确定最后的局部校验特征区域，通过随机抽样一致小邻域范围内特征相似性校验直线匹配结果，从而剔除误匹配直线。以上研究成果较好地解决了现有互联网影像现有的匹配问题，将有助于提高文化遗产、数字化城市的三维重建质量，具有重要的理论意义与应用价值。