稀疏采样下非限定场景的图像拼接方法研究

The effect and application range of image stitching is influenced by two factors: matching error caused by similar contents, and structure error caused by multi-planes or curved surfaces with sparse sampling. To solve these problems and realize engineering applications, a novel method of image stitching of unrestricted scene with sparse sampling is proposed in this project. First, invariant and unique topology similarity measure parameters and measure rules will be studied for global matching which are used to improve matching accuracy. To eliminate image registration errors caused by multi-plane, plane segmentation and respective mapping method based on multi-homography will be studied. To avoid structure error such as false negative, false repeat, structure distortion and position disorder, structure parameters along with intensity and gradient is added into a error cost function, which aims to find the best stitching line which has the smallest difference in structure, intensity and gradient. Finally, we can stitching images of scene with multi-similar-contents， multi-plane and curved surface which are sparse sampled. The novelty of this proposed project is reflected in: the proposed image stitching method can be applied to large scale complicated environment multi-similar-contents and multi-plane without any sampling limitation; the invariance and uniqueness of the topological parameters guarantee the accuracy of the content matching; the multi-planar multi-projector method can improve image registration accuracy; minimizing the difference of structure, intensity and gradient ensure the stitching precision of unrestricted scene. These researches can improve the image stitching effect and expand its application range greatly.

当前图像拼接技术限于密集采样或单一平面场景，主要受两方面制约:相似内容间的匹配误差；稀疏采样下曲面/平面间相对位移导致的拼接误差。申请课题提出稀疏采样下非限定场景的图像拼接新方法：针对相似内容，研究兼具不变性及唯一性的拓扑相似性度量参量及准则，提出全局匹配算法，去除灰度/梯度局部匹配误差；针对稀疏采样下多平面及曲面场景，研究平面与投影矩阵间变换模型及多平面多投影方法，去除单投影导致的结构误差；提出基于结构反馈的迭代优选拼接方法，包括结构/灰度/梯度的误差度量方法、结构/灰度/梯度差异最小化缝合线、结构反馈迭代配准缝合算法，以避免缺失、重复、变形、错乱等四大结构误差。项目的创新在于：提出了采样及场景无约束的图像拼接方法；拓扑参量的不变性及唯一性、多平面多投影保证了图像配准精度；基于结构反馈的优选缝合可使结构差异最小化，保证了非限定场景拼接精度。研究成果对提高图像拼接效果及工程应用具有积极意义

单幅图像受限于视场，将小视域的图片拼接成大视域图片的图像拼接技术在医学图像分析、遥感图像处理、模式识别等计算机视觉和计算机图像学领域发挥着越来越重要的作用。针对多平面场景进行图像拼接时，相似内容间容易出现匹配误差以及多平面拼接容易出现结构误差的问题，本项目提出稀疏采样下多平面多相似内容场景的图像拼接新方法。本项目的研究内容主要包括四部分：1）稀疏采样下多平面多相似内容场景拼接方法原理的研究；2）相似内容间匹配误差抑制的研究；3）稀疏采样下平面间结构性误差抑制的研究；4）结构/灰度/梯度最佳的图像缝合方法研究。在详细研究SIFT特征的过程中，本项目提出了K近邻比值局部特征点匹配法，简称KNNDR算法。KNNDR算法保留了前K个最近邻匹配中具有明显更小的最短最近邻距离的特征初匹配，以减少传统的最近邻比值算法导致的漏匹配。针对初匹配结果中存在的误匹配问题，本项目提出了三种去除误匹配的算法，分别是基于三角剖分、角度向量和空间位置编码的误匹配去除算法。经实验验证，这三种算法均能够有效去除误匹配，提高特征匹配的精度。为解决传统RANSAC算法在处理多平面问题时产生的漏匹配，本项目提出了一种基于多单应矩阵的分层匹配法，该方法利用同一平面的点在不同的投影变换下相互间满足同一单应矩阵的原理，采用多单应矩阵对利用梯度相似性进行初匹配的点进行平面划分并确定其所属的单应矩阵。在图像缝合时，本项目提出了两种基于最佳缝合线的图像缝合算法。一种算法选择穿过最少平面的缝合线作为最优缝合线，另一种算法选取穿越三角形相同、次序一致、梯度颜色差异最小的缝合线作为最终拼接缝合线。此外，本项目提出的基于反馈方法的优选图像配准与缝合，能有效减少计算量并提高单应性矩阵和缝合线的准确度。实验结果表明，本项目提出的各种算法有效解决了当前算法所存在的缺陷，且对最终的图像拼接效果有明显的改善。在实际工程实践中，本项目的研究成果也具有积极的指导意义与价值。