基于稠密与稀疏匹配流的非刚性图像匹配算法及其应用研究

Image matching is a very challenging and fundamental problem in computer vision and it is a prerequisite technology in a wide range of vision applications. The major challenges lie in that the captured image scenes typically involve non-rigid deformations, viewpoint changes, occlusions, scale and illumination changes, etc., which often lead to high-dimensional and complex image transformations, large scene disparities, as well as noise and outliers in feature matches. The goal of this project is to solve the non-rigid image matching problem by pixel-level matching, and to overcome these challenges by pursuing a novel matching framework based on dense and sparse matching flows. We plan to (1) propose a matching model based on dense and sparse matching flows through investigating the advantages and disadvantages of existing pixel-based methods and feature-based methods; (2) develop a new transformation constraint based on the manifold regularization to ensure the robustness of the proposed formulation; (3) seek an adaptive optimal solution of the new matching model, and design a fast implementation based on sparse approximation accordingly; (4) realize the software/hardware experimental system, and analyze the performance of the algorithm; (5) study the application of geological disasters, and research the matching problems of remote sensing images and images captured by unmanned aerial vehicles. The new matching model can be applied to solve various non-rigid image matching problems. It will largely promote the vision applications whose performance is largely determined by the matching results, for example, intelligent recognition, 3D reconstruction, virtual reality, simultaneous localization and mapping, etc.

图像匹配是计算机视觉领域中非常有挑战性的基础研究问题，也是解决多种实际应用的关键技术。其研究难点在于待匹配图像存在非刚性变换、视角变化、遮挡、尺度及光照变化，造成图像变换模型复杂、场景存在深度差、特征匹配存在噪声及离群点等问题。本项目旨在解决非刚性图像逐像素匹配问题，提出一种新颖的算法模型来解决这些难题。通过探讨基于像素和特征方法各自的优劣，提出基于稠密与稀疏匹配流的算法模型；研究基于新算法的流形正则化约束，为模型优化求解的稳定性提供保障；研究基于稀疏表达的快速算法，为实时性要求严格的应用提供技术支持；开发算法实验及验证系统，分析算法性能；结合地质灾害应用需求，针对无人机航拍地质灾害图像及遥感图像的匹配问题展开深入研究。本项目所研究的算法模型可解决不同类型的非刚性图像匹配问题，促进视觉相关领域中以匹配算法为核心的多种应用研究的开展，包括智能识别、三维重建、虚拟现实、机器人导航及智能驾驶等。

图像匹配是计算机视觉中基础而重要的问题，也是许多视觉应用工作的基础。计算机视觉中的许多问题，如图像检索、图像融合，工程领域的遥感测绘、环境与灾害监测，机器人领域的机器人导航、视觉归巢，安防领域的目标识别与跟踪等问题的解决都依赖于图像匹配的精度和效率。在实际中，由于拍摄时间不同、成像设备不同、拍摄角度不同，以及图像中存在的噪声、遮挡、离群点、非线性形变等因素的影响，使得求解图像匹配问题非常困难。因此，研究高普适性的匹配模型具有重要的理论意义和应用价值。.在图像匹配方面，项目完成了基于高斯混合模型及空间约束的图像匹配算法的研究。SIFT流算法在复杂场景图像上得到的像素稠密对应结果令人印象深刻。然而，在旋转和尺度变化显著时，算法的鲁棒性较差。由于稀疏特征匹配方法对旋转和尺度变化更加鲁棒，而逐像素匹配方法对非刚性变形更加鲁棒，我们提出一种基于稀疏和稠密采样特征匹配方法来实现遥感图像精确配准。所提方法中包含两个耦合变量：非刚性几何变换和离散的稠密流场。前者对应于稀疏特征匹配，引入一个局部线性约束对变换进行正则化来求解。后者对应于稠密像素匹配，提出一种类似SIFT流的算法模型，并采用置信传播算法进行优化求解。研究的主要成果体现在两个方面： (1)提出了一种基于稀疏点集和稠密流的图像匹配方法，实现在非刚性变换下的遥感图像精确配准；(2)该算法在图像质量严重退化的情况下仍具有较好的配准效果，其性能优于当前处于领先水平的方法。.此外，结合实际的应用需求，将匹配算法用于解决图像拼接、融合及地物识别等问题。在图像拼接方面，提出的两种方法都可以很好地解决现有的全景图像拼接技术用于无人机图像拼接所产生的重影及局部变形等问题；在图像融合方面，提出一种基于多尺度分解的红外与可见光图像融合算法，可以在保存图像的红外信息的基础上，保留可见光图像的纹理细节。