图像特征匹配的自适应渐进模型与局部线性迁移约束研究

Feature matching is a very challenging yet fundamental problem in computer vision and pattern recognition. The major challenges lie in the combinatorial nature of the matching problem, the diversity and high dimensionality of the geometrical transformations in different research areas. The goal of this project is to overcome these challenges by pursuing a unified adaptive progressive model together with a locally linear transforming constraint. More specifically, we plan to (1) analyze the influences of the accuracy and scale of the putative correspondences to the mismatch removal procedure, and design a progressive model accordingly which is able to produce more correct matches; (2) investigate a unified mathematical formulation for mismatch removal in case of different types of transformations, and develop a locally linear transforming constraint to ensure the robustness of the new formulation; (3) seek the solutions of various common transformations as well as the corresponding fast implementations under the proposed formulation, and study an adaptive model selection strategy accordingly for different vision applications; (4) realize software/hardware implementations, and apply the proposed method to three common vision problems to verify the performance, including natural image retrieval, medical image registration, and remote sensing image stitching. The adaptive progressive model and locally linear transforming constraint developed in this project are general, and can be applied to a large variety of other engineering challenges. More specifically, it will largely promote the vision applications whose performance is largely determined by the matching results, such as intelligent traffic monitoring and driving, motion analysis, 3D reconstruction, multi-source image registration and information fusion, etc.

特征匹配是计算机视觉和模式识别中一个非常有挑战性的基础研究问题。其研究难点在于其本质上是一个复杂组合优化问题，以及不同应用背景下图像空间变换的多样性和高维复杂性等。本课题旨在提出一种新颖的、统一的自适应渐进匹配模型与局部线性迁移约束来克服这些挑战。通过分析候选匹配精度与规模对误匹配剔除的影响，提出特征匹配的渐进模型，使算法能够产生更多正确匹配；探讨不同空间变换下误匹配剔除的统一数学模型，提出局部线性迁移约束，为模型优化求解的稳定性提供保障；研究常用空间变换的求解方法及其相应的快速算法，在此基础上实现模型的自适应选择；开发算法实验及验证平台，结合自然图像检索、医学图像配准和遥感图像镶嵌等视觉相关应用实例分析算法性能。研究成果将提供特征匹配问题的统一模型方法，促进视觉相关领域中以匹配算法为核心的多种应用的发展，包括智能交通监控与智能驾驶、运动场景分析、三维场景重建、多源图像配准与信息融合等。

视觉感知是人工智能的关键技术，而公认制约其应用的瓶颈是图像匹配的精度与效率，因受图像形变、数据来源、数据退化等多个多样性因素影响，导致算法复杂、难以兼顾精度和效率，且长期未有效解决。项目从高普适性匹配理论模型的构建、可行域最优约束条件的设计、复杂高维非参数模型的快速求解等关键问题展开研究，形成了一整套高效自适应的多场景匹配统一理论方法；同时，进一步围绕图像匹配应用展开研究，结合现代军事应用需求，在信息融合、图像超分、视觉导航等取得关键技术突破，成果如下：1）建立非参数、自适应的多场景图像匹配统一理论模型，解决了传统方法需根据不同场景设定对应模型，难适应图像形变大、数据退化多样，且容错率低，无法保证特征点精准匹配等系列问题；首次将容错率从传统约50%提高到90%以上。2）构建基于局部特性与全局融合的匹配约束条件，克服了传统方法因非适定性仅求得局部最优解的不足，可在数据多源和局部形变的严苛条件下求得全局最优解，并给出有效表达刚性、非刚性变换的局部线性迁移约束，创新性实现局部特性与全局融合。3）发展出高维非参数模型的快速求解方法与保局匹配解析解，使得算法的时间、空间复杂度分别从三次方、二次方降为线性，可将百万像素的图像匹配时间由秒级降到毫秒级，兼顾高效高精准，且满足海量数据实时处理。4）研发出基于高效高精准匹配的多源图像融合、图像超分辨率、机器人视觉归巢新方法，实现多源多分辨率图像端到端的融合，在测试与训练集差异大、小样本等非理想条件下将超分辨率重构图像的PSNR指标提升超过5dB，同时将归巢向量的估计效率提升2~3个数量级。发表IJCV、IEEE TIP/TNNLS/TGRS/TCYB等权威期刊和IJCAI、AAAI、ACM MM等高水平会议论文32篇，其中ESI高被引/热点论文10篇；出版专著1部；授权发明专利8项，获湖北省自然科学一等奖。成果突破了复杂环境下视觉感知的高效高精准图像匹配中的瓶颈问题，对于智能视觉领域中以匹配算法为核心的众多热点应用，给出了通用可行的方法模型。