无空间变换依赖的大几何畸变影像特征匹配模型研究

Feature matching is a crucial and fundamental task in photogrammetry and remote sensing. It is essentially a combinatorial optimization process that is severely affected by various radiation and geometric factors. Among them, large geometric distortion is the key bottleneck restricting the development of this problem. The goal of this project is to overcome this challenge by pursuing a theoretical feature matching framework without any spatial transformation dependence. More specifically, we plan to (1) study support line and graph matching strategies through spatial topological analysis, which transform the point matching problem into a higher level topology matching problem; (2) present a novel definition of local barycentric coordinate system, prove its affine invariance in theory, and construct a unified mathematical model for mismatch removal; (3) propose a correspondence association function based on a new concept called matching matrix, and develop a grid-wise transformation model to establish the geometric relationships between image pairs with large geometric distortions; (4) design extensive experiments on different types of real datasets to study the performance of the proposed algorithms, including accuracy, reliability, and computational complexity. The proposed locality affine-invariant matching theory is general, which is suitable for both rigid and non-rigid feature matching problems. This project will provide a solid theoretical and algorithmic basis for feature matching problem, and largely promote the development of applications in a variety of related fields, such as visual navigation, 3D reconstruction, and intelligent driving, etc.

特征匹配是摄影测量与遥感中的核心基础研究问题。其本质是一个复杂组合优化过程，受各种辐射与几何因素的严重影响。其中，大几何畸变是制约该问题发展的主要瓶颈。本课题以大几何畸变影像的特征匹配为研究对象，旨在构建无空间变换依赖的局部仿射不变匹配理论框架，解决特征匹配的统一数学模型这一关键科学问题。拟基于空间拓扑关系研究支撑线投票和图结构优化策略，将点匹配问题转化为高层次的拓扑结构匹配问题；给出新颖的局部重心坐标系定义，理论上证明其仿射不变性，并构建误匹配剔除统一数学模型；提出匹配矩阵概念，分析其非满秩特性，研究行列式最小化约束的同名点关联函数，进而构建网格变换几何模型；开发算法验证平台，结合应用实例系统地评价算法精度、可靠性以及复杂度等性能。研究成果将提供特征匹配问题的统一数学模型理论，实现对不同空间变换的普适性，促进以匹配技术为核心的多种相关领域的应用发展，包括视觉导航、三维建模、智能驾驶等。

影像特征匹配是从两张或多张具有重叠区域的影像中提取可靠的同名特征的过程，其精度和可靠性制约着摄影测量与遥感、计算机视觉、人工智能、医学图像分析等领域中众多应用的发展。本课题聚焦大几何畸变干扰下的鲁棒特征匹配难题，从特征匹配的正确率、可靠性以及数量出发，研究无空间变换依赖的局部仿射不变匹配理论，解决了特征匹配的统一数学模型这一核心问题，实现了大几何畸变影像的有效可靠处理，进一步围绕影像匹配应用展开研究，在影像三维重建、近景影像拼接、同步定位与建图等取得关键技术突破，成果如下：1）提出了支撑线投票匹配策略，构建了图结构优化模型，充分融合纹理和拓扑信息实现了高可靠性特征粗匹配，解决了传统方法仅利用局部纹理相似性而忽视空间拓扑关系所造成的低匹配正确率问题；2）提出了基于仿射变换不变量的局部重心坐标系概念，构建了无空间变换依赖的误匹配剔除数学模型，实现了对不同类别不同场景影像匹配问题的普适性，克服了传统方法对特定空间变换的依赖，解决了匹配点可靠性差的问题；3）引入了匹配矩阵概念，提出了基于关联函数模型导引的匹配点扩展策略，构建了融合局部与加权全局思想的网格变换配准模型，实现了可靠同名点数量的最大化，解决了由大几何畸变引起的漏匹配现象，并为大几何畸变影像的配准与镶嵌等应用奠定几何模型基础；4）在形成以上影像匹配高精准高可靠理论体系的基础上，研发出基于大几何畸变匹配的倾斜三维重建、近景影像配准、视觉定位与建图等新应用方法，提升了传统方法的精度和鲁棒性。研究成果以课题负责人为第一作者在IEEE TPAMI/TIP/TGRS、ISPRS JP&RS等知名期刊、会议上发表学术论文10篇，其中中科院一区论文7篇，ESI高被引论文2篇；出版学术专著1部；申请国家发明专利6项；获国际摄影测量与遥感学会最佳青年作者奖1项及省部级奖项3项。成果突破了制约特征匹配发展的瓶颈难题，形成了统一的特征匹配理论框架，有望促进视觉导航、三维重建及智能驾驶等实际应用的发展。