基于混合向量场学习的影像密集匹配方法研究

Image matching is a fundamental problem in aerospace photogrammetry, and it is a key step of automatic acquisition of reliable three-dimensional information from images. The major challenges lie in the combinatorial nature of the matching problem, and it is difficult to guarantee both accuracy and efficiency. This project discards the traditional method, and proposes a robust method for dense image matching, named Mixture Vector Field Learning(M-VFL), and researches on the following four aspects: (1) combining L2E estimator with mixture vector field learning model, learning the vector field in a functional space, called the reproducing kernel Hilbert space(RKHS), in which the transformation function is smooth; (2)exploring robust fundamental matrix estimation based on L2 estimator, strengthening the epipolar constraint, and applying to motion scenes extraction; (3) seeking the multiple cues constraint mechanism in vector field data term, exploring how to decouple the data term and the spatial term in the new framework of dense image matching; (4) applying the new method to 3d landscape structure analysis and validating this new technology. The goal of this project is to explore new method of dense image matching. This study is significantly valuable for both theoretical analysis and practical applications. Breakthrough improvements are expected to be obtained by this study.

影像匹配是航空摄影测量的核心问题，是自动化、高可靠的从影像中获取高精度三维信息的关键步骤。其研究难点在于其本质是一个复杂组合优化问题，难以在保证匹配精度的同时保持匹配效率。因此，本课题摒弃传统的特征点提取与匹配→相对定向→核线重采样→同名点密集匹配的研究思路，提出基于混合向量场学习的影像密集匹配方法来克服上述挑战。主要研究 1）建立向量场混合学习模型，并与L2E估计方法结合，探索在再生核希尔伯特空间中向量场的拟合方法，使匹配点满足空间上的分段光滑性约束；2）利用鲁棒的基础矩阵估计，强化匹配过程中的核线约束，并用于运动元素提取；3）寻求向量场数据项中的多线索约束机制，并探索在新的影像密集匹配框架下解耦数据项与平滑项，提高效率；4）以三维景观结构分析为例，验证这一新技术。本课题旨在探索影像密集匹配技术的新途径。该项研究具有重要的理论意义和广泛的应用价值，预期将在理论和技术上有重大突破和创新。

影像的匹配问题是计算机视觉与摄影测量的一个底层问题，是航空航天摄影测量、近景摄影测量的核心问题，是自动化、高可靠的从影像中获取高精度三维信息的关键步骤。课题组围绕四个核心目标展开研究，一是混合向量场模型的构建与理论分析，根据稀疏的特征点重建影像对之间的向量场；二是影像几何模型估计算法研究，包括L2E学习算法和EM算法；三是向量场模型构建中各种约束对模型的影响研究；四是以遥感影像、自然图像为例，验证上述理论研究成果的应用拓展研究。本项目用一套新的思路去解决影像匹配中的若干问题，形成如下研究成果和结论：（1）利用混合向量场模型解决非刚性形变下的影像匹配问题，并通过L2E估计算法解决模型求解中的鲁棒性问题；(2) 利用核线约束来提取静态偏移向量，并提出一种新的基础矩阵估计算法；（3）通过正则化技术引导数据项表达中的多线索约束机制，使得算法能在适应不同的场景；（4）将提出了一系列算法解决图像变形、精准农业、机器人导航等应用问题。项目的研究成果主要以论文、专利、软件著作权的形式呈现，相关成果发表在在包括IEEE Trans GRS/NNLS.、IJCV、AAAI、IJCAI、ICME、ICIP等在内的重要国际学术刊物和学术会议发表论文29篇，其中SCI检索15篇（一区SCI 3篇、二区SCI 4篇），EI检索28篇（CCF A类会议2篇，CCF B类会议3篇，CCF C类会议4篇），中文核心期刊1篇。获湖北省自然科学奖一等奖一项，申请发明专利7项，登记软件著作权若干，培养1名博士研究生，10名硕士研究生。形成了针对影像匹配问题的一系列理论成果和应用算法，并将取得的模型、算法应用到诸多领域，解决了遥感、医学、农业、机器人等应用领域的一些技术难题。