异源遥感影像相位一致性特征的张量表达与匹配方法研究

Image matching is a fundamental and core problem in remote sensing and photogrammetry. The number of matching points is small and the matching results will be unstable via classical matching methods because of severe radiometric distortions among multi-source images. This proposal firstly concentrates on the phase congruency features of the multi-source images, and proposes a feature selection method based on geometric distribution and image entropy, and therefore the uniform distributed and high repeated phase congruency features (abbreviated to UR-PCF) can be extracted from these images. Then, the geometry and phase information of UR-PCF are encoded in a tensor through an adaptive balancing method, and these two types of information compensate for each other and improve the matching robustness simultaneously. Finally, the geometric invariant of the matched features is expressed with graph model, and the purified matching results can be acquired subsequently. This proposal paves the new way for tensor based matching method, and provide a practical method for multi-source image matching.

影像匹配是遥感和摄影测量领域中的基本和核心问题之一。由于异源影像间存在较大的辐射畸变，若采用经典的影像匹配方法，则匹配点少、稳定性差。本项目以遥感影像相位一致性特征为基础，提出几何分布和信息熵描述的特征筛选方法，构建一种高重复率的、均匀分布的遥感影像相位一致性特征（UR-PCF）提取模型。在此基础上，以张量表达为媒介，通过均衡化方法，将UR-PCF特征的几何和相位信息融入张量，使得二者在匹配时相互补充，共同提高匹配稳定性。最后，本项目利用图模型精确表达局部影像间的几何不变量，剔除影像误匹配点。该研究构建了以张量表达为基础的影像匹配新理论，同时为异源影像的匹配提供实用方法。

获取大量的、可靠的、高精度的影像匹配点是摄影测量的基本任务之一。受复杂场景影响，影像间存在剧烈的辐射和几何变化，导致误匹配不可避免，使得匹配结果的后续应用受限。因此，误匹配检测是影像匹配后处理的必需过程。传统手工设计方法通常基于随机抽样一致性或者局部不变性实现，这类方法在误匹配率不高时简单有效。但当误匹配率超过某一阈值时，深度学习方法的表现超过了手工设计方法。基于深度学习的方法通常利用置换不变网络（PIN），输出每对匹配点的匹配概率，然后利用该概率剔除误匹配点。PIN的主要作用是参数化匹配点之间的几何关系，挖掘匹配点之间的几何不变性。通常PIN由池化、归一化等操作构成，但这些方法仅兼顾到不变性，并没有深度探索匹配点之间的几何关系，使得这类PIN在误匹配检测时效果不佳。本项目利用图神经网络框架，提出了一种名为坐标嵌入网络（CE－Net）的PIN，在保证置换不变的同时，深入探索匹配点之间的几何关系：首先将匹配点视为图的节点，然后利用自注意力和交叉注意力挖掘坐标中的几何信息，最后利用图神经网络的消息聚合模式生成可分的节点属性，以区分正确匹配点和错误匹配点。在模拟数据的实验中，CE－Net的精度高达0.972, 召回率达高达0.963，这两项指标远高于手工设计方法和同类的深度学习方法。尽管CE－Net表现优异，但其与其他深度学习方法一样，需要标注用于训练的匹配点是否正确。匹配数据的标注费时费力，且不可避免的错误标注极大影响PIN的性能。有鉴于此，本项目还提出一种非监督学习框架用于误匹配检测。在该框架中，优化目标为最大化匹配一致集的得分期望，并利用梯度上升法获取最优解。在使用score-function estimator计算梯度时，由于匹配数据的数字特征，会出现梯度爆炸问题。本项目以对数概率为中间变量，结合链式法则，极大改善了梯度爆炸问题。实验表明，所有用于误匹配检测的PIN网络均可与本框架结合以实现非监督学习，且可以提升高达20%的平均召回率和超过40%的平均精度，揭示本框架具有巨大的应用潜力。