基于深度学习和数据融合的遥感图像目标识别研究

Object recognition is the basis for automatic interpretation of remote sensing images, and feature extraction and data fusion are very important for a high recognition rate. Using SAR and optical images, this project will make a study on invariant extraction, feature fusion and score fusion (i.e., classifier fusion). More specifically, the contributions of this project can be summarized as follows: (1) Deep neural networks (DNN) will be used to extract invariant features (we have proposed a composite DNN that can automatically learn affine invariants, as far as we know, this is the first DNN possessing built-in invariance); (2) Deep neural networks (DNN) will be used to fuse features; how feature learning and feature fusion interact in composite DNN will be investigated; and by thoroughly analyzing the overlay between features, we will improve the structure of DNN; (3) Extending our previous optimal score fusion scheme to the case of multi-class, we will make a theoretical study on score fusion of SAR and optical images, and come to some conclusions which contradict the existing statements; we will conduct extensive experiments to confirm our theoretical results and construct counter-examples for the existing conclusions. This project will improve object recognition accuracy, and facilitate the study on deep learning and data fusion theoretically and empirically.

目标识别是遥感图像自动解译的基础，特征提取和数据融合是提高目标识别率的关键环节。针对SAR图像和光学图像，本项目研究几何不变特征提取、特征融合和得分融合（也叫专家融合）三个问题。研究内容包括：（1）利用深度神经网络（DNN）提取不变特征（我们已建立一个能够学习仿射不变量的DNN模型，据我们所知，这是第一个拥有内置的几何不变性的DNN模型）；用“手动设计+DNN”方法提取不变量；（2）利用深度神经网络融合特征；研究在复合型DNN中特征学习和特征融合如何互相牵制和影响；并通过分析特征的重叠度来改进DNN结构；（3）在我们以前的二分类最优得分融合模型的基础上，建立多分类情况下得分融合的理论模型，得出与若干普遍存在的观点相反的结论；将理论模型用于融合光学图像和SAR数据，并用实验结果证明现有观点是片面的。本项目的实施将提高遥感图像目标识别准确率，并为深度学习和数据融合的研究提供理论和实验支撑。

我们完成了《项目计划书》设定的所有研究内容，包括：利用深度神经网络提取不变量；利用深度神经网络进行特征融合；建立多分类情况下最优得分融合的理论模型。此外，在开展研究的过程中，我们还发现一些新问题并对其进行探索，它们包括：基于卷积神经网络的无监督迁移学习问题、遥感图像的细粒度识别问题和如何将类间关系植入卷积神经网络的问题。目前我们已取得的主要研究进展和重要成果可总结为六点——其中三点与我们的研究目标对应，另外三点是“计划外”的副产品：第一，我们提出具备自适应推拉能力的三胞胎网络模型，它们能自动学习出表达力强大的深度特征，这些特征通常具有几何不变性。第二，我们提出“双重融合”和“两阶段融合”等深度特征融合方法，为信息融合领域提供了有益的借鉴。第三，我们提出得分融合最优化定理，并将其应用于多CNN得分融合。第四，我们提出一种无监督迁移学习模型——SBS-CNN，这是遥感领域第一个未使用任何遥感图像标签从头开始训练的CNN。第五，我们提出一种多任务学习模型——EM-CNN，这是遥感领域第一个拥有细粒度辨识能力的CNN；此外，我们还将图像相似度的不确定性巧妙地嵌入EM-CNN中。据我们所知，这是首次有人注意到图像相似度具有不确定性，并为其建模。第六，我们发现著名的Wasserstein Distance问题在一棵树上存在解析解，进而提出层级Wasserstein定理，并以此为基础构造了一种新的卷积神经网络模型—— HW-CNN。该模型充分考虑了图像类别之间的远近亲疏关系，克服了传统CNN模型的不足。我们在若干公开的遥感图像库上验证上述方法，获得高于国际同行的分类准确率和（或）检索性能。项目组已发表14篇论文（其中10篇发表于国际顶级期刊或权威期刊），申请3件发明专利（其中1件已获得授权）。