基于多模态深层交互编码的小样本高光谱遥感影像分类方法研究

Extracting discriminant and representative features from hyperspectral data with high dimensions, nonlinearity, spatial heterogeneity, as well as other complex structure, and achieving accurate identification of ground objects in real time, is an important challenge for hyperspectral remote sensing image interpretation. In face of the problems, such as, limited labeled samples, high dimensional non-linear spectral feature, and multi-scale spatial characteristics of high-resolution objects, this project proposes the following solutions with the technical support of deep learning, transfer learning, and sparse coding: (1) constructing stacked conditional generative adversarial network，to layerwise achieve high-quality data augmentation from spectrum to spatial-spectral feature，and enhance the generalization capability of deep training model; (2) building deep network model with cross-mode interactive coding, to learn the potential manifold of deep spatial-spectral feature from generality to characteristics among multi-modal features; (3) establishing multiscale siamese coding with adaptive regularization, to realize adaptive multiscale spatial-spectral feature extraction from micro to macro level, and achieve finer object recognition. The research findings will enrich and improve the theoretical basis of multimodal deep interactive coding, provide new ideas for the accurate identification, real-time and accurate bound location of high-resolution remote sensing images, and promote the application and development of remote sensing technology in various fields.

从高维、非线性、空间异构的复杂高光谱遥感数据中提取具有判别性及表示性特征，实现实时精准的地物目标识别，是高光谱遥感影像解译面临的重要挑战。针对高光谱遥感数据标记样本有限、光谱特征高维非线性、高分辨影像中地物呈现出多尺度的统一等问题，本项目借助深度学习、迁移学习、稀疏编码等技术手段，提出如下的解决方案：（1）构建堆叠条件生成式对抗网络模型，实现从光谱到空谱的阶段性高质量数据扩充，增强深度训练模型的泛化能力；（2）构建基于跨模态交互编码的深度网络模型，实现从多模态特征间的共性学习到特性交互编码，挖掘深度空谱特征的潜在流形；（3）建立适配正则约束下的多尺度特征类孪生编码，实现从宏观到微观的自适应多尺度空谱特征提取与融合，完成更加细粒度的地物目标识别。研究成果将丰富和完善多模态深层交互编码的理论基础，为高分辨遥感影像精确识别、实时及精准边界定位提供新思路、新方法，推广遥感技术在各领域的应用发展。

高光谱成像有着以往宽波段遥感技术不可比拟的优势，尤其是对精细目标物定性探测优势显著。实时高效的高光谱遥感数据解译，对环境监测、食品安全、医疗辅助等领域发展意义重大。本项目针对小样本条件下高光谱图像地物识别中存在的模型过拟合、特征高度非线性可分、目标空间分布复杂等问题，从轻量级空谱动态感知与信息流通、跨模态空谱交互与判别性特征学习、自适应多尺度特征提取与协同编码三方面开展了理论与应用研究，并取得了以下重要进展与成果：（1）通过解耦注意力机制与导向性信息流通，构建了轻量级关键区域上下文动态感知、目标引导下的重要信息融合等深度网络模型，有效改善了小样本条件下的模型关键信息捕捉能力与泛化能力；（2）通过特征潜在流形捕捉与多层级分组，构建了序列感知与子空间精细感知机编码等模型，有效改善了提取特征的类内一致性及类间可分性，以及模型对光谱细微差异的感知能力；（3）通过多尺度特征协同表示与对齐融合，建立了多尺度特征联合稀疏表示、尺度自适应互补表征融合等模型，有效降低了细粒度目标的误判率，以及多姿态目标的精细感知与检测。综上所述，项目面向小样本条件下的高分辨遥感影像识别，从数据特性与移动端应用需求为出发点展开研究，项目取得的研究成果拓展了高维复杂数据表征的理论与应用基础，改善了高光谱遥感数据的解译能力，提升了精细地物目标的实时有效识别效率，进一步促进了高光谱遥感在精细农业、医疗辅助等方面的应用推广。