基于深度自编码器构图的高光谱图像半监督分类方法研究

Hyperspectral image usually have dependent subspaces, nonlinear manifolds, data noise and limited label samples. To deal with this problem, this project proposes a graph construction framework, which combines 3D convolutional autoencoder, self-attention mechanism, multi-head self-attention network and representation learning with weak supervision, and applies it to graph-based semi-supervised classification algorithm to achieve hyperspectral image classification with limited label samples. Firstly, since the traditional convolution neural network can not well model the correlation among non-adjacent bands, we propose a self-attention autoencoder model, which adds the self-attention module to the 3D convolution autoencoder to model the dependence among all bands, it can learn the importance of each band automatically, and thus can enhance the useful features according to this importance. Secondly, in order to obtain more discriminant features, we propose to use multi-head attention network to learn more discriminant features from different perspectives, which have contributed to improve the semi-supervised classification precision. Finally, in order to use the priori information effectively, we propose a graph learning method under the guidance of weak supervision information, so that the similarity graph learning and semi-supervised classification results can promote and utilize each other. Based on the existing work, the semi-supervised hyperspectral image classification algorithm based on graph is studied and developed more comprehensively. The research results provide algorithm support for the application of hyperspectral remote sensing image.

针对高光谱图像通常存在相互依赖的子空间、非线性流形、数据噪声以及标记样本有限等问题，本项目提出一种结合3D卷积自编码器、自注意机制、多头自注意网络以及弱监督指导表示学习的图构造框架，并应用于基于图的半监督分类算法中，以实现有限标记样本下的高光谱图像分类。首先，针对传统的卷积神经网络不能很好建模非相邻波段的相关性，提出一种基于自注意编码器的图构造模型，该模型能显式地建模所有波段间的相互关系，从而提取对任务有用的特征。其次，为了能够获得更丰富的判别性特征，提出利用多头自注意网络从不同角度学习到更有信息的判别性的特征，提升半监督分类精度。最后，为了有效利用先验指导信息，提出一种弱监督指导下的图学习框架，在该框架下，相似性图学习和半监督分类结果能够相互促进和利用。本项目在已有工作的基础上，更加全面深入的研究和发展了基于图的高光谱图像半监督分类算法，研究成果为高光谱遥感影像应用提供算法支撑。

本项目围绕自然场景图像理解领域展开研究，着重对少标记样本情形下的场景图像分类问题，以及低质图像复原问题进行了深入的研究，包括：.（1）针对场景图像分类中全局分类器忽视了类内的区别的不足，提出一种基于条件分类器的场景图像分类算法，使用条件分类器来代替全局分类器，根据输入动态生成分类器的核，提升预测性能。.（2）针对场景图像分类中标记样本不足的问题，提出一种基于双层约束MAML的小样本图像分类方法。在内层循环优化中，通过引入一种有监督对比损失来约束适应过程，从而增加类内聚集性和类间可分性；在外层循环，通过跨任务度量损失来约束适应后的模型，进一步提升学习到的初始化参数的泛化性。.（3）针对时序行为定位任务中标记样本缺乏的问题，提出一种结合自监督学习的半监督时序行为提议方法，通过时序感知的半监督分支和关系感知的自监督分支，来充分利用大量的未标记视频序列来帮助时序行为网络提名的训练，学习到判别性的特征表示。 .（4）针对目标检测任务中样本缺乏甚至没有的问题，提出一种基于生成迁移网络的零样本目标检测算法，通过将图像识别中的生成式方法引入进零样本目标检测框架中，训练生成网络以合成未见类别的区域特征，从而在视觉空间中完成未见类别的分类，实现了较高的零样本目标检测性能。 .（5）针对模糊图像对图像分类识别造成干扰的问题，提出一种基于特征稀疏表达先验的联合图像去模糊和匹配方法，该方法利用稀疏表示先验来挖掘图像去模糊与匹配之间的关系，从而解决低质量图像匹配问题。除此之外，我们提出使用2DPCA来抽取图像特征，并在这个鲁棒的特征空间来获取稀疏表达系数，这样可以减轻图像模糊的影响。同时，特征维数的减少可以有效增加计算效率。