高空间分辨率遥感图像检索中卷积神经网络迁移特征改进方法的研究

High spatial resolution remote sensing images (HSRRS) have complicated content and rich details. To extract efficient and accurate feature representations is the key to improve HSRRS image retrieval performance. Convolutional neural networks (CNN) are suitable to deal with HSRRS images effectively. According to the shortcomings of CNN transferring for HSRRS image retrieval, this project studies the improvement methods from the following aspects: (1) The fine-tuning methods of CNN for HSRRS images are traditional, thus to study fine-tuning convolutional layers to improve the transfer learning. (2) The transfer features are high dimensional. A pooling method with optimum region area size is proposed to compress convolutional features, and a low dimensional fully-connected CNN is constructed to compress fully-connected features. Then the redundancies of transfer features are reduced and the important details are remained. (3) It is difficult for transfer features to describe the HSRRS images completely because the transfer features are limited by the generalization ability of the network. Then other suitable features are selected to be fused with transfer features, and a fusion method based on CNN is proposed to improve the feature representations. The improved methods of this project make the transfer features more suitable for describing HSRRS images, and improve the accuracy and efficiency of the image retrieval. These research results are able to be extended to various HSRRS image recognition tasks effectively, and promote the applications of remote sensing technology in agriculture, mapping and so on.

高空间分辨率遥感图像(HSRRS)内容复杂，细节丰富，提取高效准确的特征表达是提高HSRRS图像检索性能的关键。卷积神经网络(CNN)能有效处理HSRRS图像。本项目针对CNN迁移到HSRRS图像检索中存在的不足，研究改进方法：（1）HSRRS中微调CNN的方式比较传统，研究微调卷积层来提高CNN的迁移学习能力。（2）迁移特征维度高，提出较优池化区域尺寸的池化方法来压缩卷积层特征，构建低维度全连接层CNN来压缩全连接层特征，实现降低特征冗余的同时保留特征的重要细节信息。（3）迁移特征受限于网络的泛化能力，难以全面描述HSRRS图像，选择其它合适的特征与迁移特征进行融合，并提出基于CNN的特征融合方法来提高特征表达。本项目研究的改进方法使迁移特征更适用于表达HSRRS图像，提高了检索性能。该项目的研究成果能有效扩展应用于HSRRS图像的不同识别任务，促进遥感技术在农业、测绘等领域的应用。

高空间分辨率遥感（HSRRS）图像内容复杂，空间信息和细节信息丰富，提取高效准确的特征是提高HSRRS图像检索性能的关键。目前公开的HSRRS数据集规模偏小，且难以设置准确的标签来描述图像的复杂内容，因此不能充分训练深度网络，导致特征表达能力有限。为了提高HSRRS图像的特征表达，主要从以下几个方面进行研究。.（1）HSRRS中微调CNN的方式比较保守，研究了多尺度池化和范数注意力机制，用于优化传统卷积神经网络的结构，使其更关注遥感图像关键的显著信息，有效提高了CNN迁移到遥感图像的能力。针对网络的激活函数，提出了基于导函数的改进算法，该算法使用人工导数计算改进后的梯度，提高了网络的训练效率。.（2）迁移特征维度偏高，存在较多冗余信息，提出了小区域池化和视觉词袋、监督核哈希等方法来聚合CNN特征，小区域池化和视觉词袋主要用于压缩CNN的中层特征，当池化区域为特征图的60%~80%时，绝大多数小区域池化特征的结果优于传统池化方法的结果。监督核哈希学习将特征映射为哈希码，能显著降低特征的存储空间，因此提出用监督核哈希对融合的CNN特征进行降维，提高了HSRRS图像检索的准确率和效率。.（3）迁移特征受限于网络的泛化能力，难以全面描述HSRRS图像，提出了基于高层特征图组合及池化、结合判别相关分析、基于池化和相似度等特征融合方法，用来提高特征表达的准确性。基于高层特征图组合及池化的方法将不同高层输出的特征图组合成一个更大的特征图，再使用最大池化提取特征图中的显著特征，当不同特征的相关系数较低且检索结果相近时，特征融合的效果较好。判别相关分析能够有效增强同类特征的联系，并突出不同类特征之间的差异，因此结合判别相关分析的融合特征可以有效提高特征的判别力，与单一高层特征相比，在UC-Merced、RSSCN7和WHU-RS19数据集上的平均精确率分别提高了10.4%～14.1%、5.7%～9.9%和5.9%～17.6%。基于池化和相似度的方法有效融合了不同网络中不同尺度下的的中层特征和高层特征，其ANMRR值为0.2722，明显优于单一特征的检索结果。.因此，本项目为提高HSRRS图像特征的表达能力提供了科学有效的解决方案，研究成果能有效扩展应用于HSRRS图像的不同识别任务，促进遥感技术在农业、环境、测绘等领域的应用，具有一定的理论意义和实用价值。