基于数据增强和迁移学习的侧扫声呐图像目标识别研究

Both the change of the attitude of the towfish and that of the position between the towfish and the detected target can cause a variety of changes of the target appearance in sidescan sonar images, and therefore how to find deep and powerful features of the target is the key and difficult point to improve the accuracy of target recognition. The local receptive field and deep structure of a convolutional neural network (CNN) can make it effectively learn abstract high-level representation of the target. Accordingly we try to use CNN for target recognition in sonar images, after solving the overfitting problem caused by small samples of sidescan sonar images, with the use of data augumentation and transfer learning. To achieve data augumentation, a simulation method of sidescan sonar images is proposed, which combines together 3D modeling of the target, projection calculation using acoustic ray tracing, and statistical characteristic fitting; and variational autoencoders are also used to learn a manifold from sonar image sample and to generate more samples. To improve the generalization ability of a CNN, it is firstly pre-trained on a large optical image dataset, and then is partly transferred and trained on a SAR image dataset, after which it is finally transferred and trained on the sidescan sonar image dataset. Meanwhile, a multi-task learning after transfer method is also proposed for training a CNN. The visualization and analysis of the hidden layers is adopted to optimize a trained CNN. The research results will better solve the problem of target recognition in sidescan sonar images, and therefore lay a solid foundation for the application of AI technology in underwater target detection and recognition.

拖鱼的姿态、与目标位置关系的改变导致侧扫声呐图像中的目标形态具有多样性，从中发现深层特征是提高目标识别准确率的关键和难点。卷积神经网络的局部感受野和深层结构有利于学习抽象的深层表示，研究将其应用于声呐图像目标识别的有效方法，通过数据增强和迁移学习解决小数据集时训练的过拟合问题。为实现数据增强，提出目标三维建模、声射线追踪计算投影、统计特性拟合的声呐图像仿真方法；同时，采用变分自编码器从已有的声呐图像中学习流形并生成更多样本。为进一步提高神经网络的泛化能力，提出先在大型光学图像数据集上预训练，然后迁移用于SAR图像识别训练，最后再迁移至声呐图像识别训练的渐进迁移学习方法；同时，提出迁移之后，共享部分特征层的多任务联合学习方法。通过隐藏层可视化分析对训练好的卷积神经网络进行优化。项目的研究成果将更好地解决声呐图像目标识别的难题，为人工智能技术在水下目标探测与识别中的应用提供有力的支持。

水雷、轨条砦等水下目标的识别对于国防安全具有重要意义，沉船、失事飞机、溺水人员等水下目标的识别对于海事救援至关重要。侧扫声呐是水下目标探测的主要手段，拖鱼的姿态、与目标位置关系的改变导致声呐图像中的目标形态具有多样性；同时，通常难以获得足够的真实目标样本，这给水下目标识别带来了更大困难。建立了国际上首个公开的侧扫声呐图像目标数据集SeabedObjects-KLSG，解决了国际上侧扫声呐水下目标识别研究缺少公开数据集的问题，数据集分享下载超过100次；提出了无需训练的飞机、沉船等目标的声呐图像半合成仿真方法，丰富了目标样本，结合深度卷积神经网络的参数迁移，实现了水雷、沉船等多种目标的准确分类识别；提出了一种具有多尺度重复注意力机制的多域协同迁移学习水下目标分类识别方法，侧扫声呐图像和合成孔径雷达（SAR）图像之间的低级别特征相似性以及侧扫声呐图像与光学图像之间的高级别结构特征相似性被一起用于增强深度学习模型的特征提取能力，该方法进一步提高了水雷、沉船等目标分类识别的准确率；提出了水雷目标声呐图像仿真的新方法，该方法依据目标的几何形态、散射特性，载体速度、姿态、距离和高度等探测参数和声呐设备的处理规则等约束，结合声波的传播模型、海底的散射特性，通过计算实现了高逼真度的水雷目标仿真；在水雷目标仿真的基础上，提出渐进迁移学习的新方法，即将YOLO等卷积神经网络先迁移至SAR图像识别，在SAR图像数据集上训练后再迁移至声呐图像识别，提出的水雷目标仿真和渐进迁移学习的水雷目标识别方法显著提高了水雷目标检测的精确度；提出一种基于显著区域自补偿的Deeplabv3+网络，在不增加额外的卷积层，不过多引入网络参数的条件下，实现了高精确度的水下目标检测；针对传统深度神经网络参数较多、计算量较高、不宜部署的问题，通过神经网络架构搜索构建轻量化网络，提出使用不同分组的ShuffleNet单元和DilatedLightNet单元作为搜索空间，基于神经网络结构搜索得到轻量化的分组结构和整体架构；提出了一种一阶模型不可知元学习的小样本学习策略。基于项目成果研发了水下目标识别软件，并向中科院深海工程研究所、中国船舶重工集团公司第七一六研究所等单位完成了技术转移。项目提出的目标仿真方法为样本缺乏的水下目标识别提供了新思路，提出的多域协同迁移学习和渐进迁移学习方法为小样本学习提供了全新借鉴。