基于深度学习的水下侧扫声呐图像目标识别方法研究

Deep learning has been proven to be very useful and made great breakthrough in the field of automatic identification. However, it is still challenging to apply deep learning to recognize underwater side-scan sonar images due to problems such as intensive disturbance, fuzzy contours, sparse features and scarce database. By leveraging transfer learning and deep learning as the core, assisted with the research of transfer learning and the model generated by virtual side-scan sonar, this project aims to recognize these sonar images with limited available training samples. In this research, the performance of convolutional neural network is analyzed firstly. Then, a sparse feature mapping mechanism is constructed based on both transfer learning and our previous work on side-scan sonar images. Finally, a small amount of real sonar image samples is used to train the classifier in order to build the submarine sonar image automatic target detection and recognition system with high recognition rate, which is used to achieve our goal with only limited training samples. In addition, the model of the virtual side-scan sonar image is established based on both the working mechanism of the side-scan sonar and the propagation model of underwater acoustic signals. This model is enhanced with real sonar data, and can be used to generate more virtual images containing multiple targets. Our innovative work shows that applying deep learning to sonar target recognization not only is possible, but also achieves good performance.

目前，深度学习技术在自动识别领域取得了突破性的进展，然而在水下声呐图像目标自动识别领域，由于侧扫声呐图像存在噪声大、目标轮廓模糊、特征少、数据少等诸多问题，使得深度学习技术一直无法直接应用此领域。本项目以迁移学习技术结合深度学习技术为核心，通过迁移学习技术与虚拟侧扫声呐图像生成模型的研究，共同解决训练样本少的难题。在研究中首先对卷积神经网络的性能进行分析；然后在解决训练样本数量问题中，一方面针对卷积神经网络特征提取机理，结合课题组对侧扫声呐图像前期的研究基础，研究基于稀疏特征映射的迁移学习策略，构建稀疏特征映射机制；最后，利用少量真实声呐图像样本训练分类器，构建识别率较高的水下声呐图像目标自动检测识别系统；另外，也根据侧扫声呐的工作原理及水下声信号传播模型，研究虚拟侧扫声呐图像生成模型，利用真实声呐数据完善虚拟模型，以期生成包含各种目标的虚拟图像，从而使基于深度学习的声呐目标识别技术成为可能。

声呐图像目标自主识别任务中，存在着诸多问题，例如因图像采集困难导致的样本数量过少，无法满足深度神经网络对样本数量的要求，声呐图像噪声大、目标模糊导致无法直接使用光学图像目标识别网络进行识别等主要问题，针对这些问题，该基金自执行以来，按照计划进行，研究成果不仅覆盖了研究计划中的各项内容，还进行了扩展，在前视声呐图像相关领域也取得了丰富的研究成果。.项目主要研究内容包括：1）构建了数据集并研究了数据扩增方法，减少样本数量过少带来的影响；2）针对声呐图像的迁移学习方法方面，提出了多项针对声呐图像的迁移学习方法，技术上涵盖了样本域迁移和特征域迁移学习方法。3）探索性地研究了零样本声呐图像目标识别问题，提出了基于伪样本合成的零样本声呐图像目标识别算法；4）在侧扫声呐图像模拟机理研究方面，基于水声传播模型，构建了虚拟三维环境系统及仿真图像生成方法；5）在侧扫声呐图像拼接方面，实现了二维和三维声呐数据的高精度拼接算法，为构建准确的海底地图提供技术保障；6）在前视声呐图像目标识别和跟踪方面，针对前视声呐图像特点，提出了多个目标跟踪算法和检测算法，均具备非常好的准确率和较高的实时性；7）在嵌入式设备部署方面，针对硬件计算资源，研究了适合嵌入式部署的目标检测网络及部署方法，为算法在水下机器人上运行提供了支撑。.论文成果方面，在国际高水平学术期刊、会议上发表论文37篇，申请和授权专利22项，培养博士生14人，硕士生28人。超额完成预期目标。