真实水下环境中的大规模珊瑚礁鱼类检测与识别

Video-based underwater monitoring in coral reef areas records the activity of coral fishes, including their location, species and quantity, etc., which is an important information source for ecological surveillance and biodiversity monitoring. However, it is impractical for humans to manually analyze the massive quantity of video data daily generated. Automatic fish detection and recognition approaches are therefore of crucial importance..This project aims at investigating techniques for detection and recognition of large-scale coral fishes in real complex underwater environment. The research content includes: the construction of large-scale coral fishes image dataset, the detection of coral fishes in complex underwater environment, the recognition of large-scale coral fishes based on deep learning and multi-source information fusion, rare coral fishes identification based on cross-modality embedding. The project is an interdisciplinary research, as it leverages both coral fish-related knowledge in marine science and large-scale intelligent visual analysis techniques in information science to deal with the challenges raised by complex underwater environments, diverse appearances of coral reef fishes as well as their dynamic activities..Research results of this project will enrich the theory and applications for detecting small objects in complex underwater environments, and present effective means for large-scale coral fishes detection and recognition. Meanwhile, it also provides practical solutions for solving bottleneck problems in marine science.

珊瑚礁水域水下监控影像记录了珊瑚礁鱼类的活动情况，包括出现位置、种类、数量等，是海洋生态和生物多样性监测的重要素材。近年来随着影像数据的快速增长，由海洋生物学家手动分析每天产生的大量影像数据变得不切实际，亟待有效的自动影像分析方法。.本申请拟面向真实复杂水下环境，开展大规模珊瑚礁鱼类检测与识别关键技术研究。研究内容包括：大规模珊瑚礁鱼类图像数据集构建，真实复杂水下环境中珊瑚礁鱼类检测方法，多源信息融合的大规模珊瑚礁鱼类深度识别方法，基于深度跨模态映射的稀缺样本鱼类识别方法。本申请针对真实海洋水下环境复杂、珊瑚礁鱼类多样性高、体态视角呈多维变化等挑战，融合海洋科学领域相关专业知识和信息科学领域先进的视觉大数据智能分析技术，开展跨学科交叉研究。研究成果将丰富复杂水下环境中小物体视觉分析的理论与应用，为大规模珊瑚礁鱼类的检测与识别提供关键技术，同时解决海洋科学研究中切实存在的瓶颈问题。

珊瑚礁水域水下监控影像记录了珊瑚礁鱼类的活动情况，包括出现位置、种类、数量等，其统计数据是反映海洋生态和生物多样性的重要依据。传统流程中，以上数据主要通过海洋生物学家手工分析获得。近年来随着水下监控影像数据的快速增长，由海洋生物学家手动分析每天产生的大量影像数据变得不切实际，亟待有效的自动影像分析方法。针对以上技术需求，本项目的主要研究内容及成果包括：1）大规模珊瑚礁鱼类图像数据集构建：通过合并已有公开数据集，网络爬取、标注水下监控影像等方式，本项目构建了包括23种珊瑚礁鱼类总计72313个样例的数据集，为后续研究提供了良好的数据基础；2）特定目标视觉检测、分类识别和分割网络设计：提出了锚框可学习的目标检测方法、分类增强的密集目标检测方法、快速高效视觉诊断方法、样本有限情况下的视觉目标分割方法、检测网络轻量化设计方法以及一系列在不增加计算复杂度情况下提升检测网络性能的策略等成果，有效提高了特定场景下视觉目标检测与识别的准确率；3）水下珊瑚礁鱼类专用检测网络设计，提出了多层视觉特征融合的水下珊瑚礁鱼类检测方法、基于时空特征聚合网络的水下珊瑚礁鱼类检测方法，实现了目标检测任务下时空特征的联合利用，提升了复杂水下场景的目标检测精度。基于以上成果在国内外高水平期刊和重要会议上共发表论文19篇，包括SCI期刊论文8篇，CCF推荐国际会议论文7篇，申请并授权国家发明专利2项。培养硕士研究生12名（其中已毕业8名），博士研究生1名（已毕业）。参与组织国际会议特别专题和工作坊3次，获得目标检测与识别领域国内外学术竞赛冠军/一等奖2次，亚军1次和三等奖3次。