类别不平衡条件下海洋浮游生物图像精细识别及其原位应用研究

Automatic identification of marine plankton plays a very important role in marine ecosystem, environment monitoring and marine fishery. The traditional manual monitoring methods usually bring about some issues, such as low spatial resolution of sample analysis, vulnerability, and poor timeliness. In situ optical imaging can collect on-site and real-time plankton images with high spatial and temporal resolution that satisfy human visual observation. However, the current research on image recognition does not take full account of the characteristics of this task itself and its application in ecological study. In this project, towards the actual marine ecological monitoring, based on Generative Adversarial Network, Recurrent Neural Network and Convolutional Neural Network, we introduce the biomorphic taxonomic knowledge of human and class imbalance characteristic of data into the design of Deep Neural Networks. The research contents mainly include adversarial generation of samples from imbalanced classes, learning representation of multi-scale morphological characteristics and fine-grained taxonomic features. Our goal is to accurately characterize the hierarchical morphological features from the taxonomic rank of kingdom, phylum, class, order, family, genus, and species, so that it can automatically recognize plankton precisely and practicably. Then we will integrate and optimize our aforementioned fine-grained image recognition method for underwater in situ application. This research can provide the necessary technical and data support for marine plankton (especially red tide) monitoring as well as the related ecological study, which has a very important scientific significance and application prospects.

海洋浮游生物的自动识别对于海洋生态系统、环境监测和海洋渔业生产等多方面意义重大。传统人工监测手段存在样品分析空间分辨率低、易受破坏、时效性差等问题。原位光学成像可现场实时采集具有较高时空分辨率且满足人眼视觉观测要求的浮游生物图像，而当前图像识别研究并未充分考虑该任务本身的特点及其在生态研究中的应用需求。本项目面向实际海洋生态监测，基于生成式对抗网络、递归神经网络及卷积神经网络，将人类生物形态分类知识和数据类别不平衡特点引入深度神经网络的设计中，重点开展不平衡类别样本对抗生成、多尺度形态特征表征学习和细粒度分类特征表征学习的研究，精确刻画生物分类阶元（界门纲目科属种）层级形态特征，实现更为准确且实用的浮游生物类群识别；将上述精细识别方法进行系统集成与优化，完成水下原位应用，为海洋浮游生物监测（尤其赤潮监测）及相关生态学研究提供必要的技术支持和数据支撑，具有非常重要的科学意义和应用前景。

浮游生物是海洋生态系统中极为基础且关键的类群，而海洋生态系统的重要指标是海洋浮游生物群落结构和生物多样性观测，其重点是调查浮游生物的种类组成和丰度分布及其时空变化。传统人工调查方法和手段存在样品分析空间分辨率低、易受破坏、时效性差等问题，而当前图像识别研究并未充分考虑任务本身的特点及其在生态研究中的应用需求。本项目面向更为准确且实用的浮游生物类群识别需求，重点开展深度学习框架中、类别不平衡条件下海洋浮游生物图像样本生成与生物形态分类特征学习表征研究。.项目组围绕海洋浮游生物图像精细识别开展研究工作，取得了一定进展，体现在以下四个方面：1）在基础数据资源建设方面，整理实验室已经采集和收集的大规模浮游生物图像数据集，分析浮游生物图像采集（尤其原位采集）中存在的类别不平衡特点，结合应用背景确定不平衡分类指标。2）在条件图像样本生成方面，针对高质量图像生成需求，提出判别区域候选对抗网络，以解决图像翻译时出现伪影、不平衡颜色分布以及转换后图像分辨率不高等问题，并将其应用于有监督和无监督的图像翻译任务中，能够生成更加真实且更少伪影及更高分辨率的高质量图像；针对小样本图像生成需求，尤其现实问题中存在的类别不平衡情况，提出隐空间分解表征无监督图像翻译方法，可以有效缓解由于样本少和不平衡带来的两个域之间映射困难的问题。3）在不平衡图像分类方面，针对海洋生物群落结构特点导致识别分类时数据存在的类别不平衡特点，提出融合生成对抗网络与课程学习的不平衡图像分类方法，以解决通用深度卷积神经网络在针对不平衡数据集进行图像分类时对于小类别样本分类效果差的问题；进一步，将采样技术与集成学习技术进行融合，提出上下采样同时进行的集成学习算法，根据不平衡率自主调节上下采样程度，以更好地缓解数据流失和过拟合问题。4）在海洋生物图像分类系统方面，基于前期工作研究，从图像预处理、数据增强、网络结构及损失改进等多方面探索多特征卷积神经网络小样本与不平衡的海洋生物图像精细识别方法，并据此构建海洋浮游生物图像分类系统。.基于上述工作，项目组在领域国际期刊和会议上发表论文19篇，其中包括计算机视觉顶刊IJCV 1篇和顶会CVPR 1篇、ICCV 3篇、ECCV 3篇，多媒体顶会ACM MM 1篇；申请中国发明专利4项，其中目前授权1项；获得软件著作权2项；培养相关方向博士2人、硕士13人；参加国际学术会议9次。