基于半监督渐进学习及关联挖掘的水下目标特征表达与视觉感知

The technology level of underwater visual perception indicates the intelligent degree of underwater observation and production operation. Due to the diversity of underwater imaging conditions and the lack of underwater labeled samples, visual perception technologies for underwater visual data are relatively behind the technologies for the overland data, which can not meet the increasing demand for underwater applications. In this study, we will start with exploring the target feature learning with partly labeled training data and semi-supervised progressive learning strategy, which can achieve robust feature by mining correlated supervision information. In order to meet the online processing demand of complex underwater video, we will develop the multi-level correlation perception based feature sharing and feature enhancement technologies for video processing acceleration and performance improvement. Finally, we will focus on underwater target detection and segmentation problem, design combined framework for these two related tasks, realize the iterative optimization for both semi-supervised target instance segmentations with target detection constraints and the segmentation feeding back for detection. This research project has important theoretical research value and the expecting outcomes implies wide application prospect. It can also provide reference for more kinds of underwater vision tasks and problem in processing other types of visual signals.

水下视觉感知技术的水平是评价水下观测及生产作业智能化程度的重要指标之一。由于水下成像条件复杂多变且可用于学习的带标记样本资源匮乏，相较于面向陆上影像数据的视觉算法，面向水下视频影像数据的视觉感知技术发展相对滞后，难以满足日益增长的水下应用需求。本课题拟以水下目标的特征表达为切入点，研究欠标记条件下基于半监督渐进学习策略的目标特征学习方式，借助关联挖掘技术获取水下目标的鲁棒特征。研究基于多层级关联感知的特征共享与特征增强技术，实现视频感知加速与性能优化，满足在线的复杂水下视频场景感知需求。最终，聚焦水下视觉感知任务中的视频目标检测及分割问题，设计水下目标检测及分割联合处理框架，实现视频目标检测约束下的半监督实例分割和基于分割反馈的检测优化。本项研究课题的开展可为解决更多类型的水下视觉感知任务以及其他类型视觉信号的感知问题提供借鉴思路，具有重要的理论研究价值，预期成果具有广阔的应用前景。

研究团队以任务书制定的研究计划为主线，从水下视觉特征传递、补偿及其视觉感知应用；弱监督条件下的目标分割方法；面向弱监督学习的目标感知质量盲评价、视觉增强方法；水下场景语义分割引导的多任务优化四个方面进行了较为深入和系统性的研究工作。研究表明：对于匮乏的学习样本，利用水下关联视觉特征传递，实现特征补偿对于水下视觉感知具有重要意义，能够有效提升样本标签匮乏条件下的水下视觉感知性能。其次，在弱监督条件下，挖掘图像间的稀疏关联约束，对于前景目标的分割精度有显著提升，且对于缺少标注样本的水下视觉感知任务，上述方法可提供有效的弱监督目标信息挖掘策略。第三，利用深度卷积神经网络可对目标感知质量进行有效的无参考评价，对于后续基于弱监督学习框架的水下视觉感知学习具有重要意义。第四，水下图像的语义信息具有丰富的高层监督信息，对其他任务具有有效的辅助和引导作用，课题组提出的语义分割引导下的多任务学习框架对水下视觉增强、视觉深度估计等欠标记水下视觉感知任务的学习创造了条件。在项目执行期间，研究团队完成了既定的研究目标，在包含IEEE TIP、TCSVT、Information Sciences在内的权威期刊上共发表SCI论文9篇，其中Top期刊论文5篇；申请发明专利2项，其中授权1项；培养研究生9人，完成了预期成果目标。