水下成像层次化建模及水下图像/视频清晰化方法研究

Underwater image and video carry abundantly oceanic information. However, underwater image and video usually suffer from noticeable visual quality degradation due to the effects of selective light absorption, light scattering, artificial light and the like, which affects subsequent research and applications. Therefore, how to improve the visual quality of underwater image and video becomes a significant research project. This research project focuses on the study of underwater image and video clearness methods. The research contents are mainly organized as follows: (1) An underwater image database with degraded underwater images taken under a variety of conditions, such as different scenarios, depths, light conditions and so forth, is built. In this database, parts of images are captured under known conditions (e.g., the known light source, turbidity, and depths). Combining with the existing modeling theory, hierarchical modeling strategy is utilized to model underwater image formation model based on the built underwater image database. Additionally, the effectiveness of the proposed underwater image formation model is verified by the underwater images captured under known conditions. (2) Based on the proposed underwater image formation model, combing with the existing underwater image clearness methods and deep learning theory, this research project explores underwater image clearness solution from two aspects including multiple degradation factors removal and degradation types classification-based single degradation factor removal. (3) Taking the characteristics of video spatio-temporal consistency into account, this research project extends underwater image clearness methods to underwater video processing according to constraint optimization theory, and then proposes an underwater video clearness solution.

水下图像/视频作为海洋信息的重要载体，其视觉质量影响后续的研究与应用。因受光照选择性吸收、散射、人造光源等因素影响，水下图像/视频会出现质量退化现象，如何改善其视觉质量是一个重要研究课题。本项目对水下图像/视频清晰化方法进行研究，拟开展如下工作：（1）构建多场景、不同水深、不同光照等条件下的水下图像/视频数据库；建立环境条件已知情况（如光照、浑浊度、水深等）下的图像库。结合现有建模理论，利用所建图像库，采用层次化建模方法构造水下成像模型，并用条件已知图像库验证其有效性；（2）针对复杂的水下成像环境，以所建水下成像模型为基础，结合现有水下图像清晰化方法和深度学习理论，从多退化因素消除和结合退化类型分类算法的单退化因素消除两个角度探索水下图像清晰化解决方案；（3）结合视频时空一致性等特性，依据约束优化理论，将水下图像清晰化方法拓展到水下视频处理，提出水下视频清晰化解决方案。

按照资助项目计划书，项目组从以下几个方面对水下图像/视频清晰化问题开展研究：1）水下图像/视频数据库构建：首先构建了包含多种质量退化类型、多种光照条件的水下图像数据库和视频数据库，其中图像数据约20000张，视频数据约20小时，挑选了部分有代表性的水下图像建立了有参考的水下图像数据集，为本项目研究奠定了基础并为其他研究人员提供了参考。2）层次化的水下成像建模：借助生成对抗网络，提出了建立水下图像退化模型的新思路，通过条件生成对抗网络实现了水下图像建模，模型可以将清晰图像退化为水下图像；提出了水体类型指导的水下图像合成模型，根据各类水体光学特性差异生成水下模拟图像，这些成对的参考图像和退化图像使训练端对端的深度卷积神经网络成为现实；提出了基于深度图的水下成像模型，其参数估计方法充分考虑了水下图像的光学特性，使成像模型对不同类型场景的适应性更强，为基于物理模型方法的水下图像复原奠定了基础。3）基于深度学习的水下图像清晰化方法：研究了基于卷积神经网络的水下图像退化类型分类方法，初步解决了水下图像分类问题，为后续在基于退化类型分类的单退化因素影响消除方法奠定了基础；针对水下图像成对数据集不足问题，研究了基于弱监督学习的水下图像增强算法；基于已建立的有参考水下图像数据集，研究并提出了有参考的水下图像数据集驱动的多退化类型增强方法。4）基于约束优化的水下视频清晰化方法：在水下图像处理研究成果的基础上，结合视频帧间/帧内时空一致性等特性，利用约束优化等相关理论实现水下视频清晰化处理；此外，项目组对研究成果进行扩展，在其它图像退化问题，如雾霾、低光照、运动模糊等的研究上也取得了一些研究成果。. 在项目的支持下，目前项目组在国内外重要期刊及会议上发表论文20篇；申请国家发明专利5项；建立并公开了水下图像数据集，开源了水下图像增强工具箱。课题组部分研究成果得到了同领域研究人员的广泛引用。以上成果为未来水下和雾天等低质图像清晰化算法的研究，及后续计算机视觉高层应用提供了重要的支撑。