基于科学有用性的深海视频质量评价方法研究

Deep sea video quality is an important prerequisite to ensure the smooth development of deep sea scientific research. Existing video quality assessment methods established for traditional video applications cannot make objective and effective quality assessment for deep sea videos, which serve for ocean scientific research and are featured with weak visibility and instability in spatial and temporal dimensions. This project studies a methodology of scientific usability-based deep ocean video quality assessment, focusing on addressing the following research aspects: (1) Considering the special application background of deep sea videos, this study will put forward reasonable measurement scales of deep sea video quality based on scientific usability, using a mixed method of qualitative and quantitative analysis. (2) With the purpose of discriminating the scientific usability, this study will propose an efficient method of subjective quality assessment of deep sea video based on psychometric theory, and provide a quality assessment dataset based on the subjective quality assessment tests. (3) In view of the weak visibility and instability of deep sea videos, this study will propose a fast and accurate objective quality assessment model for deep sea videos based on the lightweight semi-supervised depth learning, designing the spatial and temporal feature extraction and quality classification network. By solving the above key technical problems, an online deep sea video subjective and objective quality assessment system will be constructed to verify the theory and the method proposed by this project, and to provide a reliable evaluation benchmark and an effective measurement service for deep sea video quality enhancement technologies.

深海视频质量是保证深海科学研究顺利开展的重要前提。面向传统视频应用建立的质量评价方法无法对“以深海科研为目的，具有空间弱可视性和时间不稳定性特点”的深海视频做出客观、有效的质量评价。本项目研究基于科学有用性的深海视频质量评价方法，重点解决以下问题：（1）考虑深海视频的特殊应用背景，以定性研究结合量化分析，提出深海视频质量基于科学有用性的合理度量；（2）以科学有用性质量判别为目标，基于心理测量理论提出高效的深海视频主观质量评价方法，建立主观质量评价样本集；（3）针对深海视频的特点，基于轻量级半监督深度学习设计时、空特征获取和质量分类网络，提出快速、准确的深海视频科学有用性客观质量评价模型。通过解决以上关键技术问题，搭建在线深海视频主观和客观质量评价系统，对课题所提出的理论和方法进行验证，并为深海视频增强技术等提供可靠的质量评价基准和服务。

水下视频技术已经成为开展深海科学研究的重要手段。深海视频质量评价能够用于动态测量和实时控制图像/视频质量，对于保障高质量的深海视觉具有重要的作用。本课题旨在面向深海科学研究需求，提供客观、有效的深海视频质量评价方法。项目组在广泛研究国内外对水下图像/视频质量评价方法和模型的基础上，重点在深海视频质量评价数据集构建、客观评价模型，以及主观评价方法优化三个方面开展了研究。首先，针对深海视频质量评价数据集缺乏的问题，通过调研建立起科学有用性所对应的评价维度和度量；收集大量深海真实视频经过分析、筛选和处理建立视频测试序列；最后，采用绝对等级评分法，根据评价测度进行主观评价，获得标注的数据集。其次，在深海视频质量客观评价建模方面，从效率出发提出了适于用小样本的无参考线性质量评价模型，以图像空域统计特性和视频编码指标为模型参数，能够提供实时的视频质量评价；从评价精度出发，提出了基于双流异构网络的客观评价模型，分别以三维卷积和残差网络学习视频中的时空特征和主体运动特征，再通过决策级融合策略获得高精度的预测结果。第三，为提高主观评价的效率，提出了基于主动学习主观质量评价优化方法，根据受试人员的少量评价结果，以双模型学习和距离映射建立采样策略，提出高价值的标注请求，通过有限次交互，在较高精度下和可接受误差范围内加速视频质量主观评价的速度，能够节约近50%的评价时间。最后，考虑到被评价视频的质量受海水拍摄环境的影响，经过质量增强后的水下图像/视频既是质量评估的参考，也是质量评估的重要对象，在项目实施过程中对水下图像质量的增强和复原方法也开展了研究，提出了水下图像深度估计的水下衰减先验模型，以及结合背景光融合及水下暗通道先验的水下图像复原方法。项目组在上述方法的基础上，分别实现了基于主动学习的深海视频质量主观评价系统、视频质量客观评价系统和水下图像增强集成系统，为深海视频质量的评价和增强等提供可靠的质量评价基准和服务。