基于深度卷积神经网络的盲图像质量评价

Image quality assessment (IQA) becomes more and more important to practical application. Learning a no-reference and non-distortion-specific blind IQA (BIQA) model to evaluate image quality is the most promising and practical direction. Our project presents a systematical research on BIQA, which aims at improving the quality prediction correlated with the human subjective opinions via deep convolutional neural networks (DCNN). To solve the problem of lack of massive labeled samples in IQA task, our main research contents include: (1) How to use the pre-trained DCNN models designed in image classification and recognition tasks for the image quality task. (2) Research on the design of different views of input images and network structure to acquire more comprehensive description of image quality based on the perceptual characteristics of human visual system (HVS). (3) Taking the scene category of the distorted image into account to further improve the quality prediction accuracy and proposing a scene-aware BIQA model. The overall research follows the gradual progress that is from the elementary to the profound. Our project supplies a new theory and assessment framework in IQA research area, which has extremely important theoretical significance and practical value.

图像质量评价是图像理解领域中最具挑战性的课题之一, 其中最贴近实际应用也是最困难的研究方向为盲图像质量评价，即如何在无参考图像且失真类型未知时对图像的视觉质量进行预测。本项目旨在利用深度卷积神经网络的学习能力设计适用于图像质量评价这一任务的深度网络模型，构建主客观一致性良好的评价方法。针对图像质量评价领域带标签样本量少导致的深度网络学习能力受限问题，研究内容包括：(1)利用图像分类领域大规模数据集预训练得到的深度网络来构建图像质量评价模型；(2)从人眼视觉特性出发，构建不同的网络输入源表示方式和网络结构来更全面地学习图像质量描述特征；(3)从图像内容信息出发，研究如何将场景感知等语义信息引入到盲图像质量评价中，进一步提升评价的主客观一致性。上述研究由浅入深地对使用深度网络的盲图像质量评价方法进行探索与研究。本项目的研究成果为盲图像质量评价问题开辟了新思路，具有重要的理论意义及实用价值。

在数字图像系统中，图像质量的好坏往往是衡量系统性能的重要指标。本项目主要研究如何将深度卷积神经网络模型引入到自然场景图像的质量评价研究中，采用客观评价与主观评价间的一致性作为研究的评判手段，采用深度网络模型来解决盲图像质量评价问题。.首先，相比于其他研究关注合成失真图像质量问题，本项目关注到了真实失真图像失真质量评价问题，并通过深度卷积神经网络模型的引入提高了真实失真场景下图像质量评价的主客观一致性，在真实失真数据集LIVE Challenge上的SRCC指标达到了0.846。项目还进一步提出了一个独立的深度模型DB-CNN来同时对合成失真图像和真实失真图像的质量进行评价，该模型相比仅考虑单一失真问题的方法，更具有应用价值。在合成失真数据集CSIQ上的SRCC指标为0.946，在真实失真数据集LIVE Challenge上SRCC指标为0.851。.在人工特征提取方面，项目研究了一种基于人工提取质量感知特征的更完备的盲图像质量评价模型，该模型是对其他研究者相关工作的一次总结和提升。此外，项目研究表明图像的内容等语义信息挖掘对于图像质量分析是有效的，能进一步提升评价的主客观一致性。在图像美学质量评价数据集CUHKPQ上，图像语义信息的引入能将图像质量分类准确率从0.903提升到0.961。.项目的研究成果解决了深度卷积神经网络的特征学习能力和图像质量样本量偏少的矛盾问题，揭示了场景感知等语义信息与图像质量评价主客观一致性之间的联系，具有重要的应用价值。