基于无参考图像质量评价的若干问题研究

Since it is generally impossible or difficulty to access the undistorted version of the test image even part of in most of practical application，the research on no-reference/blind image quality assessment is very important(BIQA). Most current BIQA have the problems needs artificial selection feature and a lot of subjective scores of training sample for training, and their robustness and generalization is not enough. On this basis, the project is proposed which intends to apply visiual attention mechanism and the machine learning methods to study BIQA. The content of the research mainly have three aspects, the image feature extraction, the construction of the evaluation model and the design of learning framework. We study visiual attention model which is suitable for designing no-reference methods. explore the methods of the automatic feature extraction based on deep learning, and try to introduce the transfer learning to design learning framework.it is achieved that the feature extraction is not manual,and the extracted features much more fit to design BIQA while the quality prediction accuracy, robustness and generalization of the BIQA have greatly improved. Eventually the research results provide a technical support and basis for development and application of BIQA algorithms.

由于在大多数实际应用场景中无法或者很难获取测试图像的原始图像甚至部分信息，因此对无参考图像质量评价研究至关重要。而当前大部分评价模型存在人为选取特征，评价模型的性能及鲁棒性和泛化能力不够等问题。据此，本项目拟利用引入视觉注意机制和机器学习方法来解决上述问题，主要从图像特征提取、评价模型构建、学习框架设计等三个方面进行展开，研究适合无参考图像质量评价的视觉注意模型，探索基于深度学习的自动特征提取方法，尝试引进迁移学习来设计学习框架。最终减少人为干预提取特征，提高无参考图像质量评价的特征表达能力、质量预测精度以及评价模型的鲁棒性和泛化能力，进而为无参考图像质量评价方法在实际应用当中的扩展和使用提供条件和依据。

由于受环境、影像系统性能以及人为等因素影响，获取的图像通常出现某些失真和降质，进而影响图像后续判读和识别。因此对图像质量进行合理评估变得异常重要，然而在很多实际应用场合中很难获取原始图像甚至部分信息，故构建有效、自动化的无参考图像质量评价方法成了一个具有重要意义的研究课题。. 本项目主要针对评价模型存在人为选取特征、性能、鲁棒性和泛化能力不够等问题，主要利用梯度、视觉注意机制和深度学习策略来研究图像质量评价方法的构建。代表性成果简介如下：考虑到梯度方向直方图可表示边界的结构信息，提出一种结合梯度幅度和梯度方向直方图的质量评价方法（东南大学学报（自然科学版），2018）；在深入研究视觉显著模型的基础上，提出一种结合视觉显著性和对比度的图像质量评价模型（IEEE ACCESS,2018）；为了规避图像质量评价中的视觉特征和池化策略难以选取和解释的问题，提出一种基于相位一致性、梯度、视觉显著性、对比度特征等多特征融合的图像质量评价方法（模式识别与人工智能，2019）；考虑到梯度信息的重要性，提出一种基于亮度相对阶的通用无参考图像质量评价方法，该方法主要通过提取梯度域的统计特征来构建评价模型（Signal Processing: Image Communication，2019）；为了更加有效评价模糊图像的图像质量，本文提出一种基于梯度失真测度图和显著区域图的无参考模糊图像质量评价算法（东南大学学报（英文版），2021）；考虑到由于标签样本数量相对较少，当前基于深度学习的评价模型存在过拟合，提出一种基于视觉注意机制的深度元学习的新型NR-IQA方法；结合梯度和色度相似图、SSIM图，我们提出了一个新的基于生成对抗网络的无参考图像质量评价方法。. 本项目的研究成果为无参考图像质量评价方法在实际应用当中的扩展和使用提供了科学理论价值和工程应用价值。