基于模糊建模和深度学习的图像质量评价

The focus of this project is the research of image quality assessment (IQA) based on fuzzy modeling and deep learning..The goal of IQA is to mimic the subjective assessment process for image quality and construct the image quality index which can measure the image quality in consistent with subjective evaluations. Through insightful analysis, we reach the following philosophy: the subject assessment process can be divided into three stages: perception, understanding and visual quality score, in which the first two stages are nonlinear, non-local, anisotropic, multi-scale, sparse and the score stage is of fuzzy nature. Armed with the philosophy, this project will conduct research on the following two aspects:.(1)Fuzzy modeling of subjective score — model the subjective score using a fuzzy number with intention to overcome the inefficiency of real number now in use in describing the fuzzy nature of subjective evaluation. Research of this aspect would result in a new testing benchmark for evaluating IQA algorithms..(2)Knowledge-data jointly driven deep image quality model—design the network architecture for deep neural networks using the prior knowledge or prior model concerning the above mentioned six characteristics of subjective image quality assessment, and learn the deep image quality model with the aid of labeled data. Research of this aspect would overcome the current problem of “black box” of deep learning and make possible to design network architecture on the foundation of prior knowledge.

本项目基于模糊建模和深度学习研究图像质量评价问题。.图像质量评价研究的目标在于模拟人对图像质量的主观评价过程，构建同主观评价尽可能一致的客观图像质量指标。我们通过对主观评价过程的深入分析形成了以下认识：“主观评价过程可划分为感知、理解和视觉质量评分三个阶段，其中感知与理解阶段具有非线性、非局部、各向异性、多尺度和稀疏性特点，而评分阶段具有模糊性特点”。本项目将围绕这这一认识研究以下两方面内容：.(1)主观评分的模糊建模——采用模糊数描述主观评分，以克服目前采用实数描述不能有效刻画主观判断的模糊性问题。这一研究预期建立图像质量评价算法新的测试基准。.(2)知识-数据联合驱动的深度图像质量模型——利用关于主观评价过程六个特点的先验知识或先验模型来设计网络结构，然后借助已标注数据来学习深度图像质量模型。这一研究预期改善目前深度学习的“黑箱化”现状，使得网络结构的设计建立在先验知识的基础之上。

图像质量评价（IQA，Image Quality Assessment）是计算机视觉领域研究的热点问题之一，其研究目标在于模拟人对图像质量的主观评价过程，构建同主观评价尽可能一致的客观图像质量指标。本项目通过对主观评价过程的深入分析形成了以下认识：“主观评价过程可划分为感知、理解和视觉质量评分三个阶段，其中感知与理解阶段具有非线性、非局部、各向异性、多尺度和稀疏性特点，而评分阶段具有模糊性特点”。围绕这一认识研究了以下两方面内容: 1. 目前IQA研究领域普遍采用实数来描述主观图像质量评分，但主观评价过程中，人类习惯于模糊的语义思维而非准确的数量思维。为此，有必要探讨主观评分的模糊建模问题。本项目搭建了主观IQA平台并进行了实验，利用三角模糊数对主观评分进行描述。此外，基于模糊相关分析设计了模糊主观评分与客观评分（实数评分或者模糊评分）之间的一致性度量。基于以上两方面工作，构建起了以模糊建模为基础的IQA算法测试基准；2. 目前基于先验知识或模型的深度网络方法已是整个计算机视觉（CV，Computer Vision）领域研究的主流。IQA研究关注关于主观评价过程（HVS）的先验知识。首先，心理学中关于视觉的Stevens Power Law, Weber Law等描述了HVS非线性特性；其次，自然图像具有非局部、各向异性、多尺度和稀疏性特点，且CV领域发展了大量的描述这些特点的模型。同时，HVS亦能够感知到这些特点。本项目基于以上先验知识来构建深度IQA网络，具体方案包括利用非线性特性来设计激活函数，将卷积核参数化以实现各向异性感知，利用稀疏网络架构来模拟HVS的稀疏性等。遗憾的是，以上方案虽然能获得一定的增益但结果尚不能令人满意，有待进一步深入研究。幸运的是，在对相关先验模型的梳理过程中，设计了快速非局部滤波算法，标准参数配置下较之经典算快27倍，一定程度上突破了非局部方法的计算瓶颈。此外，在对图像中主观信息（即可感知信息）的考察中，设计了一种相对简单的基于梯度场正则化的图像风格转化算法。