基于非局部信息的图像恢复和图像质量评价研究

The focus of this project is the research of image restoration and image quality assessment (IQA) based on nonlocal information. The image priors is the nutshell of image restoration, and self-similarity is the most important prior which has been successfully applied in image restoration in recent years. Through insightful investigation and analysis of the self-similarity property of natrual images, we propose two principles for image modeling (1. Exploiting the two direction similarity structures inherent in natural images,2. Exploiting the similarity and simultaneously preserving the difference between similar patches). In this project, we would develop nonlocal image restoration model on the basis of these principles and discuss its application in the problems of image denoising, interpolation and color demosaicking, etc. The goal of IQA is to construct the image quality index which can accurately mimic the human behavior in preserving and assessing the quality of images. Most existing IQA indexes evaluate the image quality by "local structure similarity" (LSS). But the human perception is a high-level, semantically process, and the semantic information is presented by the nonlocal variance/shape in images,then the IQA index should involve the nonlocal information.In this project, we would shift from LLS to "nonloal structure similarity"(NLSS) and constrct the IQA index with emphasis on the nonlocal information.

本项目研究基于非局部信息的图像恢复和图像质量评价问题。 图像恢复的关键在于图像先验，而自相似是近年来应用最成功的先验。我们通过对自然图像自相似性质的深入分析，提出两个刻画自相似的原则（1."两方向"原则：利用隐含在图像中的两方向相似结构；2."求同存异"原则：利用相似性的同时保持各相似块之间的相对差异）。本项目将围绕这两个原则来建立新的非局部图像恢复模型并讨论其在去噪、插值、彩色图像去马赛克等问题中的应用。 图像质量评价研究的目标在于设计能够模拟人的感知过程的图像质量指标。现有的图像质量指标基本都是基于"局部"结构相似来设计的。但人对图像的感知是高级的、语义的过程，而语义信息本质上是非局部的，因此图像质量指标的设计应该考虑"非局部"信息。本项目将突破现有的基于"局部"结构相似的框架，利用"非局部"信息来设计图像质量指标。

本项目研究了图像恢复和图像质量评价问题。图像恢复旨在从质量退化的图像出发估计理想的真实图像，而图像质量评价旨在对主观图像质量评价过程进行建模。图像恢复的关键在于对图像数据所服从规律的认识，而图像质量评价的关键在于对人类视觉认知机理的认识。.过去几十年来，图像处理领域对自然图像数据规律性的先验假定，经历了从全局光滑性到稀疏性、再到非局部自相似的演化。目前，非局部自相似假定的有效性已被广泛认可。本项目深入探讨了刻画自相似的两个原则（1.“两方向”原则：利用隐含在图像中的两方向相似结构；2.“求同存异”原则：利用相似性的同时保持各相似块之间的相对差异），并基于这两个原则建立了“求同存异图像恢复模型”，大量的数值实验表明，该模型在图像去噪、差值、彩色图像去马赛克等问题中均能获得与目前最好的效果。.经典的图像质量评价算法大都拥有两阶段框架：第一阶段计算局部结构相似性，第二阶段将局部结构相似性综合为图像质量指标。本项目深入分析了的人类视觉认知特性，强调主观图像质量评价过程是高级的、语义的过程。在此基础上总结出视觉认知的五个显著特性，这五个特性对应于图像质量评价的五个原则：非线性原则、非局部原则、各向异性原则、多尺度原则和稀疏性原则。基于这五个原则构建了: 基于感知梯度的图像质量指标、基于非局部结构相似的图像质量指标、基于各向异性结构相似的图像质量指标、基于非局部感知梯度的图像质量指标等一系列新的图像质量指标。在公开的基准数据集上的测试表明，提出的图像质量指标能获得除深度学习方法以外最好的评价效果。