基于稀疏建模的褪色/变色石窟壁画彩色图像超分辨率重建方法研究

Color super-resolution reconstruction of faded or discolored grotto murals is an urgent research work. The project intends to study color image super-resolution reconstruction of Maijishan grotto murals based on sparse representation theory. The project focuses on jointing extraction of multi-channel features information and designing of super-resolution reconstruction model. And the project aims at how to design effective sparse dictionaries, how to estimate sparse codes, how to design the global optimization algorithm of super-resolution reconstruction model and how to restore color information of faded or discolored murals. The project consists of several parts. Firstly, the controllable iteration kernel regression model is used to extract features of color mural images. Secondly, Quaternion-based multi-component locality-constrained group sparse dictionaries are designed. Thirdly, a convolutional neural network model is utilized for fast sparse coding. Then considering color channels correlation, several constraint regularization terms are designed. Moreover, the numerical algorithm of global optimization is proposed to remove color artifacts. Last but not least, a color restoration method based on the VGG-Net is proposed. Consequently, the purpose of this project is to promote the research and protection of grotto murals, enrich the color sparse representation theory, and provide an innovative idea for the heritage preservation research and application by super-resolution reconstruction technology.

针对褪色/变色石窟壁画彩色图像超分辨率重建这一科学问题，本项目拟基于稀疏表示理论，以麦积山石窟壁画为对象，重点研究彩色壁画图像多通道特征信息联合提取及超分辨率重建模型构建，力争在超分辨率重建字典设计、稀疏表示系数快速估计、超分辨率重建全局优化算法以及褪色/变色壁画图像色彩信息还原等方面实现创新。主要内容包括：利用可控迭代核回归模型设计彩色壁画图像各通道形态特征信息提取方法；基于局部约束四元群稀疏框架构造多分量过完备字典；构建四元卷积神经网络实现稀疏表示系数快速估计；采用双重异性加权保持策略设计色彩相关性约束正则项；根据多通道信息联合优化思想设计重建图像全局优化模型及数值算法；基于VGG-Net模型探索高分辨率重建彩色壁画图像色彩还原方法。本项目旨在促进石窟壁画图像的保护与展示研究，充实彩色图像稀疏表示理论，并为超分辨率重建技术在文物保护等领域的应用提供新思路。

石窟壁画是我国极其宝贵的文化遗产，具有十分重要的历史、社会、人文和艺术价值。但是，在对壁画图像进行展示和研究时，壁画图像分辨率不足时常导致图像模糊、纹理结构细节信息缺失等问题。而壁画图像的褪/变色问题也给相关工作的开展造成了很多干扰。本项目基于稀疏表示理论和深度学习理论，针对存在褪/变色现象的壁画图像开展超分辨率重建方法研究。重点研究彩色壁画图像结构、纹理、色彩特征信息表征与提取、彩色壁画图像超分辨率重建字典构造和褪色/变色彩色壁画图像超分辨率重建与色彩还原这三方面的问题。1）围绕彩色壁画图像结构、纹理、色彩特征信息表征与提取，构造用于超分辨率重建的壁画图像数据集和用于壁画色彩还原的数据集，设计壁画图像特征提取和多通道色彩信息表征方法。2）围绕彩色壁画图像超分辨率重建字典模型构造，提出多成分字典稀疏表示模型、L2/3稀疏正则模型、非局部稀疏表示模型、加权核范数稀疏正则模型、四元稀疏正则模型、细节-亮度-色彩多特征联合表示稀疏模型等重建模型和方法。3）围绕褪色/变色彩色壁画图像超分辨率重建和色彩还原，按照将低分辨率壁画图像超分辨率重建与色彩还原处理相分离的思路，提出结合上述稀疏表示模型的超分辨率重建方法以及多重约束卷积神经网络壁画图像色彩还原、语义分割卷积神经网络壁画图像色彩还原等模型和方法。本项目的开展对于超分辨率重建技术和色彩还原技术在石窟壁画图像展示、历史影像修复、文博图像制作与出版等领域的研究与应用具有重要的意义。