基于局部纹理特征的图像细节超分辨率技术研究

With the development of digital display technology, the resolution of screen is rapidly increased. For example, the mobile screen has reached High Definition (HD) level, and digital television has reached 4K Ultra High Definition (UHD) level. Benefiting from the ultra high-resolution, the high definition screen can display clear texture details. But the resources of HD and UHD images/videos are very scarce. At the mean time, those resources with low-resolution cannot match the high-resolution display device. Thus, this problem restricts the development of HD and UHD video industry. Super-Resolution (SR) technology is an effective way to solve this bottleneck problem, but the conventional SR methods cannot satisfy the requirement of recovering the texture details of image. This project focuses on the SR technology of texture details based on local texture feature. Based on the local texture feature extraction, we put forward three novel SR methods. The first one adopts texture dictionary based on local pattern classification. The second one is based on local texture pattern mapping relationship. The third one is a fast algorithm based on local texture structure by considering the characteristic of texture. Some preliminary experimental results demonstrate that clearer texture details can be recovered by combining the effective local texture feature extraction. We believe that our project can promote the improvement of SR technology and be helpful to the development of related industries, such as mobile internet video, and UHD digital television.

随着数字显示技术快速发展，屏幕的分辨率不断提高。例如手机屏幕已经达到高清级别，数字电视开始进入4K超高清时代。同时，屏幕的细腻程度上升到了一个全新水平，可以清晰的显示各种纹理细节。但相应高清、超高清的图像和视频内容匮乏，无法适配高分辨率显示设备，制约了高清、超高清视频产业的发展。超分辨率技术是解决这一瓶颈问题的有效途径之一，但传统的超分辨率技术在恢复图像纹理细节方面难以满足应用需求。本项目聚焦于基于局部纹理特征的图像细节超分辨率技术研究。重点基于局部纹理特征提取，提出三种新的图像超分辨率方法：第一种采用基于局部模式分类的纹理字典；第二种基于局部纹理结构映射关系；第三种针对纹理特性提出基于纹理结构的快速算法。目前的一些实验结果表明：通过结合有效的局部纹理特征提取，可以较好的改善超分辨率图像的纹理细节。通过本项目的研究将有效完善图像超分辨率技术，推动移动互联网视频和超高清电视等产业的发展。

随着显示设备分辨率的日益提升，对图像细节纹理的显示清晰度的要求也随之提高，本项目聚焦于图像局部特征，进行了图像纹理细节超分辨率的相关研究。在超分辨率方面，本项目对基于重建的和基于学习的两大类方法进行了研究。对于基于重建的纹理细节超分辨率，提出使用估计纹理先验模型的方式建立纹理约束，从而在重建中获得更好的纹理细节。针对基于学习的超分辨率重建，提出了基于多级线滤波器网络的局部特征描述方法并应用于超分辨率场景，能够更准确的描述图像的局部细节特征；提出了基于迭代投影重建的超分辨率算法，能够弥补投影重建中高频细节丢失的不足，更好的放大图像纹理；提出了基于分类编码投影的超分辨率框架，使用该超分辨率框架，可以将传统局部特征提取方法引入图像超分辨率场景中，并取消了传统字典学习的过程，通过精细的局部特征分类来实现高精度的细节重建，同时算法速度较快；在该分类编码投影的框架基础上，针对互联网图像存在大量不自然效应的情形，提出了针对互联网图像的放大算法，在图像放大的同时有效的抑制块效应等不自然效应。随着深度学习算法在图像重建领域中的大量应用，本项目也对基于卷积深度网络的超分辨率算法进行了相关研究，提出了基于渐进卷积神经网络的超分辨率算法，通过引入渐进卷积层，在卷积的过程中逐渐的放大到目标分辨率，降低了中间过程的学习难度，同时也削减了网络权值的数量；提出了基于双通道卷积网络的老旧卡通高清晰度重制方法，针对老旧卡通的多种不自然效应进行重建，同时也适用于早期老旧电影的高清晰度重制；提出了基于传统局部调整结合卷积网络的图像位深度增强算法，恢复缺失的位信息同时避免平坦区域的带状效应。此外，在本项目的资助下，我们在局部算子及其应用方面也获得了较好的进展。在本项目的资助下，发表和录用的SCI杂志论文15篇，投稿在审的SCI论文多篇。通过本项目的研究，在图像细节超分辨率及图像局部算子等方面获得了较好的结果。