基于信息融合深度网络的快速精确图像超分辨率重建方法研究

Although the existing deep learning based image super-resolution methods have achieved good performance, there are three main issues should not be neglected: (1) Deepening or widening the network to achieve better performance leads to large computational complexity and memory consumption, which reduces the efficiency of the super-resolution algorithm. (2) Most methods neglect the complementarity of the deep and shallow contextual information in the image, which strangles the reconstruction of the realistic texture details. (3) Most methods cannot get pleasing performance at higher magnification. To solve the above problems and meet the need of the super-resolution method with high performance, this project aims to study a fast and accurate image super-resolution method based on deep fusion network. The main research contents include: (1) The construction of fast and efficient deep network based on texture information enhancement; (2) The design of image super-resolution method based on deep fusion convolutional neural network; (3) The design of the deep fusion generative adversarial network for image super-resolution. The research results of this project will enrich the deep learning based image super-resolution method and provide technical support for the application of image super-resolution technology.

尽管基于深度学习的图像超分辨率重建方法已取得了较好的重建结果，但现有方法还存在以下问题：(1)增加网络的宽度或深度在提高重建质量的同时会增加计算复杂度和内存消耗，降低了重建效率；(2)现有方法大多忽略了图像局部深浅层上下文信息之间的互补性，导致重建结果的纹理细节与真实图像存在一定的差异；(3)放大倍数较高时重建结果不甚理想。为了解决上述问题，针对实际应用中对高质量超分辨率重建方法的需求，本项目围绕基于信息融合深度网络的快速精确图像超分辨率重建方法展开研究。研究内容包括：(1)基于纹理信息增强的快速高效轻量级深度网络构建；(2)基于深度融合卷积神经网络的图像超分辨率重建方法设计；(3)利用基于信息融合生成式对抗网络的超分辨率重建方法实现高放大倍数下的高质量重建。本项目的研究成果将丰富基于深度学习的图像超分辨率重建方法，为图像超分辨率重建技术的实际应用提供技术支撑。

本项目以基于信息融合深度网络的快速精确图像超分辨率重建方法为研究对象，旨在解决基于深度网络的超分辨率重建方法中存在的计算复杂度高、纹理细节不合理、高放大倍数下重建效果不理想等问题。研究内容包括基于纹理信息增强的轻量化深度网络构建、基于深度融合卷积神经网络的图像超分辨率重建方法、高放大倍数下的高质量超分辨率重建网络设计等。针对以上内容，项目组提出了一系列的解决方案，代表性成果包括：基于自适应权重学习的轻量化超分辨率重建网络、基于自适应调制和矩形卷积网络的立体图像超分辨率重建方法、基于双残差注意力模块的超分辨率重建网络、基于对比学习和相似性蒸馏框架的无监督网络、基于卷积神经网络和Transformer的视觉场景识别方法等。. 本项目的研究成果包括：培养博士毕业生4名，在读博士生3名，硕士毕业生5名，在读硕士生18名；发表与课题相关学术论文12篇，其中期刊论文8篇（包括中科院1区论文2篇，中科院2区论文3篇），会议论文4篇（包括CCF A类会议论文3篇），获得国家发明专利授权2项，申请国家发明专利2项。团队成员获得2019年国际计算机视觉大会（ICCV2019）受限条件下超分辨赛道冠军，2020年欧洲计算机视觉国际会议研讨会(ECCVW 2020)图像极端修复赛道冠军。