基于可变形卷积网络的视频超分辨率关键技术研究

Video super resolution aims at reconstructing a visual pleasant high resolution video based on its low resolution observation. This technique has a wide range of applications, such as 4k monitors， video sharing websites and surveillance videos. Apart from improving the visual experience, video super resolution could also help save band-width and benefit the following vision algorithms. Deep learning based video super resolution is still in its early stage and has large improvement space. Our research focuses on three aspects. First, we intend to collect a large and complete dataset with more diverse senses for better evaluation and training. Second, we propose to use deformable convolutional networks to replace optical flow for multi-frame alignment. The overall framework can be trained in an end-to-end manner. Third, we want to design deep learning based blind image restoration method, which can be incorporated in video super resolution to improve its robustness. The proposed algorithm could significantly improve the performance and speed of super resolution, and has potential to be used in real applications.

视频超分辨率旨在将低分辨率的视频转化为更加清晰的高分辨率视频。在4k显示屏、视频网站、监控摄像头如此普及的今天，视频超分辨率有着广泛的应用前景。它不但可以提升用户的视觉观感，还可以节省传输带宽，提升后续视觉处理算法性能。基于深度学习的视频超分辨率研究仍处于起步阶段，还有很大提升空间。我们希望从三个方面进行研究。第一，我们希望提出更加完善的数据集，包括更多场景和拍摄方式，以更好的评价和训练算法模型。第二，我们拟利用可变形卷积网络替代现有的光流估计算法，设计出可以端到端训练的视频超分辨率算法模型。第三，我们要设计基于深度学习的图像盲复原方法，并将其应用在视频超分辨率算法中，提升鲁棒性。新的超视频分辨率算法有望大幅度提升超分辨率的效果和性能，并在某些应用场景下实现落地。

视频超分辨率旨在将低分辨率视频通过算法重建出高分辨率视频，是计算机视觉里的核心问题，是广播电视、在线视频和网络直播的技术刚需。视频超分辨率算法的关键在于多帧图像信息的有效利用，而当前普遍使用的光流估计算法精度不高，极大的限制了算法的整体性能。本项目针对多帧信息的利用问题，提出用可变形卷积代替光流估计，构建可以端到端训练的视频超分辨率模型。同时为了拓展视频超分辨率算法的应用范围，进一步开发盲超分算法来提升鲁棒性。经过项目组三年的努力，取得的研究成果概括如下：.（1）开发了基于可变形卷积的视频超分辨率算法，验证了可变形卷积在视频超分中的有效性。同时进一步分析了可变形卷积与光流估计的数学联系，解释了可变形卷积优于光流估计的内在原因，并提出了偏移-保真损失函数来提升网络的稳定性。.（2）开发了基于高阶退化仿真模型的盲超分算法，可以对真实场景中多阶数高层次的退化类型进行仿真，极大的提升了算法的应用范围和鲁棒性。.（3）构建了新的高清视频人脸数据集，包含了16000个高清人脸视频片段，分辨率均在700x700以上，促进了视频人脸超分辨率算法的研发。.基于上述成果，我们顺利完成本项目各项指标：.（1）发表论文20篇，其中包括SCI期刊论文（如TPAMI, TMM等）4篇，EI会议论文（如CVPR, ECCV等）16篇，超出原定指标5篇。.（2）申请发明专利6项，超出原定指标3-5项。.培养研究生5名，超出原定指标3人。