红外视频时空超分辨率研究

Infrared video has been widely used in both civilian and military fields. The resolution of the infrared video is usually relatively low due to different factors. How to improve the space-time resolution of infrared video has become an urgent problem. Deriving a high space-time resolution infrared video based on the information of visible video provides a prospective solution to this problem. The innovations include: 1) An infrared video temporal super-resloution method is proposed based the information of visible video. 2) A new infrared space-time super-resolution method based on the information of visible video is proposed. 3) A fast super-resolution method based on Generative Adversarial Network frame is proposed.

受各种因素的制约，红外视频的时空分辨率通常都较低。随着红外视频在民用和军用领域的广泛应用，如何提高红外视频的时空分辨率成了一个迫切需要解决的问题。可见光视频引导的红外视频时空超分辨率是根据可见光视频的时空信息引导红外视频进行时空超分辨率重建的技术。现阶段，国内外对红外视频时空超分辨率技术的研究还处于初级探索阶段，亟待更深入地研究。本项目主要创新点包括：1）提出可见光视频引导的红外视频时间超分辨率；2）提出新的可见光视频引导的红外视频时空超分辨率；3）提出基于生成对抗网络的时空超分辨率快速算法。

红外成像技术不仅能广泛应用于目标侦察、战机探测、导弹制导等军事领域，还大量应用于医学 病变诊断、森林防火、工业故障检测等民用领域。我国红外成像技术的发展，无论是材料、工艺还是技术，都与发达国家存在一定的差距。红外成像技术成像质量有限，依然存在着空间分辨率低、对比度弱及信噪比低等缺点。红外成像技术是国防建设的重要科技之一，发达国家对红外技术控制得非常严格，国内并不能通过科技引进的方式对红外技术进行学习与提升。因此，深入开展红外图像超分辨率技术的研究，提高红外成像系统的分辨率，对促进红外成像技术的发展，完善国防建设有着非常重要的意义。.针对上述红外图像超分辨率技术在实际应用中遇到的技术瓶颈问题，1）本项目对基于异源信息的红外图像超分辨率进行研究，借助异源信息提高红外图像的空间分辨率。2）对基于反馈网络的红外图像超分辨率进行了研究，通过反馈模块利用高级信息对低级信息进行细化。3）对基于知识蒸馏的轻量级超分辨率网络进行了研究，在网络的不同层次进行知识迁移，保证轻量级网络的超分辨率性能。4）对深度度递归式上下采样网络的超分辨率重建方法超分辨率网络进行研究，提高超分辨率性能。5）对基于编码解码器的异源信息融合进行了研究，充分借助异源信息对低分辨率图像进行信息补充，提高低分辨率图像的信息。6）对耦合对抗生成网络的红外可见光融合方法进行研究，用耦合对抗生成网络来进行竞赛，利用不同的低级细节来融合最后一层的有意义信息。.本项目主要实现基于异源信息轻量级网络的红外图像超分辨率，提高红外成像系统的分辨率，促进红外成像技术的发展。