基于GANs的复合因素降质图像高质量重建技术研究

Outdoor vision systems are often affected by many complex factors, such as system noise, haze, optical blur, low illumination and so on. These degradation factors randomly combined in a variety of complex ways, leading to serious degradation of image quality. Existing methods are generally able to deal with a single degradation factor, which cannot fully meet the requirements of practical applications. This project will study the low quality images which are affected by the complex degradation factors, and conduct research of high quality image reconstruction technology based on GANs. The prior knowledge of degradation images will be used to guide the design of the Generative Network structure within GANs’ architecture. By using the competition and error correction mechanism of Discriminant Network and Generative Network, the optimal Generative Network is obtained by updating two networks iteratively. This Generative Network will be used for the reconstruction of high quality images, and meet the requirements of high quality reconstruction in a unified framework. The specific research contents include the optimization of the GANs network architecture, the design of the Generative Network based on the prior knowledge and the design of expert Discrimination Network. The achievements can significantly improve subjective perception of image and provide high quality data sources for military and civilian applications, such as reconnaissance, missile guidance, intelligent traffic management, intelligent video surveillance system.

户外视觉系统常常会受到系统噪声、雾霾、光学模糊、光照等多种降质因素的影响，这些降质因素以多种复杂的方式随机组合在一起，导致成像质量的严重退化。现有的方法普遍是对单一的降质因素进行处理，无法完全满足实际应用的需求。本项目以受到复合降质因素影响的低质图像为研究对象，开展基于生成对抗网络架构（GANs）的高质量图像重建技术研究。利用多种降质因素的先验知识指导GANs架构中生成网络结构的设计，通过判别网络与生成网络的竞争与纠错，迭代更新得到最优的生成网络，用于高质量图像的重建，在一个统一的框架下对低质图像进行高质量重建。具体研究内容包括GANs网络架构的优化设计、基于先验知识的GANs轻型化生成网络和专家判别网络的设计等。本项目研究成果可以显著改善图像的主观感受质量，为军事成像侦察、导弹精确成像制导以及民用智能交通管理、智能视频监控等应用系统提供高质量的数据源。

本项目针对复合降质因素低质图像高质量重建的应用需求，以深度学习为主要手段，开展了面向复合因素降质图像高质量重建的GANs网络架构优化方法、轻型化专用图像生成网络与专家判别网络结构的设计相关研究。围绕研究内容，取得的主要成果包括：（1）GANs的框架进行设计与优化。结合特征重建、主观感知和生成对抗学习重新设计了损失函数与生成器子网络架构，提出了一种面向复合降质图像重建方法；设计了一种基于编码-解码器结构的生成器子网络，提出了一种非成对样本训练的复合降质图像重建方法。（2）基于先验知识的轻型化生成网络设计。基于大气光传播的先验知识推导出多散射的雾霾成像模型，并在该模型基础上提出了一种数据驱动的图像重建算法；基于分离表示，自适应的从雾霾图像中学习不变表示，提出了无监督雾霾降质图像重建网络，对雾霾图像的内容和降质噪声进行分解。（3）GANs网络架构中专家判别网络的设计。提出了一种基于深度特征重建的复合降质图像重建方法，以端到端的方式学习低质图像与高质图像之间的映射模型；提出了一种利用元网络和并行操作网络的特殊设计，为不同降质图像自动选择合适的网络结构，在占用更少资源的情况下有效地提高了重建网络的鲁棒性和泛化能力。（4）演示验证系统。面向复合因素低质图像高质量重建的应用场景，搭建了算法演示验证平台，对提出方案的有效性进行了验证。. 本项目全面、按时完成了计划书中所规定的研究内容，达到了预期的指标要求。共发表学术论文10篇，其中SCI检索5篇，EI检索5篇；申请国家发明专利5项；培养博士生1人，硕士生5人。本项目的研究成果对于提高视频监控、智能交通、安防系统、遥感监控、航空测绘等领域应用系统的整体性能有着重要的理论研究意义和应用价值。