面向模糊目标同步复原与检测的弱监督轻量化偶合生成对抗学习研究

In the fields of security monitoring and military reconnaissance, it is difficult to avoid image blur degradation, which directly affects the accuracy of target detection and detail identification. However, due to the complexity and ill-posedness of traditional deblurring process, it is difficult to guarantee the effectiveness and accuracy by directly integrating it with target detection. Therefore, how to synchronously realize deblurring and target detection efficiently and accurately remains to be further studied. This project innovatively proposes a construction method of the dual generative adversarial network with weakly supervised learning. The network is trained with non-strictly paired sample data and is expected to realize high quality deblurring and accurate target detection rapidly and synchronously. At the same time, a network parameter optimization method based on global sparse constraint and local smooth constraint is studied, and it is combined with the network structure optimization method to realize lightweight network design, which makes it possible for the network to run efficiently under computational resource-constrained environment such as mobile terminal. Finally, it will study how to use the convolutional neural network to realize the structural similarity image quality assessment without reference, and compare the performance of target detection of the proposed network with some state of the art target detection networks as references. The assessment results can be used to feedback and adjust the training process of the network. This research is of great significance for enriching the theoretical method system of target detection, and further improving the intelligence and precision level of target detection ability of military and civilian surveillance systems.

在安防监控、军事侦察领域，难以避免图像模糊退化，直接影响到目标检测准确度和细节辨识度。由于传统去模糊过程的复杂性和病态性，将其与目标检测直接融合，无论在时效性和准确性方面都难以保证。因此，如何高效准确的同步实现去模糊与目标检测，还有待进一步研究。本项目创新提出一种弱监督学习的偶合生成对抗网络构建方法，该网络基于非严格对应的样本数据进行训练，有望快速同步实现高质量去模糊和准确目标检测。同时，研究一种基于全局稀疏约束和局部平滑约束的网络参数优化方法，并将其与网络结构优化方法相结合，实现网络轻量化，使其在移动端等资源受限情况下高效运行成为可能。最后，研究如何利用卷积神经网络实现针对复原图像的无参考结构相似性质量评价，并以目前主流目标检测网络为标准，比较网络的目标检测性能，指导网络优化过程。本项目研究对于丰富目标检测方法体系，进一步提升军民用侦察监控系统的智能化、精确化目标检测水平具有重要意义。

近年来，面向安防监控、军事侦察的智能化图像处理与目标识别技术飞速发展，然而由于客观环境的影响，图像经常出现模糊退化，直接影响到目标检测准确度和细节辨识度。而现有的模糊图像复原方法无论在时效性和准确性方面都难以保证。针对上述问题，本项目开展了如下研究工作：1）搜集整理了大量的清晰-模糊图像并构建了训练集合，并基于弱监督学习的偶合生成对抗学习原理，构建了综合多种约束条件的损失函数，实现了一种无需严格对应的清晰-模糊图像样本集的网络训练方法，在降低网络训练难度的同时保证了网络训练的精确度，并在训练过程中同时实现了模糊图像复原和目标检测功能；2）由于深度卷积神经网络通常具有较大的参数规模并且需要大量的计算资源提供支撑，为此，本项目提出了一种基于蒸馏学习的网络参数压缩方法，将原始生成器网络作为教师模型，利用廉价卷积层对其中的常规卷积进行替换，并将结构压缩后的生成器作为学生模型放回生成对抗训练框架中，选取基于特征和基于关系的知识对教师模型进行压缩训练。在保证网络复原性能指标的前提下，有效减少了原有模型的参数规模，为其在小型化移动端等计算资源受限情况下的使用提供了技术支撑；3）为了对网络复原图像的质量进行有效评价，指导修正网络结构，本项目还实现了一种基于卷积神经网络的图像质量评价方法，能够在无参考图像的情况下，实现对图像质量的准确评价，与人类对图像质量的视觉感受基本一致；4）最后，本项目基于上述研究成果，设计了一套融合了模糊图像复原与目标检测功能的软件系统，为相关研究成果的转化应用提供了基础。本项目按照计划完成了全部研究内容，达到了预期的研究目标，其研究成果可用于改善军用可见光侦察系统的目标识别定位精度，以及提升民用的智能监控和汽车自动驾驶等系统的自主判断能力，对于提升其智能化水平具有重要的研究意义。