深度学习在图像融合中的应用探索：从方法到质量评价

By jointly utilizing the multiple images of the same scene captured by different categories of imaging devices or under different imaging conditions, image fusion technique aims at achieving a more comprehensive description of the scene, which has been widely applied in various fields such as medical diagnosis, video surveillance, remote sensing and digital photography. Considering the difficulties and challenges in the current image fusion research, this proposal plans to perform a comprehensive study on the key issues in image fusion based on the newly popular deep learning theories and techniques. On one hand, the application of convolutional neural network (CNN) to both image fusion method and fusion quality assessment will be explored. Some new fusion methods and objective metrics based on CNN will be proposed to provide effective solutions to the existing difficulties. On the other hand, the application of convolution sparse representation (CSR) to image fusion method will be studied. Some new fusion methods based on CSR will be developed to enrich the theoretical/methodological system of image fusion. Furthermore, for a variety of image fusion tasks, the construction of a universal benchmark which involves datasets, compared methods, objective metrics and determination approaches will be explored to provide more scientific ways for fusion quality assessment. The launching of this project will promote the theoretical development and practical process of image fusion research.

图像融合技术通过综合利用同一场景在不同类型成像装置、不同成像条件下采集得到的多幅图像，来获得该场景更为全面准确的描述，已被广泛应用于医疗诊断、视频监控、卫星遥感、数码摄影等领域。本项目拟针对当前图像融合研究中存在的困难与挑战，利用近年兴起的深度学习相关理论技术对图像融合中的关键问题进行系统深入研究：一方面，探索卷积神经网络在图像融合方法与融合质量评价中的应用问题，设计新的融合方法和评价指标，为图像融合研究当前面临的困难提供有效的解决途径；另一方面，探索卷积稀疏表示在图像融合方法中的应用问题，设计新的融合方法，丰富图像融合理论方法体系。此外，对多种图像融合问题，探索构建覆盖数据集、对比方法、评价指标及评判方式的通用质量评价体系，为图像融合质量评价提供更加科学的解决方案。本课题的开展将有助于推动图像融合研究的理论发展与实用化进程。

图像融合技术通过综合利用同一场景在不同类型成像装置、不同成像条件下采集得到的多幅图像，来获得该场景更为全面准确的描述，已被广泛应用于医疗诊断、视频监控、卫星遥感、数码摄影等领域。本项目针对当前图像融合研究中存在的困难与挑战，开展了基于卷积神经网络、卷积稀疏表示等深度学习模型的图像融合方法研究，提出了一系列图像融合新方法，主要包括一种基于分类型卷积神经网络和多尺度变换的多模态图像融合方法、一种基于回归型卷积神经网络的通用图像融合方法、一种基于生成对抗网络的生物图像融合方法、一种基于多分量卷积稀疏表示的医学图像融合方法等。这些方法有效解决了图像融合研究中真实参考图像难以构造、细节信息提取能力不足、对误配准情况敏感等难点问题，在视觉质量和客观评价两方面均取得了高质量的融合效果。此外，针对目前图像融合研究缺乏通用的质量评价体系或基准的问题，本项目对多聚焦、医学等多种图像融合问题构建了包括测试数据集、参考方法、评价指标的评价体系，并予以公开，推动促进融合方法研究。基于本项目的资助支持，共发表高水平学术论文22篇（其中项目负责人第一/通讯作者论文12篇），相关成果在国内外同行中产生了积极的影响，3篇论文入选ESI高被引论文，3篇论文被引超100次（根据谷歌学术统计），其中2篇被引超200次。此外，申请国家发明专利10项（授权3项），培养研究生8名。项目组成员积极与国内外高校和科研院所开展了广泛的学术交流与合作，多次参加国内外相关学术会议。