面向深度网络生成图像的被动取证算法研究

The latest innovation of image generation methods based on deep network technology has dramatically threatened the integrality and authenticity of digital images, which severely disrupts the applications of digital images in several areas, such as forensics and identity recognition. Therefore, passive forensics methods orientated to Deep Network Generated (referred to as DNG) images have become the current research hotspot. However, the research about this topic is still in its primary stage and several factors in real forensics scenarios are not considered sufficiently, such as post-processing operations and unknown generation models. In this project, by analyzing the theoretical model of DNG images and utilizing fundamental techniques such as digital image processing, convolutional neural network and transfer learning, passive forensics methods which have promising robustness and generalization capability in real forensics scenarios will be studied. The main research contents include: 1) The robust DNG image detection method against common post-processing operations; 2) The generalized DNG image detection method for unknown generation models based on the domain generalization technique; 3) The source model identification method of DNG images based on the open set recognition technique. The research results can provide theoretical and technical supports for the security of digital images.

基于深度网络技术的新型图像生成算法对数字图像的完整性和真实性造成巨大威胁，严重影响数字图像在司法取证和身份识别等领域的应用。因此面向深度网络生成（Deep Network Generated，简称DNG）图像的被动取证算法成为了当前的研究热点。然而现有研究尚处于起步阶段，未能充分考虑实际取证场景下存在后处理操作和未知生成模型等因素的影响。本课题针对上述局限性，通过分析DNG图像的理论模型，结合数字图像处理，卷积神经网络和迁移学习等技术，将研究在实际取证场景下具有良好鲁棒性和泛化能力的被动取证算法。主要研究内容包括：1）对常见后处理操作鲁棒的DNG图像检测算法；2）基于域泛化技术面向未知生成模型的DNG图像检测算法；3）基于开集识别技术的DNG图像源模型鉴定算法。研究成果将为数字图像安全提供理论和技术支持。

近年来，随着计算机视觉和深度神经网络技术的快速发展，由深度生成网络制作的图像及其他模态媒体对内容安全已造成巨大威胁，开展面向深度网络生成图像被动取证算法对军事情报分析、网络舆论监管和司法取证等场景具有重要研究意义和应用价值。针对现有深伪图像被动取证方法泛化性不足、难以分析有损压缩痕迹、无法有效应对实际场景中的新型音画攻击手段等局限，本项目研究基于深度学习和迁移学习的深度伪造图像检测方法，设计空域及编码域的有损编码痕迹分析识别策略，开发针对重放攻击和深伪音频等新型攻击模式的取证方法，以提升在不同场景下对新型伪造图像及音画数据的取证能力。本项目的主要研究内容包括：1）面向未知生成模型的深伪图像检测算法；2）有损编码痕迹分析及识别策略；3）面向音画复杂攻击模式的被动取证算法。本项目的重要研究成果包括：设计了基于伪影相似性度量的深伪图像检测算法，有效提升对未知伪造模型和后处理操作的泛化性和鲁棒性；构建向目标域的知识迁移方法，设计基于无监督领域适应的未知深伪图像检测算法，可利用小样本揭示未知深伪图像的异常痕迹；分析了有损压缩在帧内和帧间的编码信息统计特性，提出了有效的重编码痕迹和虚假比特率识别方法；设计了基于长时可变Q变换的深伪音频检测算法，提升对共性伪造痕迹的表征能力；也将被动取证方法向人脸重放攻击等相关取证问题进行拓展。本项目完成了深度网络生成图像的高泛化性检测算法设计、针对有损编码痕迹的分析和识别策略、面向复杂音画攻击模式被动取证的技术拓展等研究任务，发表高质量学术论文9篇（含SCI论文7篇，EI论文1篇，中文期刊论文1篇，其中IEEE Trans. 论文2篇），申请中国发明专利2项，培养1名博士后、1名博士研究生和4名硕士研究生。本项目的研究成果对完善多媒体被动取证的理论和方法具有一定帮助，并为军事情报分析、司法取证和舆情管控等领域鉴别新型伪造媒体提供重要技术支撑。