基于场景精细感知对抗的虚假图像合成研究

Image synthesis technology is developing fast, satisfying people’s demands for creative activities but in the same time making fake images and rumors a huge problem. The synthesis technology can now easily bypass the check of human eyes, but they still have many artifacts especially in aspects of more fine-grained structures and physical laws of the natural scene, which make them relatively easy to be identified by skilled experts or some image forensics methods. Another problem is the shortage of effective and quantitative methods for the quality evaluation of synthesized images. This proposal aims to study the theory and methods of image synthesis that is based on fine-grained perception of scene information and adversary. The effective sensing of scene information is the theoretic foundation of this proposal, and we propose some high quality automatic image synthesis methods that can keep realistic fine structures and laws of the scene. These synthesis methods include image splicing, manipulation and generation. This proposal further studies image forensics methods as an effective evaluation method for image synthesis and uses forensics as an adversary to improve image synthesis quality. Through this proposal, we hope to improve the quality for image synthesis methods, to introduce image forensics for the evaluation and improvement of synthesis and finally promote the cross study of image synthesis and forensics fields.

图像合成技术发展迅猛，在丰富人们文化创作需求的同时也造成了虚假图像及谣言泛滥成灾。如今的合成技术基本能够欺骗人眼感官，但是在更为精细的场景结构及规律层面仍然存在较多瑕疵，很容易被有经验的专家或针对性的取证方法识破，且缺乏较为客观有效的定量化质量评估方法。本项目研究基于场景精细感知对抗的虚假图像合成理论与技术，以场景信息精细感知为理论支撑，提出保持真实场景中精细结构及规律的高质量自动化图像合成方法，包括图像拼接、操控及生成等，并基于图像取证技术设计有效的合成质量评估方法及通过对抗进一步提升合成质量。通过本项目的研究，希望提高虚假图像合成的质量，发挥图像取证技术在合成研究中的评判和促进作用，进一步推动图像合成与取证的学科交叉及融合发展。

近年来，包括图像拼接、操控和生成在内的各种虚假图像合成新技术发展迅猛。虽然当前的图像合成基本能够欺骗人眼感官，但是在更为精细的场景结构及规律层面仍然存在较多瑕疵，很容易被有经验的专家或针对性的取证方法识破，且缺乏较为客观有效的定量化质量评估方法。图像合成与图像取证这两种技术的研究是密不可分的，一方的进步必定在动机和原理上促进另一方的进步。本项目基于场景精细感知理论及技术的研究，提出高质量、自动化的虚假图像合成新方法，实现场景自洽的图像拼接、高质量的图像操控以及精细化的图像生成等多种新合成技术。研究图像取证技术用作合成评估、对抗的策略，解决图像合成研究缺乏客观有效的质量评估标准这一关键问题，并在对抗中进一步提升图像合成的质量。.在本项目的支持下，项目组发表高水平论文10篇，获得专利授权3项，获广电应用一等奖1项，组织比赛2次，成果获得了较好的学术影响力。重要成果如下：在场景精细感知方面，提出一种基于单视角图片学习物体三维形状的深度模型，通过对抗领域混淆损失学习视角无关的形状表征空间，获得了更准确的单目三维重建精度，论文发表于Neurocomputing期刊；在虚假图像合成新方法方面，提出了一种视频换脸与表情操控的统一框架，基于三维人脸分解与图像翻译网络（image translation networks）将两个任务统一为一个模型，实现了高质量灵活的人脸图像操控，论文发表与T-CSVT期刊；在图像合成方面还提出了基于多层统计量迁移的自监督人体图像生成方法、三维感知的人脸妆容鲁棒迁移方法、简笔画引导的人体图像生成方法，发表了CVPR、ACM MM、ICPR等会议文章；合成评估与对抗方面，组织了两届深度伪造博弈比赛（DFGC-2021, DFGC-2022），分为换脸合成赛道和伪造检测赛道进行相互评测与对抗，提出了丰富的评估指标和数据集，总结论文发表于国际会议IJCB’2021和IJCB’2022. 通过本项目的研究，在场景规律及精细结构保持的层面上提高了虚假图像合成的水平，解决了目前图像合成中的一些关键挑战和问题，进一步推动了正向图像合成及反向图像取证的融合发展。