面部伪造视频的鲁棒性检测方法研究

Recently face swapping and manipulation receives more and more attentions with the development of various, polytropic, and adversarial techniques. Detecting the tampered face video plays an important role in real application and can bring great intellectual merit. In this project, we explore the robust methods for tampered face video detection in perspective of feature learning, multi-scale and temporal-spatial modeling. First, we propose to combine the mid-level vision learning and the low-level statistics for feature fusion to cope with the representation limits of low-level vision and the discriminative limits of high-level vision. Second, we propose a progressive convolutional neural network to utilize the training results under each image scale. This method can capture the huge characteristic differences of each scale, which is difficult to be modelled consistently. Finally, we try to exploit the structural feature from the high-dimensional spatial- temporal domain, and propose a graph convolutional neural network to study the essential structure hidden in spatial-temporal pattern. We expect to provide some new solutions for robust detection of tampered face image and video.

面部伪造图像或视频技术有着多样性、多变性和对抗性的特点，针对伪造视频实现鲁棒性检测具有很大的学术意义和实用价值，本课题拟针对特征表示鲁棒、尺度变化鲁棒和空时变化鲁棒问题.（1）在充分分析面部伪造的特点基础上，提出中级视觉特征和低级统计特性融合学习的方法，解决低级视觉特征表示不足和高层语义特征区分难的问题；.（2）针对不同尺度下的伪造特征差异大，获取一致性模型难的问题，提出一种渐进式多尺度卷积神经网络模型，充分利用各分辨率下的训练结果；.（3）针对高维视频空时域中获取结构性特征的难题，提出一种基于图卷积神经网络建模方法，充分挖掘空时模式中内在的结构性关联。.通过上述方面的研究，可为解决鲁棒性面部伪造检测问题提供新的思路。

面部伪造图像或视频技术有着多样性、多变性和对抗性的特点，针对伪造视频实现鲁棒性检测具有很大的学术意义和实用价值，本课题拟针对特征表示鲁棒、尺度变化鲁棒和空时变化鲁棒问题.（1）提出了一种多尺度纹理感知的计算机生成图像鉴别模型。该模型首先基于图像特征之间的相关性进行纹理增强，再通过GRAM矩阵对视觉上的相关性进行建模，进一步提取纹理特征，然后将多个纹理提取模块应用于特征提取网络的不同层以提取多尺度纹理特征。最后基于多尺度纹理特征进行计算机生成图像的判别；.（2）提出基于样本独立的动态多尺度融合目标检测算法（DSIC）。通过模拟大脑神经的兴奋与抑制状态，针对不同输入样本，根据激活状态动态地打开与关闭输入与连接的路径，以此实现更为灵活且动态的多尺度目标检测。算法的主要特点在于，DSIC 可动态的选择输入和连接，避免通过固定的设计，自动调节连接和特征交互过程以适应不同的样本;.（3）提出基于Cross-Transformer的压缩域少样本视频分类方法。首先对视频进行部分解码得到压缩域信息，利用压缩域信息计算视频信息量分布，根据这一分布选取最具鉴别力、对分类帮助最大的视频帧，将其输入分类网络。分类网络由短时模块和长时模块组成，短时模块在视频压缩域子序列内进行短时特征融合，长时模块则在整个视频序列内提炼有效的视频特征。最后通过Cross-Transformer将未知类别的查询视频与已知类别的支撑视频的特征进行对齐匹配，按照最近邻原则进行分类。.算法在已有的数据库达到96.49%的平均准确率，超过了现有的鉴别方法，充分证明了算法的有效性。.