基于多显著目标迭代检测与跟踪的数字视频帧篡改取证研究

Forensics for detecting frame-based forgery is an important tool for authenticating the content of digital videos. This study innovatively introduces the theory and method of object tracking in the field of computer vision to the research of frame-based forgery forensics. It solves the key problems in the method fusion process and proposes a frame-based video forgery forensic method based on iteratively detecting and tracking of multiple salient objects. Combining the visual saliency theory, multiple salient objects are detected, and the active contour model is adopted to track the salient objects. For solving the problem of tracking failure caused by frame-based forgery, a prediction algorithm combining particle filtering with motion vectors of object region is proposed to ensure continuous tracking in case of frame tampering. A multi-dimensional state model is constructed by combining the position and contour information of the moving object. The life cycle of the moving object is supervised, and an iterative object detection and tracking mechanism is established. The state continuity of multi-objects is integrated to accurately locate the frame tampering in the entire video sequence. This research will provide a forensic method from the perspective of the motion state continuity of multi-objects for analyzing frame-based forgery. The method can overcome the limitations of existing techniques, effectively improve the accuracy of frame-based forgery forensics and expand its applications. It will also promote the deep integration of the key technologies of multimedia security and computer vision.

视频帧篡改取证是数字视频内容真实性鉴定的重要手段。本课题创新地将计算机视觉领域的目标跟踪理论与方法引入数字视频帧篡改取证的研究中，解决技术融合过程中存在的关键问题，提出一种基于多显著目标迭代检测与跟踪的视频帧篡改取证方法。通过结合视觉显著理论对多重显著目标进行检测，并利用主动轮廓模型对显著目标进行跟踪；针对帧篡改可能造成的目标跟踪失败问题，提出粒子滤波与目标区域运动矢量相结合的预测算法，确保帧篡改背景下运动目标的连续跟踪。利用运动目标的位置与轮廓信息构建多维状态模型，并对运动目标的生存周期进行监督，建立目标迭代检测与跟踪机制；综合多目标状态连续性，准确定位整个视频序列中存在的帧篡改。研究成果将提供一种从多目标运动状态连续性角度分析视频帧篡改的取证方法，该方法能够突破现有技术的局限，有效提升视频帧篡改取证的准确度并扩展其应用范围，促进多媒体信息安全与计算机视觉领域关键技术的深度融合。

本项目系统研究了基于深度神经网络的视频删帧篡改取证方法。主要研究内容及重要结果包括：①提出将深度特征与传统算法相结合实现视频删帧取证。提出了一种增强的LPIPS深度特征，并利用广义ESD检验实现取证检测。所提方法较已有代表性删帧取证方法的检测性能有明显提升，尤其是所提增强的LPIPS特征被证明是一种良好的删帧取证特征。②提出一种基于多尺度差分卷积网络与长短时记忆网络模型的删帧取证方法。提出一种多尺度差分特征提取模块，使网络能够从局部像素和全局上下文的角度学习视频帧间差异特征。相比已有先进方法，所提方法对微弱差异处的删帧篡改具有突出的检测性能，而且具有显著的轻量化特点，模型参数量为对比最优算法的0.46%。③针对单一视频特征在极低速运动和局部突变等区域难以正常检测的问题，提出一种音视频多模态融合的删帧取证方法。针对音视频融合过程中存在的不确定性差异过大导致错误分类的情况，提出一种跨模态注意力模块使不同模态特征之间实现交互式学习，对所述不确定性差异进行适当抑制。在对视频数据进行模糊和加噪的数据集下，所提方法较对比最优方法检测准确率分别提高了7.52%和14.19%，验证了在视频特征不能提供有效检测证据的情况下，所提方法能够有效地融合音频特征，显著提升数字视频删帧取证的性能。. 上述研究从不同的角度、利用多种方法实现了基于深度学习的视频删帧篡改取证，进一步提高了删帧取证方法在大量样本和高复杂度视频取证数据集上的检测性能，扩展和加深了多媒体取证领域研究的广度和深度。