对象级视频修复与合成篡改检测关键技术研究

Object tampering changes the original semantics of video by inpainting, synthesis and reorganization of the objects. Aiming at the authenticity of video, this project studies the techniques for tamper detection of object inpainting and systhesis. The main contents are as follows. For object inpainting, we build the tampering model by combining spatio-temporal joint feature based frame mode consistenecy analysis, motion tendency error estimation of space-time video volumes and accumulated inter-frame energy singularity. The inpainted region is located by feature classification. For heterogeneous video object synthesis, we study the extraction and description of global motion trajectory, together with the quantitative analysis of the fusion between the object and the background. Forgery detection and positioning are achieved by considering the light directions of the object and the background. For homologous video object synthesis, the solution is based on motion inpainting. We study the no-reference quaity assessment of the video object in both spatial and temporal domain.The synthesized region is located by incorporating inter-frame detection of region duplication. Furthermore, the source of the synthsized object is estimated by mining the inherent relation between the object and the trace of background inpainting. The research results of this project can provide rigorous theoretical support for the authentication of video, and have important applications.

视频对象篡改通过对目标的修复、合成和重组改变视频所表达的原始语义。本项目以视频真实性认证为应用背景，研究视频对象的修复与合成篡改检测技术。主要内容包括：针对视频对象的修复篡改，从基于空时联合特征的帧模式一致性、视频空时体运动趋势误差分析和帧间累积能量的奇异性等方面进行篡改建模，通过模式分类定位修复区域；针对异源视频对象的合成篡改，研究对象的全局轨迹提取与描述、对象与背景的契合度定量分析，结合对象区域与背景区域的光源方向进行异源对象合成的检测和定位；针对同源视频对象的合成篡改，以运动插值为主线,研究视频对象的空域与时域质量无参考测量，结合区域的帧间复制关系对合成区域进行定位，并通过挖掘视频对象与背景修复痕迹之间的内在关系估计对象的篡改历史。研究成果能为视频数据的真实性认证提供重要的理论支持，同时具有重要的应用价值。

本项目以司法取证和真实性认证为应用背景，针对视频的被动取证技术进行研究，具体包括图像和视频修复篡改的检测、视频对象的合成篡改检测、图像与视频的客观质量评价等内容。针对基于样本的对象修复篡改的取证：从修复区域和其他区域间存在异常块对相似性的角度出发，提出了基于零连通特征和碎片拼接检测的盲取证算法；将隐写分析的思路引入被动取证，提出了对象删除篡改的取证算法。针对基于seam carving的对象篡改的被动取证：提出了基于取证哈希的视频重定位篡改取证方法；从突出局部纹理失真的预处理角度出发，提出了基于局部二值模式的取证算法；针对小缩放因子下的取证准确率不高的问题，进一步提出了基于多尺度空间域和谱域熵的取证方法。针对视频的帧率上转篡改：提出了基于边缘强度变化的周期属性、基于视频帧的平均纹理变化和基于残差信号的被动取证方法，取得了理想的效果，性能均优于目前的主流算法。针对对象合成篡改，提出了通过分析对象边缘及其可变宽度轮廓的统计特性，实现对自然对象和人为添加对象的分类和检测，取得了理想的性能。针对被动取证中的视觉质量因素，研究了图像和视频的客观质量评价方法；针对图像中的模糊、压缩块效应、视频中的闪烁效应、图像合成失真等，基于稀疏表示、图像正交矩、特征学习等理论，提出了多种有效的客观评价算法，性能均优于现有的模型。本项目的研究从理论和实验上揭示了图像和视频中的对象篡改的规律，通过设计描述规律一致性的特征提出了多种有效的取证算法，达到了项目的预期目标；同时，通过本项目的实施还指出了目前的取证研究中存在的问题，为今后的研究提供重要参考。