数字视频语义对象篡改的被动取证研究

Object-based manipulation is one of the featuring targets for video processing application, which can improve the visual quality or provide better interactivity. Since video object is semantically meaningful, object-level manipulation is often used to change the semantics of digital video for malicious forgery. This project specifically researches on the blind forensics techniques for semantic object- based video tampering. The main contents include: First, for object removal via content-aware video retargeting and video inpainting, the local texture and structure distortions are combined with the leaving effects of various priori knowledge or restrictive hypotheses to detect and locate the forgery regions. Second, for object-adding forgery via video composition/synthesis, the object trajectory is mathematically modeled and its smoothness is analyzed. The boundary effects of the transition zone between video object and background is also measured for the detection and location of tampering regions. Third, the similarities of principle and tampering artifacts between object adding and object removal are jointly analyzed from the energy function point of view, and the spatio-temporal oriented energy is proposed as their common forensics feature. Moreover, the multi-modal feature fusion and decision fusion is exploited for the comprehensive blind forensics of object-based tampering. The research contributions will develop and enrich the theory of passive video forensics, and provide effective detection tools for the management of network video information and the authenticity of video evidence in Law suit.

基于对象的视频操作是视频处理应用的特色与目标，可以提高视频的视觉质量，或者提供更好的交互性能。然而，视频对象是具有语义的物体，对象级操作也经常被用于改变视频的语义，以达到恶意篡改的目的。本项目专门针对数字视频语义对象篡改，研究相应的被动取证技术。主要内容包括：(1) 针对内容感知视频缩放和视频修复两类对象去除篡改，根据局部纹理和结构失真，并结合先验知识或者限制性假设的遗留效应，检测与定位篡改区域；(2) 针对添加对象的视频合成，通过对象运动轨迹数学描述及其平滑度分析，并测量对象与背景之间过渡区的边界效应, 检测与定位篡改区域；(3) 针对对象添加和去除，从能量函数的角度分析它们在工作原理和篡改痕迹上的共性，提出具有共性的时空体方向能量特征，并通过特征融合与决策融合，研究语义对象篡改的被动综合取证。研究成果将发展视频被动取证理论，为网络视频监管和司法视频证据的真实性保障提供有效的检测手段。

数字视频丰富着人们的日常生活。基于对象的视频操作是视频处理应用的特色与目标，可以提高视频的视觉质量，或者提供更好的交互性能。然而，互联网充斥着一些真伪难辨的数字视频, 正在颠覆人们“眼见为实”的传统观念。特别是，视频对象是具有语义的物体，在视频的语义表达上具有重要的作用, 直接影响人们对于视频内容的理解。对象级操作也经常被用于改变视频的语义，以达到恶意篡改的目的。.本项目专门针对数字视频语义对象篡改，研究相应的被动取证技术。研究内容主要内容包括：(1) 针对内容感知视频缩放和视频修复两类对象去除篡改，根据局部纹理和结构失真，并结合先验知识或者限制性假设的遗留效应，检测与定位篡改区域；(2) 针对添加对象的视频合成，通过对象运动轨迹数学描述及其平滑度分析，并测量对象与背景之间过渡区的边界效应, 检测与定位篡改区域；(3)针对对象添加和去除，从能量函数的角度分析它们在工作原理和篡改痕迹上的共性，提出具有共性的时空体方向能量特征，并通过特征融合与决策融合，研究语义对象篡改的被动综合取证。具体地，本项目围绕对象级图像篡改，包括seam carving和图像修复，提出基于LBP和WLD纹理特征、多角度空域和频域熵等系列被动取证方法。此外，针对视频帧率上转，特别是基于运动补偿的帧率上转，推导了其残差信号的数学模型，提出了基于残差的MC-FRUC取证及辨别方法，并且提出了一种基于效应指示图和Tchebichef矩的视频帧率上转插值帧鲁棒定位方法。.通过本项目的研究，在IEEE TCSVT、TMM和JCVIR等期刊共发表了论文10篇，发展和丰富了视频被动取证的理论基础，有助于解决由于语义对象篡改可能导致的视频内容歧义的问题。研究成果将为以新闻诚信为代表的公共信任秩序维护, 和以法庭视频证据真实性为代表的社会公平保障, 提供有效的检测手段或者重要的技术支撑。