基于时空特征融合的紧凑性视频指纹技术研究

Video fingerprinting with fused feature in temporal and spatial domain is an effective way to resistant multiple types of attacks which is hard to solve for single feature. This project will study the stronger robust and compact video fingerprinting focused on the spatial-temporal feature fusion. It includes the following contents: (1) Study the content similarity criterion for video frame on the basis of analyzing its spatial-temporal slice. The video segmentation and stable content region partition will be studied followed. (2) Based on the Gabor atoms, the feature extraction algorithms describing the image structure will be studied with sparse decomposition and structure statistical. And the probability density function for prior features will be analyzed with kernel density estimation. (3) The spatial-temporal feature fusion methods including weighted two dimensional principle component analysis and random sample-DCT will be studied to fuse the temporal, spatial features of original data and their distorted copies. The quantitative mapping function will be studied to compress the feature into compact binary fingerprints further. The video segmentation, stable content region partition, feature extraction are studied for the robustness, and the feature fusion, quantitative mapping are for the compactness. It has significances for video identification, retrieval, supervision, intellectual-property protection to study the project.

融合时域、空域特征的视频指纹可以有效解决单一特征难以抵抗多种类型攻击的问题。本课题将从时空特征融合的角度开展强鲁棒性、紧凑性视频指纹技术研究，具体包括以下内容：(1)以视频时空切片为分析对象，研究视频帧内容相似度判定准则，并以其为依据研究视频片段分割和内容稳定区域划定方法。(2)以Gabor原子为分析工具，利用稀疏分解和结构统计方法研究描述图像结构信息的特征提取算法；并采用核密度估计方法研究特征概率密度函数。(3)在时空特征融合方面，分别研究加权二维主成分分析和随机取样-DCT变换融合方法，将原始视频及其失真拷贝的时空特征进行融合，在此基础上采用量化映射函数对特征进行压缩映射生成紧凑视频指纹。本课题中视频片段分割、稳定区域划定、特征提取以鲁棒性为出发点，特征融合、量化映射围绕紧凑性开展研究，以此保证指纹的鲁棒性、紧凑性。本课题的研究对视频内容识别、检索、监管、产权保护等具有重要意义。

在多媒体数据日益激增的情况下，紧凑视频指纹的研究能够从根本上提高视频的识别追踪。本课题从视频指纹技术涉及到的视频帧特征提取与表示、指纹量化、视频帧分割和紧凑指纹等方面开展了研究。具体内容如下：（1）从局部特征构建全局特征角度，提出了三种视频帧特征提取方法，一是采用Gabor变换系数构建视频帧结构图，然后采用坐标变换及分块加权对其进行描述。 二是采用SIFT特征点密度分布描述视频帧内容，采用随机直线投影量化描述特征。 三是对视频帧采用总变差法提取主结构，在此基础上采用边缘链码方向描述主结构。三种方法提取的特征均描述了图像结构，因此具有较强鲁棒性。（2）在指纹量化方面提出了两种方法，一是失真拷贝融合方法，筛选出部分指纹特征和其失真拷贝特征一起参与二值量化过程。二是提出三态量化方法，将容易发生状态翻转的元素设置为通用状态。这两种指纹量化过程均考虑了失真拷贝因素，提高了算法鲁棒性。（3）提出了两种视频帧分割方法，一是计算视频垂直和水平方向的时空切片突变点分割视频，二是提出帧差异函数计算视频帧差异曲线，并检测其极值点作为分割点。这两种方法依据视频内容相似度对视频帧进行分割，相比现有固定帧数分割方法，视频合成帧特征更加稳定。（4）在视频帧分割方法的基础上，将相似内容视频帧划分为两组，相比现有算法划分为四组，算法的鲁棒性与紧凑性均得到明显提升，视频指纹的长度低至16比特。本课题的研究对视频内容识别、检索、监管、产权保护等具有重要意义。