基于感知哈希和流形降维的视频复制检测技术研究

本项目以基于内容的视频复制检测技术（CBVCD）为主要研究内容，结合当前的研究现状与发展趋势，采用视频时空域关注特性建模和视频流形降维的方法进行研究。以人的时空域视觉关注特性为依据，建立新的以运动、颜色为主要参考因素的Bottom-Up时空域关注模型，并以之为基础形成视频摘要；根据视频复制检测的特点，通过对流形降维方法的研究，提出相应的基于视频摘要的流形降维算法；进而，通过以低维空间嵌入点为控制点构造B样条曲线的方式，生成视频感知哈希。本项目在保证CBVCD鲁棒性和区分性的基础上，对基于时空域关注模型的视频摘要提取、基于流形学习的视频降维算法、基于B样条曲线的视频感知哈希的生成等关键问题展开研究，将视觉针对全局以及局部对象的时空域关注特性应用于视频分析中，以流形降维的方式构造视频的感知哈希，对视频进行基于内容的表征，力争获得符合人对视频复制主观认知的检测结果。

针对视频管理和检索领域在版权保护、跟踪检测以及内容过滤等方面所面临的挑战，本项目从视觉关注建模的角度，结合流形降维和图建模的降维方法，以获得简短有效的视频表征为目的，研究了视频哈希技术及其在视频复制检测中的应用。. 本项目研究的主要内容包括：1）研究了视觉关注建模，从全局与局部联合优化入手，提出了全局层与局部层双层结合的视觉关注模型，为后续研究提供了基础，并通过注视点估计的方式，验证了所提出的视觉关注模型的可行性和可靠性；同时，提出了基于此模型的图像自适应显示的方案，为同一图像在不同分辨率及不同宽高比的终端上进行优化显示提供了技术参考。2）研究了基于视觉关注的视频哈希技术，根据视觉关注在空域和时域上的分布特性，分别提出了基于视觉关注空域加权和时域加权的视频哈希算法；同时，改进了传统的基于汉明距离的哈希匹配方法，提出了基于视觉关注程度的不等权重哈希匹配方法。这些加权方法对视频复制检测的查全率有明显的改善。3）研究了基于关键帧提取的视频哈希技术，根据视觉关注度和关注区域在时域上的变化，提出了基于视觉关注转移的视频摘要生成方法，并讨论了其在视频事件检测中的应用；利用经典流形降维算法从高维空间到低维空间的等距映射特性，提出了基于流形降维的关键帧提取方法及其相应的哈希算法；将视频进行图建模表示，分别通过对视频时域图建模和空域前景图建模的方式，基于图建模的关键帧提取及其视频哈希算法。这些基于关键帧的视频哈希都给出了简短有效的视频表征。. 本项目以视觉关注模型和流形降维为工具，分别从视频空域前景与背景分割、不同关注度的区域划分、时域关键帧的选择、时域关注变化等方面，对视频哈希的生成进行了探索研究，在保持对视频内容表征的鲁棒性和区分性的基础上，得到了视频简短有效的哈希表示。这些研究获得的视频哈希，对于视频复制检测的查全查准率有明显的改善，这也为海量视频搜索技术提供了理论和技术参考。