视觉显著协方差矩阵在视频近似拷贝检测中的应用研究

Owing to advances in digital multimedia processing technology and broadband internet access, and the increasing popularity of online media sharing, a huge amount of multimedia (especially images and videos) has been flooding websites , the easy availability of multimedia contents has pleased the public but, they have also created problems such as copyright infringements and wasteful usage of storage space and network bandwidth. A promising approach to tackling this problem is the so-called content-based copy detection (CBCD) approach. A key issue to the successful detection of a copied video or image lies in the design of an effective image or video content descriptor and the suitbale fast detecting algorithm. These descriptors are expected to be both robust and discriminative. Presently, these descriptors are linear, which are not successful in in many cases. This proposal is to study the salient covariance (SPD matrix) as a nonlinear feature for content based near-duplicate video detection. what's more, we will further study the fast searching algorithm for SPD. All in all, we will study two main contents. The first is to study the nonlinear representation for video contents using salient covariance. The second is to study the fast searching algorithm for SPD. This proposal will focus on four key problems as follows, efficient video saliency computation, salient region definition and extraction, efficient similarity measure for SPD and efficient indexing in Riemannian manifold.

基于内容的图像视频近似拷贝检测是一项旨在检测具有相似来源且重复出现的多媒体的技术，近年来受到人们的重视。但是检测经过各种变换的图像和视频，是一项具有挑战性的工作，原因在于需要提取能够抵抗多种变换的具有鲁棒性和区分性较强的特征描绘子并设计适合相关特征的索引结构。目前，在这一领域，传统的线性特征提取方法占主导地位，但是这些方法或多或少都有其局限性。在本项目中，我们研究基于视觉显著协方差（后文中的SPD矩阵）的非线视频性特征提取方法，并研究其在拷贝检测中的快速搜索问题。围绕提高基于内容的近似视频拷贝检测的检测准确性和检测效率两个目标，我们研究两大内容：1）融合视觉显著和协方差的视频本征非线性表达；2）SPD矩阵的高效近邻搜索技术研究。围绕两大内容，我们需要解决4个关键问题：1）高效视频显著协方差的计算；2）视觉显著特征的界定和抽取；3）SPD矩阵的高效相似性计算问题；4）黎曼空间中的高效索引技术

提高检测和检测效率是拷贝检测研究的目标。为了达到这个目标，一般需要在特征提取和快速索引两个方面进行考虑。本项目就非线性几何显著特征表示和快速匹配算法中的涉及的几个问题进行了研究。在快速匹配算法方面，本项结合黎曼几何、数理统计和机器学习，提出了基于随机词汇森林的SPD快速准确近邻搜索方法，黎曼频率敏感竞争学习方法rFSCL，基于同构变换的快速SPD索引方法等新算以及均匀随机森林索引结构。在非线性几何视觉显著特征提取方面，我们从理论上分析了Radon变换在对抗几何攻击的许多特性，采用均匀采样技术，提出了基于Radon变换的增强Radon特征（ERF）。由于SPD矩阵和索引有关的算法不仅应用于拷贝检测，还在行为识别、医学图像处理和对象分类中有广泛的应用，我们在研究拷贝检测的同时，还把部分算法应用到以上应用领域。项目总体情况良好，已经正式发表CCF B类论文3片，CCF C类一篇，申请专利两项，还有3篇论文和2项专利正在审稿和准备中。发表的论文，受到国内外同行的关注，构建的图像库已被同行使用。