基于多模态信息的高效鲁棒可扩展视频复制检测关键技术及其系统研究

本课题针对基于内容的视频复制检测技术，以提高视频复制检测精度和速度为目标，综合采用音视频分析技术、高维特征空间聚类和索引技术以及图像检索技术，研究面向大规模视频数据的可分级的高效鲁棒的视频复制检索系统框架。本课题的具体研究目标有：（1）构建能够结合多模态信息的视频特征提取和索引框架。这里的多模态信息主要包括视频数据的视频（图像）部分，视频数据的音频部分，以及从视频内容中提取的字幕部分。（2）结合视频和图像分析技术，构建视频数据的基于目标的索引框架。（3）针对大规模视频数据，优化高维特征空间聚类算法，提出适合海量视频数据的高效可扩展的聚类和索引生成方法。（4）针对视频本身固有的特点提出结合视频时间相关性的快速高效的搜索算法。（5）构建一个基于多模态信息的高效鲁棒可扩展视频复制检测系统。本申报课题是一项为了解决影响制约视频复制检测系统应用的关键技术问题的一项应用性基础研究工作。

本课题针对基于内容的视频复制检测技术，以提高视频复制检测精度和速度为目标，综合采用音视频分析技术、高维特征空间聚类和索引技术以及图像检索技术，研究面向大规模视频数据的可分级的高效鲁棒的视频复制检索系统框架。提出了一种改进的SIFT描述子可用于图像表达和匹配。提出了一种基于多级采样的自适应k-均值聚类算法(SHAKM)并应用在视频拷贝检测系统中。对于图像特征提取、特征聚类及目标跟踪进行了较为深入的研究，结合图像分析和运动分析，研究构建基于运动目标的索引结构，利用视频数据帧间相关性，研究快速搜索算法，提出了一个针对视频流的基于图模型的视频拷贝检测方法。提出了一种基于字幕关键点视频字幕检测的统一框架。提出了一种具有尺度和旋转不变性的Gabor纹理特征。提出了一种具有尺度和旋转不变性的局部二值模式LBP特征。基于视觉词汇的倒排索引结构，提出了一种基于SIFT特征不变性权重和Bundle特征SROA空间几何一致的大规模图像检索系统。构建了一个基于多模态信息的高效鲁棒可扩展视频复制检测系统。