基于视觉+运动词典的视频事件检测研究

近年来网络视频的迅速发展,尤其是三网融合工程的试点与推进,给视频搜索与内容安全监管技术带来巨大商机与挑战。目前基于文本的视频检索、安全监测技术的局限性越来越明显,而对基于内容的视频分析技术的需求日益紧迫。事件检测对理解视频内容起着关键作用,当前的研究大多偏重于对视频静态特征的分析,对动态事件的研究还很薄弱。本项目拟从特征提取方面入手,研究大规模视频中事件检测的相关技术，提高事件检测的准确率与效率，主要研究内容如下:(1)研究视频中动态特征,主要是对物体运动轨迹进行分析与建模;(2)研究动态与静态特征的结合,以提取更加有效的特征完整描述视频事件;(3)研究事件参与者之间的相互作用，同时消除视频中摄像机运动所带来的影响;(4)研究特征选择等方法,从大量信息中提取对相应事件描述最有效的信息，提高事件检测的时间、空间效率及准确率，满足大规模视频分析的要求。

视频事件检测是近年来多媒体领域的一个主要研究热点，对于视频内容的自动理解、基于内容的视频检索以及网络视频内容安全监管等方面起至关重要的作用。本项目对视频事件检测方法进行了重点研究，主要包括视频动态特征和语义特征的提取。..对视频动态特征的提取，我们主要研究和提出了两种新方法。首先，通过对视频中关键点的运动轨迹进行跟踪和聚类，建立运动词典用于描述视频中物体的运动特征。同时，结合运动词典和视觉词典，综合描述视频静态和动态信息，实现对视频事件的检测。其次，利用运动相对性，通过计算特征点之间的相对运动，用于描述不同物体/背景之间的相互作用，同时消除摄像机运动对运动估计的影响。..在动态特征基础上，我们进一步研究了语义特征对视频事件检测的作用，通过检测视频中的各种语义概念，形成一个语义向量，描述视频内容。为提高视频语义检测准确率，我们对传统视觉词袋特征进行了改进。一方面，利用汉明嵌入，解决视觉词袋特征中的信息丢失问题；另一方面，按照其对特定概念的重要性，为不同视觉单词分配不同权重，更好的突出重要单词在语义检测中的作用。实验结果表明，我们提出的方法相对现有方法，对视频语义检测平均准确率提高了超过20%。..通过大量实验以及权威技术评测，我们所提出的方法大大提高了视频事件检测准确率。其中，项目组参加2012年TRECVID视频事件检测任务，在30余参赛单位中取得第一名的好成绩。