基于内容的视频事件检测与描述研究

In recent years, we have observed the explosive growth of video data on Internet and in people's daily life. This provides people with more convenient ways of information sharing and spreading. Meanwhile, great opportunities and challenges are posed to video retrieval and security surveillance systems. Due to the limitation of the text-based video search engine, there exist high demands for content based video retrieval system. Video event detection and recounting play the key roles in video content analysis. In this project, first, we research novel feature representation and machine learning techniques to improve the accuracy of video event detection. Second, we generate a recounting for the detected event so as to vividly describe the video content. The research issues include: 1) We explore the temporal relationships in videos for event detection by proposing a novel temporal feature representation, and different similarity measures between features; 2) We propose to adapt SVM (Support Vector Machine) classifier to the temporal features, and experiment other classifiers including HMM (Hidden Markov Model) and CRF (Conditional Random Field) to model the temporal relationship in videos; 3) We propose new algorithms to locate target events in both spatial and temporal dimensions, and extract the concepts which are the most related to the events; 4) By combining video concepts, semantic network and syntax knowledge, we generate a recounting to textually describe the events which is suitable for both human browsing and content-based retrieval of videos.

近年来，互联网视频数量和应用呈现爆炸性增长，这一方面丰富和便利了人们之间的信息分享和传播，同时也给视频搜索与内容安全监管带来巨大商机与挑战。目前基于文本的视频检索、安全监测技术的局限性越发明显,而对基于内容的视频分析技术的需求日益紧迫。其中，事件检测与描述对理解视频内容起着关键作用。本项目首先从特征提取和机器学习入手，研究视频事件检测的相关技术，提高事件检测准确率；在此基础上，融合不同信息，生成对视频事件的生动描述。主要研究内容如下:1)通过挖掘事件在时间上的关联，探索时序特征的提取和表示方法，以及相应的特征相似度度量算法；2)对现有SVM进行改进使其适用于时序特征，并研究HMM、CRF对视频事件过程性属性建模的方法；3) 研究事件在视频中时间、空间上的定位，以及事件相关要素和概念的提取方法；4) 综合概念检测、语义网络以及句法知识，对事件进行描述，使其同时满足人类语言习惯及视频搜索要求。

近年来，随着多媒体数据的爆炸性增长，对视频内容分析方法的需求日益紧迫。其中，对视频中事件的自动分析和理解扮演着至关重要的角色。根据项目任务书要求，本项目围绕视频事件检测和描述中涉及的问题进行研究，主要内容包括：1) 视频中时序特征的提取和表示：研究了基于视觉单词以及轨迹特征的提取和表示方法，提出了基于运动相对性的特征以及轨迹配对特征，较大程度提高了事件及动作检测的准确率；2) 对分类方法进行改进，提出了适用于时序特征的SVM分类器核函数，同时研究和改进了其他分类器包括HMM等对视频事件过程性属性建模的方法；3) 事件描述所需要素的提取：研究和改进了事件涉及的相关概念和动作的检测、识别方法，同时提出了事件、动作的时空定位方法；4) 事件描述方法：通过综合概念检测、语义网络以及自然语言处理句法、篇章知识，提出了基于格语法的事件描述方法，实现了在线事件/图像分类和描述系统。