面向语义事件的视频故事单元关联分析与跟踪关键技术研究

基于语义的视频分析是视频研究领域的一个热点问题。然而视频语义获取面临很多实际困难，因此在视频分析研究中缺乏类似于文本领域开展的"话题探测与跟踪"研究，而开展面向语义事件的视频故事单元关联分析与跟踪研究能够利用视觉信息实现基于语义事件的报道分析与跟踪，在信息检索、情报分析、辅助决策等领域具有广泛的应用，具有重要的理论和应用价值。本项目以实际服务需求为牵引，研究以故事单元为基本语义单位的视频关联分析系统模型，在此模型基础上，对一系列关键技术进行深入研究，包括：相似关键帧识别技术、故事单元关联分析技术、故事单元相似度计算技术、故事单元"多线程"跟踪技术。项目研究能对报道相同事件的故事单元进行关联和"多线程"跟踪，可以体现事件报道变化的历程，改善信息的组织与检索方式。不仅可以提高视频处理的智能化程度，而且可以为更高层次的用户个性化需求奠定技术基础，推动视频挖掘技术的进一步发展。

随着信息和网络技术的不断进步，视频在日常生活中的应用日益凸显。面对海量的视频数据，用户通常关心的是与某一特定事件相关的各种信息，因此迫切需要一种能有效自动识别报道同一事件的视频片段的方法。. 以服务实际需求为背景，项目研究了以故事单元为基本语义单位的视频片段关联分析与跟踪关键技术。为指导关键技术的研究，项目首先研究和完善了相似关键帧的属性、相似关键帧与故事单元关联关系之间的联系以及视频的多维事件空间模型。在此基础上，重点研究了视频关键帧特征描述与匹配方法、基于相似关键帧探测的故事单元关联分析方法、故事单元相似度计算和线程化跟踪方法等重点内容。. 视频关键帧特征探测和描述是相似关键帧识别的重要基础，项目针对不同类型视频的特点，引入了MSF颜色全局特征描述方法和当前图像匹配领域得到有效应用的局部关键点探测和描述方法，研究了视频关键帧基于SIFT特征和CSIFT特征的关键帧特征点提取和描述方法。此外，项目还在基于FAST特征检测与BRIEF描述算法的关键帧特征提取方法上开展了一定的基础性研究。. 为实现按照事件或专题进行故事单元分组，项目分别以新闻视频和动画视频分析的实际需求为背景，提出了基于相似关键帧探测的故事单元关联分析方法。重点研究了新闻视频基于SIFT特征匹配和融合FAST与BRIEF特征的相似关键帧识别方法、动画视频融合MSF全局特征和CSIFT特征的相似关键帧识别及相似度分析方法，并进一步研究了基于相似关键帧的故事单元关联分析方法，在一定程度上解决了应用需求面临的时间效率和识别效率均衡性问题。. 为实现对视频故事单元进行方便的浏览、检索和跟踪分析，项目提出了故事单元线程化跟踪方法。重点研究了新闻视频基于概念关系的语义概念探测方法、新闻视频故事单元多特征融合的相似度计算方法，结合图论知识研究了新闻视频基于专题的故事单元多线程跟踪和表现方法。. 项目综合上述研究工作，以新闻视频和动画视频作为载体，分别构建了方法演示的原型系统，实验验证了系列方法的有效性。