基于稀疏表示和超图的视频事件语义分析方法研究

视频事件语义分析是视频检索、检测中非常重要而又异常困难的问题之一。本项目研究旨在快速有效地提取视频事件的时空上下文信息、建立容忍信息干扰的视频事件分析模型和综合视频事件的语义描述方法。主要研究内容包括：研究基于人工免疫的对象运动视频关键帧提取方法，以获取既能压缩视频数据又能较好反映对象运动特征的关键帧；研究具有非线性可鉴别性的视频事件特征稀疏表示方法，使视频事件的特征表示具有更好可鉴别性同时容忍视频图像存在噪声和干扰情形；研究基于概率超图的弱监督学习视频事件语义分析方法，使其能更有效地能处理视频事件信息不确定性并能更准确、更快速地分析多事件语义；针对多对象运动的多视频事件，研究基于对象运动事件的扩展格语法的综合视频事件语义理解与描述方法，以方便理解描述多事件的综合视频事件及充实完善事件分析模型。本项目研究对推动视频检索、检测技术发展与应用具有重要的理论意义和实际应用价值。

视频事件分析是多媒体技术和人机交互研究领域的热点问题之一，本项目针对视频事件时空上下文信息的有效获取、容忍信息干扰的视频语义分析模型和具有多对象多子事件的综合视频事件的理解与描述问题开展研究。主要研究内容：1）研究视频图像的有序关键帧提取和音视频特征的优选方法；2）研究可鉴别的视频特征稀疏表示及视频语义有效分类算法，以使视频事件语义分析能容忍信息干扰；3）研究基于超图模型的视频事件语义建模与检测方法；4）研究基于多对象运动事件的扩展格语法的综合视频事件语义理解描述方法。主要成果包括：1）提出了基于人工免疫有序聚类的视频关键帧提取方法，该方法能够有效地提取出反映镜头内容随时序变化的关键帧；提出了基于CNN的音视频情感状态潜在特征自动学习方法和基于AdaBoost特征优选方法，提高了复杂情形下的音视频情感状态检测性能。2）提出了基于核可鉴别稀疏表示、自适应局部敏感可鉴别的稀疏表示、两阶段的稀疏表示和加权KNN及相关分类算法的视频事件或语义概念检测方法，这些算法能有效表征视频特征的内在关联关系，有效改善了视频事件检测性能；3）提出了基于自适应概率超图的增量式半监督学习方法和多超图融合的视频事件语义分析方法，使视频事件超图模型的构建更具泛化能力，能有效提高视频多事件语义概念检测的准确率和查全率；提出了轨迹和多标签超图配对融合的视频复杂事件检测方法，在复杂事件检测中该方法具有更高的平均查准率和平均查全率。4）提出了时序频繁模式挖掘视频多对象运动事件方法、基于扩展格框架标注的视频事件多维关联规则挖掘方法和改进的多对象跟踪算法，并用于综合视频事件语义理解描述，有效地促进综合的视频事件语义的检测、理解和描述。本项目的研究为合理有效的视频事件时空上下文信息的有效获取、视频事件底层特征的可鉴别表达与有效分类识别、视频多语义概念的建模与检测、多对象运动的综合视频事件的理解与描述提供了有价值的参考。