弱监督下的视频动作检测

With the exploding data in surveillance videos and videos on the web, activity detection in videos becomes one of the hottest research topics in computer vision. Though deep convolution neural networks (CNNs) have seen their great success in many vision tasks, they are hungry for labeled data. To lease the heavy burden of labeling video data, this project proposes a weakly supervised video activity detection system, i.e., detect video in untrimmed videos, supervised by activity class label of the video-level only. Specifically, the project will explore the following issues: (1) effective temporal activity proposal generation method, which will reduce the space of hidden variables in weakly supervised learning; (2) online video activity detection based on multitask loss which enhances the discriminative ability of the start parts of the activity; (3) light-weight video activity detection by exploring the discrimination and computing cost of a neuro in a boosting framework. We hope that the research would narrow the gap between weakly supervised learning and supervised learning, and provide a rapid activity detection for surveillance videos and web videos.

随着监控视频和互联网视频的爆炸式增长，视频的时域动作检测任务成为计算机视觉领域的热点研究问题之一。深度卷积网络在很多视觉任务取得了巨大成功，但其训练依赖于大量标注好的训练样本。为了减轻繁重的视频数据标注负担，本项目研究基于弱监督的视频动作检测算法，即仅利用视频级别的类别标签作为监督信息进行动作检测。项目拟研究：(1) 高效的时域动作候选提取方案，减小弱监督学习中隐变量的搜索范围；(2) 基于多任务损失，通过增强动作初始阶段的判别能力，及早预测动作的发生，实现在线动作检测；（3）探索轻量级视频动作检测方法，研究计算代价敏感的Boosting卷积模型，实现快速检测。项目研究旨在缩小弱监督模型与监督模型之间的性能差距，实现端到端的快速视频动作检测，为监控和互联网视频应用提供技术支撑。

随着视频的爆炸式增长，视频动作检测任务成为计算机视觉领域的热点研究问题之一。深度神经网络在很多视觉任务，包括视频动作检测任务上取得了巨大成功，但其训练依赖于大量标注好的训练样本。为了减轻繁重的视频数据标注负担，本项目研究基于弱监督的视频动作检测算法。.针对弱监督情况，我们基于多实例学习，所做工作包括：（1）提出包内包外联合损失用于多实例学习模型，减小弱监督学习中隐变量的搜索范围；(2) 针对动作类别的开放性问题，提出通过构造合成开放动作类别集合和已知动作类别集合，并采用元学习方式实现开放动作类别的检测；（3）针对在实际应用中人们习惯的描述语言弱标注形式，提出基于跟踪的片段级多实例学习范式，学习视频时空区域和描述语句之间的匹配，使得网络对区域提议网络具有鲁棒性。.由于在线视频动作检测在监控和人机交互等应用中更实用，我们对动作预测和在线动作检测展开研究，具体包括：（1）提出残差特征学习模型学习部分特征到全局特征的映射，并通过对不同观测率的训练视频采用课程学习的方式训练模型，能根据部分可见的视频预测完整动作视频的特征；（2）基于Transformer强大的时序建模能力，提出了基于Transformer的动作特征预测和在线动作检测算法，取得了良好的动作检测效果；（3）针对Transformer计算量大的问题，对标准自注意力机制中的计算进行简化，并通过时序卷积进一步降低相邻自注意力层间的令牌数目，对模型进行轻量化。（4）在实际应用中，研究基于压缩域的视频特征提取，加速视频特征提取过程，使得系统更实用。.项目完成研究目标，共发表论文13篇，申请专利3项，研发的在线视频动作检测模型在国家电网机房监控和中国航天员训练中心的实验鼠行为分析中试用。