视频中人的复杂动作预测

Prediction of human activities is a new active research area in the domain of video analysis. It infers ongoing activities in partially observed videos, and has many promising applications including intelligent surveillance, human computer interaction, and visual reality. This project focuses on predicting long-duration activities with rich semantic information. We investigate how to model the hierarchical structure of activities by analyzing the semantic context in videos, and discuss the prediction of ongoing activities with prior semantic constraints. A weakly supervised atomic action detection algorithm is designed for automatically discovering the latent semantic concepts in videos. In order to infer unknown concepts in future video, we present an inference mechanism of semantic content by modeling the temporal context of atomic actions. We develop a discriminative structural model for activity prediction, which captures the intrinsic relationship between human activities and latent atomic actions.

视频中人的动作预测，需根据不完整的视频内容分析正在进行的人的动作，是视频分析领域一个新兴的热点和难点问题，可广泛应用于智能视频监控、人机交互、虚拟现实等领域。本项目重点研究持续时间较长且具有丰富语义的复杂动作的预测问题，深入探讨如何通过分析视频中的语义上下文关系来建模复杂动作的层级语义结构，以及如何利用这些先验的语义约束关系来推理视频中正在进行的复杂动作。拟提出一种弱监督的原子动作检测方法，自动从视频中提取潜在的中层语义概念；拟研究一种中层语义推理机制，根据原子动作的时序上下文知识推理视频中未知的中层语义概念；拟设计一种判别式复杂动作预测模型，通过建模复杂动作与原子动作的交互关系来分析正在进行的复杂动作的类别。

视频中人的动作预测是视频分析领域的一个新兴研究热点，要求根据不完整的观测视频推理正在进行的动作，在动作发生的早期分析它所包含的语义含义。针对持续时间较长且具有丰富语义的复杂动作的预测问题，本项目重点研究了复杂动作的语义表示和层级语义关系建模。提出了基于中层语义推理的动作预测方法，以数据驱动的方式从不完整视频中提取中层语义概念，设计了基于广义混合转移分布模型的语义推理机制，根据中层语义概念之间的上下文关系来推理未观测到的语义信息。提出了基于动作进展分析的动作预测模型，将动作进展状态作为模型的隐含变量，采用统一框架建模动作进展状态、底层视频特征、中层观测语义序列与推理语义序列、高层动作类别之间的约束关系。随着项目的开展，进一步探索了人的动作分析领域的一些关键问题。研究了长视频中多个动作的联合分割与识别问题，提出了一种带有隐含变量的结构化判别式模型，将包含多个动作的长视频进行分割，同时标注每个视频段的动作类别；为了获得合理的视频初始分段结果，设计了基于运动方向的分段方法。研究了多视角动作识别问题，提出了一种基于多任务随机森林的学习框架，从多视角视频中学习具有判别力的中层特征表示。研究了RGB-D图像序列中的动作识别问题，提出了一种基于多特征融合的动作识别方法。本项目研究工作按项目计划书执行，顺利完成预期目标和任务。经过三年的实施，课题组在国际、国内学术会议和期刊上共发表了18篇论文，其中SCI期刊论文3篇，EI期刊论文2篇，CCF推荐会议论文2篇，CCF推荐中文期刊5篇；申请发明专利3项，获批软件著作权1项；培养研究生11人，其中7人已毕业。