基于深度时空层级模型的人体活动识别方法研究

Human activity recognition is important to intelligent video surveillance, security and anti-terrorism, smart home, intelligent human-computer interaction, augmented reality, etc. in both the academic research and engineering applications. Based on the spatio-temporal representation of human activity, sematic features including scene context and human action primitives, are extracted to recognize the human activity through hierarchical graph models. Firstly, with the analysis for spatio-temporal characteristics of human activity, deep learning-based methods are introduced to extract and describe the spatio-temporal features of human activity. Then, the description methods of sematic features for human activity are thoroughly studied. On the one hand, based on the distribution of scene features, scene context features extraction and representation methods are proposed through effective feature selection mechanism. On the other hand, through analyzing the description ability of human action primitives for human activity, we introduce the attention mechanism into both the spatial and temporal domain to detect the human action primitives, and the extraction and representation methods of human action primitives are proposed according to the performance of different description ways for modeling human activity. Finally, the deep spatio-temporal hierarchical models, which model the relationships among the scene context, human action primitives and the human activity, are proposed to perform the human activity recognition based on deep learning framework and graph model theory.

人体活动识别在智能视频监控、安防与反恐、智能家居、智能人机交互和增强现实等方面具有重要的学术研究意义和工程应用前景。本项目以人体活动时空信息描述为基础，提取场景上下文、人体动作基元等语义特征，建立层级图模型以实现人体活动的有效识别。首先，从人体活动的时空特性分析入手，建立基于深度学习的人体活动时空特征提取与描述方法。然后，研究人体活动的语义特征提取与描述方法，包括两个方面：一方面针对静态场景在高层特征空间中的分布特性，设计有效的特征抽取机制，提出场景上下文特征提取与描述方法；另一方面通过在时域和空域上分别引入注意力机制实现人体动作基元的有效提取，分析人体动作基元的不同描述方式对人体活动建模的有效性，提出人体动作基元提取与描述的有效方法。最后，研究场景上下文和不同动作基元与人体活动之间的关系，在深度学习和图模型的基础上提出深度时空层级模型实现人体活动的有效识别。

人体活动识别是计算机视觉与机器学习领域的热点和前沿研究主题之一，在智能视频监控、智能家居、智能人机交互、虚拟现实与增强现实、基于内容的视频分析与数字娱乐等方面有着广泛的应用前景。本项目从人体活动的时空特性分析入手，对人体活动识别进行全面探索，主要完成以下三方面的工作：（1）基于二维与三维卷积神经网络，深入研究人体活动的时空特征提取与描述方法，通过构造新的局部时域正则项来描述动作的高时空复杂性和长时空相关性，提出基于时域平滑的序列子空间聚类算法；（2）研究基于场景上下文与注意力机制的人体动作基元提取方法，通过引入自适应局部竞争机制控制上下文信息的选择，提出时序模型与注意力模型级联的动作序列建模方法；（3）以场景上下文与动作基元特征为基础，通过捕捉视频序列中的运动人体目标，利用时空图卷积模型对人体活动视频序列的时空特征进行建模，提出基于层级时空图模型的人体活动识别方法。综合上述，本项目为解决人体活动识别领域中的关键科学问题奠定了坚实的理论基础，有利于提高人体行为和活动识别的准确率，可进一步推动智能视频监控、智能人机交互和公共安全与反恐等领域的技术发展。在本项目资助下，项目组成员对人体活动识别进行了全面深入地研究，共发表高水平学术论文15篇，申请国家发明专利9项、获国家发明专利授权1项，培养研究生12名，参加国际学术会议6次。