基于概率图模型的复杂行为识别

Complex activity typically consists of multiple agents or sub-activities which coordinate or interactive with each other over a period of time. Due to the complexity, variety and uncertainty, it is quite challenging for complex activity analysis and modeling. In this proposal, we aim to systematically analysis and recognize complex activity using probabilistic graphical models. Complex activity is divided into two categories: the composite activity and the interactive activity. Different parsing, representation and recognition methods will be studied for each category. We will discover and model the complex spatiotemporal relationships, design efficient model learning and inference algorithms. We also explore multiple granularity analysis to find a unified representation framework in order to simultaneously recognize both the complex activity and the sub-activities. In addition, we will employ the deep learning method to discover high-level nonlinear features instead of the traditional hand-craft features. The parameters of the deep neural network and the graphical models will be jointly optimized. We will finally develop practical complex activity recognition prototype systems for applications to intelligent wearable device, human machine interaction and sports analysis.

复杂行为是由多个成员或多个子行为相互协调、交互或组合完成的活动。由于其自身存在的复杂性、多变性和不确定性，对其分析和建模具有相当的挑战性。本课题旨在以概率图模型为理论工具对复杂行为进行系统的分析和研究。我们将复杂行为分为组合行为和交互行为两大类，针对不同类型行为的特点，研究解析、表达和识别的方法，提高复杂行为识别算法的精度和鲁棒性。对复杂行为中包含的复杂时空交互关系进行深入挖掘和建模，设计高效的概率图模型学习和推断算法。运用多粒度分析策略，探寻统一的多粒度联合表示框架，能够同时识别不同粒度的行为语义。此外，还将改变传统手工设计特征的表示方式，将深度神经网络与图模型相结合，提出深度神经网络和概率图模型联合优化的方法， 以提高模型的表达能力。我们力图最终开发出实用化的复杂行为识别原型系统，为可穿戴设备、人机交互、体育比赛分析等应用提供解决方案。

按照项目计划书的规划，本项目研究了基于概率图模型的复杂行为识别。在过去四年（2016年-2019年），在本自然科学基金项目的支持下，我们探索和研究了人体行为识别中存在的若干关键问题，重点研究了复杂时空建模和描述、层次化图模型的构建和学习、深度神经网络与图模型参数的联合非凸优化等问题，提出了基于时空变换的循环神经网络，基于人体关键点导引的深度时空卷积神经网络模型，基于耦合隐条件随机场模型的视频内容理解算法等模型与方法，提高了行为识别模型的准确率和鲁棒性。项目组成员按照年度计划，围绕以上研究要点扎实有序的开展工作，并取得了一定的研究成果：共发表高质量的学术论文11篇，其中国际期刊论文3篇，国内期刊论文1篇，国际会议论文7篇。项目组成员积极开展国际学术交流，有6人次参加国际和国内学术会议。另外，本项目资助培养博士生和硕士生4名。综上，我们按照预定计划较好的完成了各项研究内容，取得了多项先进研究成果，达到了本项目的预期研究目标。