基于时空流形学习与概率图模型的人体动作识别

Human action recognition is important to intelligent computer-human interaction, smart video surveillance, security and anti-terrorism, driving assistance, augmented reality, etc. The project research focuses on the spatio-temporal information extraction and representation, the feature dimension reduction and spatio-temporal intrinsic feature extraction, and the spatio-temporal classifier design for the human action recognition. To deal with the non-rigid motion, the appearance variability, the high spatio-temporal complexity, and the long range dependency in the human action recognition, three effective methods are proposed. (1) Combining the part-template tree model (PTTM) with visual tracking, the accurate segmentation method for the human silhouette is introduced. With the human silhouette sequences, the basic spatio-temporal unit of the human action can be correctly extracted, and the spatial feature can be effectively constructed. (2) Through the spatio-temporal extension of spatial manifold learning algorithms, the feature dimension reduction method is presented to uncover the spatio-temporal intrinsic structure underlying the high dimensional feature space of human actions. (3) The human action recognition method is proposed based on the spatio-temporal manifold embedding and the latent-dynamic conditional random field (LDCRF). The theoretical framework of the spatio-temporal inference for human action recognition is established by LDCRF models. Under the theoretical framework, the spatio-temporal intrinsic structure of the human action is perfectly combined into the spatio-temporal inference process of LDCRF models, which can improve the performance of human action recognition.

人体动作识别在智能人机交互、智能视频监控、安防与反恐、辅助驾驶和增强现实等方面具有重要的研究意义。本项目主要研究人体动作时空信息的有效提取与描述、动作特征降维与时空本征结构提取、动作识别的时空分类器设计。针对人体目标的非刚体运动、外观多变性和人体动作的高时空复杂性和长时空相关性，提出有效的解决方案：（1）将视觉跟踪与改进的部分模板树模型（PTTM）相结合，提出人体姿态剪影图像序列的精确分割方法。以此为基础，建立动作的基本时空单元提取和空域特征构建的有效方法。（2）通过对空域流形学习的时空拓展研究，提出人体动作特征降维与时空本征结构提取方法，实现动作的低维时空本征特征提取。（3）提出基于时空流形嵌入与隐动态条件随机场（LDCRF）的人体动作识别方法。以LDCRF模型构建动作识别的时空推理理论框架，将动作的时空本征结构与LDCRF的时空推理机制有机结合，实现人体动作的有效识别。

人体动作识别一直是计算机视觉和模式识别领域的研究热点，在学术研究与工程应用两方面都具有极其重要的意义。其研究主要包括三个模块：人体动作时空信息提取与描述，人体动作时空特征本征结构提取和人体动作识别理论与方法。.人体动作时空信息提取与描述是人体动作识别的基础，包括人体剪影序列的精确分割和人体动作的基本时空单元提取。本项目采用ViBe(Visual Background Extractor)算法以及基于隐式低秩近似的背景减除算法来实现人体剪影的提取；基本时空单元的提取，采用在空域引进典型关联性分析（CCA）来改进DTW得到正则时间规整（CTW）方法实现。.人体动作时空特征本征结构提取是动作识别的关键，通过有效的特征降维理论提取人体动作的本征特征，能显著提高特征的鉴别能力。针对人体目标的非刚体运动、外观多变性和人体动作的高时空复杂性和长时空相关性等特点，将传统的流形学习算法向时空域拓展，提取更具鉴别力的人体动作本征时空特征。我们创新性地提出了两种新的时空流形学习算法，最大时空差异化嵌入（MSTDE）和有监督的t-分布随机邻域嵌入算法（S-tSNE和ST-tSNE）。局部流形学习算法MSTDE在局部保持投影（LPP）和局部时空判别嵌入（LSTDE）的启发下，通过将类别标签信息和时域信息有效地嵌入到LPP的框架中，重点关注那些外观相似却来自不同动作类的数据点，可充分利用人体动作的高时空复杂性和长时空相关性。全局流形学习算法ST-tSNE在t-分布随机邻域嵌入算法的基础上引入类别标签信息和时域信息，能有效提高数据的聚类效果和低维数据判别能力；针对外来数据的嵌入，结合局部保持投影（LPP）和局部线性嵌入（LLE）的思想提出了增量学习方法。.人体动作的识别理论与方法是人体动作识别研究的核心，针对人体动作的时空长相关性，以时空流形学习为基础在本征低维流形空间上探索基于概率图模型的人体动作识别的理论框架。深入分析了条件随机场（CRF）算法机理，探索了隐条件随机场（HCRF）对人体动作序列建模。为了提高模型对动作序列时空信息的描述能力以及降低模型的训练时间，引入了L1正则化的优化策略来稀疏模型中的边以获取人体动作序列图模型本征结构，包括L1稀疏和L1-Group稀疏。为了充分利用概率图模型对特征选取的自由性，提出采用局部特征结合全局特征的方式来提高模型对动作序列的描述能力。