人体运动视觉分析中的动态隐结构模型研究

Human body and its motion is highly strcutured due to the articulated skeleton configuration of human body.This characteristic is critical to solve the three basic problems of visual anaysis of human motion, namely, people segmentation, pose estimation and action recognition. By constructing the framework of discriminative latent structure model, the gap between structured low level visual feature and high level semantic label can be bridged by a intermediate latent structured layer. It can lead to an integrated solution to all the three problems within a unique framework simultaneously. In this project, we make the systematic study in theory about the Dynamical Latent Structure Model (DLSM) for human motion analysis. And, the algorithms and the approaches to train the model and make inference are also our main research contents. The adaption of the proposed DLSM to simultaneous people segmentation, pose estimation and action recognition is of our central interest.To provide informative and compact structured visual information for DLSM, we propose to develop effective methods for detecting, representing, and matching of both global and local features. To the best of our knowledge, the proposed ideas of DLSM, which is specially designed to solve the three basic problems of human motion in dynamical image sequence within a unique framework, is quite novel. It can model latent structures of human motion in both time line and image plane at the same time. This is the important innovation and feature of our project.

人体及其运动具有高度的结构化特性，这一特性对人体运动视觉分析的三个基本问题：人体的分割、姿态估计和动作识别具有重要意义。通过建立判别式隐结构模型，可以把底层视觉观测和高层语义通过一个结构化的隐变量层有效沟通起来，从而使人体运动分析的三个基本问题有望在一个框架内高效解决。本项目系统研究人体运动分析中动态隐结构模型的理论架构和求解策略，以及在此框架下整合解决人体分割、姿态估计和动作识别的计算方法。并研究检测、表示与匹配全局和局部人体视觉特征的有效方法，为以动态隐结构模型为核心的人体运动分析提供紧凑而富含信息量的视觉观测特征。本项目提出的针对序列图像的动态隐结构的理论研究以及在其框架内进行人体运动分析三个基本问题的整合求解，可对时间序列上的人体运动同时进行线（时间）和面（图像）上的隐结构建模，是本项目的主要创新和特色。

着眼于人体及其运动的高度结构化特性，本项目试图从理论算法和实际应用两个层面对人体运动视觉分析进行深入探索。对于人体运动视觉分析的三个基本问题：人体检测分割、姿态估计和动作识别，试图打破过去各自解决、彼此独立的框架，通过挖掘人体的结构化特性，达成信息的高效利用和共享，以降低问题求解难度。围绕这个总体目标，项目执行过程中的具体研究内容可概括为五个部分：（1）动态隐结构分析的基础理论的算法；（2）底层人体运动视觉分析：人体检测、分割与跟踪；（3）中层人体运动视觉分析：人体姿态估计；（4）高层人体运动视觉分析：人体动作识别；（5）视觉检测、估计与识别的整合框架研究。以上研究工作，对项目申请书中提出的课题研究目标进行了全面探索，建立了人体运动视觉分析新的整合计算框架和一套有效的计算方法，为在此方向上进一步深入研究夯实了基础，对持续深入在此方向上的探索具有重要意义。相关研究成果形成学术论文30余篇，其中包括中国计算机学会A类期刊和A类会议论文、以及IEEE汇刊、Nuerocomputing、MTA、IEEE ICME、ICIP、ACCV、WACV等领域内权威期刊和会议论文；在项目成果转化应用方面，获专利授权3项，部分研究成果已应用于实际项目中，并取得了满意成效。