视觉人体运动的贝叶斯学习、分析与合成

Human motion contains rich causal structure, which has its physical counterpart in real world. So, complex human motion could be constructed by or parsed as local parts. Exploring the intrinsic compositionality and causal association contained within human motion, therefore is critical for solving the four basic problems, perception, measurement, understanding and synthesis of human motion. To this end, in this application, we propose a probabilistic Bayesian generative model, based on which visual human motion can be modeled to explore the causal structure. The three important research topics, namely prior learning, posterior inference and image synthesis, centered on the core Bayesian model, are basic constructs for solving the four problems. Based on data driven primitive learning, the proposed model comes up with the power of learning to learn via small sample set. By posterior inference and generative mechanism, one shot classification, one shot synthesis, limb segmentation and pose estimation could be solved at the same time. The proposed model integrates parsing and synthesis into a data driven Bayesian framework, making them beneficial each other and providing a novel and flexible mechanism for solving the problem of visual human motion.

人体及其运动蕴含着与现实语义相对应的因果结构，层次丰富、复杂多变的人体运动，可通过人体肢体部件进行构造与解析。因此，挖掘人体运动内在的组合性与因果关联，是整合解决视觉人体运动感知、测量、理解与合成四个核心问题的关键。为此，本申请以贝叶斯程序学习为核心模型，对视觉人体运动进行概率生成式建模，系统开展先验学习、图像后验概率推断，以及图像合成三方面内容的研究，为应用层上四个核心问题的整合解决奠定理论和技术基础。以数据驱动的元组件先验学习为基础，提出的贝叶斯框架可望达成举一反三的小样本学习能力，通过后验推断和概率生成机制，同时解决基于单样本的动作识别、基于单样本的图像合成以及肢体分割与姿态估计等多个应用问题。申请书提出的概率生成式框架，把视觉人体运动的合成与分析集成到一个数据驱动的贝叶斯学习框架内，互为条件，彼此契合，为解决人体运动分析问题提供新的思路，具有学术意义和应用前景。

人体运动的视觉分析是计算机视觉领域的一个极具挑战性、同时又具有广阔应用前景的课题。本项目针对人体运动的三层次任务，即：（1）底层人体运动视觉感知: 人体检测、分割与跟踪，（2）中层人体运动视觉测量：人体姿态估计与表面重建， （3）高层人体运动视觉理解：视频人体动作识别与时序定位，开展了深入系统的研究。在深度学习的框架内，提出了人体检测与跟踪、分割的一系列新方法，为人体运动视觉分析走向真实场景应用奠定了良好的基础；构建了有效的人体三维重建方法、以及双目深度重建算法，为姿态、体态测量提供了新方法和更有效的输入信息；开发了一系列时序人体动作定位与识别算法，为理解与分析视频人体动作打造了有效的工具。项目提出的视觉人体运动的学习、分析、与合成，在上述三层次任务中均得到了充分的探索和研究，并获得了诸多有益和有显示度的研究成果，为进一步的原创探索与成果转化奠定了坚实的基础。