面向长序列的人体关节运动基元学习及其重建

Human motion reconstruction plays a very important role in the rehabilitation training of hemiplegic patients. Most of motions are acquired from the vision-based motion capture system in limited experimental indoor environments expensively. This project will focus on human motion reconstruction from a single long video sequence captured by a fixed or mobile equipment. The limitations of existing approaches for reconstruction of human motion are: 1) most approaches took the common orthogonal bases to represent 3D trajectories, and they considered neither the spacial constrains nor learning bases to reconstruct human motion; 2) most approaches are only suitable to reconstruction from short 2D image sequences. To cope with the above problems, this proposal tries to use the geometry theory between 2D measurements and 3D structures, and sparse learning approach towards a long-term reconstruction of articulated points on human body. The contents of our research mainly include: 1) bases learning for human joint motion and structured sparse bayesian reconstruction; 2) missing points completing of joint motion in 3D space; 3) validation platform for human motion of harmony evaluation. Expected achievements will make a breakthrough in modeling and optimization algorithms of reconstruction of human motion. And it will overcome the limitation of motion capture systems which are allowed to collect data in limited indoor environments, and provide an efficient way to discovery human joint motion curve from a long-term sequence.

人体关节运动曲线在脊髓损伤所导致的偏瘫患者康复训练中有着非常重要的应用。当前大多曲线是在实验环境下通过视觉的运动捕捉系统获得，成本高且人体活动范围有限。本课题拟研究从固定或移动设备的单视频长序列中重建人体关节运动的三维轨迹，将室内采集的人体运动空间范围扩展至自然场景。现有人体关节运动重建技术的局限主要体现在：1)仅采用常规的先验基表示三维轨迹，只能重建简短的人体运动；2)仅考虑关节点运动的单一线性表达，缺乏运用人体关节点之间的时空约束。针对上述问题，本课题利用成像理论、几何约束和稀疏学习方法，具体开展以下研究内容：1)人体关节运动基元学习与结构稀疏贝叶斯重建；2)三维空间中人体关节点运动缺失补齐；3)人体关节运动协调性验证平台。预期成果将突破现有人体运动三维重建模型与优化方法，打破运动捕捉系统在室内有限空间采集数据的局限，为自然场景下长序列人体关节运动曲线恢复提供有效途径。

本课题研究从固定或移动设备的视频序列中重建人体关节运动的三维轨迹，将室内采集的人体运动空间范围扩展至自然场景。课题主要围绕“在什么样的基是好的”“如何得到一个更好的矫正矩阵Q”“如何实现大型人体点云数据的匹配”等人体非刚性重建的核心问题展开了深入研究。在尝试了多种不同基元，例如余弦正交基、PCA正交基之后，我们发现由于重建的过程依靠非线性优化，存在多个局部最优值。重建结果的好坏更多的由优化的质量所决定。我们成功探索了“从频率域重建人体运动”的方法。在项目后期，我们主要尝试“如何利用深度生成学习方法重建人体运动”，获得较好的结果，并进一步获得国家自然科学基金委的面上项目资助。. 在经过三年中多种失败和成功的尝试之后，我申请的国家自然科学基金青年项目“面向长序列的人体关节运动基元学习及其重建”课题的成果主要体现在：1、提出了一种不需要预先设定或者调试正交离散余弦基的个数的前提下，稳健的人体运动重建方法；2、提出了从频域开展人体运动重建的新思路；3、提出了一种快速的大型图匹配算法，可以用于人体点云数据配准。提出的方法在一定程度上突破了现有人体运动三维重建模型与优化方法，但与实际应用场景中实现不同相机模型下人体运动精确重构还存在一定的距离。