单目深度相机的人体动态捕捉技术研究

Capturing dynamic human body could build the 3D meshes sequence, representing the geometric shape and motion pose, which describes the deforming evolution of an animating human body with time. The body capture problem is a classical problem in computer graphics, since the dynamic body is so highly complicated. Nowadays, new-invented depth camera, such as Kinect, has shown an alternate way to obtain 3D data in the easy way. It has the following advantages: high frequency (30 frames per second), no contact capture, low cost, etc. So, depth camera becomes an easy-to-use device to capture dynamic body. However, the quality of raw depth data is so low that it is more difficult to handle the data. Therefore, how to effectively use the camera to capture dynamic body has been an open problem, focused by the academic researchers..In the project, we would capture dynamic human body from a single depth camera, by using the parameterized body model to alleviate the limitation of the raw depth data. The mathematical foundation is that the space of human body could be described by the parameterized model using the shape and pose parameters. For an instance captured by a single depth camera, specific parameters of the shape and pose could be solved, and then a sequence of deforming meshes could be produced. In the planning, we would propose several new algorithms of capturing dynamic human body, thus, investigate the base technology for its wide applications, such as in animation, game, and simulation fields.

人体动态捕捉可建立描述活动人体的三维网格序列，表示人体随时间演化的几何外形和运动姿态。由于活动人体具有高复杂度，该研究是计算机图形学领域的经典问题。当前，以Kinect为代表的新型深度相机展示了获取三维数据的便捷方式，具有高频率（30帧/秒）、非接触式和低成本等优点，为人体动态捕捉提供了新硬件。但是，深度相机的原始数据质量低，对人体动态捕捉提出了更严峻的挑战。从而，如何利用深度相机完成人体动态捕捉成为当前学术前沿关注的问题。本项目拟使用人体参数化模型克服原始深度数据的不足，研究单目深度相机的人体动态捕捉技术：基于人体参数化模型公式化地描述了人体空间的几何外形和运动姿态这一事实，针对单目深度相机捕捉的人体实例，确定其在人体参数化模型中的具体参数，快速完成三维人体网格序列的重建。本项目拟提出人体动态捕捉的新方法，为其在模拟训练、动画、游戏等领域的广泛应用奠定技术基础。

本项目针对三维动态人体建模这一研究问题，利用人体参数化模型、人体结构、动作前后连续性等先验知识，有效提高了三维动态人体建模的效率。具体工作包括：提出了鲁棒的高频结构光编码算法，并设计实现了人体全身三维数据扫描系统；采集了中国地区部分三维人体数据，并提出了适用于三维动态人体重建的参数化模型；提出了一个从单个深度相机中实时重建人体的动作和几何外形的算法。简而言之，本项目的主要工作和创新点如下：.（1）提出了鲁棒的高频结构光编码算法，并设计实现了人体全身三维数据扫描系统，单次三维扫描时间降低至0.3秒，三维测量的误差为毫米级，对于头发、黑色的衣服也能够很好地重建；基于上述的机构光扫描系统，搭建了由8个结构光扫描系统构成的能够覆盖人体全部区域的全身扫描系统，在1.5秒内扫描完整的人体三维数据，从而有效避免了传统的长时间扫描带来的非刚性注册问题，将多个视角数据的融合转化为多视角的刚性注册问题；.（2）利用自主设计的人体全身扫描系统，采集了中国地区的三维人体数据，设计了适用于三维动态人体重建的参数化模型。模型将人体表征为姿势和形态两个维度张成的子空间。形态参数由人体的身高、体重、三围等参数表征；姿势参数由人的胳膊、躯干等区域的刚性变换来表示，在形态参数已经确定的前提下，姿势模型简化为LBS线性模型，从而有效降低了姿势求解时的复杂性。参数化人体模型作为强有力的先验知识，有效降低了三维动态人体重建的难度；.（3）提出了一个从单个深度相机中实时重建人体的动作和几何外形的算法，单帧的重建时间约为25ms，在标准数据集上测试的正确率达到了94％。算法引入了四项约束条件，有效提高了重建的正确性，并且由于LBS姿势模型的线性特征，能实时地完成模型的单视角生成，具有无标记点、实时生成等特征，为动作采集与重建提供了一种简易高效的方法。