基于全向深度视觉的高精度人体肢体运动三维重建研究

3D reconstruction of human articulated structure is a key problem in the fields of computer vision and human computer interactions. Its aim is to reconstruct the dynamic skin deformations and skeleton joint poses. A key problem of this research is its robustness. It is still a challenging problem to make use of pose databases and static human model for 3D reconstruction of human articulated structures. In addition, it is still unknown how to simultaneously reconstruct dynamic skin deformations and skeleton joint poses. In this research, we aim to design a general framework of 3D reconstruction of human articulated structure with omnidirectional depth cameras. The research consists of five parts:a computational framework for 3D reconstruction of human articulated structure with omnidirectional depth vision,self-calibration of omnidirectional depth cameras, estimation of user-specific human model, body parts recognition in the scenario of omnidirectional depth cameras, and real-time joint pose relocalization. We will use experiments with simulated data as well as real data to evaluate the performance of our method.

肢体运动三维重建是计算机视觉和人机交互领域的共性问题与关键技术，主要目标是通过相机拍摄的图像重构人体表面面片模型、恢复关节运动姿态，其核心问题是其鲁棒性问题。如何在保证重建效率的前提下，有效使用静态肢体模型和肢体运动数据库可提供的语义信息是亟待解决的问题。此外，已有研究中肢体运动和表面模型分别由人体骨骼跟踪和表面模型重建两种不同的研究方法解决，还缺乏行之有效的手段融合这两种研究内容。基于这一背景，本项目旨在研究适用于全向深度视觉场景下的人体肢体(手或全身)运动三维重建计算框架，通过多目深度相机拍摄的图像上重构人体运动过程的肢体表面模型和关节运动姿态。主要研究内容包含：适用于全向深度视觉场景的肢体三维重建框架；全向深度视觉系统的自动标定；个性化肢体静态模型重构算法；全向深度视觉场景下的肢体部件识别；实时鲁棒骨骼姿态重定位算法等。最后，我们拟通过模拟和真实实验来验证本文提出方法的有效性。

肢体运动三维重建是计算机视觉和人机交互领域的共性问题与关键技术，主要目标是通过相机拍摄的图像恢复关节运动姿态，其核心问题是其鲁棒性问题。如何在保证重建效率的前提下，有效使用静态肢体模型和肢体运动数据库可提供的语义信息是亟待解决的问题。本课题给出一种适用于深度视觉场景下的肢体三维重建计算框架，特别是人手区域检测和人手姿态估计算法，明确人手图像区域检测、基于三维体素表示的人手姿态估计、基于点云表示的三维人手姿态估计模型、基于多任务神经网络的彩色图像人手三维姿态估计及其密切相关的环境光照恢复算法。设计一个基于物理渲染的百万量级人手模拟数据集“PBRHand Dataset”(Physically Based Rendering Hand)，为人手姿态估计的研究提供数据基础。本项目研究成果可进一步应用于三维人机交互、虚拟现实和增强现实应用中。