采用单个手持RGB-D 像机的无标记人体运动捕获方法研究

Recently, using a single depth camera for motion capture is a hot topic in computer vision community. But the location of the camera is usually fixed in current methods. For the limited field of view of a single camera, the application of the single view motion capture system in large scale indoor environments is restricted. Model based pose tracking method can estimate complex body motion without motion database, however, it needs expensive or complicated devices to get accurate human body models. For these, we plan to use a single handheld RGB-D camera to capture human motion and to build 3D body model in this project. We will make researches on human body contour tracking by combining color and depth cues, 3D body modeling with a handheld RGB-D camera, camera pose estimation in dynamic scenes, and robust model-based 3D human pose tracking method. The main innovation points of the project include using a handheld RGB-D camera for capturing human motion to solve the problem of the limited field of view of a single fixed camera, a low-cost but high-quality scheme for 3D human body modeling and a robust 3D human pose tracking method based on Gaussian mixture models. The researches of the project will provide new ideas and methods for the applications of the single view motion capture system in large scale scenes and the design of a low-cost, simple-structure, and high-quality 3D body modeling system.

采用单个深度像机捕获人体运动是当前计算机视觉领域研究的热点。但在已有的方法中，像机位置通常都是固定的。由于单个像机的视场有限，限制了单像机系统在大范围场景中的应用。基于模型的人体姿态跟踪方法无需运动数据库就能估计复杂的人体运动，但通常需要采用价格昂贵或结构复杂的设备对人体建模。对此，本项目采用单个手持 RGB-D 像机捕获人体运动和对人体进行三维建模。研究融合颜色和深度信息的人体轮廓跟踪、采用单个RGB-D像机的人体建模、动态场景下像机位姿估计和基于模型的鲁棒的人体姿态跟踪方法。主要创新点包括：采用手持 RGB-D 像机捕获人体运动以解决单个固定像机视场有限的问题、提出一套低成本、高质量的人体建模方案和基于高斯混合模型的人体姿态跟踪方法。本项目研究将为单像机运动捕获系统在大范围室内环境中的应用和结构简单、低成本、高质量的人体建模系统的设计提供新的思路和方法。

采用单个深度像机捕获人体运动和实时建立三维人体模型是当前计算机视觉领域研究的热点。本项目针对现有的消费级深度相机三维重建精度较低的问题，研究了结合散斑图像立体匹配和光度立体视觉方法的高精度三维重建方法，提出了一种点光源参数（包括位置和亮度）自标定算法，设计了一款低成本、结构紧凑、实用的近光源光度立体视觉系统。研究了基于近红外运动散斑的空间-视觉立体视觉方法，实现了一种适用于三维人体建模的基于空间时间立体视觉的低成本三维重建系统。研究了基于相移结构光的快速三维重建方法，提出了一种新的基于参考图像的解相框架。研究了基于深度图像的人体三维姿态估计方法，提出了基于点云输入的神经网络的关节位置检测算法，并融合位置和法向信息改进关节角度跟踪策略，提出了鲁棒的人体姿态估计方法。.在国内外期刊和学术会议上已经发表4篇论文（其中国际SCI期刊1篇，中文期刊2篇，EI会议论文1篇），1篇SCI论文进入二审，出版著作1部（国防科技大学出版社），正在撰写的论文2篇。在应用方面，该项目研究成果“结合散斑立体匹配和光度立体视觉的三维重建系统”于2016年9月1日被用于景海鹏、陈冬等4名中国宇航员全身三维人体建模。此外，项目研究成果在2016年9月发射的天宫2号上得到了应用，用于测量在轨人体的三维运动姿态。