基于视频和深度数据融合的无标记点三维人体姿态捕捉方法研究

Optical marker-less human body motion capture (MHMC) is a core technology in the field of optics and machine vision. There are some problems which are hard to solve in MHMC whatever using video or depth sensor data. We propose a creative technical solution which combines video and depth data by information fusion in this project. A new energy function based on the deflection angle and distance function is proposed within the Minimum Ratio Cycle (MRC) optimization framework. Through this method, we can extract the silhouettes automatically and robustly from the video sequences. Using complementarity of video and depth data, effective fusion methods are presented in feature level, algorithm level and decision-making level. For the rational use of different types of feature points obtained in data fusion, the 3D human body motion tracking problem is transformed into a hierarchical nonlinear least squares matching problem within the Hierarchical Weighted ICP (HWICP) optimization framework. Further, based on reliability of above feature points, weight assigning methods are given. At last, Weighted Extended Orthogonal Procrustes Analysis (WEOPA) is used to solve the body posture in the algorithm. Fusion of multi-class features in video and depth data can effectively improve the performance of motion capture. The proposed modeling and solving method is applicable for arbitrary feature points, and easy to integrate some other 2D image features for follow-up studies in the future. The research achievements of MHMC in this project will provide theoretical and technical support for its practical application in many fields, such as 3D animation film production and sports biomechanics analysis.

光学式无标记点三维人体姿态捕捉是光学及机器视觉领域中的一项核心技术。目前无论是基于视频,还是基于深度数据的姿态捕捉技术,都因精度或可靠性问题一直难以获得实际应用。针对此问题，本项目提出一种融合使用多目视频和深度数据的新方案：首先在最小比率环几何优化框架下,提出一种基于偏转角和距离函数的能量函数,提高视频中人体轮廓提取的鲁棒性；针对异构数据视频与深度，基于其互补性，提出二者在特征层、算法层和决策层的有效融合方法；同时为合理利用数据融合得到的不同类特征点集，本项目使用HWICP优化框架将人体运动捕捉建模成为一个分层加权非线性最小二乘匹配问题，进而基于各类特征点集可靠性提出权值分配方法，并采用加权扩展正交普鲁克分析(WEOPA)来对人体姿态进行求解。上述框架可同时处理三维点云特征和二维图像特征，且对二维图像特征的处理具有通用性，易于后续集成一些新的二维图像特征，以实现精确可靠的三维人体姿态捕捉。

项目背景：三维人体姿态捕捉与跟踪是多种机器视觉分析任务中的共性关键技术，更是三维虚拟现实/增强现实应用场景中的底层核心技术。同时三维姿态捕捉与跟踪的精度和可靠性又制约着三维姿态识别系统的精度和可靠性，尽管当前基于人体姿态数据的动作识别研究往往假定已获得了精确的人体姿态，但实际应用中三维人体姿态捕捉、跟踪与识别需要一体化系统研究。.主要研究内容：本项目基于视频和深度数据，深入研究了图像中轮廓提取(分割)、不同层次上的信息融合、对象三维重建、三维人体姿态捕捉、跟踪与识别等理论和算法问题，研究取得的主要进展、重要结果、关键数据可详见本报告正文结题部分第2节第(2)条所述。.科学意义或应用前景：针对上述研究内容我们提出了一种新的对象轮廓协同分割算法；设计了多目图像的特征融合、多深度网络特征提取融合、空间和通道注意力机制融合等在不同层次上的信息有效融合方法；提出了一种新的三维外形重建算法；面向二维姿态跟踪向三维姿态跟踪提升，设计了一种新的三角化求解算法，并将相关研究工作应用于三维动漫体感游戏制作、三维建模虚拟漫游、模拟驾车运动分析、手势识别体感控制等领域。到目前为止，项目组撰写了9篇论文：已发表论文7篇，含CCF推荐A类期刊论文2篇，CCF推荐C类期刊论文3篇；另外有2篇中科院一区SCI期刊论文正在外审中。申请发明专利2项（已获批一项，另一项在外审中），获批软件著作权3项，培养研究生7名，较为圆满地完成了项目研究目标。