基于单个深度相机的无模板的非刚性重建和运动跟踪

Great progress has gained in the field of nonrigid reconstruction and motion tracking with a single depth camera. However, template-based methods often require to build template priors for different targets. There are large number of deforming objects that cannot be completely modeled by template priors. These methods are not adapted to modeling and tracking for general objects in practice. In recent years, many researchers focus on templateless methods and some excellent techniques have been appearing. However, accuracy and robustness of these techniques remains to be improved. Also, there are few works for reconstructing and tracking objects with large-scale motion. Thus, it is an urgent matter to reconstruct and track large-scale motion objects without template priors from a single depth camera. Based on the background, this project aims to research a robust and effective method for templateless nonrigid reconstruction and motion tracking. Our method can not only reconstruct and track for general objects with large-scale motion(e.g. human body, animal body, etc.), but also improve accuracy and robustness of previous methods and further enhance geometry details on reconstructed models.

基于单个深度相机的非刚性几何重建和运动跟踪技术虽已取得了较大的进展，但目前基于模板的方法需要事先对不同建模对象建立模板先验知识，而现实应用中有很多物体很难通过模板先验建模，所以基于模板的方法不适用于现实中对一般运动物体的建模和跟踪。无模板的运动物体建模和跟踪近几年受到研究人员的关注，一些优秀的技术相继涌现，然而这些技术的鲁棒性和准确性仍需要进一步改进，而且对大尺度运动物体的几何重建和运动跟踪，相关研究成果很少。如何在使用单个深度相机且不采用模板先验知识的条件下，重建和跟踪大尺度运动物体成为亟待解决的问题。基于这一背景，本课题拟研究高效鲁棒的无模板非刚性物体几何重建和运动跟踪新方法，使之可以重建一般大尺度运动物体（例如人体、动物体等）的三维模型和跟踪其运动，提高几何重建和运动跟踪的准确度和鲁棒性，并增强重建模型的几何细节。

非刚性几何重建和运动跟踪是计算机视觉和计算机图形学的重要研究课题之一。目前基于模板的方法需要事先对不同建模对象建立模板先验知识，但是模板建立过程繁琐耗时，而且现实应用中有很多物体很难通过模板先验建模，所以基于模板的方法不适用于现实中对一般运动物体的建模和跟踪。无模板的方法近几年受到研究人员的关注，一些优秀的技术相继涌现，然而这些技术在处理运动序列时存在误差累积导致的漂移问题，对遮挡、噪音、大尺度运动等的鲁棒性和准确性仍需要进一步改进。近几年深度学习技术成功地运用于相关领域的研究，采用深度学习技术解决非刚性重建和运动跟踪中的问题，成为具有很大潜力的研究方向。本课题研究高效鲁棒的无模板非刚性物体几何重建和运动跟踪新方法，使之可以重建大尺度运动物体的三维模型和跟踪其运动，提高几何重建和运动跟踪的准确度和鲁棒性。.本课题重要结果如下。1）提出了一个基于单个深度相机的无模板的非刚性重建和运动跟踪新方法，在不使用任何模板先验知识的情况下，该方法可以对各种变形物体实现精准重建和运动跟踪。2）提出了一个从三维点云中预测人体三维模型的深度学习方法，该方法能够重建大姿态不同形状的人体，对严重遮挡和随机噪音具有很好的鲁棒性。3）提出了一个从单张深度图像估计人体三维模型的方法，该方法采用深度学习技术解决了运动人体重建和跟踪的一个核心问题，即稠密点对关系的建立，基于预测的稠密点对关系可以重建大尺度运动人体的三维模型。4）创新地提出了一个从三维点云序列预测动态人体三维模型序列的深度学习方法，该方法提供了一个动态三维模型序列重建和运动跟踪的新思路，避免了传统方法中误差累积导致的漂移问题，同时提高了运动人体重建和跟踪的鲁棒性和准确性。本课题对基于单个深度相机的非刚性几何重建和运动跟踪中的难点问题做了深入的研究，并提出了相应的解决方法，提出的方法取得了很好的性能，研究成果具有很大的研究和应用价值。