基于深度相机的动态模型三维扫描重建

Being a recent development in imaging hardware, depth camera has provided a new method for acquiring 3D geometric information from real environments. The technology opens new possibilities for many areas such as computer graphics, computer vision and virtual reality. Scanning dynamic objects using depth cameras can provide new opportunities for many applications, such as computer aided design, video games, entertainment, biometric and surveillance. However, due to the high noise level of the massive data under non-rigid deformation, it is very difficult to reconstruct geometric model with reasonable quality. This project will concentrate on the study of scanning dynamic objects using depth cameras, and try to expand the usage of depth cameras. First, we will try to use information redundancy to improve the quality of the depth images. Second, a semi-template will be used to reduce the freedom of non-rigid registration and fulfill the pairwise registration of noisy data. A graph based method will then be used to carry on the global non-rigid registration, which can solve the problems of error accumulation and complex occlusion at a low computation cost. Last but not least, we will try to improve the linear process of traditional 3D scanning process, and solve the dynamic objects scanning problem iteratively under a unified framework.

深度相机的出现，为获取物体表面三维几何信息提供了一种新的手段，为计算机图形学、计算机视觉、虚拟现实等领域的理论及应用研究提供了新的机遇。利用深度相机实现动态物体的三维扫描重建，在计算机辅助设计、游戏娱乐、生物医学、安全监控等产业有广泛的应用。然而，对于从高噪声、非刚体变形、大数据量的捕获信息中重建出高质量的几何模型，目前还缺乏通用可靠的方法。本项目将针对这一具有理论研究价值和广泛应用前景的问题展开研究，进一步扩展深度相机的应用领域。首先，本项目将研究利用捕获数据的冗余性，提高深度数据质量。其次，将研究基于粗糙模板的方法，降低非刚体配准的难度，实现噪声数据的非刚体配准。此外，利用基于图的方法，用较小的计算代价实现扫描数据的全局非刚体配准，解决遮挡与误差累计的问题。另外，还将研究改进传统扫描重建算法的线性流程，在统一的算法框架下实现动态噪声网格的迭代优化重建。

深度相机的出现，为获取物体表面三维几何信息提供了一种新的手段，为计算机图形学、计算机视觉、虚拟现实等领域的理论及应用研究提供了新的机遇。利用深度相机实现三维扫描重建，在计算机辅助设计、游戏娱乐、生物医学等产业有着广泛的应用。.针对传统三维扫描仪价格昂贵、操作复杂等缺点，提出一种基于多台Kinect的三维人体扫描重建算法。使用迭代最近点查找确定输入点云与可变模型之间的对应点对，将可变形人体模型拟合扫描点云数据，迭代生成高精度的三维人体模型。提出了一种非刚体变形算法，实现了一种利用一台Kinect深度相机估计人体三维体型和衣服几何信息的方法。改进了深度相机采集人体数据的硬件采集配置，实现了基于多台kinect的人体三维扫描硬件平台。在Kinect的应用研究中，针对现有手指跟踪算法的不足，提出一种实时鲁棒的三维多手指跟踪算法。利用人类感知和计算机视觉中的相关原理，提出一种方法将捕获的人体运动信息嵌入到三维打印的静态实体模型。.利用以上研发的基于深度相机的三维扫描重建算法，进行了低成本个性化设计与制造原型系统的应用研究。以三维扫描、三维打印为主导技术，结合嵌入式系统，设计并实现了一套个性化巧克力三维打印系统。针对三维打印速度过慢的问题，提出了基于显著性的自适应分层算法，在保证打印模型视觉效果的前提下，有效降低打印时间。针对带边界非封闭模型无法直接切片的问题，实现了一种处理带有边界的非封闭STL模型的切片算法。