基于RGB-D相机的人体特征三维重建与跟踪算法研究

3D object reconstruction especially for humans like face, hand and the whole human body reconstruction is one of the research hotspots in digital geometry processing and computer graphics. In recent years, with the advance of scanning technology, the RGB-D camera is emerging and has the characteristics that it can scan moving objects with quite high frequency, besides, it is cheap and the size is small. Therefore, it has been applied in many areas. In this project, we plan to use one single RGB-D camera to reconstruct and track the moving people in real time, and especially focus on the system robustness and reconstructing the geometry details and appearance textures. However, as the depth information captured by RGB-D camera has low resolution and contains noises, and the captured human body's movement is nonrigid during the reconstruction process, this project is quite challenging. To handle these challenges, we plan to analyze the statistics information of the 3D human body models, to decrease the problem complexity. Besides, we plan to use deep learning method on depth images for human body detection and landmark detection; to investigate on how to reconstruct the geometry details and appearance textures from color information; the efficient numerical optimization algorithm to achieve real time reconstruction and tracking.

三维重建尤其是人体外表如人脸、人手以及全身的实时三维重建与跟踪是数字几何处理与图形学领域的研究重点与热点。近年来，RGB-D相机由于其价格低廉、体积小、并能实时捕获物体的深度信息等优点，已逐渐应用在各个领域。因此，本课题拟开展基于RGB-D相机的实时人体几何特征三维重建与跟踪算法研究，并重点研究系统的鲁棒性、模型几何细节与外表纹理信息的恢复。然而，由于RGB-D相机所采集的深度图像像素较低、包含噪音等缺点，并且采集对象在扫描重建过程中存在较多的非刚性运动、遮挡、光照等问题，本项目具有较大的挑战性。为此，本项目拟通过分析人体几何数据的统计信息进行降维，从而降低问题的复杂度；并研究结合深度学习方法的深度图像上的物体检测与关键点检测，进一步约束建模过程的变量；研究基于颜色信息的几何细节重建与外表纹理信息重建；研究高效的数值优化算法达到实时重建与跟踪的效果等问题来解决本项目中的技术难点。

围绕项目的预期研究内容和研究目标，本项目所取得的主要成果如下：1.人脸朝向估计问题，提出基于分类导向的3D联合头部姿态估计和人脸关键点定位方法；2. 根据图片的颜色、关键点、光照等信息，提出了一系列高精度的三维人脸重建模型；3. 提出一种基于卷积神经网络的人脸识别方法，构造了百万规模的RGB-D人脸数据集，训练出了具有很高性能的人脸识别模型；4. 从虚拟形象出发，提出了了从2D漫画图像创建表现性3D漫画的算法，具有很好的漫画表达能力；给定参考图片，提出了到3D虚拟形象的表情迁移算法．这些工作在夸张人脸图片及3D虚拟形象等应用任务中发挥了重要作用．5.提出了参数化的人体表示模型，并在衣服和人体的建模方面取得了很好的进展；6.在由真实图片进行深度估计的任务中，在单目以及双目估计中都提出了准确而快速进行深度估计的模型；7. 对于3D动态重建中的重要部分非刚性注册问题，提出了快速鲁棒的非刚性注册算法。此外，在其他问题中也有重要进展。1.针对几何优化和物理模拟问题，应用Anderson acceleration算法，并提出一种简单的策略保证能量降低并保证全局收敛性，显著减少了计算迭代次数，并在此基础上，扩展了Anderson加速在ADMM等算法中的高性能应用；2. 提出一种计算测地距离的并行与可扩展方法，能够高度并行高效计算测地线；3. 利用静态和动态信号提出了高性能的网格滤波算法。.目前在国外重要期刊和学术会议上已正式发布研究论文22篇， 其中SCI收录11篇，EI收录8篇，还有2篇已被计算机视觉期刊接收。