基于随机回归森林与多源数据融合的高精度三维动态形状获取

High-quality dynamic 3D shape capture has abroad applications in virtual reality, video game, entertainment, film industry etc. Existing 3D laser scanner perform slowly, and can not scan dynamic objects in real-time. On the other hand, stereo vision system requires strict and controllable scenes and can not achieve good results in regions without texture. As a rapidly developed device, time-of-flight 3D camera is cheap, and can capture depth information of dynamic objects in real-time. But this kind of camera has low resolution, high noise, and can not recover high-quality shapes. In this project, based on random regression forests (RRF), we aim at building a statistic machine learning framework to capture high-quality dynamic geometry. RRF is an effective supervised method, which can automatically perform feature-selection while no needing cross-validation. Based on the confidence matrix built, we proposed a depth super-resolution method, which can guarantee robustness and effectivity due to convex optimization. By exploiting the digital geometry process methods, We further integrate space-temporal constraint and high-quality texture constraint into a Bayesian statistic framework, to build final high-quality dynamic shapes.

高精度三维动态形状的获取在虚拟现实、游戏娱乐、影视工业等领域具有广阔的应用前景。传统的三维激光扫描仪采集速度慢，难以实时扫描动态运动的物体；而立体视觉系统对采集场景的要求高，在缺乏纹理的区域难以取得鲁棒的效果。作为一种近年来发展迅速的新型采集设备，飞行时间三维相机可实时获取动态物体的深度信息，造价低廉，具有传统扫描仪无法比拟的许多优点。但相应的本质缺点是传感器分辨率低，随机噪声大，不能直接生成高精度的形状。本项目基于随机回归森林理论，构建一个新的基于统计机器学习的几何处理框架，以获取高精度的三维动态形状。随机回归森林是一种有效的监督学习方法，可自动进行特征的选择且无需进行交叉验证。基于所估计的置信度矩阵，我们提出一种深度超分辨率方法，凸优化理论保证了鲁棒性和计算效率。我们进一步将时空几何平滑约束和高清视频纹理约束融合在贝叶斯统计框架中，并结合数字几何处理方法，来重建最终的高精度动态形状。

我们研究工作的开展是依照申请计划来进行的。首先进行了资料的收集和整理，在拟定完成总体研究方案之后，确定了基于随机回归森林理论的几何处理框架分析框架的整体思路。在细节中，也作了细微的调整，我们首先研究如何利用同步架设的结构光摄像/投影系统来采集高精度三维点云作为训练阶段中的地真形状数据的获取。然后，通过随机回归森林的构建，来学习TOF置信度。我们所进行的实验表明，随机回归森林是一种有效的监督学习方法，可自动进行特征的选择且无需进行交叉验证，可以获得比较好的深度估计结果。..我们还搭建软硬件系统解决了地真数据的同步获取。在对齐TOF数据和高精度三维数据之后，我们进一步为每一个深度值指定训练标签。除了Laplacian滤波器和Gabor滤波器，我们考虑更加高级的特征描述符。除了局部特征，我们利用随机森林对全局统计量特征进行学习，如某像素点的某个特征（如亮度）与该特征在整帧图像统计分布上的关系。在构建过程中，我们通过最大化信息增益来优化决策树。之所以计划采用最大化信息增益，是因为它等同于最小化协方差矩阵的行列式，这样就减少了投票的不确定性。然后，基于置信度矩阵，我们提出一种三维深度超分辨率能量优化框架。基于学习所得到的置信度先验，我们提出一种新的构造方法，不仅可以恢复出高精度的结果，而且我们的构造形式是凸优化的，因此计算框架不仅鲁棒，而且高效。..相关研究成果发表在计算机图像和图形学领域顶级期刊IEEE Transactions On Visualization And Computer Graphics (TVCG) 2016、IEEE Transactions on Circuits and Systems for Video Technology (TCSVT) 2015、IEEE Transactions on Image Processing (TIP) 2014、IEEE Transactions on Intelligent Transportation Systems (T-ITS) 2013上，工作得到了国际同行高度评价。..应用方面，我们开发了3D动态形状捕捉系统，该系统通过实时、智能化的操作，可以实现3D人脸形状的实时捕捉。比如江苏原力电脑动画公司跟我们合作，采用我们的系统用于3D人脸和人体的快速高清扫描，并应用于国产纯CG电影的制作上。