基于数据驱动的移动终端非刚体3D重建

To solve the problem of high dimension and high complexity of non-rigid 3D reconstruction in moving camera, and motivated by deep learning getting object abstraction layer by layer, we introduce deep learning into non-rigid 3D reconstruction: 1) To reduce the dimension of non-rigid objects, we use a data driven approach to obtain the latent geometric representation of the surface. As this geometric representation has the complete structural information of non-rigid object, it is more suitable than dimension reduction algorithm for 3D reconstruction; 2) We regard the 3D reconstruction problem as a matching problem on the low dimensional geometric representation, and use deep learning to search for correspondence in the low dimensional geometry representation. As most of the layers have been obtained in process 1), only the last few layers of network need to be calculated, which greatly reduces the computational complexity.. In the process of partial-to-whole fusion, as the surface nodes are easy to converge to the local optimal, we intends to use the structured information obtained by deep learning to guide the deformation constraints, while a hierarchical smoothing constraint is proposed to enhance the spatial information, finally we can get the whole 3D reconstruction of the non-rigid object.

非刚体目标3D重建具有表面形变难以描述和复杂度高难以在移动终端实现的问题，受到深层学习从数据中获得目标逐层抽象的启发，本项目将非刚体目标的3D重建问题分解为深层学习擅长的回归和分类问题：1）使用基于数据驱动的办法得到目标表面点所隐藏的几何表示，从而降低非刚体目标形变的描述难度，同时，这种几何表示包含非刚体目标完整的结构化信息，比普通降维算法更适合3D重建；2）将3D重建问题转为低维几何表示上的匹配问题，在低维几何表示上用深层学习搜索匹配的几何表示，由于深层学习大多数层已经在第1）步中得到，所以只需要通过最后少数几层网络，就可以得到非刚体目标的3D重建，这样大大降低了运算复杂度。. 在每帧重建数据融合到整体模型过程中，针对表面点容易收敛到局部最优值问题，本项目拟用第1）步学习得到的结构化信息指导表面点形变约束，同时提出分层的平滑性约束来增强空域信息，从而得到非刚体目标整体重建。

非刚体目标3D重建具有表面形变难以描述和复杂度高难以在移动终端实现的问题，受到深层学习从数据中获得目标逐层抽象的启发，本项目将非刚体目标的3D重建问题分解为深度学习擅长的回归和分类问题，提出一种新的基于漏斗模型的多尺度信息获取方法，将密集连接网络引入Inception框架来增加网络的容量，从而在不增加网络深度的前提下得到更加准确的人体2D关键点。在每帧重建数据融合到整体模型过程中，针对表面点容易收敛到局部最优值问题，本项目引入等距限制（Isometric）来惩罚肢体的扩展或收缩，并随后将这种限制建模为基于L0正则化框架，进而得到新的代价函数来匹配3D人体模型和2D关节点，从而得到非刚体目标的3D重建。