低维子空间约束的三维变形体重建技术研究

In this project, based on the constraints of motion continuity and surface smoothness, the method of reconstructing 3D deformable bodies from a un-calibration video is studied by using the character that the trajectories of all the space points span a low dimension subspace. Main contents are as follows: (1) In order to overcome the shortcoming that 3D reconstruction method based on the shape model does not consider the continuity constraint, we utilize the vectors from the shape base weights span a low dimensional subspace and study 3D deformable object reconstruction method based on the continuity constraint of the shape bases. (2) To overcome the disadvantages that the 3D reconstruction method based on trajectory model does not consider the motion characteristics of each space point and adopts the fixed base and the atomic number, we study the method that how to automatic select the bases and the number of atoms. (3) To solve the problem that the existing method does not make use of the surface smoothness constraint, we study on 3D deformable object reconstruction method based on the constraints of motion continuity and surface smoothness. (4) Finally, an integrated multiple 3D deformable body reconstruction software system is realized. The 3D deformable reconstruction technology researched in this project has plenty of potential application in many fields, such as video production, medical diagnosis, sports training, video surveillance, cultural relic protection, machine navigation.

本项目基于三维变形体运动连续性和表面光滑性约束，利用空间点的运动轨迹生成一个低维子空间的特性，研究从单个非定标视频序列中重建三维变形体的方法，主要包括：（1）针对形状基模型没有考虑变形体运动连续性的缺点，利用形状基元权值构成的向量生成一个低维子空间的特性，研究基于形状基元连续性约束的三维变形体重建技术；（2）针对轨迹基模型没有考虑空间各点的运动差异，采用固定基和原子数的缺点，研究自动选取低维子空间的基及原子数的方法；（3）针对现有三维变形体重建方法没有利用变形体表面光滑性约束的缺点，研究联合运动连续性和表面光滑性约束的三维变形体重建方法；（4）以及最终形成一个完整的多个三维变形体重建软件系统。本项目研究的三维变形体重建技术在影视制作、医学诊断、体育训练、视频监控、文物保护、机器导航等诸多领域均具有广阔的应用前景。

本项目基于三维变形体运动连续性和表面光滑性约束，利用空间点的运动轨迹生成一个低维子空间的特性，研究从单个非定标视频序列中重建三维变形体的方法，主要取得了以下研究成果：（1）针对目前变形体图像分辨率低导致重建失败的缺点，提出了基于门控卷积神经网络的图像超分辨重建网络，该网络具有高效的结构，能够加速网络训练过程，有效地重建出具有清晰纹理细节的图像。（2）针对形状基模型没有考虑变形体运动连续性的缺点，提出了一种基于轨迹基的三维变形体线性重建方法。该方法利用形状基元权值构成的向量生成一个低维子空间，而该低维子空间可以由一组正交小波基线性表示的特性，同时，可以将原来非线性优化问题变为线性求解，快速地实现三维变形体的重建。由于该正交小波基可以事先定义，因此求解的未知数大大减少，提高了算法的鲁棒性。（3）针对现有基于端到端的深度立体匹配网络以牺牲内存和时间来换取更高的匹配精度的缺点，提出了一种自适应的两阶段空间聚合立体匹配网络。该网络整体结构简洁、轻盈，参数量少，具有较快的运行速率，同时具有较高的预测精度。（4）为了克服现有变形体三维重建方法没有考虑变形体的运动具有连续性及变形体表面具有光滑性导致重建精度低的缺点，提出一种基于运动连续性和表面光滑性约束的三维变形体重建方法，该方法利用变形体的运动相邻时刻具有相似性，即运动的连续性，同时利用Laplacian滤波强制物体表面光滑，因此具有更高的三维变形体的重建精度。（5）最终形成一个初步的多个三维变形体重建软件系统。本项目研究的三维变形体重建技术在影视制作、医学诊断、体育训练、视频监控、文物保护、机器导航等诸多领域均具有广阔的应用前景。.本项目取得了一系列研究成果，共发表学术论文17篇，全部为国际SCI期刊，申请发明专利5项，其中授权1项，获计算机软件著作权2项，出版专著1部，培养了20名研究生，其中11名获得硕士学位。