基于时空约束的非刚体三维重建技术研究

Method of 3D non-rigid reconstruction from a un-calibration image sequence is to be researched in this project based on the temporal and spatial constraint. The research includes as follows. (1) The occlusions are recovered based on the characteristic that all the image points and the depth factors constitute a low rank image matrix. (2) By using the fact that the motion trajectory of the non-rigid spans a low dimension subspace which can be defined in advance, the 3D non-rigid is reconstructed based on the orthographic projection and the perspective projection, respectively. The technology adopts the temporal constraint of non-rigid motion, namely motion similarity between two adjacent frames. (3) Based on the theory of structural dynamics, the non-rigid motion in 3D space, namely the deformation, spans a low dimensional subspace whose base can be obtained by the finite element method. And the reconstruction of 3D non rigid is realized based on the orthographic projection and the perspective projection, respectively. The technology considers the spatial continuity constraints of non-rigid motion, i.e., the motion similarity between the two adjacent space points. (4) The complete software system of a 3D non-rigid reconstruction is realized based on the temporal and spatial constraint. The technique of 3D non-rigid reconstruction proposed in this project has plenty of potential application in the fields such as industrial automation, biomedicine, archaeology, and entertainment.

本项目基于非刚体运动在时间和空间上的连续性约束，研究从一个非标定图像序列中重建三维非刚体的方法。其中包括：（1）利用图像点及深度因子构成一个低维矩阵的特性，实现遮挡点恢复。（2）基于非刚体的时间运动轨迹构成一个低维子空间，且该低维子空间的基可以事先定义的特性，在相机为正投影和针孔模型下，分别重建出三维非刚体。该技术充分利用了非刚体运动在时间上的连续性约束，即相邻两帧的运动具有相似性。（3）利用结构动力学的原理，从理论上分析非刚体在三维空间中的运动，即形变，生成一个低维子空间，且该子空间的基可通过有限元方法得到，并基于该特性，在正投影和针孔模型下，分别重建出三维非刚体。该技术充分利用了非刚体运动在空间上具有连续性约束，即相邻两点的运动具有相似性。（4）最终形成一个完整的基于时空约束的非刚体三维重建系统。本项目研究的非刚体三维重建技术在工业自动化、生物医学、考古、影视等领域有广阔的应用前景。

本项目基于非刚体运动在时间和空间上的连续性约束，研究从一个非标定图像序列中重建三维非刚体的方法，主要取得以下研究成果：（1）研究了视频序列中特征点的提取和跟踪的方法，利用图像点及深度因子构成一个低维矩阵的特性，提出了基于投影约束的遮挡点恢复方法，该方法利用图像矩阵的行空间和列空间都是三维子空间的特性，通过用矩阵奇异值分解分别得到图像矩阵行和列满足的约束条件，将遮挡点的求解转化为迭代求解二次型的极值问题。理论证明，该方法能够保证收敛到全局最小值。（2）研究了基于非刚体的时间运动轨迹构成一个低维子空间，且该低维子空间的基可以事先定义的特性，在针孔模型下，提出了基于轨迹基的三维非刚体射影重建方法，该方法事先定义了由轨迹生成的低维子空间的基底，因此求解的未知数大大减少，提高了算法的鲁棒性，并且当求解深度因子时利用了图像矩阵的行向量和列向量的约束，提高了三维非刚体的重建精度。（3）针对现有非刚体的识别分类算法在应用中一直存在样本不足及样本易受到外界干扰的问题，本项目提出一种基于样本多样性和原子局部性的判别性字典学习法方法，该方法使用原始样本和虚拟样本共同作为训练样本进行字典学习以丰富特征多样性，同时，基于原子的相似性构造局部约束条件，进而保留原始数据中的局部结构特征和流形结构信息，并增加算法的判别能力。（4）最终形成一个初步的基于时空约束的非刚体三维重建系统。本项目研究的非刚体三维重建技术在工业自动化、生物医学、考古、影视等领域有广阔的应用前景。. 本项目取得了一系列研究成果，共发表学术论文35篇，其中国际会议1篇，国际期刊28篇，国内核心期刊6篇，SCI收录28篇，EI收录6篇，ISTP收录1篇，申请发明专利4项，获计算机软件著作权2项，出版专著1部，培养了2名青年教师，11名研究生，其中1名已经获得博士学位，7名已经获得硕士学位。