基于分解模型的由运动恢复非刚体结构方法研究

Nonrigid structure from motion(NRSFM) is an important research topic in the field of computer vision. Most existing NRSFM methods are explored under the low-rank factorization model, and they assume that the unknown nonrigid structure matrix is low-rank, however for a given set of data, these methods can hardly select an appropriate rank automatically. In addition, it is hard for them to obtain an accurate estimation on the nonrigid structure in the cases of occlusions, outliers, noises, and complex deformations. Therefore, this project is intended to investigate NRSFM methods based on factorization methods: firstly, addressing the rank selection problem under the low-rank factorization model, the relationship between the model rank and the accuracy of nonrigid reconstruction is analyzed, and adaptive algorithms for rank selection are investigated. Then, several more effective NRSFM methods based on the low-rank factorization model are explored. Moreover, addressing the problem that the low-rank-factorization-model-based NRSFM methods cannot deal with complex deformations effectively, NRSFM methods based on the self-representation model are investigated according to the theory on data self-representation. In addition, in order to improve the algorithmic accuracy and reduce computational costs, we further investigate new structural priors for NRSFM, a weighting principle for the constraints of the used models, and the GPU-based algorithms for accelerating the explored NRSFM methods respectively. Finally, a robust and effective computational system for NRSFM is expected to be built.

由运动恢复非刚体结构是计算机视觉领域中的一个重要研究课题。现有方法大多是基于低秩分解模型设计的，它们假设待求的非刚体结构矩阵是一个低秩矩阵，然而他们大多无法针对输入数据自动确定一个合适的秩，且在数据存在遮挡、外点、噪声、复杂形变等情况下很难准确计算出非刚体结构。因此，本项目拟开展基于分解模型的由运动恢复非刚体结构方法研究：首先针对低秩分解模型的秩选择问题，分析模型秩与非刚体重建精度之间的关系，研究自适应的模型秩选择准则，进而研究更为有效的基于低秩分解模型的由运动恢复非刚体结构方法。进一步地，针对基于低秩分解模型的相关方法难以处理复杂形变的问题，结合数据自表达理论，研究基于自表达分解模型的由运动恢复非刚体结构方法。此外，为了进一步提高计算精度与速度，研究适用于由运动恢复非刚体结构问题的结构先验、模型约束加权准则、以及基于GPU的并行算法。最终建立一个鲁棒、高效的由运动恢复非刚体结构计算系统。

由运动恢复非刚体结构，旨在从一组输入的非刚体图像特征点序列中计算出每帧图像对应的相机运动矩阵和该非刚体的三维结构，是计算机视觉领域中一项重要的研究主题。本项目围绕着基于分解模型的由运动恢复非刚体结构方法展开了系统性研究，并取得了如下主要成果：（1）在基于多线性分解的由运动恢复非刚体结构计算框架下，提出了一种基于低秩约束的非刚体结构分解方法。在此基础上，引入了一种适用于非刚体结构恢复的隐平滑先验约束，进而提出了一种融合隐平滑先验的非刚体结构分解方法以进一步提升算法精度。该约束可以很容易地与许多相关方法相融合，以提高这些方法的计算精度。（2）在基于顺序分解的由运动恢复非刚体结构计算框架下，提出了一种基于LBFGS法则的非刚体结构分解方法。该方法由运动估计模块和三维形状恢复模块组成，分别计算相机运动矩阵和非刚体三维结构。（3）首次发现了一种相机平移矩阵固有的低秩属性，并通过强化该低秩属性，提出了两种新的相机平移估计方法。该属性可望为后续相关工作提供有效的约束信息。（4）提出了一种基于学习的分层重建计算框架，并给出了相应的深度网络结构设计方法。合计在IEEE T-Cybernetics、Neural Computation等刊物发表（或录用）相关论文10篇，在AAAI等国际会议发表相关论文2篇。