基于单个非标定视频序列的非刚体三维结构重建及运动恢复研究

Method of reconstruction 3D nonrigid structure and motion from an uncalibration video sequence is to be researched in this project based the continuity of object motion and the fact that the trajectories of all the feature points span a low dimension subspace. The research includes: occlusion recovery based on the orthographic projection and the perspective projection, respectively; reconstruction of 3D nonrigid structure and motion recovery based on the orthographic projection and the perspective projection, respectively; and the complete software system of reconstruction 3D nonrigid structure and motion recovery. The method for occlusion recovery can treat all the images and the image points uniformly. Moreover, the solution is linear under the orthographic projection. The trajectory of each point can be linear represented by a pre-defined orthogonal wavelet basis, which results in a significant reduction the number of unknowns and the reconstruction process becomes more robust. The proposed technique of 3D nonrigid structure and motion has plenty of potential applications in areas such as movie and PC game making industry, e-business, and advertisements in TV programs.

本项目利用非刚体的运动具有连续性及非刚体上所有点的迹在一个低维子空间中的特性，研究从一个非标定视频序列中（即摄像机内外参数都未知）重建非刚体的三维结构及运动信息的方法。主要研究内容包括：正投影模型和透视投影模型下的遮挡点恢复；在正投影和透视投影下，利用非刚体上所有点的迹为一个低维子空间的特性，分别实现非刚体的三维结构重建及运动恢复；以及最终形成一个完整的非刚体三维结构重建及运动恢复的软件系统。本项目研究的遮挡点恢复方法能够将所有图像及图像点平等对待，且在正投影模型下求解是线性的；在非刚体三维重建过程中，利用每点的迹都可以用一个事先定义的正交小波基线性表示的特性，大大减少了未知数的数量，提高了重建的鲁棒性。本项目的研究在电影、体育、生物医学、人机交互、游戏制造业、电子商务和电视广告等诸多领域均具有广阔的应用前景。

本项目利用非刚体运动的连续性及每点的迹可以用一个事先定义的正交小波基线性表示的特性，研究了从一个非标定视频序列中重建非刚体的三维结构及运动信息的方法，主要包括：正投影模型和透视投影模型下的遮挡点恢复；在正投影和透视投影下，利用了非刚体上所有点的迹为一个低维子空间的特性，分别实现了非刚体的三维结构重建及运动恢复；以及最终形成了一个初步的非刚体三维结构重建及运动恢复的软件系统。本项目提出的遮挡点恢复方法在正投影模型下能够线性求解，而且能够将所有图像及图像点平等对待；同时，在非刚体三维重建过程中，利用交小波基表示每点的迹，这样大大减少了未知数的数量，提高了重建的鲁棒性。本项目的研究在电影、人机交互、游戏制造业等诸多领域均具有广阔的应用前景。