基于图像序列的动态场景三维结构和运动恢复的鲁棒性算法

The project aims to recover three-dimensional structure and motion parameters of dynamic scenes from uncalibrated image sequences. The main research topics include robust 3D reconstruction algorithm, structure and motion estimation of dynamic scenes, and new modeling method for highly dynamic scenarios. The study is not only academically significant, it is also significant to many applications such as robot navigation, environment modeling, visual surveillance, human-machine interaction, and virtual reality. . The novelty of this project lies in two aspects. First, the research will propose robust 3D reconstruction algorithms for challenging nonrigid objects and dynamic scenes in presence of significant noise, outliers, and missing features. Previous algorithms can only work for rigid objects or static scenes. Second, the research will establish new approaches to recovering the structure and motion parameters of highly dynamic scenes that may contain nonrigid objects, articulated objects, and moving objects. The study of these open problems is more challenging due to its complexity and the lack of reports in the literature.

本项目旨在研究由未标定图像序列恢复动态场景的三维结构及运动信息。项目的主要研究内容包括鲁棒性重建算法、动态场景的三维结构和运动估计、以及探索新的复杂动态场景的建模方法。其研究成果不仅具有重要的理论意义，而且可以广泛应用于机器人导航、视觉监控、人机交互、虚拟现实等领域。. 项目的特色及创新之处在于：一是提出具有强鲁棒性的关于非刚体和动态场景的重建算法，可以较好地解决数据存在较大噪声、错误匹配以及特征点丢失等问题。这是一个极具挑战性的课题，文献中已有方法主要是针对刚体，而且计算量很大；二是研究关于复杂动态场景三维结构和运动的恢复算法，动态场景中可能同时含有非刚体、铰接物体、运动的非刚体等。这是本领域的一个未解难题，已有方法只能适用于单一物体和场景。

从二维图像序列恢复物体的三维结构及运动信息是计算机视觉的一个主要研究方向，也是Marr 计算视觉理论的最终研究目标，不仅具有重要的理论意义，而且具有广泛的应用价值。本项目旨在研究由未标定图像序列恢复动态场景的三维结构及运动信息。. 项目依据课题申请，主要研究内容包括：一是研究了当数据存在较大噪声下鲁棒运动和三维结构恢复方法，证明了图像测量的不确定性可以凭借重投影残差来估计，并首次提出了空间和时间加权的建模和分解算法。该算法不需要已知图像测量的先验信息，易于实现，在建模时，不仅考虑了数据点在空间分布上的误差，同时也考虑了不同时刻图像采集所造成的误差（不同于以往只考虑数据误差的空间信息并且需要已知图像的不确定性分布）。二是研究了当测量数据中含有错误和丢失数据时，非刚性物体的鲁棒运动和三维结构恢复方法。将非刚性物体建模为k个基本形状基的加权和，提出的新的约束分解算法,不依赖于图像质心,可以直接处理错误和丢失数据,同时,与刚性算法相似,可以直接通过图像的反投影误差去除错误数据，实验结果并证明了算法的有效性,文献中目前尚无有效的鲁棒算法来估计非刚性物体的运动和三维结构（以往研究采用rank-3k矩阵分解算法,需要估计每幅图像中特征点的质心,当图像中含有错误和丢失数据时,无法精确估算图像质心,所以会产生很大的误差）。三是动态场景的三维重建及运动估计。基于项目组提出的准透视投影模型，通过反投影残差来估计图像特征点的不确定性，进而估计每个特征点在运动与结构分解中的权重，不确定性大的点给予较小的权重；最后通过迭代加权分解算法来消除每个数据点的不确定性对最终计算结果的影响。四是探索新的复杂动态场景的重建方法，包括基于增广矩阵分解的鲁棒运动结构恢复、基于单幅图像的深度恢复以及基于压缩感知域信息的环境视觉重构恢复，并取得了相应成果。