基于能量最小化的动态场景单目视觉三维重建研究

With the rise of research on intelligent mobile device and driverless car, vision-based 3D reconstruction attracts more and more attentions in.computer vision community. However, most research works on 3D reconstruction mainly focus on the static scene. The scenes involved in real applications usually are dynamic, which generally contain multiple objects with rigid and/or non-rigid movements, and the camera is usually moving. This makes the 3D reconstruction of dynamic scenes more challenging. Based on results of our 3D reconstruction and proposed energy-minimization-based computational framework, we plan to study energy minimization based monocular 3D reconstruction of dynamic scenes by exploiting the theory of visual reconstruction, epipolar geometry and probabilistic graph model, especially energy minimization for higher-order Markov random fields. The main topics are as following. (1) Registration of monocular image sequence. (2) Segmentation of multiple movements in dynamic scenes. (3) Sparse 3D reconstruction of dynamic scenes. (4) Dense Reconstruction of dynamic scenes. And a series of methods for energy minimization based monocular 3D reconstruction of dynamic scenes will be presented. This project can provide a novel idea for 3D reconstruction of dynamic scenes, whose results can be applied in augment reality, visual navigation, security surveillance and so on.

随着智能移动设备、无人驾驶汽车研究的兴起，基于视觉的三维重建日益成为计算机视觉领域的研究热点。但现有研究多是围绕静态场景的三维重建开展的，而实际应用中的场景多是包含多个作刚体或非刚体运动的物体的动态场景，有时摄像机也是运动。这使得动态场景的三维重建非常具有挑战性。本课题拟在已有的三维重建研究积累和所提出的基于能量最小化计算框架的基础上，利用视觉重建、极几何和概率图模型特别是包含高阶能量项的能量最小化相关理论，研究基于能量最小化的动态场景单目视觉三维重建。主要研究内容包括：(1)单目图像序列的图像配准；(2)动态场景中的多运动分割；(3)动态场景的稀疏三维重建；(4)动态场景的稠密三维重建。最终建立一整套基于能量最小化的动态场景的单目视觉三维重建方法。本项目的研究可望为动态场景的三维重建提供一种新的思路和途径，为增强现实、视觉导航以及安保监控等多个领域的应用研究提供科学依据和应用基础。

随着智能移动设备、无人驾驶汽车研究的兴起，基于视觉的三维重建日益成为计算机视觉领域的研究热点。但现有研究多是围绕静态场景的三维重建开展的，而实际应用中的场景多是包含多个作不同运动物体的动态场景，有时摄像机也是运动。这使得动态场景的三维重建非常具有挑战性。本项目将场景中的多个不同运动的物体识别分割视为多类别多实例识别问题，提出了一种基于能量最小化计算框架开展了多类别多实例识别研究，可以将做不同运动的物体分别识别和估计出对应参数。然后即可利用对应关系、极几何等约束分别实现稀疏重建，并进一步通过稀疏重建合并优化等实现稠密重建。并将视觉重建应用于机器人领域的同时定位与构建地图(SLAM)，开展了基于视觉的SLAM研究，提高了SLAM系统的精度和场景地图的表达能力。在大量公开评测数据集和自行采集数据集上的实验研究验证了本项目得到的理论结果的正确性和提出各种方法的有效性。