单相机复杂动态场景稠密三维重建理论与方法

Based on the applicant’s expertise and research experience in rigid and non-rigid 3D reconstruction (as evidenced by the best paper award in CVPR 2012) and the latest progress in deep learning, the project proposes to conduct research in the theory and approaches for dense 3D reconstruction of a dynamic scene by using a moving monocular camera. By integrating the multi-view geometric model constraint and deep convolutional neural network based end-to-end learning, the project aims at achieving dense 3D reconstruction for a dynamic scene with uncertainty and reconstructability guarantee. The project targets at solving the following three significant scientific problems: (1) A unified geometric model to characterize various complex dynamic scenes; (2) The complementary relation between the unified geometric model and the data-driven model empowered by deep convolutional neural network; and (3) The uncertainty and reconstructability theory for monocular dynamic scene 3D reconstruction. Thereafter, the project will build the unified geometric model and the uncertainty and reconstructability theory for monocular dynamic scene 3D reconstruction, propose 3D dynamic reconstruction approaches based on deep learning and data-driven principle, and the 3D dynamic reconstruction algorithms by integrating both geometric model and deep data-driven model. The research outcomes of the project will own invaluable significance in developing and enriching high-definition complex dense dynamic 3D reconstruction by using a moving monocular camera. The research owns great application prospective in autonomous driving, space surveillance, Earth observing, personal 3D event recording and etc.

结合申请者在刚性/非刚性场景三维重建的研究成果（CVPR2012最佳论文等标志性成果）和国际上在深度学习等方面的最新进展，本项目研究单相机复杂动态场景稠密三维重建的理论与方法。拟结合几何模型约束和深度卷积神经网络端对端学习模式，在可重建性理论保证下实现复杂动态场景稠密三维重建。着重解决（1）复杂动态三维场景的统一几何表达（2）几何观测模型与数据驱动模型之间的互补性以及（3）复杂动态场景稠密三维重建的不确定性与可重建性三个科学问题。进而构建面向单相机复杂动态场景三维重建的统一几何观测模型和动态场景三维重建中的可重建性与不确定性理论，提出基于深度学习的复杂动态场景三维重建方法以及融合几何观测模型与深度数据驱动重建模型的动态场景三维重建算法。该成果将对于发展和丰富基于单相机复杂三维场景重建理论与方法具有重要科学价值，对于自动驾驶、空中监测、对地观测和个人三维活动记录等领域都有广阔的应用前景。

本项目研究单相机复杂动态场景稠密三维重建的理论与方法，结合多视角几何观测模型和深度神经网络端到端学习机制，在可重建性理论保证下实现复杂动态场景稠密三维重建，致力于解决（1）多样化复杂动态三维场景的统一几何表达规律；（2）几何观测模型与数据驱动模型的互补机理以及（3）复杂动态场景稠密三维重建的不确定性与可重建性三个科学问题。项目在（1）单相机复杂动态场景统一表达的三维重建；（2）几何观测模型与数据驱动模型融合的单视角、双视角、多视角、连续视频动态场景深度估计与三维重建；（3）基于深度学习的三维点云处理及三维重建；（4）基于卷帘快门相机和事件相机的复杂动态运动场景感知等四个方面取得了优异的研究成果，顺利地完成了项目计划书中所确定的研究内容和相关成果指标。取得的研究成果具体如下：已经录用和发表期刊和会议论文共65篇(其中，发表IEEE TPAMI、IJCV、IEEE TIP、Pattern Recognition、IEEE TSVT等领域内顶级和重要国际期刊论文29篇，发表IEEE CVPR、IEEE ICCV、ECCV、NeurIPS、AAAI等领域内顶级国际会议论文27篇，其他国际期刊和会议论文8篇，国内顶级学报论文1篇)；已申请国家发明专利10项；获得IEEE CVPR最佳论文奖提名、火箭军人工智能挑战赛全国一等奖、ECCV鲁棒视觉挑战赛三项冠亚军等奖励；培养博士后2人、博士研究生12名、硕士研究生18名，其中7名硕士研究生已毕业（两篇硕士论文获评校优秀硕士论文）。项目负责人获评中国图象图形学学会青年科学家奖等。本项目的研究对于推动自动驾驶、自主无人系统、空中监测、对地观测和个人三维活动记录等应用具有重要意义。