基于深度学习的复杂三维场景复原方法研究

Image-based 3d reconstruction is one of the key research contents in 3D computer vision. However, due to the influences of occlusion, repetitive textures, etc., there usually exist holes and outliers in the reconstructed 3D point cloud for complex scenes by the existing methods in literatures. Therefore, how to exact the intrinsic relationship from a large number of 2D images and the corresponding reconstructed 3D points and then recover an incomplete 3D scene accurately, becomes an important research topic. Deep learning is to build a multi-layer neural network according to the information processing mechanism in human's brains, and it can learn an effective representation for data. This project is intended to investigate how to recover a complex 3D scene based on the theory of deep learning. The project's main contents include: (1) Computational framework on deep learning for the recovery of a complex 3D scene, and methods for designing effective network structures; (2) Methods for constructing a single-layer model in a deep network; (3) Methods for denoising the reconstructed 3D point cloud in a deep network; (4) Self-adaptive algorithm for learning the proper number of the layers and the nodes in a deep network; (5) GPU-based algorithms for training a deep network. This study is expected to provide a novel way for the recovery of a complex 3D scene.

基于图像的三维重建是三维计算机视觉领域中的核心研究内容之一。受遮挡、重复纹理等诸多因素影响，对于结构复杂的场景，文献中方法重建出的三维点云往往含有空洞与外点。因此，如何从大量的二维场景图像与相应的三维重建点云中提取两者之间内在的关联特征，将不完整的三维重建结构加以准确完整的复原成为一项重要的研究课题。深度学习旨在建立一种类似人脑信息处理机制的多层神经网络，并通过该网络学习出数据对象内在的特征。本项目拟运用深度学习理论来研究复杂三维场景的自动复原问题，主要的研究内容包括：（1）适用于三维场景结构复原的深度网络计算框架，以及相应的深度网络结构设计方法；（2）深度网络中单层模型设计方法；（3）深度网络中三维点云去噪方法；（4）深度网络中网络层数与节点数的自适应学习方法；（5）基于GPU的深度网络训练算法。本项目的研究可望为复杂三维场景复原提供一种新的思路和途径。

三维场景复原，旨在将不完整的三维重建结构进行准确完整的复原，是计算机视觉领域中一项重要的研究课题。本项目围绕着基于深度学习理论的复杂三维场景复原方法展开了系统性研究，并取得了如下主要成果：.（1）视觉系统标定与线三角化：针对相机标定问题，提出了一种基于线段的欧氏升级方法。针对IMU与相机组合系统标定问题，提出了一种由粗到精的系统标定方法。此外，提出了两种在代数误差优化准则下计算线三角化次优解的方法。.（2）基于学习的场景分层复原：提出了一种能够准确重建场景射影重构的深度神经网络，并进一步地提出了一种适用于分层三维场景结构复原的深度网络计算框架，以及相应的深度网络结构设计方法。就我们所知，该项工作是文献中首个探索基于学习的分层三维重建与复原的工作。.（3）基于视觉生理模型的场景深度恢复：对比分析了深度神经网络的神经元响应统计特性与灵长类动物IT区神经元响应特性的相似点与不同点，我们的结果表明，目前流行的深度神经网络的神经元响应特性在很多情况下与灵长类动物IT区神经元响应特征并不相同。进而提出了一种用于恢复场景深度的基于视觉生理模型的深度神经网络。.（4）含缺失成分矩阵的广义低秩逼近：三维场景复原问题可以被看作为一个含缺失成分矩阵的低秩逼近问题，针对该问题，提出了一种鲁棒的含缺失成分矩阵的广义低秩逼近方法。.（5）对本项目中提出的相关深度学习网络，提出了相应的基于GPU的深层网络训练算法。