基于八叉树卷积神经网络的大场景语义三维重建

Large scale, high quality, semantically-aware 3D reconstruction is an important topic in video-based 3D reconstruction. Large scale 2D data is computational expensive and comes from multi-sources, while the semantic information is essential. Therefore, this project proposes a method that combines the advantages of 3D reconstruction, deep learning and semantic segmentation, achieving semantic segmentation under an unified framework. In this project, we first combine the semantic symbolic space and feature vector space, and tackle 3D reconstruction and semantic segmentation at the same time. Then we build an advanced octree-based convolutional neural network to handle the massive data. As the deep learning-based 3D reconstruction methods do not perform well on surface details and unusual structure, we apply a shading-based method to refine the 3D model and the semantic meaning. Last but not the least, we build a large-scale semantically-aware 3D database that is able to self-update. Compared to the traditional 2D data, 3D models and their corresponding semantic meaning become more and more valuable. Our research will improves China’s 3D information system in terms of intelligence and scalability. It has great values in both research and economy, and can be applied on homeland security, disaster management, city infrastructure, virtual reality, and etc..

大场景、高精度、含语义的三维重建是视频三维重建的主要研究难点之一。本项目针对大场景下的二维信息数据来源多样、计算复杂的问题和语义信息的重要性，创新性地提出了一套将三维重建与深度学习、语义分割相结合的方法，在统一的数学模型下实现大场景语义三维重建。研究内容主要包括：(1)结合语义符号空间与特征向量空间，在生成三维模型的同时得到其语义信息，并使两者相互迭代优化；(2)构建新型八叉树卷积神经网络来高效地处理大场景下的海量数据；(3)实现一体式三维模型及语义再优化，改善神经网络在三维重建细节和特殊结构上的缺陷;(4)建立一个具有自主更新能力的大场景语义三维模型数据库。相较于传统的二维信息数据，三维模型及其语义信息在军民两方面有着越来越重要的价值。本项目为三维信息数据系统向智能化、规模化发展提供了一条新的技术途径，可应用于国土安全、灾害防控、城市规划、虚拟现实等领域，有着重要研究意义和广泛应用前景。

大场景、高精度、含语义的三维重建是视频三维重建的主要研究难点之一。针对大场景下的二维信息数据来源多样、计算复杂的问题和语义信息的重要性，本项目实现了一套将三维重建与深度学习、语义分割相结合的方法，在统一的数学模型下实现大场景语义三维重建。本项目为三维信息数据系统向智能化、规模化发展提供了一条新的技术途径，可应用于国土安全、灾害防控、城市规划、虚拟现实等领域，有着重要研究意义和广泛应用前景，主要成果包括：1、生成了6000组不同复杂程度（LOD）的虚拟城市建筑数据，并使用无人机航拍采集了约4平方公里的高清数据，经过建模后可以得到初步的三维模型，用作深度学习网络的训练数据；2、构建并训练了八叉树三维神经网络，利用对空间和计算资源的高效利用来解决传统方法重建范围受限、重建精度不够的问题；3、构建并训练了一套基于生成对抗网络的光照几何恢复框架，通过将真实场景的平面物体的光照效果迁移至目标物体，在几个主流数据集上达到了0.056~0.7的MAE，表现优于之前的各类算法。之后为了重建微观细节及特殊结构，利用二维图像和三维模型间的光照一致性，将能量方程最小化，微调三维模型的几何位置及其语义信息，使其更加精确；4、创建了一套虚拟现实（VR）大范围三维可视化及漫游系统，在VR中以真实行走方式与三维模型进行交互。此外，项目研究工作在计算机领域期刊和国际会议上发表文章4篇，申请发明专利4项（其中1项已授权），参加国内外学术会议3次，并培养硕士研究生3名。