面向智能机器人感知的三维场景重建与分析

Reconstruction, understanding and analysis of 3D scene is an active research of computer graphics, computer vision and robot. Reconstruction based on monocular or binocular color images cannot build high-accuracy and realistic 3D scene, the laser point cloud based approach can achieve high-quality result, however，laser scanners are relatively expensive. To address these problems, intelligent robot oriented reconstruction and analysis for indoor scenes is proposed in this project, the pipeline consists of three steps: firstly, the multi-sensor integrated platform is designed to collect indoor point cloud automatically. Secondly, the scene is reconstructed in real time with the combination of semantic information and multi-sensor data. Finally, the fused point clouds are segmented and recognition by using the context of indoor scene and deep learning methods. The project is feasible with complete technical routes, navigation, environmental awareness of robot and other areas will be promoted by this research results.

三维场景的重建、理解和分析是计算机图形学、计算机视觉、机器人等领域的研究热点。经典的方法如基于单目、双目彩色图像的重建无法构建高精度、真实感强的三维场景，基于激光点云的方法虽能实现高质量的三维重建但成本相对较高。针对室内场景，本课题拟研究面向智能机器人感知的三维重建技术以及进一步的理解和分析技术。项目分三步进行：首先，设计多传感器融合的智能采集平台用于自动的采集室内三维点云；其次，结合语义信息和多传感器数据实现实时的三维重建；最后，利用上下文强关联关系和深度学习的方法对融合后的点云进行分割和识别。课题研究内容明确、技术路线完善，研究成果可以促进机器人导航、环境感知等领域的发展。

三维重建及相关的图像视频处理技术是视觉SLAM、虚拟现实、AR/VR等领域的研究热点。项目针对相机位姿估计、基于体素的高质量三维重建、三维场景可视化等核心问题以及与之高度相关的图像视频处理技术展开研究。总体上，项目研究内容包括四个方面：1）基于体素的三维重建，体素是基本的三维模型表达形式，数据结构简单，但其空间复杂度较高，难以实现高质量的重建。为了解决这个问题，本项目提出一种基于级联结构的体素卷积神经网络，通过利用八叉树进行优化，不仅降低了时空复杂度同时显著提升了重建质量，与此同时项目发布了人体重建数据集推动了相关技术的研究。2）相机位姿估计，相机位姿估计是计算机视觉的重要研究方向。针对静态场景中特征点检测容易受到光照影响的问题，提出一种鲁棒的单应矩阵估计算法，实现了精确的特征点估计。针对动态场景下位姿估计不准确的问题，提出一种基于条件随机场和观测一致性的相机位姿估计方法，实现了动态场景下的精确位姿估计，为动态三维场景重建提供技术支撑。3）相关图像视频处理技术，图像视频跟三维模型高度相关且可以相互转换，如三维模型经渲染可以得到高真实感的图像，图像也可通过可微渲染或其他技术恢复出三维模型。本项目针对图像矢量化和视频重着色两个领域展开研究，首次提出了基于调色板的重着色算法和基于半透明图层的图像矢量化算法，为三维模型的下游编辑任务提供了支持。4）复杂地形三维场景的可视化，复杂地形三维场景的可视化是一个广泛研究的课题，相关技术在土地整治、科学规划用地等方面广泛应用。针对沟壑区域的土地整治，本项目基于开源三维引擎OpenSceneGraph实现了一个沟道流域模型的可视化系统，为土地的治理提供了决策依据。