动态环境下的实时高清大规模三维地形重建研究

3D terrain reconstruction is an important researching area of environmental perception for mobile robots. This project develops a real-time high-resolution large-scale 3D terrain reconstruction system using multiple sensors integration. The system utilizes local 3D point clouds, 2D images, and inertial data to reconstruct a global terrain model. The system includes four functional modules: 1) Multiple Sensor Data Integration Module estimates the projection matrix between the mounted LiDAR and cameras based on least squares, so as to accurately map the local point clouds onto the captured video images. 2) Large-scale Datasets Registration Module proposes a compression method for point clouds and video images based on the redundancy removal principle. This method registers large-scale point clouds and high-resolution images using limited memory. 3) 3D Foreground/Background Segmentation Module integrates height histogram, 3D voxel dense map, Markov Random Field model, and Kalman filter algorithm to classify the terrain data into three classes, which are traversable ground, static object, and dynamic moving object. 4) High-resolution 3D terrain reconstruction Module utilizes multiple rendering techniques to realize real-time photorealistic representation of the large-scale terrain in a virtual environment. Furthermore, this project applies the GPU programming method to implements the applied graphics and image processing algorithms in parallel, which realizes real-time approach of terrain reconstruction.

三维地形重建是机器人环境感知的重要研究方向，本项目将开发一套基于多种传感器融合的实时高清大规模三维地形重建系统，利用局部三维点云、二维图像、惯性数据重建全局三维地形模型。该系统分为四大功能模块：1)多种传感器数据融合模块，基于最小二乘法估算出装载的激光雷达和摄像机间的投影矩阵，使局部的点云数据精确地映射到拍摄的视频流中；2)大规模数据加载模块，提出基于去重原理的点云和视频图像压缩技术，利用有限的内存空间加载大规模点云和高清的图像信息；3)三维前景背景分离模块，结合高度直方图、三维像素密度图、马尔科夫随机场模型和卡尔曼滤波器算法，将地形数据划分为可行走的地表、静态物体和动态移动物体三大类；4)高清三维地形重建模块，利用多种渲染方法，实现大规模地形在虚拟环境中的实时真实感展现。此外，本项目采用GPU编程方法对图形图像算法并行计算处理，以实现地形重建的实时性。

移动机器人的三维地形重建技术是自动化领域中机器人环境感知与路径规划中的重要研究课题。相对于依靠视频图像的三维重建而言，通过多种传感器的地形重建技术具有数据精确、感知信息可靠和高真实感等优点。本项目装备一辆拥有多种传感器的无人车平台，实现实时大规模三维地形重建。该平台装备一台HDL-32E Velodyne LiDAR 激光雷达收集三维点云数据，三台GC655 VGA CCD摄像机拍摄机器人周边图像，一台MTi-G-700陀螺惯导定位仪对机器人进行位置和旋转跟踪。利用该平台，本项目开发了一套基于多种传感器融合的实时高清大规模三维地形重建系统，系统分为五大功能模块：1)多种传感器数据融合模块，基于最小二乘法估算出装载的激光雷达和摄像机间的投影矩阵，使局部的点云数据精确地映射到拍摄的视频流中；2)大规模数据加载模块，提出基于去重原理的点云和视频图像压缩技术，利用有限的内存空间加载大规模点云和高清的图像信息；3) 物体分割及追踪模块，结合高度直方图、三维像素密度图、连通区域标记法、以及连续自适应MeanShift算法，将地形数据划分为可行走的地表、静态物体和动态移动物体；4)物体识别模块，根据物体的几何特征，利用BP神经网络实现三维物体的离线模型训练和在线物体识别。5)高清三维地形重建模块，利用纹理网格和颜色粒子模型对大规模三维地形高清建模。此外，本项目采用GPU编程方法对图形图像算法并行计算处理，以实现地形重建的实时性。本项目所涉及的在动态环境下三维地形重建技术可广泛应用在无人驾驶、城市建模、行星探索、矿藏探测、巡逻侦查等远程控制领域，同时在模拟战场、远程监控、互联网数字地图、文化古迹重建等多媒体技术领域也有广泛应用。