融合全波形激光扫描点云与可见光图像的地面近景对象感知

Terrestrial laser scanning （TLS）systems show more and more advantages in the applications such as fundamental survey and large scale urban environment 3D reconstruction. However, the object perception and scene understanding based on the acquired high resolution 3D point clouds faces the problems of high computational cost and low intelligence. The major reasons are the lack of robust object perception approach in 3D point cloud, and the lack of making the full use of aux visible images and waveform data in TLS. This research focuses on three aspects: feature extraction on integrated visible image and TLS point cloud，feature extraction based on full-waveform TLS point cloud, and category-level 3D point cloud object recognition based on implicit shape model. The major innovations include: (1) Proposing an object category recognition approach from 3D point cloud based on rotate-invariant Hough Forest model; (2) Proposing a classification and feature extraction method for small-footprint close-range full-waveform TLS point cloud; (3) Proposing an object perception method based on feature-level fusion on visible image and TLS point cloud. This study will develop the theory on information extraction and scene reconstruction for TLS. The output of this research will benefit applications such as mobile mapping, culture heritage and fundamental surveying.

地面激光扫描系统（TLS）在基础测绘和大规模城市场景的三维重建中具有越来越明显的优势，但获取的高分辨率点云数据的信息提取计算量大、智能化程度低。主要原因是缺乏鲁棒的三维点云对象识别理论与方法，辅助的可见光图像数据和波形数据没有充分利用。本课题围绕全波形数据特征提取，可见光图像与激光点云联合特征提取，基于隐形状模型的融合图像与点云的对象类别检测识别三个方面开展研究。创新点包括：（1）提出基于旋转不变Hough森林模型的三维点云对象检测识别；（2）提出基于小光斑近景全回波激光扫描数据的分类和特征提取；（3）提出特征层融合近景可见光图像和TLS三维点云进行对象感知。研究将发展车载移动TLS和静态TLS数据的信息提取的理论和方法，提高TLS数据的智能化解译水平。研究成果在移动测图、数字文化遗产、基础测绘等方面将发挥巨大作用。

地面激光扫描系统（TLS）在基础测绘和大规模城市场景的三维重建中具有越来越明显的优势，但获取的高分辨率点云数据的信息提取计算量大、智能化程度低。主要原因是缺乏鲁棒的三维点云对象识别理论与方法，辅助的可见光图像数据和波形数据没有充分利用。本课题围绕全波形数据特征提取，可见光图像与激光点云联合特征提取，基于隐形状模型的融合图像与点云的对象类别检测识别三个方面开展研究。研究内容包括：（1）提出基于旋转不变 Hough 森林模型的三维点云对象检测识别；（2）提出基于小光斑近景全回波激光扫描数据的分类和特征提取；（3）提出特征层融合近景可见光图像和 TLS 三维点云进行对象感知。 .项目的重要研究成果包括：.(1) 提出了关于三维霍夫森林进行三维目标检测算法，并且有效的利用了超体素的一阶领域来增强对物体局部信息的描述，提高三维目标检测的精度。.(2) 提出了基于超体素邻域来提取三维局部结构，引入局部参考框架来描述三维局部结构，融合了局部参考坐标系和旋转投票策略来解决旋转目标的检测问题。.(3) 提出了一个对高分辨点云场景进行点云分块提取、描述与组织的方法，以缓解海量三维点所带来的巨大计算量，实现分块匹配图标签传递的点云语义标注。.(4) 提出了一个基于多视角投影的大规模点云线结构提取算法。通过将点云进行多个视角投影到二维平面上，形成二维的直线特征图，进而通过对特征图的分析提取大规模点云中隐含的线结构。.(5) 提出了一种基于分割小平面的大规模点云快速线段提取算法。利用小平面提供的区域线性特征进行快速线段提取，并引入虚警数概念，滤除假阳性线段。. 此外，从项目获批至2017年12月，依托本项目，研究团队成员共发表期刊SCI检索论文16篇，会议论文5篇，其中13篇为第一标注，申请且授权专利7项。培养硕士研究生2名，博士研究生4名。