三维点云分层特征学习方法及其在环境感知中的应用研究

With the wide application of depth cameras and multi-layer LIDARs in indoor and outdoor robots, three-dimensional point clouds are becoming an important sensory modality to acquire information about the environment. At the same time, with the rapid development of deep learning theory, deep neural network based hierarchical feature learning has replaced the traditional hand-crafted features in images and achieved great success in a lot of computer vision tasks. However, because point clouds are sets of unstructured, unordered sparse points, researches on point clouds based hierarchical feature learning progressed slowly. This project is intended to 1) investigate on point cloud based feature learning and representation theory, 2) build proper point clouds based hierarchical feature learning framework and 3) apply them to point clouds based object recognition, object detection and semantic labeling and improve the environment perception of mobile robots. This project will be significant in promoting the application of deep learning in point clouds and increasing the intelligence level of indoor and outdoor mobile robots.

随着在室内外移动机器人中深度相机和多线激光雷达等传感器的大量应用，三维点云成为机器人获取环境信息的重要数据模态。与此同时，随着深度学习理论的快速发展，在图像领域，基于深度神经网络的分层特征学习方法已经逐步取代了传统的人工设计特征并在诸多视觉感知任务中取得了巨大成功。但是，由于三维点云数据的非结构性、无序性和稀疏性等特点，导致基于三维点云数据的分层特征学习方法研究仍然进展缓慢。本项目拟对三维点云数据的特征学习与表示理论展开研究，建立适合三维点云的分层特征学习框架，并将其应用到三维点云目标识别、目标检测及语义场景理解中，提高移动机器人环境感知水平。研究对推动深度学习在三维点云中的应用，提高室内外移动机器人智能水平具有重要意义。

随着三维传感技术的快速发展与相关传感器的逐渐低成本化，三维点云成为移动机器人获取环境信息的重要来源，基于三维点云的环境感知技术也成为研究热点。近年来，深度学习技术快速发展并已成为视觉感知的主要技术手段。由于三维点云具有非结构性、无序性和稀疏性的特点，二维图像中常用的卷积神经网络无法直接应用于三维点云，基于三维点云的深度学习技术明显落后于二维图像。本项目主要针对基于深度神经网络的三维点云特征学习方法及在此基础上的目标检测与场景理解方法展开研究。项目提出了一种基于细分编码网络的点云特征学习方法，在保留更多原始点云信息的基础上实现了较为高效的计算，并在此基础上提出了一种新的三维目标检测方法。针对三维点云测试样本与训练样本分布不同导致的性能下降问题，本项目研究了三维点云领域自适应学习方法，提出了一种基于无监督多子类领域自适应网络的模型迁移方法和一种基于自监督学习的点云领域自适应目标检测方法。针对复杂动态场景，本项目将生物复眼“初级运动检测器模型”拓展到三维空间，实现了高效的运动点云检测，并在此基础上提出了一种高效鲁棒的三维运动目标检测方法。本项目还将目标上下文表示拓展到三维空间，结合三维稀疏卷积网络提出了一种新的基于三维稀疏语义上下文表示的点云分割方法。此外，本项目还利用传感器融合，提出了一种基于Transformer的点云图像融合道路检测方法，同时还构建了一个开放的大规模越野场景点云图像融合道路检测数据集并在该数据集上进行了算法验证和评价。项目研究成果改善了三维点云环境感知中面临的实际问题，提出了一系列新算法并在相关数据集和实车测试平台上进行了验证，研究成果对于提高移动机器人环境感知水平具有重要意义。