基于超体素深度特征学习的室内点云场景分割与理解

Semantic parsing of point cloud scenes is devoted to realizing intelligent recognition and understanding for involving objects to establish accurate semantic scene models. Aiming at the drawbacks of erroneous segmenting and inadequate parsing in existing methods, this project explores in-depth semantic parsing for indoor point cloud scenes based on over-segmented supervoxels employing the theories and techniques of deep learning. The research content consists of three parts: (1) studying boundary constrained supervoxel over-segmenting method, which extracts edges of unordered point clouds and applies them as constraints to achieve boundary restricted over-segmentation in the clustering of supervoxels; (2) establishing supervoxel-based deep feature learning and semantic labeling framework for point cloud data through designing rational deep neural networks for feature learning of supervoxels and presenting corresponding strategies to realize accurate semantic segmentation; (3) proposing presentation model and semantic graph generating method to assign indoor scenes explicit semantic knowledge by parsing contextual information of objects and constructing scene graphs. The research findings will enrich and optimize the theory and techniques of scene understanding, and provide effective support to advanced applications such as virtual reality and intelligent robotics.

点云场景的语义解析致力于实现场景中物体的自动化、智能化识别与理解，建立完整准确的场景语义模型。针对现有方法对场景目标分割不准确、语义解析不足等问题，本项目拟面向室内场景，基于点云超体素过分割，应用深度学习理论和方法，探索高效、深入的场景语义解析。主要研究：(1)基于边缘约束的点云超体素过分割方法，通过提取无序点云的边缘数据，并将其作为超体素聚类增长的约束信息，使生成的超体素严格依附于物体边界；(2)面向超体素的深度特征学习和点云语义分割框架，构建深度网络模型，以超体素为单位进行特征学习，并建立相应的分割策略，完成点云数据语义分割；(3)场景语义表达和知识图自动生成方法，探索点云场景中物体语义知识学习和上下文信息解析方法，构建场景的完整知识地图，为场景数据赋予丰富的认知含义。本项目研究成果将丰富和完善场景理解的理论和方法，为虚拟现实、智能机器人等应用提供有效技术支撑。

本项目针对室内场景的高效语义分割以及深入解析问题，基于点云超体素过分割及深度学习理论方法，研究面向点云数据的室内场景理解方法。通过对点云数据进行超体素聚类简化，利用深度神经网络的特征表示和学习能力，解决非结构化三维点云的分割标注、物体语义解析等关键问题，构建完善的室内点云场景理解框架，为虚拟现实、智能机器人等诸多应用的知识获取提供科学有效的解决方案。.项目针对现有方法对场景目标分割不准确、语义解析不足等问题，提出新的解决思路的方法，获得的重要结果包括：（1）设计并实现基于边界约束的点云超体素过分割算法，采用“先过分割再融合”的思想，根据物体表面凹凸性进行区域融合，实现物体级的场景分割；（2）建立面向无序三维点云数据及超体素的深度特征学习网络模型，提升点云场景语义分割精度；（3）基于数据稀疏化的思想，建立以超体素或面片为处理单元的图卷积的三维点云语义分割模型，在保证分割精度的情况下加快深度模型训练和测试过程；（4）探索针对多模态信息的场景语义推理模型，搭建面向点云数据的语义分割与原型系统，验证本项目提出的方法。依托该项目已发表或录用论文7篇，其中SCI期刊论文7篇；申请国家发明专利4项，其中已授权2项；培养硕士研究生8名，其中已毕业5名；已超额完成项目成果指标。.本项目的科学意义包括：（1）探索针对无序三维点云数据的深度特征提取模型，充分利用局部信息和全局上下文信息，提升了点云语义分割精度；（2）构建面向超体素及分割面片的深度特征学习模型，解决了大规模点云数据语义分割效率和精度的平衡问题。