面向结构分析的室内复杂场景三维感知与重建方法研究

This project mainly focuses on the indoor complex scene represented by scattered point cloud, and proposes to acquire a new method of indoor scene perception and reconstruction, including: (1) According to the spatial distribution pattern of indoor scenes based on the trend of linear structures, we explore the hierarchical segmentation algorithms and structural semantic information extraction methods and establish an indoor scene frame structure model with multi-layered semantics, in order to improve the automation degree of the scene frame structure reconstruction method. (2) Based on the basic strategies of spatial division and detail reconstruction, we explore a data loss-independent mechanism of spatial composition and implement the restoration and representation of the basic structural elements in the internal scene, which provide a powerful tool for the effective and complete reconstruction of the basic unit composition of internal scene. (3) We present a functional components decomposition method and an optimal shape subset representation method, and an object reconstruction mechanism based on recognition and heuristic search is established to realize the three-dimensional representation of a target object in the scene, thereby effectively improving the accuracy of reconstruction of the basic object in indoor scene. The achievement can provide theoretical support for 3D reconstruction of indoor complex scenes, enrich the methodology of 3D point set reconstruction, and further provide effective support for the applications of robotic indoor navigation, virtual reality, smart home and so on.

本课题以散乱点云表示的室内复杂场景为研究对象，拟获取一套室内场景感知与重建的新方法，具体包括：(1) 揭示基于线形结构走向的室内场景空间展布规律，探索基于层次分割算法和结构语义信息提取方法，建立顾及多层语义的室内场景框架结构模型，提高对场景框架重建方法的自动化程度；(2) 研究空间划分和细节重建的基本策略，探索与数据缺失无关的空间构成机理，实现内部场景的基本结构元素的恢复与表达，为有效和完整地重建内部场景的基本单元组成提供有力工具；(3) 提出具有普适性的场景目标物体功能部件分解方法和最优形状子集表示方法，建立基于识别与启发式搜索的物体重建机制，实现场景目标物体的三维表示，有效提高室内场景基本物体重建的准确性。其成果可为室内复杂场景的三维重建提供理论支撑，丰富三维点集重建的方法体系，进而为机器人室内导航、虚拟现实、智能家居等领域的应用提供有效支撑。

三维室内场景感知与重建是计算机视觉及计算机图形学等领域中富有挑战性的前沿课题。项目以散乱点云表示的室内复杂场景为研究对象，以“结构分析”为主线，围绕着数据驱动的室内场景布局划分和三维表示展开研究，探索场景结构理解与表示中的难题，取得的主要研究成果包括：(1) 提出了保持邻域尖锐特征的法向计算方法，设计了残缺邻域保形策略下的脊谷特征提取方法，实现了结合局部密度和局部投影的离群点去除，以及切片引导的散乱点云数据规则化方法，从而完善了室内场景特征计算方法与特征集构造策略。(2) 提出了由粗到精的室内场景布局与结构重建方法，结合单元分解与空间分割的房间布局划分方法，建立了顾及线形特征的场景框架结构表示模型，进一步提高了对场景框架重建方法的自动化程度；(3) 设计了基于遮挡检测和平面分割的墙壁结构划分方法，实现了基于开口检测的墙壁细节信息的重建，同时分析了不同门状态下的墙壁重建结果，进而提升了室内场景内部结构元素的重建准确率；(4) 提出了基于GCKS-Net的三维物体语义分割方法，实现了联合GCKS-Net和相似性度量的部件分割，并完成形状构件提取和场景空间拓扑结构引导下的基本物体分割，建立基于构件提取和构件匹配的物体重建方法统一框架，从而形成完善的室内场景空间表示模型。该课题已发表论文14篇、授权国家发明专利3项、申请国家发明专利8项，获软件著作权5项，培养博士研究生3名、硕士研究生9名。圆满完成了计划任务书中的各项研究任务。