语义关联的室内场景对象建模及功能理解

3D reconstruction and understanding of indoor scene and objects are one of the most important research topics in the fields of computer graphics and computer vision. Although many research works are devoted to this topic, it suffers from many intrinsic issues such as occluded and missing visual data, target segmentation error, environmental noise, etc. While the idea of integrating semantic information with 3D reconstruction has been developed, there are still some key problems which are unsolved. .This project is devoted to reconstructing object models and functional understanding of object units within indoor scenes, by integrating visual data with semantic data. In particular, the project includes three research issues. 1) We take the point data segmentation of indoor scenes under unideal acquisition condition as input, integrate both the object-level and unit-level semantic information facilitated by semantic database, use the scene-object group-object-unit layering multi-granular cross-modeling optimization as the main tool, to study the semantic annotation of point cloud data via database retrieval with the learned features using a CNN network, and explore the underlying semantic clue correlation of objects and units of indoor scenes. 2) We study the reconstruction of both objects and unit models based on unit deformation and regrouping by fusing the semantic clues, as well as the optimization of the model based on the semantic correlation, and implement high precise reconstruction of models. 3) We study the understanding of units by fusing semantic information with visual data, and implement the functional understanding of scene objects. Research on indoor scene reconstruction and functional understanding via fusing visual data and semantic information is of great significance in the applications of advanced intelligent robotics as well as the development of related subjects.

室内场景三维重建与理解是计算机图形学、计算机视觉等领域的核心研究内容之一。针对视觉获取信息所存在的数据遮挡缺失、对象分割误差、采集环境噪声等固有缺陷，融合语义信息进行三维模型重建的思想获得广泛认同，但尚有一系列的关键问题有待解决。本项目拟融合视觉与语义关联信息研究室内场景的对象级模型重建及功能理解。以非理想数据采集条件下的室内场景对象级点云数据分割为输入数据，结合语义库提供的对象及基元级别的语义信息，以场景—对象群—对象—基元的层次化多粒度交叉建模优化为手段，研究基于学习的对象及基元检索特征表示及语义标注，实现对象与基元的语义线索关联；融合语义线索研究基于基元变形及重组的对象及基元模型重建和基于语义关联的对象群模型优化，实现高精度模型重建；研究语义与视觉融合的基元理解，实现场景对象功能理解。视觉与语义融合的场景对象重建及理解对于高级智能机器人应用及多学科融合发展具有重要价值。

室内场景三维重建与理解是计算机图形学、计算机视觉等领域的核心研究内容之一。针对视觉获取信息所存在的数据遮挡缺失、对象分割误差、采集环境噪声等固有缺陷，融合语义信息进行三维模型重建的思想获得广泛认同，但尚有一系列的关键问题有待解决。.本项目以室内场景对象的模型三维重建及其功能理解为核心开展研究工作，同时，面向数据驱动的对象建模与功能理解开展了相关的对象&基元语义数据库和人-物交互任务知识图谱的构建研究。在以下三方面取得研究进展，并总结相关结论：①模型三维重建方面，研究了基于点云数据、基于RGB图像数据、基于简笔画数据的模型重建，以及基于多视图立体的场景重建方法，研究进展表明：基于生成对抗网络模型的重建方法能够达到目前网络重建模型的最好质量，且基于对象先验知识的引导模型，可以明显提升模型重建质量。因此，后期的研究工作可致力于大数据提供的先验知识在深度学习网络中的应用研究；②室内场景对象功能理解方面，研究了像素层面、对象层面及多任务交互层面的多种功能理解方法；研究及进展表明：对象功能理解具有较强烈的应用依赖特性，同一对象的功能理解结果在不同领域具有差异化表现，且对象功能具有多层次理解方式，不同方式对实现技术的要求有差异，因此，结合应用背景的特定层次功能理解研究将是后续研究的主要出发点；③构建对象&基元模型语义数据库与人-物交互任务知识图谱及训练数据集，为场景对象重建与功能理解提供了数据及知识辅助。结合以上研究进展，项目组认为：基于深度学习方法的模型性能指标对于训练数据的依赖性不可忽视，并伴随着学习模型日益复杂、高效等趋势，使得如何挖掘训练数据中包含的对象自身信息，乃至有关对象环境、关联关系等信息以提升学习模型效率，已成为后续研究工作需关注的重要环节。.因此，基于学习的视觉与语义融合的场景对象重建及理解有望达到更理想的技术指标，这对于高级智能机器人应用及多学科融合发展具有重要价值。