基于晶格状超像素的室内场景实例语义分割方法研究

The RGB-D image has a wide application in tasks such as virtual reality, robot indoor navigation, and augmented reality. Instance semantic segmentation for scenes captured by the depth camera is a common problem and key technology for these applications, and it also is a difficult problem need to be resolved. This project aimed at the study of instance semantic segmentation for indoor scene data captured by depth camera. For the semantic segmentation algorithms cannot reach pixel level segmentation, and the obtained indoor scene data often has data loss, which affects the identification accuracy, this project propose a real-time generation algorithm to generate lattice shape superpixels for RGB-D images. We construct convolution neural network to segment the RGB-D based on these superpixels, and use the similar objects in the scene to repair each other. Finally we construct a multitasking deep learning algorithm framework which fuses the repair and recognition task to recognize the object. The major goal of this project is providing a series of simple, efficient and robust new methods and technologies for the problems involved in the indoor scene instance semantic segmentation problems, which contain lattice shape superpixels generation, object segmentation and completion, collaborative operation of completion and recognition. The project has excellent theoretical significance and application value.

带有深度的RGB-D图像在虚拟现实、机器人室内导航、增强现实等任务中具有广泛应用，而对深度相机所拍摄场景进行实例语义分割是这些应用任务中的共性问题和关键技术，也是急需解决的难点问题。本项目围绕由深度相机获取的室内场景数据的实例语义分割问题展开研究，针对于目前语义分割算法难以达到像素级分割，以及获取的室内场景数据中常带有数据缺失，影响识别精度等问题，本项目首先提出对RGB-D图像进行实时晶格状超像素分割；并基于此超像素构造卷积神经网络对RGB-D图像进行分割，之后在此基础上利用场景中的相似物体对分割出后的点云数据进行初步修补；最后提出构造融合修补与识别的多任务深度学习算法框架。项目的主要目标是为室内场景的实例语义分割问题中涉及的晶格状超像素生成、物体分割与修补以及物体的修补与语义识别协同任务等问题的解决提供一系列简单、高效和鲁棒的新方法和技术，具有很好的理论意义和应用价值。

室内场景的语义分割问题是虚拟现实、机器人室内导航、增强现实等许多智能场景任务的共性问题和关键问题，本项目主要围绕该问题展开研究。为提高语义分割的像素级分割精度以及降低运算复杂度，项目首先研究了超像素分割问题。作为对图像进行过分割的一种技术，超像素可以较好的保持图像中的局部细节并减少后续图像处理任务中的处理单元，因此其曾广泛应用于各种图像处理任务中。为了使得超像素分割技术适应目前深度学习算法的拓扑要求，本项目提出了一种带有晶格拓扑的超像素的生成算法，该算法生成的超像素具有如像素一般的晶格状拓扑，使其可直接应用到卷积神经网络中。针对图像中常存在的弱边界难以分割问题，项目还提出了一个针对弱边界的自适应参数的超像素生成算法。针对带深度的室内场景图像中常见的深度图像存在噪声及缺失等问题，项目基于图像的上下文关系，研究了图像的去噪及修补算法，此外为提高三维点云数据的分割精度，项目研究了物体的相对位置信息在点云识别问题中的作用。本项目围绕室内场景的语义分割问题，在超像素生成、图像修复、三维点云分割等方面取得了一些创新性成果，具有很好的理论价值及应用意义。