集成场景模型与遮挡感知的语义分割研究

Semantic segmentation is a crucial component of scene understanding that has wide applications and remarkable social benefits. This project proposes to address the following three problems around semantic segmentation under a unified framework: (1) instance-aware semantic segmentation, (2) occlusion prediction, and (3) scene layout estimation. Firstly, we use a combination of template matching, pictorial structures and scene model based piecewise planar assumptions for predicting the spatial extent of various types of objects. Secondly, we use instance level prediction and deep feature maps simultaneously to infer occlusion relations among objects. Lastly, we build a scene model with weak depth information that contains both foreground and background objects. The scene model is capable of recovering a hallucination of the scene with occluders removed in a layerwise fashion. We propose to jointly solve the three closely relevant problems above by training a multi-task deep convolutional neural network and sharing intermediate features. The resulting algorithm improves the performance, efficiency and robustness of each of these tasks, and produces a scene representation with rich spatial context information.

语义分割是场景理解的重要环节，具有广泛的应用场景和重大的社会意义。围绕语义分割问题，本项目提出并研究在统一框架下完成以下三个任务：带实例感知的语义分割、物体间遮挡关系预测与场景布局估计。首先，我们对于不同类型的物体，采用模板匹配、图结构模型、基于场景模型的分段平面假设等不同方式预测其在空间中所占范围。其次，我们同时使用物体实例信息与深度图像特征进行物体间遮挡关系预测。最后，我们对输入图像建立带弱深度信息的场景模型，从而估计出前景与背景物体，并输出可逐层去除遮挡物的场景想象图。通过训练一个多任务深度神经网络，上述三个紧密相关的问题可实现特征共享与联合推理，提高了每个模块的性能、效率与鲁棒性，并得到带有丰富空间上下文信息的场景表示。

语义分割是计算机视觉研究的基础与热点问题，具有广泛的应用场景。本项目的总体目标是通过统计学习方法得到场景模型，以解决物体间相互遮挡、小目标检测与分割、类内相异与类间相似性等关键技术难点。项目的主要研究成果如下：.首先，提出一种非参数化和一种半参数化的场景建模方法。与全参数化场景模型相比，此类模型可有效应对复杂场景与场景布局变化较大的情形，并可作为一种通用的场景特征学习方法，用于目标检测及分割等多种场景理解任务。.第二，提出一种基于深度学习的多层级目标分割框架，该框架通过一种简便的目标区域提名方法，在粗分割基础上对潜在目标区域进行放大及细分割，并可在场景、物体、像素三个不同的空间粒度下进行联合推理。.第三，提出一种鲁棒的全卷积网络学习策略，通过引入一种特征空间中类内与类间差异化的辅助损失函数，对深度特征进行大间隔训练，以提高特征在高维空间中分布的合理性。.最后，提出一种融合色彩空间阈值约束和几何形状约束的目标分割方法。该方法基于鲁棒模型拟合法，对形状定义明确的目标直接设计参数化模板，从而补全图像底层特征中受噪声影响而丢失的信息。.多个相关的基准数据集上的实验显示，所提出的方法可达到当前领先的性能水平。项目研究成果的主要应用领域包括视频监控、智能导游与智能驾驶等。