联合显著性检测和对象分割的算法研究

Saliency detection and object segmentation are two of the fundamental problems in computer vision. Previously, they are generally considered as two independently problems or only the saliency detection is unidirectionally applied to the object segmentation. This project proposes a unified scheme which jointly addresses saliency detection and object segmentation together with the purpose of dealing with difficult cases, such as object variation, cluttered background and low contrast between object and background regions. First, an object-oriented saliency detection model is proposed to obtain an initial saliency map. In this model, semantic information is derived from a set of nearest images and is integrated into a saliency forest for saliency evaluation. Second, a saliency-based object segmentation method is proposed by deriving segmentation seeds from both saliency map and exemplar images. Third, a saliency boosting model is built by modeling object prior based on the result of object segmentation, and the boosted saliency map is severed as a new constraint for object segmentation. In this way, object segmentation and saliency boosting models work mutually and iteratively leading to the optimal saliency map and the final segmentation. The proposed scheme is further applied to joint saliency detection and object segmentation in video by leveraging motion information as well.

显著性检测和对象分割通常作为两个独立问题来研究，或者仅是把显著性检测应用于对象分割。本项目探索一种联合的显著性检测和对象分割算法，旨在克服现有方法难于解决的对象的多样性、杂乱的背景、对象与背景呈现低对比度等困难情况。该项目首先提出了一种面向对象分割的显著性检测模型，试图从一组最相似的图像中提取高阶的语义信息建立显著性森林模型。其次提出了基于显著性检测的对象分割方法，该方法从显著性图和最相关的模板图像中提取可靠的对象种子区域，并建立对象分割模型。然后提出一个显著性增强模型，该模型从对象分割的结果中提取对象级的语义信息以进一步提升显著性图的质量。优化后的显著性图又作为对象分割的重要的约束信息，又进一步提高了分割的质量。这样对象分割和显著性提升间形成良性的互动机制，从而使显著性检测和对象分割都实现最优化。在实现静态图像的联合显著性检测和对象分割之后，该项目进一步研究视频的显著性检测和对象分割。

显著性检测和对象分割是计算机视觉与图像处理的两个基本问题，通常作为两个独立问题来研究，或者仅是把显著性检测应用于对象分割。对于包含对象多样性、杂乱的背景、对象与背景呈现度低对比度的图像，传统的模型生成的显著图质量较差，难以凸显显著对象的完整边缘信息，也难以有效抑制复杂背景区域。为克服上述困难，本项目首先提出了一种无监督的联合显著性检测和对象分割算法，验证了联合显著性检测和对象分割的可行性。为了进一步提升显著对象的检测性能，在二叉显著性分割树结构上，提出了基于分层关联丰富特征的显著对象检测算法，并且通过集成深度卷积神经网络特征到分层相关联的特征构造框架，有效提升了对复杂图像的显著性检测性能。并且提出了基于对象的概率边界的多层次的显著性检测模型，以及多样性引导的矩阵分解显著对象检测模型。针对于视频流的显著性检测，提出了基于基于双类背景的背景提取模型；这些模型有效提升了在静态图像与视频序列的显著性检测和目标分割的性能。本项目研究了基于内容的图像处理的应用，提出了一系列提升性能的新方法，主要包括基于核化多尺度深度网络的视频目标跟踪和基于视觉显著性的实时车牌检测。.本项目的研究成果对于推动显著性模型及其相关应用的发展有重要意义。截止2017年底，已发表学术论文14篇，其中，SCI检索的国际学术期刊论文8篇 (包括IEEE Trans. on Image Processing 和 Pattern Recognition 论文3篇)，国际学术会议6篇（包括ICCV论文1篇）；申请发明专利8项；培养研究生4名。