复杂背景下复杂目标的显著性分割模型

Salient object segmentation is widely applied in video surveillance, robot vision, image processing and so on. The salient object detection in the complex background is one of the hot topics in the field of computer vision. But in the real life, not only the background is complex, but also the objects are often complex. This project focuses on the study of saliency detection model for complex objects in the complex background, and this is a novel and challenging problem. Based on the deep analysis, we plan to begin our research from these three aspects: the complex background modeling, the complex objects modeling and the distinction modeling between the background and the objects. Our innovations are summarized as follows: 1. Introducing the deep features learned from the CNN model and combining with the theory of matrix decomposition. This will leverage the deep features of images and prefer to the unified model under the framework of matrix decomposition. 2. Introducing the non-convex regularization and the multiple complementary features regularization to the modeling of complex background and complex objects, respectively. 3. In order to easily separate the complex background and complex objects, the sparse gradient pursuit and the multi-scales matrix decomposition are adopted. This project will bring some new models and the rapid effective algorithms for the salient complex objects detection in the complex background. The achievements of our team are outstanding and the technical demonstrations are detailed and reasonable.

显著性目标探测在视频监控、机器人视觉、图像处理等领域有着广泛应用。复杂背景下的显著目标探测是当前计算机视觉研究的热点之一，但在实际生活中，不仅背景是复杂的，往往目标也是复杂的。本项目聚焦于复杂背景下的复杂目标显著性探测问题，这是一个富有挑战性的全新课题。基于深入、系统的分析，本项目拟从复杂背景建模、复杂目标建模、复杂背景与目标的区分度建模三方面展开研究。主要创新点如下：1、将CNN网络学习到的深度特征与矩阵分解理论结合，既引入图像的深层次特征，又在稀疏低秩矩阵分解框架下对问题进行统一建模；2、对复杂背景和复杂目标分别建模，拟采用非凸逼近正则与特征互补性正则来分别约束背景和目标的深度特征表示；3、采用稀疏梯度准则和多尺度矩阵分解，解决复杂背景和目标容易混淆的问题，增强两者间的区分度。本项目预期将为复杂场景下的复杂目标显著性探测提供新模型及快速有效算法，前期研究基础扎实，技术论证详实可行。

本项目就矩阵和张量分解框架下的显著性目标分割模型和算法展开研究，主要解决复杂场景下对背景、显著性目标和区分度正则建模和算法的建立。我们主要做了以下五个工作：1、将传统手动特征与深度特征结合，在张量框架下实现高维数据的张量建模。深度特征富含了图像块的深层信息，张量构造同时兼顾了特征之间的高阶相关性，因此，显著性检测准确率有大幅度提升。2、在矩阵分解框架下，研究了基于非凸正则算子Schatten-p凸逼近显著性检测模型，给出了非凸算子的凸逼近形式，由于避免了大规模的奇异值分解运算，该模型在保持精度的同时大大提高了运算效率。3、在张量分解框架下，研究了张量秩的两种Log-det非凸逼近，给出了非凸正则的闭式解，证明了算法的收敛性。两种张量秩的非凸逼近算子有效克服了对Fourier域中大奇异值的过度惩罚，有效提升了显著性分割的效率。4.在矩阵分解框架下，提出稀疏梯度正则约束，该算子具有分段光滑属性，在保持类内一致性的同时保留了类间数据的区别度，有效增大了显著性目标与背景之间的空间距离。5.在张量分解框架下，引入分片超拉普拉斯矩阵，诱导显著性目标和背景信息逐步归结于各自的子空间中。本项目的研究成果为复杂场景下的复杂目标显著性探测提供了新模型及快速有效算法，可以为相关领域的研究提供技术支持和相应的理论支持。