自底向上的静态图像显著性检测

Image saliency detection aims to detect the salient object that captures the most visual attention in an image and output a saliency map in the form of an intensity map. Due to lack of learnt high-level knowledge, bottom-up saliency detection is an ill-pose problem which has to rely on some prior knowledge about the object and background in images. But changing salient objects and scrambled background make image saliency detection be still a challenging problem. In this project, we deeply mine and improve all kinds of prior knowledge. We cast saliency measure as a graph-based ranking problem, and propose a two-stage ranking model to fuse those priors. In order to fully play complementary roles of multiple features in saliency detection, based on feature selection, we propose a self-adapting multi-task ranking model. Finally, considering the limitation of the single image based priors, we extend the above model to multi-image co-saliency detection. We propose a co-ranking model to encourage similar saliency for similar regions in different images, thereby boosting the detection performance of each image by the constraint that those images have similar salient objects. The prior knowledge from multiple images benefits the saliency detection for the images with scrambled background.

图像显著性检测是估计图像每个位置属于显著目标（最吸引视觉注意力的区域）的可能性，并用灰度图的形式表示出来。由于缺乏高层学习知识，自底向上的显著性检测是一个病态问题，可以借助有关目标与背景的先验知识将其转化为容易解决的良态问题。但图像背景复杂多样、显著目标尺度变化不一、先验知识有限等因素使得图像显著性检测仍然是一个颇具挑战性的问题。本课题在充分挖掘与改善前背景先验知识的基础上，将显著性度量问题建模为基于图模型的排序问题，通过两级排序学习将各种先验知识有机结合起来。为了充分发挥多种特征对显著性检测的互补与促进作用，提出具有图像内容适应性的多特征排序模型，实现多特征融合。考虑到利用单幅图像的先验知识很难解决复杂背景下的显著性检测问题，本课题扩展单图像检测模型，提出基于协同排序的多图像显著性协同检测方法，通过促使多幅拥有同类目标的图像互为先验，提升对每幅图像的显著性检测效果。

随着移动互联网的广泛应用，图像视频数据量急剧膨胀，如何从纷杂冗余的数据中快速筛选出有用信息，成为一个亟待解决的问题。受生物视觉系统的高效视觉信息处理机理的启发，视觉显著性检测技术应运而生。本项目主要从先验知识挖掘、显著性度量、特征融合以及协同检测等方面系统地研究了显著目标检测及时序目标跟踪问题。提出了流形排序（TPAMI2017）、核化子空间排序（ECCV2016）、吸收马尔科夫（TIP/ICCV2013，SCI他引81次，谷歌引用超300次）、稠密稀疏重构（TIP/ICCV2013，SCI他引102次，谷歌引用超300次）以及多示例学习（TIP2016）的显著性模型；提出了增广前向反馈神经网络模型（ICCV2017）以及基于哈希理论的目标跟踪算法(TIP2016和TCY2016)。在本项目资助下，课题组共发表论文22篇，其中SCI检索10篇，中科院2区以上8篇，在顶级会议ICCV/ECCV发表论文4篇。建立的DUT-O显著性测试数据库已成为标准测试库之一。申请专利3项。基于上述部分成果，课题组负责人获教育部自然科学二等奖1项（排名第三）。