基于扩散过程及多视觉线索融合的显著性区域检测方法研究

Salient region detection methods can rapidly detect salient visual regions in an image, to realize the effective selection of important information from the massive visual data and the reasonable allocation of computing resources, which greatly improve the efficiency of image analysis. Therefore, it has been widely used to numerous computer vision problems such as image segmentation, image compression and object recognition, to name a few. Although considerable progress has been made, salient region detection remains a challenging issue. Taking the visual attention mechanism as the point of departure, this project break through the limitations of existing salient region detection methods in feature description, visual cues combination, and diffusion processes of saliency, to propose an alternative solution based on diffusion processes and multi-visual cues combination. The research contents of this project mainly include the following four aspects: 1) Comprehensive analysis of the visual attention mechanism, and research the new feature description methods. 2) The study of the improvement and application of the diffusion process methods according to salient region detection. 3) To explore the complementary visual clues, and to study their combination method. 4) Research on the application of salient region detection in the object recognition and scene classification. By conducting this project, it is very likely to obtain more accurate and more robust salient region detection method, and improve the performance of object recognition and scene understanding.

显著性区域检测方法能够快速检测图像中的显著区域，实现对海量视觉信息的有效筛选，合理分配计算资源，从而极大提高图像分析的效率。因此，其被广泛应用于诸如图像检索、图像分割、图像压缩及目标识别等众多计算机视觉领域。虽然近年来显著性区域检测研究已取得较大进展，但其仍然是一个极具挑战的问题。本项目从视觉注意机制出发，突破现有显著性区域检测方法在特征描述、视觉线索融合、显著性扩散等方面的局限性，提出基于扩散过程及多视觉线索融合进行显著性区域检测的新框架和新方法。研究内容主要包括四方面：1）视觉注意机制梳理及新的特征描述方式研究；2）针对显著性区域检测的扩散过程方法改进与应用研究；3）探索互补性强的视觉线索及其融合方式研究；4）显著性区域检测在目标识别、场景分类中的应用研究。通过本项目的开展，可望获得比国际上现有算法更加准确、鲁棒的显著性区域检测方法，并提高目标识别、场景理解等算法的性能。

视觉注意是人类视觉系统一项重要的生理机制，它能有效滤除冗余的视觉信息，并选取场景中最相关的信息。随着数码相机和智能手机的普及，以及互联网社交媒体和照片共享的广泛使用，数字图像呈现出爆炸性增长，快速有效地获取图像中最相关的、信息量最大的区域变得越来越重要。因此，计算视觉注意方法称为近来一个很重要的研究领域。. 近来，基于扩散的显著性区域检测方法获得了广泛注意。我们针对基于扩散方法的两个重要方面：扩散矩阵及种子向量的构建，做了一些有效的改进。首先，通过将每个节点与其邻域节点及二层邻域的最相似节点进行无向连接，我们构建了二层稀疏图。相较于此前常用的二层邻域图，我们所构建的图，不但能够有效利用局部的空间信息，而且还能有效去除不相似的冗余节点。其次，我们使用超像素聚类的空间方差来计算种子向量，相较于常用的背景先验，我们的方法能够更好的区分显著性种子和背景种子，尤其是当显著目标邻近图像边界时。最后，通过显著性和背景种子向量，我们计算了两幅初始的显著性图，并通过流形排序的扩散方法获得了更加准确地结果。我们在ASD、DUT-OMRON、ECSSD、MSRA5K和MSRA10K这五个图像库上，与当时的20类方法进行了比较，实验结果表明，在不同的评测标准下，我们的方法均优于最近发表的、性能最好的方法。