面向大规模图像目标检测和分割的超像素网格化方法

To pursue efficiency, accuracy and scalability in large-scale image analysis, which form the fundamental requirements of Big Data, many recent algorithms in computer vision and media computing are built upon superpixels. Compared to the regularly sampled image pixels, the most advantages of superpixels are their good accordance to object boundaries and the considerably reduced number of variables that need to be handled. Hence, superpixel-based approaches usually have much better efficiency and scalability than pixel-level methods, but with comparable or better accuracy. However, the significant irregularity in the topological connections of superpixels encumbers direct applicaton of some successful efficient techniques in pixel-level processing, such as integral image and efficient subwindow search (ESS) etc., to the superpixel-level. This indeed becomes one major bottleneck of superpixel-level image processing. In this project, we focus on optimally regularizing superpixels with arbitrary topological structures into the regular grid structures, based on the scheme of cascade dynamic programming (CDP). We will specifically discuss the generic model of superpixel gridization, feasible initialization and fast optimization methods for superpixel gridization. We will also explore the application of superpixel grid in large-scale object localization and segmentation. This project will help to promote the seamless transition from pixel-level image processing to superpixel-level processing, by unleashing the great potentials of superpixel-based approaches, thus helping to lay a solid foundation for more intelligent and efficient large-scale object retrieval and analysis of large-scale web images.

近年来，因应大数据环境对图像处理速度和规模的更高要求，超像素技术逐渐在视觉领域广泛使用。相对于均匀采样的像素点，超像素的优势在于其对目标边界的良好保持，并可以大大降低算法所需处理的变量总数，从而能够在明显提高算法效率的同时，获得同等或更高的处理精度。然而，超像素在拓扑结构等方面所具有的不规则性，使得许多成功的像素级处理方法（如积分图像、快速子窗搜索等）无法应用到超像素级别上。这成为目前阻碍超像素级算法进一步提高精度、效率和适用范围的主要瓶颈。本项目基于层叠动态规划的思想，研究将任意拓扑结构的超像素最优化地转变为规则网格结构的一般算法（包括：通用超像素网格化模型、超像素网格初始化与快速优化方法等）；并探讨基于超像素网格的大规模图像目标精准检测和分割技术。本项目的研究将推动像素级图像处理向超像素级处理的无缝过渡，进一步释放超像素技术的潜力，为实现更加智能而高效的海量图像目标检索和分析奠定基础。

本项目组围绕面向大规模图像目标检测和分割的超像素网格化方法及其应用开展了一系列的研究工作，重点集中在四个方面：通用超像素网格化模型构建和优化；图像显著目标检测；视频动态目标快速鲁棒跟踪与检测；主动成像条件重现及场景微变检测。..在通用超像素网格化模型构建和优化方面。基于层叠动态规划的思想，研究将任意拓扑结构的超像素最优化地转变为规则网格结构的一般算法。此外，我们以全景图分割为超像素网格化模型构建和优化的研究对象，探索全景图超像素网格化的通用方法，提出用于超像素网格化的层叠式动态规划优化算法，并构建了球面全景图超像素分割通用数据集。..在超像素级图像与视频显著性检测方面。提出了基于超像素网格的颜色特征增强方法以解决显著性残留问题；利用多尺度超像素分割融合的方式进一步提高显著性检测精度；提出了基于样例的显著性检测方法，有效提高在小样本训练集上的检测精度。此外，我们也研究了单幅图像内的协同显著性检测方法，丰富了显著性检测应用范围。..在动态目标快速鲁棒跟踪与检测方面。重点研究了基于相关滤波器的超像素级目标跟踪模型，提出了考虑目标内容动态更新的CSRDCF和DSAR-CF算法、基于训练样本权重解决边界效应的相关滤波目标跟踪算法以及基于动态孪生网络的目标跟踪算法，取得了当时先进的算法精度和鲁棒性，同时保持了较高的目标检测速度。此外，我们研究了基于互补视角的多目标快速跟踪算法。..在主动成像条件重现及场景微变检测方面。提出了基于主动视觉的相机和光照成像条件物理重现思路，并在此基础上提出了一种与手眼标定无关的相机六自由度精确重定位方法实现了物理真实的场景细微变化精确检测。 ..本项目的研究有助于推动像素级图像处理向超像素级处理的无缝过渡，进一步释放超像素技术的潜力，为实现更加高效的海量图像和视频目标检测和场景分析奠定基础。