面向多层次图像分割的质量评价方法研究

Complex natural images contain a large number of different semantic levels of the target objects and scene information. The emergence of hirarchical image segmentation algorithms provides an accurate and effective solution to the segmentation results of different levels of detail. However, the existing segmentation quality evaluation only relies on the single segmentation level evaluation technology, whereas it lacks of evaluation theory and method for the hierarchical segmentation quality. In this project, the methods of image segmentation quality evaluation are studied based on the hierarchical image segmentation results. The research is divided into four parts. 1. The hierarchical reference segmentation is constructed to study the mechanism of human subjective vision on the understanding of hierarchical targets; 2. The ground truth based quality evaluation is studied to achieve the evaluation on the global and the local levels. Evaluation measures based on different image features are designed. 3. Non-ground truth based quality evaluation is studied. We will describe the features of hierarchical segmentation target and perform the quantitative evaluation of segmentation quality by calculating the feature category distance of the segmentation qualities. 4. The performance of hierarchical segmentation quality evaluation measure is verified. We will quantify the degree of coincidence between the results of quantitative evaluations and the subjective hypotheses. The completion of this project is helpful to develop the hirarchical computer vision techniques, and provide theoretic evidence for understanding the complex natural images.

复杂自然图像包含大量不同语义层次的目标对象和场景信息，多层次图像分割算法的出现为获得不同细节层次的分割结果提供了准确有效的解决办法。针对现有分割质量评价仅采用单一分割层次的质量评价技术，缺乏多层次分割质量的评价理论和方法，本项目以图像多层次分割结果为研究对象，研究层次变化下图像分割质量的评价方法。研究内容分为四个部分：1.构建多层次参考分割模型，研究人的主观视觉对图像多层次目标的理解机理；2.研究有参考图像分割质量评价方法，实现全局和局部分割层次的质量评价，设计基于不同图像特征的评价指标；3.研究无参考图像分割评价方法，建立分割目标的多层次特征描述模型，基于分割质量特征类别的距离进行分割质量量化评价；4.验证多层次分割质量评价指标的性能，量化指标评价结果与主观假设的吻合程度。本项目的完成有利于推动多层次计算机视觉处理技术的发展，为复杂自然图像理解提供理论依据。

图像分割是实现计算机视觉技术的重要步骤，不同的计算机视觉任务对分割目标的语义层次理解有不同需求。目前大多数图像分割评价方法仅针对单一分割层次设计，评价过程缺少对不同层次整体和内在关系的关注，无法全面客观地度量分割质量。本项目以图像多层次分割结果为研究对象，研究语义层次变化下图像分割质量的评价方法，主要分为四个部分：1.构建多层次参考分割模型，研究人的主观视觉对图像多层次目标的理解机理；2.研究有参考图像分割质量评价方法，设计基于不同图像特征的评价指标；3.研究无参考图像分割评价方法，建立多层次图像目标特征描述模型和评价原则，对图像分割质量量化评价；4.研究元评价方法，验证多层次分割质量评价指标的性能。具体地，围绕以上几点内容分别展开研究。建立了多个参考分割的层次表示模型，实现了多层次目标分割的区域组合表示，提供更准确的参考分割和目标分割结果；提出了基于聚类、数据合并和基于树形结构的评价方法，在有参考的图像分割评价任务上取得了优于现有指标的结果；从多层次图像特征表示以及传统低层次边缘特征表示两个方面，以数据为驱动学习丰富的图像目标特征，作为参考特征标准来预测分割目标的质量；利用元评价原理构建目标分割数据集8995幅图，在深度学习框架下设计度量损失，用于学习目标特征并评价目标分割质量。项目研究成果用于提高弱监督图像分割的质量，在公开数据集上取得了2个百分点以上的评价准确度提升。提出的无监督分割评价方法的准确度超过传统方法10个百分点以上，接近有监督评价方法的准确度。本项目研究的意义在于从多尺度角度分析和理解图像目标分割任务，将缺乏唯一解的图像分割问题用以结果为驱动的方法进行量化评价，结合多尺度信息进行分割质量评价，解决现有评价方法的局限性。