基于部件结构的图像协同分割方法研究

Image segmentation is an important research in computer vision and multimedia processing. How to efficiently discover and extract interesting object from image data is still a challenging task. By investigating the current status of semantic object segmentation, this project proposes a new part structure based image co-segmentation method. Since the relationships among the local parts are introduced, this method can obtain more semantic results compared with the traditional methods. By analyzing the feature representation of different parts, we study the description of the part based on deep learning, and the design of the initial part generation method. Then, we study the part structure representation and matching based on the spatial relationships among the parts. Based on the part structure representation and matching, we study the design of part structure based co-segmentation model based on the part structure consistency. This work will provide a new idea and theoretical foundation for image semantic segmentation.

图像分割是计算机视觉和多媒体处理领域中的重要研究内容，而如何从图像数据中高效地发现和提取感兴趣对象仍然是一个挑战性的问题。本项目针对目前语义对象分割的研究现状，提出了基于部件结构的协同分割新方法。由于引入了对象的局部区域关联特性，该方法比传统的对象分割方法具有更好的语义特性。通过分析不同部件的特征表现，建立基于深度学习的区域部件描述，构建了初始部件的回归生成模型。针对对象的部件关系，提出了具有空间结构关系的部件描述与图匹配方法。并在此基础上，利用部件结构的一致性，构建了基于部件结构的协同分割优化模型。本项目研究有望为解决图像语义分割提供新的思路和理论依据。

协同分割致力于从一组包含共同对象的图像中分割出共同对象，是弱监督分割的一种有效方法。然而，传统协同分割方法仅分割对象区域，未考虑更精细的部件区域分割。而部件区域是精细化分类、行人再识别、图像文本解析等诸多应用的基础。为此，本项目开展了针对部件的协同分割研究，旨在弱标签标注下实现部件区域的分割。.所开展的研究包含初始部件生成、部件及部件结构的描述与相似性测量、部件协同分割模型的构建与优化等三个研究内容。.研究团队围绕上述三个内容开展了一系列研究，共发表学术论文23篇（SCI期刊论文15篇，会议论文8篇），其中包括高水平IEEE汇刊论文11篇，及ACMMM18和ECCV2018等高水平会议论文。申请国家发明专利3项，取得了多个研究成果。.1）提出了基于边缘方向性分析的区域相似性测量方法，实现了基于全局聚类的部件区域生成方法。基于深度学习方法，分别建立了通用区域的深度特征描述及语义性评价模型、基于排序正则化等的图像质量分析模型及基于信息融合和多尺度分析的深度分割质量评估模型，有效实现了部件区域的语义性和分割质量评估。.2）提出了基于局部纹理变化的图像特征描述符编码方法，建立了基于保留流形排序嵌入、基于全局和局部语义分析及基于非负矩阵分解的区域哈希描述与相似性度量方法，构建了基于高阶图匹配的部件集相似性度量模型，有效实现了部件区域和区域拓扑结构的描述和匹配，为部件的提取和协同分割模型构建奠定了基础。.3）提出了基于形变分析、种子点交互、人体分块等策略的部件先验生成方法，解决了弱标签下的部件先验构建难题；建立了基于视频全局分析、图像上下文语义分析、对象尺度分析和可判别区域分析的区域分割模型，为部件协同分割提供了多种基础分割模型。构建了基于形态变化、基于少量种子交互、基于分割传播策略等的部件协同分割模型及优化方法，有效实现了不同弱标签下的部件区域协同提取。相关研究成果获得了VCIP2016前10%最佳论文奖，被研究同行评价为“代表目前水平”的方法。