基于图像曲面流形分析及图割优化的协同图像分割

Large scale image collection cosegmentation based on image surface manifold analysis and graph cuts optimization is studied in this project. Considering the geometrical manifold structure of the objects the image cosegmentation problem can be transformed into the manifold combination optimization problem of the large scale image space surface. The graph cuts algorithm which is suitable for the large scale image cosegmentation optimization in manifold space will be developed to solve the minimization of the energy function. Therefore,the images in collection can be automatically segmented into separate regions. By considering the smoothing constraint, the flat constraint and the similarity constraint, integrating the object manifold information and image geomitrical structure, the image cosegmentation mathmatical model will be constructed. We then compare the feature disance metric in Euclidean Space and Non-Euclidean Space and analyze their influence to feature classification, and study the distance metric compuational approach in manifold space which is suitable for image cosegmentation. The feature representation with object manifold invariation and repeated pattern extraction method based on multiple object manifold will be studied. We also need to develop the multiple feature fusion framework and the adaptive demension reduction of high demension feature in manifold space. Finally, the flow network graph decomposition anlgorithm, grap cut composition algorithm and parallel grpah cuts optimization algorithm should be studied to solve large scale image collection cosegmentation. The researches in this project are the extension of the traditional multi-class automatical image segmentation in image cosegmentation, and the research results have significant theoretical value and extensive practical perspective in large scale image search and image recognition.

本项目研究基于图像曲面流形分析及图割优化的协同图像分割。考虑目标几何流形结构，将协同图像分割问题转化为图像空间曲面流形优化问题，并探索适用于大规模协同优化的图割优化算法，利用图像集合信息协同完成所有图像的自动多类分割。通过对分割所要求的光滑性、平坦性及相似性等约束的综合分析，考虑图像几何结构，融入目标流形信息，构建协同图像分割数学模型；比较欧氏空间和非欧空间不同特征距离度量的特点，分析不同流形表达的距离度量对特征分类的影响，研究流形空间中适合协同图像分割的特征距离计算方法；研究目标流形不变性特征表达以及多目标流形非均匀再现的重复模式提取算法，研究多特征融合框架以及高维特征自适应流形空间维度缩减方法；研究网络流图分解算法，图割合并算法以及并行图割计算方法，解决大规模图像集合的协同优化问题。本项研究是传统多类自动图像分割在协同分割研究中的扩展，不仅具有重要理论意义，其应用前景也十分明显。

本项课题对图像集合协同分割算法中的关键问题展开了研究。主要研究了图像集合共同目标的一致性表达问题、共同特征模式的挖掘与提取问题、协同分割框架与模型的构建问题以及协同分割模型优化问题，旨在提高协同分割算法对于一致性特征的高效自动挖掘能力，增强协同分割算法的分割准确性，提高算法的普适应，减少人为约束及先验假设条件限制。其中，在共同目标一致性表达问题中，研究了基于形状配准的个体性形状差异拟合机制和基于多重特征组合的一致性特征表达方法，能够有效提取目标的共性表达；在共同特征模式挖掘问题中，研究探索了共同形状模式的自动挖掘手段和自适应的特征组合权值设定机制，极大地提高了共同模式挖掘效率，并增强了分割算法的普适性；在协同分割模型构建与优化问题中，研究了目标边界先验模式挖掘与自适应不完备目标分割优化约束机制、基于自适应多次目标候选筛选的协同分割框架、基于MRF框架及局部约束的协同分割模型、协同热扩散模型以及包含非相关帧的协同视频分割框架，各类框架可满足多样性的协同分割任务需求。将面向图像集合的协同分割概念引入视频集合的协同分割问题，可有效应对关联视频集合的共性信息挖掘任务。除图像协同分割问题外，我们还在单幅图像分割问题上做了大量研究，研究内容主要涉及无监督图像分割、交互式图像分割方法等，这一系列研究也为协同分割研究提供了重要的研究基础及思路。此外，我们还结合前期已有的研究基础与实际应用需求，基于双目视觉的行人检测算法、红外目标检测方法、视觉目标跟踪算法以及鲁棒的图像特征点匹配和匹配扩展方法。这些研究中，有许多成果也借鉴了协同分割策略中的相关思想，本项目的开展既促进了协同分割的研究，也有效带动了项目组计算机视觉其他相关领域的创新与进步。