基于图像前景关联的协同抠图技术研究

The proposal studies the problem of image co-matting, which aims to simultaneously estimate foreground opacity from multiple images that contains similar instances of the same foreground object against diverse backgrounds. Existing approaches mainly focus on single image matting, requiring much user assistance when handling multiple images. Meanwhile, image co-matting remains an open issue, showing great potential in the fields of both academic research and social application. To achieve the goal, a two-step solution is proposed by taking full advantage of the foreground correlation among images: trimap generation with image co-segmentation based on appearance-feature correspondences across absolute-foreground regions, followed by opacity consistency aware co-matting among blending regions. Additionally, a geometric coherence clustering based local feature matching strategy is proposed as well. All the efforts are hopefully leading to a convenient co-matting system with high efficiency and performance, relieving users of the heavy burden of intensive interactions, and therefore better meet the potential application requirements in social life.

本项目拟研究一种对包含相似前景不同背景的多幅图像进行前景透明度估算的协同抠图算法。现有的抠图算法通常以单幅图像抠图为研究目标，在处理多图像时需要大量的用户交互；而多图像抠图技术的相关探索尚处于起步阶段且具有较高的理论研究和潜在应用价值。项目拟分两步来充分利用多图像间的前景关联实现协同抠图：采用一种基于前景局部特征匹配关系的前背景协同分割算法提取各图像的三分图，续以一种基于前景透明度一致性的协同抠图方法实现前背景融合区域的协同抠图。在前一步骤中，为实现多图像局部特征快速匹配，拟提出一种基于局部特征几何变换聚类的高效匹配方案。在此基础上，设计并构建原型系统。研究成果将有效减轻用户在大量抠图过程中的操作负担，提高抠图效率和质量，从而更好地满足人们社会生活中的相关图像编辑需求。

现有的抠图算法通常以单幅图像抠图为研究目标，在处理多图像时需要大量的用户交互；而多图像抠图技术的相关探索尚处于起步阶段且具有较高的理论研究和潜在应用价值。本项目基于图像的前景关联开展协同抠图研究，并就三分图构建中所涉及的图像匹配和前景分割等相关技术及其应用展开探索。首先，在多图像匹配方面，提出了一种局部特征几何变换聚类的高效图像匹配算法；其次，在图像集前景分割方面，提出了一种融合边界识别的深度神经分割网络并应用在腺体医学图像分割中；最后，在协同抠图方面，提出了基于多图像前景透明度一致性约束的协同抠图模型；此外，作为一项拓展应用研究，将图像匹配技术应用于基于图像集的三维重建并在此基础上探索并提出了一种融合二维图像特征和三维几何特征的建筑图像视点评价和推荐方法；本项目所取得的成果将为多图像前景关联及抠图技术的发展和应用提供理论指导和方法学支持。