基于协同搜索的图像和视频抠图新方法研究

The color image and video matting is a basic technique of image and video editing and widely applied to film special effects and virtual reality. Because of the evaluation error and the incomplete decision space of foreground-background pixel pairs, Image matting is facing problems of missing the optimized foreground-background pixel pairs and taking time in high-resolution images or videos. In this project, we focus on the mathematical modeling and search algorithm for the optimization problem of foreground-background pixel pairs. A key problem is to study accurate unsupervised quantitative evaluation methods for foreground-background pixel pairs and keep the consistency between the evaluation criterion and the matting performance. We will further consider the combinatorial optimization method for the large decision space problem. This study will eliminate the sampling process and avoid missing true samples caused by sampling. To reduce the computation cost of image and video matting algorithms, we plan to study a multi-task adaptive cooperative search method. The project is expected to open up a sub research topic of search-based matting for image and video matting, enrich the quantitative evaluation methods of foreground-background pixel pairs, and improve the application of image and video matting technologies in high-resolution, ultra-high resolution images or videos.

彩色图像（视频）抠图是图像（视频）编辑的基础方法之一，在影视特效、虚拟现实等方面有着广泛的应用。因前景背景像素对的评价偏差以及对前景背景像素对采样导致的决策空间缺失，现有抠图方法存在难以获取最优前景背景像素对、高分辨率图像（视频）计算耗时长的问题。本项目围绕前景背景像素对最优化问题展开数学建模和搜索算法的工作，研究前景背景像素对的无监督准确定量评价方法，免去传统的采样过程，解决像素对评价与抠图性能不一致的问题；研究大决策空间下基于进化计算的组合优化方法，解决因采样导致的最优像素对丢失的问题；研究面向多任务的自适应协同搜索方法，降低抠图算法的计算时间复杂性。本项目有望开辟一个“基于搜索的抠图方法”的研究子方向，丰富前景背景像素对定量评价方法，显著提高抠图方法在高分辨率、超高分辨率图像（视频）应用上的计算效率。

本项目围绕前景背景像素对优化问题对多任务背景下的自适应协同搜索方法中面临的部分共同问题和难点问题展开研究；主要研究了以下三点内容：研究无监督的前景背景像素对的准确定量评价方法，研究大决策空间下基于进化计算的组合优化方法，研究面向多任务的自适应协同搜索方法，提高对不同未知像素的最优前景背景像素对的搜索效率。本项目在研期间，项目组完成了以下研究工作：（1）讨论了现有的大规模智能优化算法的优点及局限性并探索其在抠图像素对优化问题上的寻优性能，验证了从组合优化角度求解自然图像抠图问题的可行性。（2）研究了图像颜色、纹理等多特征的相似度方法，设计了图像多特征相似度快速度量方法，为前景背景像素对的准确定量评价提供了特征提取技术；（3）研究大规模启发式优化理论及算法，设计了自适应种群大小的改进君主蝶优化算法等适用于大规模复杂优化问题的进化算法。（4）研究了大决策空间条件下面向多准则的抠图优化问题决策空间采样方法，针对多采样准则之间存在冲突的问题设计了像素级多目标采样方法，为像素对搜索提供了有效的决策空间缩减方法，实现了计算资源有限条件下的精细化抠图。（5）研究了多源知识驱动的超大规模启发式搜索理论及方法，设计了基于模糊评价与分解的多目标演化抠图算法；该算法在绝对误差、均方误差、梯度误差等多个抠图性能指标上超越基于采样的抠图方法，开辟了自然图像抠图问题求解的新思路，为前景背景像素对组合优化问题提供了高效的全局优化工具。（6）研究面向像素对优化的协同搜索算法，针对局部未知像素点的在像素对解的相似性，设计了基于图像金字塔的像素对优化框架，实现了基于协同搜索的自然图像抠图，有效提高了像素对优化算法的寻优效率。项目成果已应用于面向红外图像、视频的行人分类及检测和基于计算机视觉的火焰检测等领域。