基于多尺度深度学习的阿尔法通道预估算法研究

Foreground extraction is one of the most important problems in computer vision. The foreground accuracy is often affected by background texture, image color distribution, lighting condition, noise, etc. This project uses alpha matting along with deep learning to model the structures in the image and to generate accurate foreground mask for images with complex background. This research project is composited by the following four parts: 1) foreground database generation by using alpha matting algorithms; 2) image structure modeling by using multi-scale structures extractors; 3) structure model determination by using deep learning; 4) validating the effectiveness of the proposed foreground extraction model by using different image classes. The proposed foreground extraction method combines the alpha matting algorithms and the deep learning technique to extract the foreground objects with high accuracy, which can be widely used in military use and daily life in complex environment.

前景物体的提取是计算机视觉领域的基础性问题，其准确度极易受到背景环境、颜色概率分布、光影条件以及噪声等因素的影响。本课题旨在设计适应复杂条件的精确前景分割方法，通过模拟人类视觉感知特性，利用深度学习理论构建自适应的图像结构分析模型，克服前/背景特征混叠以及特征空间连续不可分的理论难题，从而精确稳定地分割前景区域。主要研究内容有：1）基于阿尔法通道预测算法建立前景物体数据库；2）利用多尺度图像形态提取算子对自然图像的特征建模；3）利用神经网络分析图像特征模型的参数，确定不同图像特征在前景物体分割时的作用机理，提出适合各种图像场景的自适应前景物体提取算法；4）通过实验仿真，验证完善前景分割模型在不同图像内容下的有效性。本项目结合深度学习和阿尔法通道预测的理论基础，从新的角度出发，富有一定的前瞻性与挑战性，对于前景提取技术应用于复杂环境的军事与电子系统，具有重要的现实意义。

前景物体的提取是计算机视觉领域的基础性问题，其准确度极易受到背景环境、颜色概率分布、光影条件以及噪声等因素的影响。本课题旨在设计适应复杂条件的精确前景分割方法，通过模拟人类视觉感知特性，利用深度学习理论构建自适应的图像结构分析模型，克服前/背景特征混叠以及特征空间连续不可分的理论难题，从而精确稳定地分割前景区域。主要研究内容有：1）基于阿尔法通道预测算法建立前景物体数据库；2）利用多尺度图像形态提取算子对自然图像的特征建模；3）利用神经网络分析图像特征模型的参数，确定不同图像特征在前景物体分割时的作用机理，提出适合各种图像场景的自适应前景物体提取算法；4）通过实验仿真，验证完善前景分割模型在不同图像内容下的有效性。在项目研究过程中，课题组主要从以下三个方面开展了研究工作：（1）构建训练、测试数据集；（2）比对研究阿尔法通道计算过程中信息流传播网络的构建方法；（3）基于深度神经网络的阿尔法通道预估方法设计。在数据库的建设工作中，项目组利用纯色背景编辑法合成精确前景alpha matte 853幅，结合背景合成方法，总计合成RGB-A4通道训练图像万余幅。在信息流传播网络特性研究中，项目组设计、验证、比较了包括空间局部八连通域、特征U型域、跨区域线性嵌入K邻域、全局K邻域等多种信息传播方法在alpha预估中的性能，并设计了复合型信息传播流网络设计。在Alpha-E神经网络的设计上，项目组设计了基于自编码器及纹理筛选器的复合型神经网络结构，不仅可以有RGB自然图像直接生成对应的前景alpha通道，也可以进一步优化其他算法合成的alpha通道。本项目结合深度学习和阿尔法通道预测的理论基础，结合深度学习和传统信息流传播的研究角度，实现了高精度彩色图像alpha通道预估，较传统方法可降低平均预估误差10%，富有一定的前瞻性与挑战性。Alpha通道预估作为视频特效合成的必备技术，在媒体传播、互联网交互等诸多领域具有重要的现实意义。