基于语义解析的油画风格化研究

非真实感绘制技术广泛应用于动漫、平面广告设计和三维游戏制作等。本项目将主要研究单幅图像和视频（序列帧）的油画风格化绘制。我们建立一个大型油画数据库，通过对这些油画数据进行特征统计分析和学习，制定写实油画风格基本绘制策略和质量评估体系。单幅图像的油画风格化过程包含两个阶段：在图像解析过程中，根据给定一幅图像或者照片，我们先对图像进行交互式分割，然后进行区域识别和内容理解，最后建立层级图像语义解析树。在图像绘制阶段，首先建立一个基于物体类别的油画笔触库和物理笔触模型，然后根据区域内容安排对应笔触进行绘制，并根据画家的绘画习惯和统计规律制定油画风格基本绘制策略进行油画渲染，最后建立一套客观有效的评估体系对渲染结果进行评价。在此基础上我们把这套语意驱动绘制的思想扩展到视频油画风格化中，该系统同样包括两个阶段视频处理阶段：视频解析系统和渲染系统，其中提出一些关键新算法来减少帧间笔刷的抖动。

该项目在下面几个领域进行了研究：（1） 图像颜色增强。油画渲染的一个关键技术在于颜色的增强，并把Local Linear Embedding的思想应用到图像增强中，并取得了较好的效果，相关研究工作已经发表在图像处理的国际会议ICIP，在该方法的研究过程中我们发现基于LLE或者概率颜色映射方法的颜色变化容易产生图像人工伪影，因此我们提出一个基于迭代概率颜色映射和自学习滤波的框架，以抑制图像的人工伪影，该研究结果发表在IEEE TMM期刊。；（2）图像的物体识别和区域语义信息提取。油画渲染的另一个关键技术是抽取图像和视频的语义信息，并基于语义信息进行笔刷选取和绘制策略，因此在该方面进行深入研究，相关研究成果已经发表在国际期刊Pattern Recognition。（3）基于视频内容理解的油画风格化渲染，其核心研究是视频风格化，主要包含两个模块：（a）基于关键帧技术的视频内容语义分割模块，包括视频语义分割、特征提取和匹配。（b）语义驱动的视频风格化模块，包括基于视频内容的笔触选取和绘制策略制定，另外在设计弹簧模型表达画刷彼此之间的关系，并利用LM 算法来抑制序列帧的画刷抖动，取得了较好的效果。相关研究内容发表在IEEE TCSVT期刊。