GPU加速和风格感知的艺术图像和谐克隆

The editing of artworks is a creative process, and usually only professional artists can re-touch and edit artworks with specified artistic styles. Therefore, how to let ordinary users without art background edit and retouch artistic images intuitively and conveniently remains a challenge. Solving such a problem is of both theoretical and practical values. Different from existing Poisson image editing and seamless image cloning which focus on solving the color discrepancies between the source photorealistic object and target photorealistic background along the cloning region boundary, this project aims to develop style-aware image cloning methods to seamlessly and harmoniously clone source photorealistic images into stylized artworks in which the source and target regions are of inconsistent visual styles. The cloned object shares the same artistic style with the target artworks, and takes the lighting and geometric models of the artwork into consideration. The research contents include the creation of a general artistic model, GPU based real-time style transfer, photo-driven real-time artistic image editing, smart image editing considering semantics analysis and physical environments, the creation of the footage library from different artists, image editing guided by the artistic styles of artists, and stylized portrait editing. The system will support interactive functions such as layering, shadowing, semantic labeling, and direction field editing to enhance the harmonization of the composite image. Based on the ubiquitous digital images and massive photo images in Internet, novice users can create interesting artworks with our system.

艺术图像的编辑是一项创造性劳动，通常只有专业的艺术家才能修饰具有特定艺术风格的作品。因此，如何让不具备专业美术知识的普通用户方便快捷地进行艺术图像的风格化编辑和修饰具有重要的理论和应用价值。与现有的源和目标均为真实感图像的泊松图像克隆合成不同，本项目研究如何把真实感的源图像无缝和谐克隆到风格化的目标艺术图像中。克隆后的源图像不仅具有目标图像的艺术风格，并同时考虑了与目标艺术图像光照和几何环境的一致性。具体研究内容包括通用艺术风格模型的建立、基于GPU的实时风格迁移、基于照片素材的实时艺术图像编辑、基于几何场景和语义分析的智能艺术图像编辑、大师作品素材库的构建、大师作品风格指导的图像编辑、风格化人脸肖像编辑等。项目最终研发出一个风格感知、GPU加速、交互式的数字艺术图像和谐克隆合成系统，并具有层编辑、阴影控制、方向场编辑、语义标定等功能，普通用户可方便地采用该系统进行艺术图像的编辑和修饰。

艺术图像的编辑是一项创造性劳动，通常只有专业的艺术家才能修饰具有特定艺术风格的作品。因此，如何让不具备专业美术知识的普通用户方便快捷地进行艺术图像的风格化编辑和修饰具有重要的理论和应用价值。与现有的源和目标均为真实感图像的泊松图像克隆合成不同，本项目研究如何把真实感的源图像无缝和谐克隆到风格化的目标艺术图像中。克隆后的源图像不仅具有目标图像的艺术风格，并同时考虑了与目标艺术图像光照和几何环境的一致性。经过四年的实施，课题组在风格感知的艺术图像和谐克隆、基于Marbling风格化艺术画图像的信息隐藏和传递、风格化伪装图像生成等方面取得突破性进展；在肖像图像的颜色风格转移、基于双尺度联合局部拉普拉斯纹理滤波的风格化、结构感知的非局部图像彩色化优化、肖像素描风格化图像生成等方面也取得了重要进展，共发表相关研究论文23篇，其中在IEEE Transactions on Visualization and Computer Graphics、IEEE Computer Graphics and Applications、Neurocomputing、Computer Graphics Forum、Computer-Aided Geometric Design、Computers & Graphics、Computer Animation and Virtual Worlds、The Visual Computer、Multimedia Tools and Applications这些重要国际学术刊物上发表论文21篇(含CCF A类期刊IEEE Transactions on Visualization and Computer Graphics论文2篇)，国内核心期刊论文2篇；SCI检索21篇，EI检索23篇，论文被Google Scholar引用82次；获得4项授权国家发明专利；培养博士3人，硕士1名。获得浙江省科技进步二等奖1项；1篇论文获得国际计算机动画学术会议(CASA 2017）最佳论文奖。研发出了一个风格感知、GPU加速、交互式的数字艺术图像克隆合成系统，并具有层编辑、阴影控制、方向场编辑、语义标定等功能，普通用户可方便地采用该系统进行艺术图像的编辑和修饰。