图像与视频的纹理风格迁移关键技术研究

纹理风格迁移技术在电影、电视、漫画、游戏、广告、科普示图及医学成像等诸多领域起着重要的作用，是数字媒体处理领域的一项重要任务。然而，现有的方法在交互性和实时性都还存在着不足，而简单友好的人工交互方式以及实时的系统响应速度不仅可以提高设计师的设计效率，还有助于他们将自身的创意融入到设计过程。因而这方面的研究不仅具有重要的理论意义，还具有广泛的应用价值。本项目拟结合最新的可编程图形硬件及其并行技术，采用渐进交互方式实时地设计出具有各种纹理风格的非真实感图像绘制效果，并以此为基础进而解决视频的纹理风格迁移问题，具体内容包括：利用跳跃洪水技术设计一个高度并行的纹理风格迁移算法，同时采用"边涂边选边迁移"的思想，将友好的人工交互和实时的局部纹理风格迁移算法无缝地集成在统一框架中；充分考虑视频数据的时空相关性，结合并行的动态图分割、光流场以及双边滤波等技术将交互式图像纹理风格的迁移技术扩展到视频序列。

本项目从算法的实时性、交互的友好性出发，围绕图像的纹理风格迁移所需要的若干关键技术展开了一系列研究。结合最新的可编程图像硬件及其并行技术，采用简单友好的人工交互方式实时地设计出具有各种纹理风格的非真实感绘制效果。在这三年的项目执行过程中，项目组各成员通力合作，刻苦钻研，较好地完成了预定的研究目标，取得了一定的研究成果。在本项目的支持下，项目组在国内外权威学术期刊录用和发表相关论文8篇，申请和获得国家发明专利2项。有1位硕士在本项目的资助下顺利毕业，还有6位硕士研究生正在开展与本项目相关的研究内容。具体地，本项目组在以下几个方面获得了一定的研究进展。提出了一种针对艺术图像的图像克隆技术，允许用户将任何真实的或虚拟的物体无缝地插入到一幅艺术作品图像中，所合成的新图像能够很好地共享原有艺术作品的艺术风格。运用多个数学函数来模拟二维液体表面的颜料运动映射关系，能够设计出各种类似于大理石纹釉风格的优美图案。基于二维流体动力学对输入图像的像素颜色进行对流处理，提出了一种将一幅图像自动转换成类似于大理石纹理效果的技术。基于显著性物体检测与分割技术，有效地实现显著性物体与背景场景的非均匀图像风格化任务。并且，还实现了一种实时自动的基于图像显著特征方向的非真实感图像转换技术和局部线性模型优化的灰度图像彩色化方法。GPU的并行实现技术使上述诸多应用获得了良好的实时交互效果。