数据驱动的图像合成

This project will base on the feature analysis and semantics mining of internet visual media, and use data-drive mechanism as key method to study image synthesis methods, including assessment, optimization and automatic generation of image content. The goal is to explore the schemes of utilizing internet visual media to develop intelligent image synthesis theories and methods. We will first study the visual prior-based visual media content analysis and learning methods, study content generation-oriented visual information expression scheme and learning method of semantic feature association. On this basis, study image beautification methods, including data-driven methods of image color beautification and portrait beautification. Study image resizing methods, including the learning and predicting methods image resizability properties, and data-driven image resizing method selection method. Study image stylization methods, including data-driven methods of natural image stylization, image cartooning, simulation of Chinese painting drawing process and generation of Chinese painting from natural images.

本项目将以网络海量可视媒体的特征分析和语义挖掘为基础，以数据驱动机制的为核心研究图像合成方法，实现图像内容的评价、优化和自动生成，探索利用网络可视媒体数据对图像合成相关理论和技术的智能化提升机制。本项目将首先研究基于视觉先验的可视媒体内容结构分析与学习方法，在面向内容生成的视觉信息表达机制和语义特征关联关系学习等方面进行研究。以此为基础，研究图像美化方法，探索图像色调美化和人像美化的数据驱动方法；研究图像缩放方法，探索图像可缩放性属性的学习和预测方法，构建数据驱动的图像缩放方法优化选择机制；研究图像风格化方法，在数据驱动的自然图像风格化、图像卡通化、国画绘制过程模拟和风格化生成方面进行探索。

本项目面向互联网环境下可视媒体内容生成与内容评价方面的需求，研究数据驱动的图像合成理论与方法，重点研究图像内容结构分析与表达、图像美化、图像缩放和图像风格化等。本项目共发表期刊论文12篇、会议论文13篇，其中CCF A类论文13篇；获授权发明专利3项；培养博士、硕士研究生12名；参加国际学术会议10次。在图像内容结构分析与表达方面，提出了基于自监督特征增强的大尺度图像目标检测和面向旋转与密集排列的目标检测方法；提出了基于多模态信息学习的画家画作代表性分析方法；提出了图像集内容丰富度评价方法；提出了基于内容的图像集摘要和呈现方法。在图像美化方面，提出了图像文字水印配色、人脸图像虚拟化妆和暗光图像增强等方法。在图像缩放方面，提出了基于深度学习的多算子图像正方形化方法，以及图像可缩放度评价方法，有效解决了内容相关图像缩放的算子优化选择问题。在图像风格化方面，提出了数据驱动的多风格人像卡通化方法；提出了中国水墨作品动态绘制过程重建方法；提出了基于多适应的任意图像风格化和基于多通道相关性的任意视频风格化算法。另外，本项目还提出了基于注意力机制的图像美学评估算法、基于自监督特征学习的图像美学评估和针对小样本问题的学习生成匹配网络方法等。本项目的部分成果已应用于腾讯、亮亮视野和远鉴科技的多项产品中。本项目打破了以往基于单图信息进行图像合成和编辑的框架，提出了数据驱动的图像合成思想并形成了系列方法，具有重要的科学意义和应用价值。