基于语义的图像合成

图像合成是一种高效的图像获取、加工手段，是多媒体信息处理和计算机图形学中的热点问题，并且在平面设计和影视制作方面有着重要的应用。本项目的研究内容为如何将基于语义的机理引入图像合成算法的设计与优化中，以提高合成结果的质量。主要研究内容包括三个方面：图像缩放、图像色调编辑和图像融合。技术创新在于多模态特征图像场景内容结构分析与表示、基于语义的图像重定位、基于语义的图像/视频色调编辑和高质量时空一致性融合等。主要技术难点在于图像内容结构分析的高效表达、多模态特征的归一化表示和图像合成中语义相关机理的使用。

图像合成是一种高效的图像获取、加工手段，是多媒体信息处理和计算机图形学中的热点问题，并且在平面设计和影视制作方面有着重要的应用。本项目对基于语义的图像合成方法进行了深入研究，重点探索了如何将语义信息引入图像合成算法的设计与优化中，以提高合成的质量或构建新的图像合成方法。本项目在执行过程中主要对图像合成中的图像缩放、图像颜色迁移、图像融合和图像风格化等方面进行了研究。其中，在与图像合成相关的图像分析和图像处理技术的方面，我们主要对图像相似物体检测、图像相似物体重要度预测、图像纹理检测、图像恢复、人脸关键点提取和抽象画分析等问题进行了研究；在图像缩放方面，我们主要对快速多算子图像缩放、包含相似物体的图像摘要、纹理感知的图像缩放等问题进行了研究；在图像颜色迁移方面，我们重点对分布感知的图像颜色迁移和基于内容的图像颜色传递方法进行了研究；在图像融合方面，我们对图像中物体的材质编辑与融合进行了研究；在图像风格化方面，我们对图像水墨风格化、水墨绘制过程模拟和人脸卡通化等问题进行了研究。本项目在执行过程中共发表国际期刊论文17篇、国际会议论文8篇，国内核心期刊2篇；申请中国发明专利9项（5项已获得获得授权），申请国际发明专利1项。人像卡通化技术和人脸关键点提取技术已应用于腾讯公司移动端照片编辑应用“天天P图”。本项目构建了利用图像高层语义信息并结合人类视觉认知机理进行图像合成的方法，并以实际应用问题为对象，有效提高了图像合成结果的视觉质量和上下文合理性，并实现了利用语义信息对一般图像合成算法的指导。