可计算图像美感分析及评价研究

Computational image aesthetics analysis and evaluation is an important computational aesthetics research direction in the field of image processing. It studies image aesthetic value judgment and aesthetic connotation excavation by making computer simulate human visual system (HVS) and aesthetic thinking and endowing the computer with the abilities of human subjective thinking and cognizance. Currently, photographic image has become a kind of massive social visual media. This project will carry out the research on image aesthetic calculation analysis and evaluation based on deep learning by taking photographic images as the object. Aiming at problem that the image data used for image aesthetic calculation and evaluation is not enough, we research the training strategies of small database with convolutional neural networks structure design, data enlargement, transfer learning and parameter regulation, study on multi-cue collaborative learning and analysis combined image aesthetic, style and content. At present, image aesthetic evaluations mainly focus on the classification according to the high or low aesthetic quality. To solve this problem, we study a multitasking and multi-label learning method with CNN which is used for analyzing and evaluating image aesthetic factors. Composition, depth of focus, brightness and color, the 4 aesthetic factors are labeled by a type of signing method combined computer with manual operation and then an image aesthetic factor database is built. This project is of significant research and application value, its results can be applied to such aspects as image retrieval, image edit and beautification, style analysis and man-machine interaction.

可计算图像美感分析及评价研究力图使计算机模拟人类视觉系统与审美思维对图像进行美学价值判断和美感内涵挖掘，赋予计算机人类主观思考和认知能力，是计算美学在图像处理领域的重要研究方向。当前摄影图像已成为一种海量的社会视觉媒体，本项目选取摄影图像为研究对象，开展基于深度学习的图像美感计算分析与评价研究。针对目前用于图像美感计算与评价的图像数据较少问题，研究卷积神经网络结构设计、数据扩展、迁移学习及参数调节对小数据库的训练策略，开展图像美感、风格及内容相结合的多线索协同学习及分析研究；针对目前图像美感评价主要是高、低美感分类的问题，采用计算机和人工标记相结合的方法，对构图、景深、亮度和颜色四种美感因素进行标记，构建图像美感因素数据库，研究卷积神经网络多任务多标签学习方法，对图像美感因素进行分析和评价。研究结果可用于图像检索、图像编辑和美化、风格分析和人机交互等方面，具有重要的理论研究价值和应用前景。

本项目对可计算美感分析及评价、图像情感分析、视觉艺术风格迁移和图像检索及虚拟试衣进行了深入研究，其研究内容、重要结果及科学意义如下：.1).可计算图像美感分析及评价。针对美感研究中数据集较小及缺乏对美感评价的问题，搭建了基于Fine-tune的卷积神经网络；为了挖掘图像情感和美感之间的关联，标注了一个Flicker_EA数据集，并搭建了三个渐进式的美感识别网络。该项研究为探索情感对美感识别的辅助作用与图像美感的评价奠定了基础。.2).图像情感分析。为了探索图像不同层级信息对情感的影响，搭建了多特征和人类感知过程的多模态情感分析网络；考虑到多模态数据在情感信息上的互补特性，提出了共享参数网络的多模态情感分析算法，实现了文本-美学-情感的融合学习；由于全局fine-tune以及全局参数冻结的迁移学习策略不能很好的利用源域和目标域的优点，提出了基于上下文引导的自适应微调Transformer的图像-文本情感分析。该项研究标注了一个情感-美感-文本的多模态数据集和图像-中文配对数据集Flickr-ICT，有助于深入挖掘文本-美感特征对情感判别的影响。.3).视觉艺术风格化。为了解决人物形体结构的协调性差、面部变形和轮廓缺失的问题，提出了重彩画的风格转移算法和非对称双流生成对抗网络；针对上色过程中颜色溢出等问题，提出了线条约束和细粒度注意力机制；为了实现多域字体风格迁移和爨体字生成，提出了端到端的字体风格迁移模型和稠密自适应生成对抗网络；针对图像翻译内容结构形变以及模型通用性差的问题，提出基于内容风格自适应归一化多模态图像生成模型和自适应归一化层的多样性图像翻译模型。该项研究对艺术风格迁移中内容保持与上色防溢出等进行了优异探索。.4).图像检索及虚拟试衣。为了避免服装背景等因素对检索的干扰，提出了多尺度CNN特征提取算法、多特征融合和MCFM的服装图像检索模型；为了解决现有方法出现的特征丢失及特征改变等问题，提出了基于款式变换和局部渲染相结合的虚拟试衣网络。该项研究为虚拟试衣的落地研究提供了参考价值。