基于内容的图像光影模板学习与美学质量评价关键技术研究

Visual contents such as images have been increasing dramatically. The perception and understanding of visual contents by computers are in the frontier and involve with visual computing, computer vision and computational photograph. The content based image illumination template learning and automatic aesthetic quality assessment on illumination are hot topics in this area. The key problem is how to computational represent illumination based on the image contents so as to assess the visual aesthetic quality of illumination in images. This project targets at the automatic aesthetic quality assessment on illumination of images. perceptual space for illumination aesthetic quality, content based illumination layer decomposition, content based illumination template learning, template based classification and numerical assessment of image illumination aesthetic quality are the main contents of our projects. This projects can make contributes to the progress of young researchers and also the perception and understanding of visual contents by computers. The research results will have broad application prospects.

随着图像等可视内容数据与日俱增，可视内容感知理解已经成为可视计算、计算机视觉、计算摄像学等科学研究领域及其交叉方向国际前沿的研究方向。其中基于内容的图像光影模板学习与光影美学质量自动评价是符合科学研究发展趋势、瞄准科学研究国际前沿的新研究方向，其关键科学问题在于：如何针对不同的图像内容构建图像光影的表示模型，以自动评价图像光影美学质量？本项目深入开展基于内容的图像光影美学质量自动评价关键技术研究，重点突破基于光影效果的多内容图像基准数据集构建、图像光影美学质量感知空间学习方法、基于内容的图像光影层分解、基于内容的图像光影属性模板学习方法、基于属性模板的多内容图像光影效果分类方法、基于属性模板的多内容图像光影美学质量数值评价方法，培养优秀青年科技人才，推动可视内容感知理解的快速发展，促进相关科学研究不断发展和有机交叉，抢占科学研究的新生长点，研究成果将具有广泛应用前景。

随着图像等可视内容数据与日俱增，可视内容感知理解已经成为可视计算、计算机视觉、计算摄像学等科学研究领域及其交叉方向国际前沿的研究方向。其中基于内容的图像光影模板学习与光影美学质量自动评价是符合科学研究发展趋势、瞄准科学研究国际前沿的新研究方向。项目组根据本项目研究计划，针对基于内容的图像光影模板学习与美学质量评价，围绕图像内容、特征与美学评价的关系，开展了基于光影效果的多内容图像美学基准数据集、基于内容的图像光影层分解、基于内容的图像光影属性模板学习、图像光影美学质量评价与增强等方面的研究工作。提出了一种基于广义非度量多维缩放的人类光影感知空间学习方法；提出了一种基于累积JS散度的图像美学质量评价分数分布预测方法，设计了新的分数分布损失函数（CJS-CNN），在AVA公开数据集上取得了当前最小的平均误差，促进了图像美学评价从简单数值评价向主观多样性方向转变；提出了一种基于深度卷积神经网络的图像美学分类方法，设计了一种新的卷积神经网络（ILGNet），在AVA公开数据集上取得了当前最高的分类准确率；提出了一种基于多核学习的图像美学质量评价方法、一种基于深度卷积神经网络的室外图像光照条件估计方法，研究并实现了一种基于深度卷积神经网络的图像光影层分解方法，提出了一种材质导引的单幅室外图像重光照方法、一种基于颜色变换的单幅物体图像重光照方法，研究并实现了一种基于大数据的图像重光照方法。共发表学术论文12篇，其中CCF-A类论文1篇，CCF-B类论文2篇，CCF-C类论文3篇，SCI论文3篇，1篇获国际会议最佳学生论文奖（ISAIR2017），并且获得国家发明专利申请受理4项，计算机软件著作权2项，培养研究生5名（其中已毕业3名，田玉露获得2016年度国家奖学金）。总体而言，项目组按照研究计划完成了全部研究任务，研究成果达到并部分超过了项目合同要求。