基于感性工学的图像视觉复杂度情感感知研究

Modeling of image complexity is a research that builds a computer to sense the visual complexity of images similar to that sensed by the majority of people. The research is an interdisciplinary subject, and is of great significance in the field of Image Engineering (such as image watermarking capacity detection, infrared image target recognition, human-computer interaction and aesthetic assessment etc.). The previous research of image complexity merely considers the distribution of spatial frequencies of visual stimuli and image histogram etc., but disregard the mechanism of human visual perception. To overcome these problems, this program investigates visual complexity of images from human visual perception system. We design experiments based on Kansei Engineering and conduct visual tracking using eye tracker (Tobii T60), aiming to obtain the factors that can affect viewers' complexity perception. We analyze the relationship between factors and image complexity. We design the algorithms to quantify the factors and then extract image features including global features and local features based on region of interest depending on the factors obtained from the experiments. Finally we establish the mapping from image features (low level) to Visual complex perception (high level) for building the classification model and prediction model of image complexity. The purpose of this research is to endow a computer to sense visual complexity similar as that perceived by human beings.

图像复杂度建模是让计算机模拟人类视觉感知，从而对图像复杂度进行决策的研究，该研究属于多学科交叉课题，对图像工程领域（如图像水印容量检测、红外图像目标识别、人机交互、图像美学评估等）具有重要意义。传统的图像复杂度算法只考虑图像的空间频率分布、直方图等一些基本特征，并未充分考虑人类视觉处理系统的感知机制。针对这些不足，项目从视觉感知机制出发，依据感性工学研究手段设计视觉感知实验，采用眼动仪（Tobii T60）视觉跟踪与调查问卷的方式进行实验，研究图像视觉复杂度感知的影响因素，分析各因素之间的内在联系及其与视觉复杂度的关系；设计特征算子量化表示影响因素，提取融合视觉感兴趣区域的图像整体和局部特征；通过机器学习的分类问题与回归问题，构建图像低层图像特征到视觉复杂度（高层情感语义）之间的映射，建立图像视觉复杂度等级分类模型与复杂度分数预测模型，赋予计算机相似于人眼视觉系统的图像视觉复杂度感知能力。

视觉复杂度作为视觉感知的一个基本方面，对人类理解和感知视觉刺激具有重要意义，视觉复杂度的可计算化就是让计算机模拟人类视觉感知，从而对视觉复杂度感知做出类似于人的决策。本研究以绘画图像为研究对象，以构建绘画图像视觉复杂度模型为目标。. 图像视觉复杂度研究属于多学科交叉课题，对图像工程领域（如图像水印容量检测、红外图像目标识别、人机交互、图像美学评估等）具有重要意义。项目主要从三个方面进行研究：1）分析图像视觉复杂度感知的影响因素；2）设计特征算子量化表示影响因素并进行提取；3）建立图像视觉复杂度等级分类模型与复杂度分数预测模型。. 为了实现研究目标，项目首先从视觉感知机制出发，依据感性工学研究手段设计视觉感知实验，分析了影响绘画图像视觉复杂性的因素，确定了影响人类视觉复杂度感知的主要因素：图像布局、颜色和内容。其次，项目结合心理学和艺术理论中学习理论和经验概念，设计出代表上述主要因素的29个全局特征、局部特征和显著的区域特征。在特征提取过程中，项目对图像的分割和显著性区域提取也进行了研究。最后，项目通过机器学习的分类问题与回归问题，构建图像低层图像特征到视觉复杂度（高层情感语义）之间的映射，建立图像视觉复杂度等级分类模型与复杂度分数预测模型。通过多种分类算法和回归算法的比较，项目提出的随机森林分类方法(分类准确率86.78%)在预测绘画图像的视觉复杂度方面优于其他图像复杂度测量方法。结果表明，该方法不仅能够较好地评价图像的视觉复杂度，还能够较好地评价JenAesthetics数据集所涉及的绘画图像的审美质量、美感和色彩喜好。. 本研究有助于理解视觉刺激的视觉复杂性，并有助于从人类视觉感知系统中客观地测量复杂性。在未来，课题组将重点扩大图像数据库，以增加我们提出的方法的稳健性，并将该方法扩展到其他应用。