视觉纹理的美学情感感知建模研究

How to use the neural mechanism of human emotion perception for reference to model the relationship between low level features and affective semantics for affective understanding of images has been a frontier topic in the field of visual perception computing. Aiming at this problem, we will model the aesthetic perception of visual texture by transforming the logical relationship between the internal structures of the neural circuit of visual emotion perception into mathematical function. Firstly, the quantitative evaluation of the aesthetic emotion for each visual texture image is limited to the 8 specific antonyms in the individual experiment. Secondly, the area of interest of visual texture is captured through eye movement experiment, and the weights of the features extracted from area of interest and non area of interest are decided by the corresponding total fixation time to strengthen the affect of the area of interest on emotion. Then, the low level features are represented based on biological visions model that is used to simulate the simple and complex cells in the primary visual cortex, which makes the feature extraction more suitable for the neural mechanism of aesthetic experience stimulated by visual texture. Finally, a mathematical bridge will be built to span the gap between low level features and aesthetic properties of visual textures by transforming the neurotransmission mechanism of aesthetic perception into logical mathematical functions. This project will lay a theoretical foundation for the design, fusion and mining of texture based on a specific aesthetic emotion, and promote the application of affective cognition and computing in the human-computer interaction field.

如何借鉴人类情感感知的神经机制以构建图像低层特征与其传递的情感之间的关系模型，进而实现图像情感理解已经成为视觉认知计算研究的一个前沿课题。针对此，本项目将视觉情感感知的神经机制转化为模型内部结构间的逻辑关系，并实现函数解析，构建视觉纹理美学情感感知模型。首先，通过情感实验使被试按照特定的8对情感词汇对视觉纹理进行美学情感量化评价；其次，通过眼动实验获取感兴趣区域，并根据注视时间确定感兴趣区域和非感兴趣区域特征的权值，强化感兴趣区域对情感的影响；然后，采用生物视觉模型对视觉纹理进行特征提取，使低层特征表示更加符合视觉刺激激发美学情感体验的神经机制；最后，将美学情感在感知模型内部结构之间的传递机制转化为合理的函数表达，架起视觉纹理低层特征与其美学情感之间的数学解析之桥。本项目的研究将为基于特定美学情感的视觉纹理设计、融合和挖掘奠定理论基础，推动情感认知和情感计算在人机交互中的应用。

情感计算，经历了这20多年来的蓬勃发展，形成了一个多学科交叉的崭新的研究领域。但是，视觉美学情感感知建模还是一片待开垦的沃土，其自然成为了国内外学者共同关注的焦点和热点。.本项目将视觉情感感知的神经机制转化为模型内部结构间的逻辑关系，并实现函数解析，构建视觉纹理美学情感感知模型。首先，通过情感实验使被试按照特定的8对情感词汇对视觉纹理进行美学情感量化评价。然后，采用纹理特征计算模型对视觉纹理进行特征提取以形成低层特征集合。最后，将美学情感在感知模型内部结构之间的传递机制转化为合理的函数表达，架起视觉纹理低层特征与其美学情感之间的函数解析之桥。.在本项目研究中，采用HSV空间颜色模型、灰度共生矩阵、Tamura纹理特征模型和小波能量基特征算法对欧盟第六框架“Measuring Feelings and Expectations Associated with Texture” (SynTex) 项目中使用的151幅视觉纹理图像进行低层纹理特征提取，共计提取106维纹理特征，构成了151×106大小的数据矩阵。通过相关系数分析发现，提取的106维特征之间存在较大的线性相关性，而且特征数据集中分布在较小特征空间中，可分性较差。为了减少信息之间的冗余和控制构建模型的复杂度，分别采用随机近邻嵌入法和拉普拉斯分值法对提取的106维低层特征矩阵进行降维和特征选择。在模型构建部分，依托美学情感感知的神经机制提出了采用分层前馈视觉纹理美学情感感知模型，其由三层组成，分别为感知层、推理层和情感层，三层之间依次递进。实验中，分别采用20维纹理特征为输入，75%的样本为训练集，构建了8个美学情感词汇对应的视觉纹理情感感知模型。以均方误差、拟合相关系数为评价指标对构建的模型进行评价发现除了对情感词汇（人工-天然）的模型质量较差外，其他7组情感词汇对应的模型的均方误差较小，拟合系数较大，基本达到了预期目标。.在项目实施过程中，SynTex数据库中的某些纹理只有一幅图像，容易形成孤立点效应，影响构建模型的泛化能力。另外，视觉纹理为均质纹理时，提取的小波能量基特征数据为非数值型，难以用于后续计算。在视觉纹理图像为自然图像时，其包括目标较多，难以用一对情感词汇进行评价，使得心理学实验存在误差，造成视觉纹理情感实验数据波动大。因此，在后续试验中，视觉纹理图像的种类应尽量丰富，且同一种类应包含多个