基于用户社交行为感知的图像美学质量评价研究

By mimicking human vision system and aesthetic perception, image aesthetics assessment aims to endow computers with the ability to judge the aesthetic values of images, and has been widely used in the applications of image storage, editing, and retrieval. However, due to the ignorance of the fact that aesthetics is a human cognitive activity, existing studies perform aesthetics assessment mainly based on image visual contents, and do not take users’ cognition to images into account. Inspired by the observation that human cognition and behavior influence each other, this proposal seeks to capture users’ cognition to images by sensing from their behaviors in social media, and to further integrate user cognitive information in image aesthetics assessment. The main research contents include: 1) Based upon multiple types of user social behaviors, the image cognitive feature representation is formulated to model users’ cognition to social images; 2) By establishing the mapping from image visual features to cognitive features, the cognitive features of non-social images are acquired implicitly; 3) Image cognitive features are taken full advantage of to enhance the accuracy of image aesthetics assessment. This proposal will facilitate the transfer of image aesthetics assessment technologies from the content-centric strategy to the user-centric strategy. It can also be applied to other tasks of image content analysis and understanding, and augments the intelligent processing capabilities of computers for visual media.

图像美学质量评价旨在模拟人类视觉及审美思维，使计算机能够自动地对图像的美学价值进行评判，已被广泛应用于图像的存储、编辑、检索等方面。但是，现有工作主要基于图像的视觉内容来给出评价结果，忽视了美感是人的认知活动的事实，在评价时没有考虑用户对图像的认知信息。由于人的认知和行为是彼此相互影响的，本项目提出借助社交媒体中用户的社交行为感知其对图像的认知信息，并将认知信息引入图像美学质量评价过程中。主要研究内容包括：1）基于不同类型的用户社交行为，构建社交图像的认知特征表示，以该特征建模用户对图像的认知信息；2）建立图像视觉特征到认知特征的映射，间接获得非社交图像的认知特征；3）在图像美学质量评价中引入图像的认知特征，使评价精度得到进一步提升。本项目的研究有助于将图像美学质量评价技术从以内容为中心转移到以人为中心，思路可望用于其他图像内容分析与理解任务，增强计算机对可视媒体数据的智能处理能力。

围绕图像美学质量评价这一课题，本项目深入开展了以下五方面的研究内容：1）提出了一种基于社会感知的通用图像美学质量评价方法，借助社交媒体中用户群体的社交行为来感知人们对图像的认知信息，并将认知信息引入图像美学质量评价过程中；2）提出了一种基于社会感知的个性化图像美学质量评价方法，从用户的点赞行为中建模用户对图像的审美偏好，在进行评价时综合考虑图像的视觉美感和用户的偏好程度；3）提出了一种面向质量等级分布的图像美学质量评价方法，直接预测一幅图像处在不同质量等级上的分布，以分布的形式反映用户关于图像审美感受的差异性；4）提出了一种同时面向图像美学评价和情感分析的联合预测方法，将图像美学评价和情感分析两个任务关联起来，利用深度多任务学习算法同时解决两个任务；5）提出了一种基于多尺度视觉注意机制的最优系列照片选择方法，对于内容为相同对象或场景的一系列照片，利用卷积神经网络提取多尺度特征，并引入注意力机制进行特征选择，最终从系列照片中自动筛选最优的高美感图像。本项目的研究从迁移学习、个性化学习、标记分布学习、多任务学习以及表示学习等角度全面提升图像美学质量评价技术，研究思路对于其他图像内容分析与理解任务有较强的借鉴意义。.本项目按照预定研究计划顺利进行，完成了预定研究目标。依托本项目，项目组取得了丰硕的成果，包括在国内外重要学术期刊和会议上发表论文21篇（其中CCF A类期刊会议论3篇，IEEE/ACM Trans系列期刊论文3篇），申请国家发明专利2项，发布相关研究公开数据集1个，培养博士毕业生1人、硕士毕业生5人。