基于标签分布学习的弱监督图像情感识别研究

Image sentiment analysis is significant for artificial intelligence, which benefits to various applications such as intelligent robotics, public opinion analysis, internet advertisement, image retrieval, social networks, e-business, etc. Different from object recognition, image sentiment recognition is an abstract and subjective task with lots of ambiguity. To address this challenging problem, this work proposes to recognize image sentiment in a weakly supervised manner. In details, we propose to extract deep sentiment features in images via multi-kernel learning scheme, then detect local affective regions based on visual attention. We use a multi-task deep network to boost both single image classification and sentiment label distribution predication. We propose a progressive learning strategy to filter noisy sentiment images, and then learn a robust classification model from weakly labeled web data. Also, we address the bias between standard and web datasets in both image- and representation-levels. Finally, we aim to achieve the state of the art on all publicly available sentiment benchmark datasets. In this work, we aim to explore the principle and theory of visual sentiment, which will further has significant effects on the utility of web images.

情感计算是人工智能的重要组成部分，在智能机器人、舆情分析、网络广告、图像检索、个性化推荐、群体感知、社交媒体、电子商务等领域均有应用。与传统的物体识别相比，图像情感具有主观性、模糊性、抽象性等特点。为了解决这些问题，本课题研究基于标签分布学习的弱监督图像情感识别方法，按照特征提取、情感区域检测、单标签分类和标签分布预测的路线展开研究。拟基于多核学习技术提取图像情感特征，基于视觉注意机制和弱监督深度网络检测情感区域，基于数据增广实现情感分类和标签分布预测多任务协同学习，提出基于渐进式学习策略的噪声图像迭代过滤算法，从海量弱标记情感数据集中学习分类模型，并从中提取鲁棒的情感特征。基于上述研究，最终在三种粒度层级上（包括情感极性、粗粒度、细粒度）的情感识别结果达到领先水平。开展该项研究，对于探索图像情感的组成成分和产生机理、提高网络图像的利用水平具有十分重要的意义。

情感计算是人工智能的重要组成部分，在智能机器人、舆情分析、网络广告、图像检索、个性化推荐、群体感知、社交媒体、电子商务等领域均有应用。与传统的物体识别相比，图像情感具有主观性、模糊性、抽象性等特点。为了解决这些问题，本项目研究基于标签分布学习的弱监督图像情感识别方法，按照特征提取、情感区域检测、单标签分类和标签分布预测的路线展开研究。基于多核学习技术提取图像情感特征，基于视觉注意机制和弱监督深度网络检测情感区域，基于数据增广实现情感分类和标签分布预测多任务协同学习，提出基于渐进式学习策略的噪声图像迭代过滤算法，从海量弱标记情感数据集中学习分类模型，并从中提取鲁棒的情感特征。基于上述研究，在三种粒度层级上（包括情感极性、粗粒度、细粒度）的情感识别结果达到领先水平。开展该项研究，对于探索图像情感的组成成分和产生机理、提高网络图像的利用水平具有十分重要的意义。本项目发表学术论文32篇，授权国家发明专利5项，培养学生7人，顺利完成既定任务。