融合图卷积网络文本特征的跨媒体情感分析研究

With the widespread use of mobile devices and social networks, how to use social networks' massive multimedia data is an important research topic of sentiment analysis. This paper intends to study the joint visual-textual sentiment analysis based on adaptive fusion method, and the main contents include: 1) Considering the characteristics of short text in social networks, we study text feature based on text graph convolutional network, to make up the insufficient of the statistical-based text feature. 2) to represent different semantics of images, we study multi-level semantic representations and high-level visual features based on visual saliency, and this will enhance the ability of visual semantic description. 3) In order to complement information for the cross-media fusion, we study the adaptive fusion method based on the diversity measures to further improve the accuracy of sentiment analysis. This research project is not only in line with the basic requirements of natural language processing and machine vision theory, but also in line with the general trend of the current technological development, and preliminary research results have verified the preliminary feasibility of our study. Implementation of this project is expected to have a positive impact on short text analysis, image understanding and public opinion analysis etc. This project offers a new idea on social network sentiment analysis.

随着移动设备和社交网络的广泛使用，研究如何利用社交网络中的海量多媒体数据是情感分析的一项重要课题。本课题拟展开基于文本和视觉信息自适应融合的情感分析的研究，主要研究内容包括：1）针对社交网络中短文本的特点，研究基于图卷积网络的文本特征提取方法，弥补目前基于统计的文本特征的不足；2）针对图片中不同语义的表示需求，研究多层次语义的视觉表示和基于视觉显著计算的图像情感特征提取，提升对图像高层语义的描述能力；3）针对跨媒体信息融合的互补需求，研究基于多分类器差异性度量的自适应融合方法，进一步提高情感分析的准确度。本项目的研究内容符合自然语言处理和机器视觉理论的基本要求，也符合当前技术发展的一般趋势，预研结果初步验证了研究方案的合理可行性。本项目的实施有望对短文本分析、图像理解和舆情分析等多方面的研究产生积极的影响，为新形势下社交网络的情感分析研究提供新思路。

随着社交网络数据与日俱增，跨媒体情感分析已经成为图像分析、自然语言处理、多模态分析等科学研究领域及其交叉方向国际前沿的研究方向之一。其中基于图卷积网络的跨媒体情感分析是符合科学研究发展趋势、瞄准国际前沿的新研究方向。其关键科学问题在于：如何利用社交网络中的海量多媒体数据，构建有效的跨媒体情感分析模型？本项目深入开展融合图卷积网络文本特征的跨媒体情感分析研究，针对社交网络多媒体中短文本数据的特点，提出了一种基于图卷积网络模型短文本的有效表示方法，提升对情感语义的表征能力；针对多层次的视觉表示需求，提出了一种多层次语义的视觉特征提取方法，满足多层次的视觉表示需求，弥补目前视觉特征在情感等高层语义表示不足的缺陷；针对文本和图像信息的异质性和互补性，提出了一种建立跨媒体多模态融合框架，提升社交网络情感分析的实际效果。共发表学术论文8篇，期中EI会议5篇，SCI论文2篇，中文期刊2篇，软件著作权2项，培养研究生7名（其中已毕业5名，周乔、杨卉分别获得2019、2020年度国家奖学金）。总体而言，项目组按照研究计划完成了全部研究任务，研究成果达到了项目合同要求。