基于深度表示和迁移学习的社交媒体多模态情感分析

Presently there are some challenges existing in multimodal sentiment analysis of social media, such as low classification accuracy, bad robustness, directional ambiguity, and so on. Based on the idea of deep learning and transfer learning, our research will study the following aspects to solve the challenges. . (1) deep representation model for multimodal sentiment recognition and understanding of social media, modeling and transfer mechanisms of attributed knowledge, exploring the usefulness and interpretability of transfer knowledge for deep representation feature learning. . (2) semantic matching and sentiment fusion model for multimodal sentiment of social media and building a knowledge transfer mechanism between modals.. (3) processing noises appearing in each social message and its associated attributes in order to reduce noise transfer that may interfere multimodal sentiment analysis of social media. . (4) designing a sentiment analysis prototype oriented social networking users or user community，which is used to verify the methodology built is effective for multimodal sentiment analysis of social media and solve the challenges, such as low classification accuracy, bad robustness and directional ambiguity.. The achievement obtained from the proposed project will not only enrich the theory and methods for multimodal sentiment analysis of social media, but also help governments and enterprises analyze the public sentiment toward their concerning points for making scientific decisions and providing better services. Therefore, carrying out research on this project is of significantly theoretical meaning and practical values.

目前社交媒体多模态情感智能分析技术还面临诸多问题，如分类准确性低、鲁棒性差、指向性不明确等。为了解决这三个问题，本项目借鉴深度学习和迁移学习的思想方法，拟开展如下针对性的研究：(1)社交媒体多模态情感识别与理解的深度表示学习模型、社交媒体样本属性知识在深度表示学习上的建模和迁移机制，探求迁移知识对深度表示学习的有效性和解释性；(2)社交媒体多模态情感的语义匹配与情感融合模型，建立模态间知识的有效迁移机制；(3)社交媒体消息和属性的噪声处理技术，减少噪声迁移对社交媒体多模态情感识别与分析的干扰，增强鲁棒性；(4)建立面向社交用户和社群的情感分析原型系统，验证本项目所建立的社交媒体多模态情感分析方法在提升准确性、鲁棒性等方面的效果。本项目成果将突破当前社交媒体多模态情感分析理论方法的局限性，有助于帮助政府和企业做出科学决策，提供更好服务。因此，开展本项目研究具有重要的理论意义和实际应用价值。

项目旨在研究利用计算机自动进行社交多媒体内容情感识别和理解，主要针对四方面问题开展，提出了一套创新的解决方法，提升了多模态情感分析的准确性和理解深度。代表性成果简介如下：.1）针对多模态特征抽取与融合问题，提出了一个统一的多层深度关联神经网络学习框架，不仅能减少多个中间层的语义鸿沟，而且能增强它们之间的关联性。通过深度判别性关联性模块，提取最相关的跨模态特征表示；通过基于协同注意力的多模态关联子模块，编码注意力关联跨模态特征表示，从而得到更具共享性和判别性的多模态深度表示特征。通过在多模态数据上的情感分析，验证了该框架模型的有效性。.2）为了实现文本细粒度的情感分析，情感主体、方面、方面表达式的抽取是重要的前提。.因此提出了一种基于多头自注意力机制的LSTM 网络来联合提取情感主体、方面及方面表达项的深度特征，最后基于条件随机场CRF 构造提取器，实现了细粒度的情感理解。为了实现图像的细粒度情感分析，提出一种嵌入图像整体特征与局部对象特征的视觉情感分析方法。该方法首先利用对象探测模型定位图像中包含对象的局部区域，然后通过深度神经网络抽取局部区域的情感特征，最后用图像整体抽取的深层特征和局部区域特征来共同训练图像情感分类器并预测图像的情感极性。.3）为提取不同领域共享情感特征表示，抑制噪声，提出通过引入抗噪编码器，采用基于.Wasserstein 距离改进的领域对抗和正交约束的训练方式，从而抽取出更好的多领域共享的.情感表征，实现了领域适应情感分析方法。.4）针对社交关系知识在社交媒体挖掘中的利用问题，通过引入情感主体的属性（如性别、兴趣等）、交互行为（如转发、评价等）、交互上下文相关的信息（如时间、地理信息等），并以图神经网络嵌入为基础，提出图嵌入、图互注意力神经网络等模型来学习融合这些信息，得到深度表征，有效提升了这些知识的融入问题，并用于情感分析和推荐等应用中。