面向微视频情感分析的多通道特征学习关键技术研究

Micro video, which is becoming a pervasive media type on the web, provides a rich repository of people's opinion and sentiment about a vast spectrum of topics. The analysis of such information either in the area of brand monitoring, market prediction or personalized recommending plays an important role in behavior sciences. This problem poses a set of unique challenges as micro video data present their intrinsic characteristics as shortness in content, uniqueness in scenario, diversity in transmitting modals, and relativity in data. The existed algorithms on sentiment analysis can not satisfy the requirement from micro videos. For that， study on multi-channel feature learning for sentiment analysis of micro videos is proposed in this task. aiming at the above characteristics on micro video data, we study sentiment collecting on real-time Web data, sentiment semantics learning in the micro video space, the multi-channel feature expressing model based on the video sentiment ontology, and multi-channel feature fusing for sentiment analysis. Finally, we will implement a prototype system combining the above studies. This task will provide the relative technology supports on the applications of micro videos, such as affective auto-analyzing, collecting, real-time monitoring or personalized recommending. .

微视频作为一种重要的社会媒介形式，在网络观点信息发起和传播中起着越来越重要的作用，分析其中的情感内容，挖掘其表达的观点信息，对网络监控、市场预测、个性化推荐等都具有重要意义。然而由于微视频数据的内容简短性、故事单一性、传播模态多样性以及社区相关性等特点，现有的情感分析算法尚不能很好地满足微视频情感分析的需求。基于此，本课题研究面向微视频空间情感分析的多通道特征学习关键技术。针对微视频数据的上述特点，研究实时Web 数据的情感采集技术、面向微视频空间的情感语义学习技术、基于视频情感本体的多通道特征表征模型、以及多通道特征融合的情感分析技术。结合以上技术，本研究实现一个微视频情感分析原型系统。该研究成果将为微视频情感自动分析、汇总、实时监控及个性化推荐等应用提供相关技术支持。

微视频作为一种重要的社会媒介形式，在网络观点信息发起和传播中起着越来越重要的作用，分析其中的情感内容，挖掘其表达的观点信息，对网络监控、市场预测、个性化推荐等都具有重要意义。我们分析了微视频空间异构多模态数据特征，研究了基于微视频多通道特征学习的情感分析方法。本课题主要研究内容及成果包括：（1）实时Web 数据的情感采集技术。建立了基于核心节点扩展的社区挖掘模型，在局部社区中进行微视频空间的多模态数据采集，并在采集的实时web流上进行了情感倾向性分析。（2）面向微视频空间的情感语义学习技术。在情感本体建模方面，提出了基于模糊粗糙集的细粒度情感检测算子，学习各级文本中的情感强度，构建情感本体模型；在情感语义学习方面，提出了基于多模态中间语义的概念学习和基于潜在因子模型的可扩展个性化语义分类方法。（3）基于视频情感本体的多通道特征表征模型。其中，①多通道情感特征提取及表征研究方面，结合本体语义，使用不同的算子表示不同模态不同层次对象的语义特征，并通过中间语义的学习，对各个通道的语义信息进行融合；②多通道情感相似性计算研究方面，针对不同的情感学习任务，提出基于模糊关系的度量、基于中间语义的距离学习，共享空间的散列模型等情感相似性计算方法。（4）多通道特征融合的情感分析技术。其中，①情感关联挖掘及特征融合技术研究方面，提出了基于IE-RoleNet的交互式视频子序列情感挖掘方法；②在情感分析算法研究中，提出了基于多模态深度学习的跨模态散列算法，定义了异构特征的情感统一表示及用户的兴趣度融合模型以实现跨模态的视频推荐。（5）原型系统的构建。我们以微博客数据为基础，结合上述研究内容，开发了一个微视频情感分析原型系统。首先按照需要获取微视频空间数据，然后在数据流上进行情感检测和细粒度情感标注，构建情感本体，结合提出的算法和模型进行微视频情感分析，最后利用分析结果实现个性化视频推荐和内容摘要等应用。（6）此外，我们在多模态情感分析的基础上，在情感原因分析、立场检测和事件识别方面也进行了一些探索性研究。基于上述研究成果，我们发表了20多篇学术论文，参与了国内外的学术交流，培养了多名学生。希望这些成果为今后的实际应用推广奠定坚实的基础。