基于多模态数据融合的短视频品牌信息检索和品牌联想挖掘方法研究

With the proliferation of micro-video platforms，the micro-video advertising is becoming increasingly important in brand marketing. How to conduct brand tracking in micro-videos has become an urgent problem to be solved. Meanwhile, in the micro-videos marketing domain, the content of brand promotion are gradually turning into brand association content, which can reflect the image of the brand to a certain extent. Therefore, how to discover brand association from micro-videos is becoming a very important problem. With the explosive growth of micro-video data, it is becoming more difficult to fetch the valuable brand information. Therefore, this project focuses on how to conduct brand tracking and how to discover brand association in massive micro-video data. Firstly, aiming at bridging the heterogenous gap of multi-modal data from micro-videos, a semantically shared subspace learning method is proposed to fuse the multi-modal data. Secondly, we transform the problem of brand tracking into the tag prediction task, and a tag prediction method based on relevance online inference is proposed accordingly. Finally, to solve the problems of “small inter-class distance and large intra-class distance” in brand representation, we propose a method of fine-grained brand association discovering method. In addition, this project will also build a video brand analysis micro-video dataset. This project will promote the research on short video information retrieval and recommendation methods, and provide effective brand-related content acquisition and distribution services.

随着短视频媒体的快速崛起，其对品牌营销的重要作用也日益显现。如何跟踪短视频中的品牌数据成为一个亟待解决的问题。同时，在短视频营销领域，品牌宣传内容逐渐向能反映品牌理念的品牌联想转变,因此如何从短视频中发现品牌联想变得非常重要。随着短视频数据的爆发式增长，从其中获取真正所需的品牌信息是一件困难的事情。鉴于此，本课题对海量短视频数据中的品牌跟踪和品牌联想挖掘问题进行研究。首先，针对短视频多模态数据的异构性问题，提出共享子空间学习方法对多模态数据进行融合。然后，将品牌跟踪问题转化为标签预测和信息检索的问题，提出基于关联性推理的品牌标签预测方法，进而实现品牌信息检索。最后，针对品牌联想表示存在类间距离小、类内距离大问题，提出基于细粒度品牌表示的联想内容挖掘方法。此外，本课题还将构建的短视频品牌信息分析数据集。本项目将有力推动短视频信息检索及推荐方法的研究及应用，并提供有效的品牌内容获取及分发服务。

短视频媒体已经成为人们社交互动和获取信息的主要渠道之一。随着短视频媒体的快速崛起，其与品牌之间产生了紧密的联系。在这样的背景下，如何对短视频媒体中的品牌的广告信息、用户评价等品牌接触点进行时空上的跟踪，监测和分析其变化情况和趋势是一个非常重要的问题。.本项目将品牌跟踪问题转化为标签预测和信息检索的问题，拟对如何在短视频媒体中预测品牌标签和检索品牌信息展开研究。在本项目中，品牌信息指的是内容与指定的品牌语义相关的短视频媒体数据的集合。.首先，本项目针对短视频多模态数据的异构性问题，提出了基于多语义线索的多模态统一表示学习方法和对多模态数据进行融合。通过三种视频特征的提取与耦合，可以得到丰富的语义线索来描述视频侧特征。文本基本类似，不同的是需要首先对其进行数据预处理。在获得视频特征与文本特征后，通过联合编码模块将视频与文本映射至共享空间中。最后，本项目对基于多语义线索的跨模态视频检索模型进行实验对比及分析。.然后，将品牌跟踪问题转化为标签预测和信息检索的问题，提出了面向跨模态检索场景的蒸馏检索方法，进而实现品牌信息检索。主要研究大规模数据的轻量化的跨模态检索，首先从不同场景的预训练模型的可获得性入手，在预训练数据充足和稀缺的场景的跨模态检索分别进行了预训练模型的压缩以及轻量化模型设计的工作，针对可获得预训练教师模型的情况下，本文在一个具体的场景即图文检索中进行了探索。.最后，针对品牌联想表示存在类间距离小、类内距离大问题，提出了基于层级语义和图学习的常识推理方法。层级语义融合模块通过发掘单词与场景、区域与短语以及短语-场景丰富的跨模态隐式语义联系，能获得更加准确的跨模态语义对齐效果；在图推理网络中设计了一种基于注意力的激活信号机制，模型利用它可以在每一个推理步中可以自适应地选择有价值的实体，从而获得清晰可解释的选择和决策过程。此外，本项目还构建了短视频品牌信息分析数据集。