基于多模态数据融合的短视频信息检索及推荐方法研究

With the proliferation of micro-video platforms and the explosive growth of the number of micro-videos, users are overwhelmed by the huge volumes of data and cannot find their desired micro-videos. To alleviate the information overload problem, this project proposes the research on information retrieval and recommendation algorithms for micro-videos based on multi-modality fusion. First of all, this project proposes to utilize multi-view representation learning method to fuse the multi-modal data (i.e., image, audio, and text) contained in micro-video. Secondly, this project presents content-enhanced hashtag recommendation algorithm for micro-video, which utilizes the description of the hashtag in social media as hashtag's content. Based on the micro-video's hashtags, the functions of search, browse, and classification can be realized. Moreover, based on micro-video's sequential feature of both content and browse behavior, this project proposes to conduct personalized recommendation by utilizing distance calculation. Lastly, aiming at making use of the micro-video's cross-platform sharing feature, this project proposes to construct the connection between user profile and micro-video to achieve personalized recommendation results. This project can substantially propel the research and application of information retrieval and recommendation method for micro-video, and provide content distribution and access services for developers, consumers, and platforms.

随着短视频平台的快速崛起以及短视频数量的爆发式增长，用户已经淹没在了海量的数据中，而无法获取真正所需的短视频内容。为了缓解短视频的信息过载问题，本项目提出基于多模态数据融合的短视频信息检索及推荐方法研究。首先，针对短视频包含图像、音频、文本等多模态数据的特点，提出利用多视图表示学习方法对短视频多模态数据进行融合。其次，利用社交媒体对短视频标签内容的描述，提出标签内容增强的短视频标签推荐算法，进而实现搜索、浏览、分类等信息检索功能。再次，考虑到短视频具有内容序列化、用户浏览序列化的特点，提出基于距离计算的方法对短视频进行个性化推荐。最后，针对短视频跨平台分享的特点，提出构建用户画像与短视频之间的关联关系，实现跨社交媒体平台的个性化短视频推荐方法。本项目将有力地推动短视频信息检索及推荐方法的研究及应用，为短视频内容生产者、短视频内容消费者、短视频平台提供有效的内容分发及获取服务。

面对短视频资源的不断增加以及用户对短视频的精准获取需求，如何对短视频进行有效检索已经成为学术界与工业界广泛关注的一个问题。项目以文本、图像、视频为载体，研究基于多模态数据融合的短视频信息检索及推荐方法，具体而言包括1）跨模态视频片段检索；2）跨模态菜谱检索；3）多模态数据融合与检索。跨模态视频片段检索旨在解决应用自然语言查询语句，从一个完整的长视频中检索出所对应的视频片段。具体而言，项目提出了基于时空强化学习的视频片段检索、基于对抗学习的排序与定位融合的视频片段检索、基于多模态关系图的视频片段检索等方法。跨模态菜谱检索主要解决面向菜谱领域的视频、图像、文本的互相检索问题。具体而言，本项目提出了基于并行注意力机制与循环注意力机制的跨模态菜谱检索、基于强化学习的文本与视频对齐的跨模态菜谱检索、基于并行注意力机制与交叉注意力机制的跨模态菜谱检索等方法。多模态数据融合与检索任务旨在应用视频、图像、音频、本文等多模态数据解决具体实际应用问题。具体而言，项目提出了基于多模态数据融合的短视频标签推荐、基于多模态数据融合的产品标题压缩等方法。项目针对各项子任务分别收集了大规模数据集，并在此基础上进行了实验验证，实验结果证明了所设计方法的有效性与可行性。本项目将有力地推动短视频信息检索及推荐方法的研究及应用，为短视频的理解与推广提供理论基础。