融合跨媒体特性与用户意图的网络热点话题分析方法研究

The background of the project are the rapid rise of the multimedia applications on the web and the great impact of the web topics.This project starts from integrating the characteristic of the cross media data and the user intention, explores the effective method for topic detection and analysis, and reveals the dissemination and evolution of the hot topics. It mainly contains the following four parts: (1) According to information lose problem incured by single modality data, we propose effective data association and clustering algorithm based on the intrinsic semantic consistency between the different modality data.(2) By combining the cross modality characteristc of the internet data and exploring effective multimodality fusion method and large data processing approach, we propose an effective topic detection and analysis method by integrating multimodality data and user intention.(3)Overcome the insufficient representation problem of the single modality data, structuralized exibit the topic by intergrating cross media data, and reveal the propagation of the topic. (4)Detect the key event from the topics according to the topic trend analysis, and reveal the interaction between the events when the topic spreading.

本项目以网络多媒体应用的迅速兴起与网络话题对现实社会的深刻影响为研究背景，以融合网络数据的跨媒体特性与用户意图为切入点，探索有效的跨媒体话题检测与分析方法，揭示网络热点话题的传播与演化规律。拟从以下方面展开工作：1)针对单一模态数据造成的信息缺失问题，利用多模态数据之间的语义一致性与互补性，探索跨媒体中多模态数据间的有效关联与聚类算法；2)结合网络多源数据的跨媒体特性，探寻高效的多模态数据融合算法和大数据量处理技术，并充分利用用户意图信息，提出有效的网络热点话题检测与分析方法；3)针对单一模态信息表达能力不足的问题，拟以跨媒体全浸方式，结合话题演化的时序关系，对热点话题进行有效的结构化呈现，揭示话题的发生与发展规律；4)根据网络话题传播过程中的强弱趋势分析，检测话题发展中具有关键性作用的重要节点事件，发掘话题传播与发展过程中各个事件之间的相互影响关系。

申请人围绕跨媒体网络话题检测中的一系列关键问题展开了持续研究，取得了一定进展。提出了融合视觉内容分析与用户查询匹配的网络视频缩略图推荐方法，用于网络视频内容的紧凑表示；提出了基于多模态信息融合的跨媒体话题检测方法，充分挖掘不同模态间的互补性，有效应对模态缺失问题，提升话题检测的准确度；提出了一种基于相似度流的多粒度网络话题检测方法，用于应对跨媒体数据中网络话题的多粒度性和稀疏性；提出了融合半监督协同聚类和用户意图信息的跨媒体网络话题检测技术，利用热搜词等用户意图信息来指导话题检测；提出了一种基于半监督学习的多模态多特征的话题在线检测与跟踪方法，初步实现了利用历史数据来在线动态检测与跟踪网络话题；提出了一种融合视觉文本信息的跨模态网络话题检测，结合跨媒体数据中丰富的视觉和文本信息来实现网络话题的检测；实现了一个交互式网络话题检索系统，可根据用户查询和选择交互来动态优化返回话题检索结果。本项目共支持发表论文16篇（SCI 6篇，EI 14篇），其中国际期刊论文7篇（包括IEEE汇刊论文3篇）、国内期刊论文2篇、国际会议论文7篇。申请发明专利2项。