多源异构数据中基于迁移学习的事件检测研究

The coming of Internet era and the popularity of the social media platforms provide new ways for users to share experiences, generating huge amounts of data. The publicly available data records all the aspects of our life, which makes it possible to discover real-world events in turn and do decision-makings. The Internet platforms host a large variety of data sources, such as news media, social media, etc. However, the descriptions and viewpoints of the same event could be different among the data domains. On one hand, multi-domain data provide different perspectives and views on the events. On the other hand, the multiple data modalities from the different data domains are heterogeneous, large-scale, updating fast, and in various data variations, bringing great challenges. This project aims to devise effective and efficient event detection approaches for event detection from multi-domain and multi-modality data. To this end, multimodal fusion, cross-domain and cross-modality transfer learning, and incremental event detection models will be designed. In particular, a benchmark multi-domain and multi-modality event detection dataset will be released, which can benefit the research on this topic and advance the applications.

随着互联网时代的到来和社交媒体的流行，网上产生了海量的数据，这些数据记录了人们生产生活的各个方面。从互联网数据中检测公共事件成为实时了解社会动态，形成适当政策决策的重要渠道。互联网平台汇集了多个数据源，如新闻媒体，社交媒体等。一方面，多个数据源可提供多角度、多粒度、多观点的事件描述。另一方面，多个数据源中的数据具有多模态异构性（如文本、图片）、数据量大、更新速度快、数据多样性（如相同事件的图片在视觉上差异大、文本报道的内容多样）等特点，这给事件检测任务带来了严峻挑战。本项目旨在综合利用多源多模态数据，设计快速有效的事件检测算法，并针对多源数据中的挑战问题提出多模态数据融合与数据对齐算法、跨源跨模态迁移学习算法、增量式事件检测算法，以支持实际应用。本项目将发布一个较大规模的多源事件检测基准数据集，为研究者和同行们设计新型算法提供评测基准，促进该研究的进一步发展。

随着Web2.0 时代的到来和社交媒体的流行，用户已经成为新型互联网平台的中心。信息技术和硬件设备在近些年的快速发展，使得大众用户在包括社交媒体在内的互联网平台上传、分享数据及参与互动极为便利，也迎来了数据资源爆炸式增长的大数据时代。互联网平台上产生的海量数据，记录了人们生产生活的各个方面。从互联网数据中检测公共事件成为实时了解社会动态，形成适当政策决策的重要渠道。互联网平台汇集了多个数据源，如新闻媒体，社交媒体等。.一方面，多个数据源可提供多角度、多粒度、多观点的事件描述。另一方面，多个数据源中的数据具有多模态异构性，如新闻媒体中的数据有长文本、图片、音频和视频等形式，社交媒体中的数据有短文本、图片、短视频等形式。异构的数据模态使得传统的机器学习方法不能同时有效利用模态纷杂的数据。社会事件相关的多源数据具有多样性，如相同事件的图片在视觉上差异大、文本报道的内容表达形式多样，增加了事件模式判别的难度。此外，多源具有数据体量大、更新速度快等特点，给事件检测任务带来了严峻挑战。.针对上述研究问题，通过本项目的研究，我们提出了多模态数据融合与数据对齐模型、多模态数据的共享表示模型、跨源跨模态迁移学习模型、跨源跨模态语义关联建模、多模态事件检测模型、多模态社会事件检索模型等方法。通过本项目的研究，发表高质量论文共计25篇，授权发明专利1项，其中IEEE/ACM Transactions 期刊2篇，包括计算机学科顶级期刊IEEE TPAMI和多媒体领域旗舰期刊ACM TOMM，SCI期刊9篇，CCF A类期刊及主会议收录5篇，CCF B类期刊及会议7篇，CCF C类期刊及会议10篇，北大中文核心1篇，发布大规模数据集1个，并在CCF A类会议ACM MM的Grand Challenge获得Top Performance Award奖2次Silver Medal Award奖2次。项目成员参加国际学术会议和交流活动7次，在国际会议受邀作为Tutorial Speaker 1次，培养研究生7名。本项目的研究成果和研究相关活动，在一定程度上推动了多源多模态事件检测的相关研究，引起了学术界和业界的关注，为探索相关研究奠定了基础。