基于多模态时间序列异质特征学习的行为前期预测研究

The goal of early activity prediction is to predict activities before they are fully executed. Predicting early activities is very important in some real-world applications including surveillance. Most existing methods focus on developing models based on RGB videos, and thus their performances are often hindered by the insufficient modality data. Recent researches indicate that using multimodal data can suppress the ambiguity caused by the clothe variation and illumination changing etc. The goal of heterogeneous feature learning is to fuse the features extracted from different modality data in order to obtain a feature representation with better discriminative ability. In this proposal, we will develop methods for fusing heterogeneous features extracted from multimodal time series and explicitly mining the structure relationship between different features. Specially, we focus on developing feature fusion models in two cases, where all the multimodal data are completely available and partially available. Based on above feature fusion models, we then formulate three different early activity prediction models with different purposes: predicting activities as early as possible, predicting activities based on future feature prediction, and predict activities when the training data are partially labeled. Our research in this proposal will contribute the development of multimodal feature learning, early activity prediction and human activity recognition.

行为前期预测主要为了预测正在进行的未完成的行为，其在安全监控领域有着重要的应用。现有方法主要对单模态的行为数据进行预测，没有充分利用多模态数据，其效果往往不是很好。研究表明，利用不同模态的时间序列数据可以帮助克服单模态数据建模中的视觉不确定性。多模态异质特征学习主要融合多种模态数据的异质特征，学习出比单一模态特征更加鲁棒的特征表示。本研究拟在理论上深入开展面向多模态时间序列的异质特征融合学习研究，分别建立多模态数据完整和部分模态数据缺失两种情况下的特征融合学习理论和方法，挖掘不同模态时间序列之间的结构关联。在理论研究的基础上，我们把多模态异质特征学习研究应用于解决行为前期预测问题，分别发展尽可能高效地预测行为、基于未来特征预测和标签不完备情况下的预测模型。本课题的研究结果将丰富多模态异质特征学习理论，特别是面向行为前期预测应用的多模态特征融合学习的理论和方法，同时也促进相关研究领域的发展。

行为前期预测预测是人体行为视觉分析领域的一个重要研究方向。人体行为前期预测主要是对视频中正在发生（未结束）的行为进行识别和分析，并且预测其在接下来的时间里可能出现的动作。人体行为前期预测的一个重要特点是要对前期（未完全完成）行为进行识别。随着视频监控设备的普及以及公共安全越来越引人关注，人体行为分析研究特别是行为动作预测方面的研究，显得越来越重要。怎样能够实时有效地对公共环境下发生的危险行为动作进行提前预测并及时进行预警，已经成为目前公共安全智能监控领域急需解决的问题。人体行为前期预测也是未来实现个性化智能机器人和人机无障碍交互系统的设计中最核心的一部分。因此，发展行为前期预测算法具有非常大的实际应用价值和意义。.本项目研究基于多模态特征学习的行为动作分析方法，主要研究多模态特征融合分析，并结合和发展申请人以往的行为动作分析的工作，探讨研究如何利用深度，RGB、文本和骨架等模态的数据进行行为分析。自获准立项以来，本课题已经取得的主要发展：（1）基于基于软回归建模的行为预测模型，并用于解决RGB-D视频和RGB视频的行为预测问题，研究成果发表于顶级期刊IEEE TPAMI；（2）针对行为预测中部分视频内容的信息不完全问题，提出了基于师生知识蒸馏学习的行为预测模型，该成果发表于计算机视觉顶级会议CVPR；（3）分割预测网络，提前预测目标物体的轮廓分割结果。总之，2019年总共已发表国际学术论文11篇，申请相关专利4项，参加CVPR2019上举办的DAVIS2019国际交互式视频目标分割比赛，获得第三名。进一步获得了中国图像图形学学会的优秀博士学位论文奖，CCF-腾讯犀牛鸟科研基金的支持，入选了微软亚洲研究院的青年学者铸星计划。