基于零样本学习的人体行为识别研究

Zero-shot learning for human action recognition is one of the most popular topic in computer vision field. It aims at recognizing unseen action categories without any annotated videos, which could overcome the technical barriers of traditional human action recognition methods that overly depending on annotations. It also appropriately breaks the bottleneck caused by lacking annotations. Because of the short time development of zero-shot action recognition, whose proposed techniques and obtained achievements are not well approved. The main drawbacks underlying existing methods mainly include the severe domain shift problem and incapacity of self-directed learning. In order to overcome those challenges and improve the recognition performance of unseen actions, this project will study three main contents, including 1) developing effective visual representations of videos and building rich shared semantic spaces; 2) learning appropriate visual-to-semantic embedding; 3) learning to transfer knowledge through different multiple recognition tasks. Detailed and valid proposals are discussed in this project accordingly. In academic aspect, the researches that will be achieved in this project would provide valuable theoretical experiences for further development of action recognition field. In the aspect of application, this project will provide technical experiences for the development of industries of intelligent monitoring and intelligent robots. It also helps realize the applications in video surveillance and smart room scenarios, which will safeguard the social security and peoples’ real life.

基于零样本学习的人体行为识别为近年来计算机视觉领域的研究热点。其旨在零标注条件下识别未知人体行为类别，突破了传统人体行为识别方法过度依赖有标注视频的技术壁垒，可克服日益严峻的标注样本缺失的研究瓶颈。目前，该方向独立发展的时间较短，研究方法不太成熟、研究成果不甚理想。现有方法中普遍存在域偏移现象严重与不具备自主学习能力这两大主要问题。为克服上述缺陷，提高未知行为的识别准确率，本项目拟从1）视频视觉描述与语义空间描述研究；2）视觉空间与语义空间映射关系研究；3）多任务间知识迁移机制学习研究三方面展开工作，并制定详细的研究方案。在理论层面，本项目拟取得创新性高水平的研究成果，为今后人体行为识别领域上更深层次的相关研究提供必要理论积累。在应用层面，作为计算机视觉领域的重要分支之一，本项目将为智能监控和机器人产业提供技术积累，辅助实现视频监控、智能房间等应用场景，为社会公共安全与民生生活提供保障。

基于零样本学习的人体行为识别为近年来计算机视觉领域的研究热点。其旨在零标注条件下识别未知人体行为类别，突破了传统人体行为识别方法过度依赖有标注视频的技术壁垒，可克服日益严峻的标注样本缺失的研究瓶颈。目前，该方向独立发展的时间较短，研究方法不太成熟、研究成果不甚理想。现有方法中普遍存在域偏移现象严重与不具备自主学习能力这两大主要问题。为克服上述缺陷，提高未知行为的识别准确率，本项目重点在1）视频视觉描述与语义空间描述研究；2）视觉空间与语义空间映射关系研究；3）多任务间知识迁移机制学习研究 三方面展开了研究工作。按照指定的研究方案开展了相关工作。1）提出了有效的视频序列描述方法，以及视觉特征及语义原型不确定性学习方法；2）从线性及非线性模型角度建模了视觉空间与共享语义空间映射关系，提出了基于双对抗图卷积网络的零样本人体行为识别方法以及基于双不确定性引导和循环一致性网络的零样本学习方法；3）探索了基于元学习的零样本学习思路，提出了基于差分修正网络的零样本学习方法。与此同时，我们在相关数据集上开展了大量实验，实验结果证明了所提方法能够有效缓解域偏移现象、增强模型自主学习能力，从而提升对未见行为类别样本的识别准确率。.在理论层面，本项目取得了相关创新性高水平的研究成果，资助发表SCI期刊论文5篇，包括An1区SCI期刊2篇，An2区SCI期刊3篇。在投SCI期刊2篇。这些成果可为今后人体行为识别领域上更深层次的相关研究提供必要理论积累。在应用层面，作为计算机视觉领域的重要分支之一，本项目可为智能监控和机器人产业提供技术积累，辅助实现视频监控、智能房间等应用场景，为社会公共安全与民生生活提供保障。