智能视频监控中基于多模态融合的人体行为识别研究

Human action recognition is the key technology in the semantic understanding of video content, and is a challenging research topic in computer vision. However, due to the diversity and complexity of human action, occlusion and background cluster, human action recognition in video surveillance system is far away from matured. With development of depth sensor and deep learning, it activated new solution for human action recognition. Researchers need new methods which based on RGB data, depth data and pose estimation, to extract robust feature and understand the semantic of human action. To this end, we puts forward the study of human action recognition in intelligent video surveillance, focus on the representation learning based on multimodal fusion, human-object interaction recognition and spatial-temporal action detection problem. The research on this topic discuss and explore the challenge issues in human action recognition, it can promote the practical application of human action recognition, therefore has important theoretical and practical values.

人体行为识别是视频内容高层语义理解中的关键技术，是计算机视觉中一项充满挑战的研究内容。然而由于监控环境中行为的多样性和复杂性，以及遮挡和背景干扰等因素，使得视频监控系统中的人体行为识别仍有许多问题亟待解决。深度传感器和深度学习的发展，为人体行为识别问题的解决带了新的契机和可行思路，急需形成新的理论和方法，在视频数据，深度数据，姿态感知的基础上，提取鲁棒的人体行为特征，实现对人体行为的语义理解。为此，本课题提出了面向智能视频监控的人体行为识别研究，着重解决人体行为识别中的基于多模态融合的行为表示，人物交互行为识别以及三维时空中的行为检测问题，这些问题既是行为识别理论研究中的难点，也是行为识别在实际应用中的问题，具有重要的理论意义和应用价值。

人体行为识别是视频内容高层语义理解中的关键技术，是计算机视觉乃至人工智能领域中充满挑战的研究内容之一，具有重要的理论研究价值和广泛的应用价值。随着不同传感技术的发展，不同模态的数据给智能视频监控中的人体行为识别的解决带了新的新的契机和可行思路。针对多模态的人体行为识别问题，在视频数据，姿态感知的基础上，本课题提出了面向智能视频监控的人体行为识别研究，着重解决人体行为识别中的基于多模态融合的行为表示，行为识别以及三维时空中的行为检测问题，具体完成以下工作：（1）针对RGB视频中的人体行为识别，提出了基于乱序无关的行为识别模型，以及基于一致性约束的视频级行为识别网络模型训练策略；（2）针对骨架数据中的人体行为识别问题，构建了基于有效骨架拓扑和语义引导的自适应图卷积网络模型、基于短时路径签名的骨架行为识别网络；（3）针对图像中的人物交互行为检测任务，本课题提出了基于姿态注意力和目标语义表示的人物交互行为识别模型，并对最新的基于Transformer架构的交互行为识别模型优化，构建了基于局部关键点和全局Transformer融合的交互行为识别模型；（4）针对视频中人体检测问题，本课题提出了基于提名优化的时序动作定位模型；以及与全局感知与提名关系挖掘的时序动作定位方法。相关的算法在国际主流的重要的公开数据集上取得了较好的性能，并在实际场景取得了一定的应用。