基于时序语义特征自动匹配的人体行为预测

Human activity understanding is an important trend in artificial intelligence, and has a vast potential market. Traditional activity recognition techniques, which mainly analyze full observed activity videos, are unable to meet current requirement in intelligent surveillance, human-computer interaction and so on. This project focuses on activity prediction, which aims to recognize an unfinished activity. The main research contents include: 1) By merging multiple foreground detection techniques, a space-time consistency based human motion detection method is proposed; 2) Utilizing the detected human area, we design a semantic action unit to describe human activities; 3) According to the positions of action units in the video, an automatic segmentation method is presented to transform an activity into a time series. In this way, the order of action units is able to reflect the temporal information in the activity process; 4) The time warping model is improved to align different time series, and then the alignment similarity is derived to predict the class of partially observed activity. In short, this project attempts to study a new topic. It has both theory and application significances, and aims to provide the key techniques and innovative theory for human activity prediction and some related research area.

让计算机理解人的运动行为是未来人工智能技术的发展趋势之一，具有广泛的应用前景。传统行为分析的研究对象是完整的人体行为过程，无法满足智能视频监控、人机交互系统等现实需求。为此，本课题关注该领域中一个新的科学问题——人体行为预测，旨在通过分析正在进行中的不完整行为过程来预测行为趋势。主要研究内容包括：1）将多种前景检测算法相融合，提出基于时空一致性的目标检测方法，提取视频中的人体运动区域；2）在人体目标检测的基础上，设计一种含有语义信息的行为单元，更加准确地描述人体行为特征；3）提出行为视频的自动分割算法，将人体行为过程转换为行为单元构成的时间序列，利用行为单元在序列中的先后次序来体现时间顺序信息；4）提出基于时间规整模型的序列匹配算法，根据匹配的相似性来预测不完整运动行为的类别。本课题立足于国际前沿，兼具理论创新性和实际应用性，将为人体行为预测及相关领域的研究提供关键技术和创新性理论。

传统行为分析的研究对象是完整的人体行为过程，无法满足智能视频监控、人机交互系统等现实需求。本课题的研究内容主要围绕人体行为预测，旨在通过分析正在进行中的不完整行为过程来预测行为趋势。研究内容主要包括：1）对于人体运动区域的前景目标检测，我们通过检测人体主要的关节点位置坐标，实现视频每一帧中的人体姿态估计，准确提取视频中的人体目标；2）对于人体行为特征的提取，我们提出了含有语义信息的行为单元和视频关键帧的提取算法，还设计了基于骨骼运动的人体骨架序列特征提取方法；3）对于视频时序信息的提取，我们提出了基于自监督学习的排序损失函数来优化深度神经网络，获取运动行为中的时序信息；4）对于行为预测分类器中的时间序列匹配算法，我们在广义时间规整算法的基础上加入时间权重约束，实现不完整运动行为的预测；5）我们还提出了基于视频中人-物交互关系的行为识别方法，利用行为相关的物体信息区分人体姿态非常相似的不同人体行为。通过本项目的研究，丰富和发展了人体行为分析的理论体系，为人体行为预测及相关领域的研究提供了关键技术和创新性理论。