基于关键运动元检测的连续人体动作识别

Visual recognition of human actions has been widely applied in video surveillance, human-machine interactions, and intelligent robotics. However, a large majority of the existing methods focuses on the recognition of a segmented video clips, i.e., isolated action recognition. Continuous action recognition is a more challenging and realistic problem, since the classification and segmentation have to be simultaneously carried out. To mimic human vision which can recognize an action almost instantaneously from a few of key action snippets, we devise a key actionlet detection framework which is incorporated into an online recognition system based on a temporal random forest decision model. First, an effective and robust skeleton-based actionlet representation is proposed, which describes the motion information in a short time window. Second, we obtain the encoded feature representation of each key actionlet detected by a discriminative actionlet detector set which is mined from a large number of candidate actionlet detectors trained by exemplar-SVMs. Finally, we will build the online recognition system which model a sequence of ongoing detected key actionlet using the temporal random forest. Such a system can carry out the classification and recognition simultaneously without knowing the boundaries (first frame and last frame) of the individual actions in advance.

基于视觉的人体动作识别广泛应用于视频监控、人机交互和智能机器人等领域。现有的大多数相关研究假设已知每个动作片段的开始和结束，利用分类模型完成已分割的动作片段的识别。从一段连续的动作视频中识别一系列动作类型是一个更接近实际, 更加挑战的研究问题。为了模仿人类认知机制，即能从少数几个关键的运动片段判断出正在发生的动作类型，本课题拟将关键运动元检测和随机森林决策树引入连续动作识别。首先，基于三维人体骨架信息我们提出一种有效和鲁棒的运动元表示，该运动元表示描述了一个小的时间窗口内相邻若干帧的运动信息。其次，利用显著性挖掘从基于范例支持向量机运动元检测子中选择一组关键运动元检测子集合，基于关键运动元检测子集合在动作序列上的每个运动元上检测得分，从而确定正在发生的关键运动元以及特征编码表示。最后，利用随机森林树决策树对检测到的关键运动元序列进行建模，实现连续动作序列的在线识别和分割。

基于视觉的连续人体动作识别是从一段连续的视频中实时识别人体关键运动，从而预测正在发生的动作类型，是一个非常具有挑战性的视觉问题。项目研究了人体三维动作的不变量描述模型，提出了基于刚体运动轨迹的人体动作时空不变量的描述模型，解决多视角和噪音环境下的动作描述和识别问题；提出条纹结构光相位与亮度结合的综合优化方法提升结构光三维测量的质量，优化了传感测量过程中的离焦和优化问题，为视觉场景中的三维人体动作重建和测量提供理论支撑和技术支持。研究提出基于多尺度多模态融合深度网络的三维视觉场景中显著性目标分析与检测方法，为实现人体动作关键运动元检测提供理论支撑和技术支持。提出基于在线的稀疏高斯过程回归和平滑眼动识别的精确移动式视线跟踪系统，为移动式视线跟踪的灵活性和实时性方面提供了可行的方案，为实现视觉场景中的注意力识别和人体动作的关键运动挖掘提供技术支撑。综合上述结果，本研究为探索人体连续动作的识别奠定了坚实的基础，促进了动作识别领域中某些关键问题的解决。项目研究成果斐然，共发表高水平学术论文11篇，其中IEEE汇刊2篇，机器人顶级会议论文3篇，会议论文提名奖1篇；培养博士研究生3名，其中已毕业1名、在读2名，硕士研究生1名；组织国内外专家来项目组作学术交流1人次，参加国内外学术会议5人次，特邀专题报告2次；项目投入经费16万元，支出9.2125万元，各项支出基本与预算相符，剩余经费将用于本项目后续研究支出。