基于骨架数据的人体活动单元分割与行为识别研究

Human action recognition is an important research content of computer vision and pattern recognition. Due to the high dimension, large scale and high complexity of video images, human action recognition is very difficult task. However, any complex human action can always be regarded as a series of simple actions. If the basic action fragment can be segmented from a video, it will be important for human action recognition. We call this basic action fragment as the human active unit, and utilize the algebraic method to set up the method of describing the structure of human posture based on skeleton information, and map the structure of human posture to 1D real space, and obtain further 1D real function of human posture structure. The local monotonicity of the function reflects the trend of the human movement along specific direction. The human action unit can be separated from the video by the extreme point of the function. On the basis, the optimization and deep feature extraction technology is used to choose the effective action unit, so as to form a complete human action. The techniques of fuzzy set, nuclear space and sparse representation are used to extract and describe the features of human actions. Finally, we integrate sparse coding, deep neural network, joint Bayesian and fuzzy kernel technology to construct classifier that is suitable for human action recognition based on skeleton data.

人体行为识别是计算机视觉与模式识别的重要研究内容，由于视频图像维数高，变化大，复杂程度高等原因，使得人体行为识别变得非常困难。但任何复杂的人体动作总可以看成是系列简单动作构成，若能从一段视频中分割出基本动作片段，将对人体行为识别有重要意义。我们称这样的基本动作片段为人体活动单元，并利用代数方法建立起基于骨架信息的一帧中的人体姿态的结构描述方法，并将人体姿态结构映射到一维实数空间，得到关于人体姿态结构的一维实函数，而函数的局部单调性反映人体动作的特定方向趋势。通过函数的极值点可将人体活动单元从视频中分割出来。在此基础上进一步研究基于优化技术和深度特征提取技术的有效活动单元的选择方法，以便构成完整人体动作，并利用模糊集、核子空间、稀疏表示等技术构建人体动作的特征提取与描述方法。最后融合稀疏编码、深度神经网络、联合贝叶斯、模糊核技术建立适合于基于骨架数据的人体行为识别的分类器。

人体运动分析是计算机视觉领域研究的热点方向，基于人体骨架信息的人体行为识别是人体运动分析的研究内容之一。针对人体骨架信息的树状数据特征和人体活动的时间连续性特征，在项目研究过程中，重点研究骨架信息表征及时间轴上的动作分解和识别算法。为此，提出利用代数方法构造人体活动曲线，并通过求曲线极值点的方法实现人体活动单元分割。考虑到人体各关节点除生理上的邻接关系外，还存在远距离关节点之间的协作关系，提出关节点的位置编码策略并增加关节点互相关信息。同时，通过理论分析和实验证实利用增加虚类来分散错误率的方法可以有效提高算法的正确识别率。考虑到深度神经网络各层之间数据传递通道中信息可能出现的互干扰现象，利用傅里叶变换将通道信息分解为高低频信息。实验表明上述策略能有效提高算法识别率。由于这些策略独立于任何识别模型，所以它们可以被嵌入到其他任何人体行为识别深度学习模型，为目前很多只着眼睛于模型改造研究思路开辟了新的途径。另外，还在与本项目密切相关的图像分割和目标追踪两方面也取得一些研究结果。