基于稀疏表示和字典学习的深度图像序列人体行为识别

Human activity recognition is an important research area in the domain of computer vision. It has many applications including human computer interaction and intelligent video surveillance, et al. In the past, research has mainly focused on recognizing human activities from color image sequences. Color image sequences are easily affected from color and illumination changes, and the recognition rate will be significantly reduced when the above factors happen. In fact, the recognition accuracy of human activity from depth image sequences could be improved because depth image sequences are insensitive to the above factors. This project intends to establish the framework to represent human activity from depth image sequences based on sparse representation and dictionary learning, and investigate efficient algorithms corresponding to human activity recognition. Taking into account of the structure information in the depth image sequences and the manifold structure information between the local features of human activity, and using structure sparse theory and manifold learning, the project intends to investigate recognition method of human activity from depth image sequences based on structure sparse representation and manifold constrained dictionary learning. Imitating the hierarchical properties of human visual perception systems, the project intends to nvestigate recognition method of human activity from depth image sequences based on sparse representation and hierarchical dictionary learning. Finally, based on sparse representation and dictionary learning, we will integrate stage research results, and develop algorithms and software with independent intellectual property rights for human activity recognition from depth image sequences.

人体行为识别是计算机视觉的一个重要研究课题，它在人机交互和智能视频监控等领域有着广泛应用前景。过去的研究是利用彩色图像序列进行人体行为识别，彩色图像序列容易受色彩和光照变化等因素影响，当上述因素出现时，识别率大幅度降低；由于深度图像序列不受上述因素响，因此利用深度图像序列进行人体行为识别可提高识别精度。本项目基于稀疏表示和字典学习建立深度图像序列人体行为识别框架，研究深度图像序列人体行为识别的高效算法。考虑到深度图像数据中的结构信息和人体行为局部特征之间的流形结构信息，利用结构化稀疏理论和流形学习，研究基于结构化稀疏流形约束字典学习的深度图像序列人体行为识别方法；借鉴人类视觉感知系统层次处理特性，研究基于稀疏表示分层字典学习的深度图像序列人体行为识别方法；最后，我们将集成阶段性研究成果，形成具有自主知识产权的基于稀疏表示和字典学习的深度图像序列人体行为识别算法及软件。

近年来，人体行为识别是计算机视觉领域中最活跃的研究主题之一，它在人机交互，监控事件检测以及基于视频内容的搜索等领域有着广泛的应用，本项目对该问题进行了深入研究。首先，本项目提出了基于L2,1范数稀疏特征选择和超法向量特征的深度图像序列人体行为识别方法，在深度图像数据集MSR Action3D数据库上的实验结果表明：所提方法使用2%的超法向量特征获得的识别率为94.55%，且比其它方法具有更高的识别精度。其次，利用超法向量特征与深度运动图的梯度方向直方图特征，提出了基于多特征的深度图像序列人体行为识别方法，该方法在MSR Action3D数据集上进行了测试，得到了96.3%的识别率，不但超过了基于超法向量特征方法的识别率和基于深度运动图的梯度方向直方图特征方法的识别率，而且也超过了其它方法的识别率。然后，本项目组基于从深度图像获取的人体三维骨架提出了一种多描述子特征编码的人体行为识别方法，为了验证所提方法的有效性，在三维人体骨架数据集MSR Action3D上进行了实验，实验结果表明所提方法的识别率为94.9%，并且高于其它方法的识别率。由于微软Kinect传感器可以同时获得人体的深度图像数据和三维骨架数据，从这两种数据中提取的特征可以增强信息互补性，提高人体行为识别率，基于以上分析本项目提出了一种融合三维骨架和深度图像特征的人体行为识别方法，该方法在MSR Action3D数据集上的识别率为98.53%，不但超过了基于三维骨架特征方法的识别率和基于深度图像特征方法的识别率，而且相对于其它方法也取得了更高的识别率。此外，本项目也对行人重识别问题进行了深入研究，基于视频内和视频间距离度量联合学习策略提出了一种面向视频行人重识别的方法；基于视觉表观特征字典学习和时空特征字典学习策略提出了一种面向视频行人重识别的方法；利用验证和识别策略，提出了一种深度判别嵌入学习的图像行人重识别方法，所提出的行人重识别方法在iLIDS-VID、PRID 2011、Market-1501、CUHK03、CUHK01、PRID、3DPeS、VIPeR和iLIDS等数据集上取得了好的识别性能。综合上述结果，本项目的研究为人体行为识别和行人重识别在实际中的应用奠定了坚实的工作基础。