基于多流形度量学习的多视角步态识别研究

Gait recognition is an emerging biometric identification technology. Comparing with other biometric identification technologies, gait recognition is the only method which can recognize human at a distance. However, practical application of gait recognition leads to many difficulties to assort with. During the walking process, both the external environment and the pedestrian’s own fact will affect the human gait, which results in the obtained gait features suffering from large within-class differences. The view-variant or the changes of walking direction is the principal factor which affects the performance of a gait-recognition-system. To solve the natural difficulties of the current single-view gait-recognition-system, this project is committed to develop a multi-view gait-recognition-system. Multi-view gait recognition confronts many difficulties, e.g. how to model the data from multi-view gait recognition; how to perform the similarity metric between different views; how to employ the complementary information effectively between different views. In this project, we propose to model the multi-view gait recognition as a multi-manifold metric learning problem; We propose an effective algorithm to solve the multimodal problem for the data from the same class; We propose an effective distance metric method performing on the couple manifolds to improve the performance of the k-nearest neighbor and the SVM classifiers on the couple manifold; We propose a novel method to effectively employ the complementary information effectively between different views. This novel method can analyze and process the data from multiple gait manifolds simultaneously, and perform the feature-level fusion of the information from multiple feature-sets to improve the performance of the gait-recognition-system. Our research achievements will provide new methods and new ideas for the gait-recognition technology.

步态识别是一种新兴的生物特征识别技术，与其他生物特征识别技术相比，步态识别是唯一可以远距离识别的方法。然而，行人在行走过程中会受到外在环境和自身因素的影响导致提取到的步态特征呈现很强的类内变化。视角变化或行走方向变化是影响步态识别系统性能的最主要因素之一。多视角步态识别面临许多难点：如何对多视角步态数据进行建模，如何在不同视角之间进行相似性度量，以及如何有效地利用不同视角间的互补步态信息。本项目提出将多视角步态识别问题建模为多流形度量学习问题进行求解；提出解决多视步态识别中类内数据多模态问题的方法；提出在耦合流形上建立有效距离度量的方法，提升耦合流形上K-近邻和支持向量机分类器的性能；提出高效利用不同视角间互补步态信息的方法，该方法可以同时对多个步态流形数据进行分析处理或对多个不同特征集合间的信息进行特征级融合，最终提高步态识别系统的性能。研究成果将为步态识别技术提供新方法、新思路。

步态识别是一种远距离生物特征识别的方法，但视角变化或行走方向变化是影响步态识别系统性能的最主要因素之一。本项目提出将多视角步态识别问题建模为多流形度量学习问题进行求解；提出解决多视步态识别中类内数据多模态问题的方法；提出在耦合流形上建立有效距离度量的方法，提出高效利用不同视角间互补步态信息的方法。项目中利用完备典范相关分析方法，可以同时对多个步态流形数据进行分析处理或对多个不同特征集合间的信息进行特征级融合，投影至公共空间，最终提高步态识别系统的性能。.同时，随着项目研究过程中深度学习技术的发展。本项目在完成原有方案的基础上，适时开展了基于深度学习的步态识别技术研究。应用深度卷积网络，特征金字塔，注意力机制和生成对抗网络等技术，构建行人检测-行人分割-步态转换-步态特征提取-行人身份识别的端到端步态识别系统。行人检测和追踪是本步态识别的前端工作， 但小尺度的和遮挡行人一直都是步态识别中的难点，本项目中利用特征金字塔和精巧的网络射界，结合交并比损失，提高行人检测精度；行人分割也是步态识别视频预处理中的重要一步， 通过行人分割得到行人步态轮廓，减小识别过程中计算量，而分割的精确度直接影响步态识别结果，本项目中结合注意力和对抗学习的方法，得到较好的分割结果；步态转换是消除因服饰、角度等因素的影响，利用生成对抗网络将任意条件的步态视频序列转换为标准序列；行人身份识别中利用步态类能量图的方法，首先搭建步态周期检测网络，检测精确的步态周期，再将一个步态周期的视频帧合成步态类能量图，将其送入深度卷积网络中得到最终结果。