基于机器学习的多模态多视角行人步态识别研究

As a unique biometric authentication feature that can be recognized at a distance, gait plays a crucial role in social security and video surveillance. Due to the influence of many external factors such as clothing, environment and so on, gait recognition is still a challenging task in theory and application. Considering the pros and cons of existing works in gait recognition, we will incorporate the new development of machine learning, paying our attention on the study of machine learning-based multimodal and multiview gait recognition. Specifically, we will study the following six key issues: 1) considering high-order statistical information inside multiview gait sequence, study nonlinear canonical correlation analysis of multiview gait recognition; 2) research high-speed gait feature matching based on statistical representation of gait distribution; 3) by utilizing other biometric features such as face and iris, study multimodal pedestrian recognition based on multimodal deep network; 4) by analyzing parts of gait and their conceptual relationships, research probabilistic concept-based gait structure recognition; 5) considering the real-time requirement in gait recognition system, study time-preserve gait template; 6) research gait-based person-reidentification for multi-camera gait co-tracking.

作为唯一可远距离识别的生物认证特征，步态在社会安全、视频监控等方面起着至关重要的作用。由于其受外在因素影响较多，如穿着、环境等，步态识别在理论和应用两方面仍是一个挑战性的研究方向。在本研究中，将针对以往步态识别研究中的不足，结合机器学习的研究进展，着重研究基于机器学习的多模态多视角步态识别。具体研究以下六个关键问题： 1）考虑多视角步态中的高阶统计信息，研究基于非线性典型相关分析的多视角步态研究；2）考虑步态分布特征的统计表达，研究基于分布特征的快速步态特征匹配；3）通过与其他生物认证特征如人脸、虹膜等结合，研究基于多模态深度网络的多模态行人识别；4）考虑步态中的部件及其概念关联关系，研究基于概率概念的步态结构识别；5）考虑步态识别系统的实时性需求，研究时间保持步态模板；6）考虑多摄像头之间的联动追踪问题，研究面向步态重认证的行人识别。

与人脸、虹膜等近距离识别的生物认证不同，步态具有可远距离识别的优点。为提高其识别性能，本项目着重研究基于机器学习的多模态多视角步态识别。在本研究中，我们提出了多任务对抗生成网的步态识别方法，在跨视角步态识别上获得了好的性能。我们也提出了步态集合模型，该模型在步态领域成为了标志性成果，首次将识别性能提高至实用级的95%以上，成为步态领域必引用的一项成果。除此以外，我们也研究了随机特征、分布式计算的学习泛化界。并在项目相关的研究和应用如人群计数、微表情、人脸衰老等方面取得了好的进展。发表IEEE Transactions论文7篇，其它论文18篇，申请专利10项。并获得多个科普奖。