基于生成对抗学习的复杂场景步态识别研究

Gait is one of the most potential biometric feature in long-distance intelligent visual surveillance. In complex scenes, the viewing angle, clothing, carrying , occlusion, bag and other factors seriously affect the performance of gait feature representation and recognition. Thus, this project proposes to study gait recognition algorithms based on generative adversarial learning. The objective is to construct gait feature representation and feature extraction mechanism to recognize human identity by generative adversarial learning technology in complex scenes. Three aspects of the research will be done, that are, gait feature generation, cross-view feature transformation and adversarial metric learning. Besides, the research methods will be applied in real gait recognition task. Specifically, this project proposes to study: (1) theory and methods of gait feature representation and automatic generating feature; (2) theory and methods of cross-view and multi-view gait feature transformation with label consistency; (3) theory and methods of gait feature extraction and metric learning based on adversarial metric learning. Based on generative adversarial learning, we study gait feature representation and feature extraction to address gait recognition problem. It is significant to reveal the pattern of visual gait for person identification. The researched methods will be applied to develop a gait recognition system for real-time video surveillance.

步态是远距离智能视觉监控最具潜力的生物特征，复杂场景下因拍摄视角、衣着、携带物品、遮挡、背包等因素严重影响步态的特征表示与识别性能。针对此，本项目拟研究基于生成对抗学习技术的步态识别算法，其目标是在复杂场景下通过生成对抗学习技术，构建步态的特征表达及特征抽取机制以识别步态人身份。本项目主要从步态特征生成、跨视角特征转换以及对抗度量学习三方面展开，并基于所研究方法开发可真实应用的步态识别系统。具体而言，本项目的研究内容包括：（1）步态特征表示模型及复杂场景特征自动生成方法及理论；（2）保持类别一致性的多视角步态特征转换方法及理论；（3）基于对抗度量学习的步态特征提取及度量学习方法与理论。通过生成对抗学习研究步态的特征表示和提取，探索复杂环境下步态特征难提取难识别问题，对揭示识别身份的步态视觉模式有重要意义，所有成果将用于开发真实环境下的步态识别视觉监控系统。

人体步态识别是远距离生物特征识别中最重要的研究课题之一，现实生活的步行条件受到拍摄视角、遮挡、变装等严重影响，复杂场景下的步态识别是当前步态识别研究迫切需要解决的重要问题。.本项目主要针对复杂场景的步态特征表示、不同视角步态特征的匹配、复杂步态的度量学习三方面展开研究：（1）提出了步态方差图，利用图像序列的统计特性，将步态图像的均值特性用步态能量图表示，方差特性用步态方差图表示，构造步态能量图与方差图的融合，提升了步态识别率，该方法可应用在步态识别领域，作为一个新的步态模板，具有计算方便，融合高效等优点，使步态识别计算更为便利；（2）提出了基于图学习的耦合判别投影算法，在学习跨视角耦合投影的同时优化嵌入图，使投影子空间更具鉴别力。具体可应用在生物特征识别领域，可应用于多视角步态识别，多视角人脸识别，异质特征度量和融合等具体应用；（3）提出了深度最近邻大间隔方法，构造一个三通道网络框架，设计了最近邻大间隔深度学习损失函数，给出了网络训练方法。可应用在特征学习领域，具体可用于提取高鉴别力的步态特征、人脸特征等，所提方法提取的特征具有同类样本相似，异类样本相离优点，可进一步提升特征识别、分类性能。