基于流形学习及特征层关联的行人重识别研究

Person re-identification across camera views is a challenging task of great significance in public safety and raises great research focus in the field of computer vision and pattern recognition. Due to the variation in viewpoints, illumination, background and occlusions, person re-identification accuracy is inherently limited. Since the features extracted from person images are globally similar while detailly different from each other, we propose an iterative coarse-to-fine person re-identification framework. Inspired by the pedestrian groups defined by the spatial-temporal association, we propose to establish pedestrian associations using general features extracted from surveillance videos. Under the assumption of manifold distribution, pedestrian data is clustered into feature similarity based groups by cluster analysis, which leads to person clustering as a coarse scale. Based on the group matching, a few similar groups are selected to form the candidates set, we propose to use random Riemannian metric to compute the geodesic between features, and guide the feature extraction by more effective loss function based on metric learning, which leads to person matching in a fine scale. The proposed person re-identification framework aims at better utilizing the pedestrian association with manifold learning to achieve accurate and robust person re-identification.

跨摄像头网络行人重识别在公共安全领域具有重大的现实意义，是计算机视觉和模式识别研究中的重要问题和研究热点。由于拍摄角度、行人姿态、遮挡及光照环境等不可控因素，在不同摄像头下识别同一行人具有挑战性。基于行人重识别数据分布具有共性集中但细节特性差异大的特点，本项目拟建立一套（可迭代的）由粗到细的行人重识别算法框架。从直观的行人时空关联得到的传统群体出发，建立基于一般特征意义下的行人关联，利用特征在流形上的分布规律，使用基于黎曼流形的聚类分析方法对行人集合进行“特征群体”的划分，实现“粗尺度”的行人特征聚类；通过特征群体匹配，选定若干距离相近的特征群体，基于随机黎曼度量，计算行人特征间的测地线距离，利用度量学习的损失函数指导更有效的特征提取，实现“细尺度”的行人重识别，从而提高行人匹配的准确率，实现鲁棒精准的跨摄像头行人重识别。

本项目针对目标重识别数据分布具有共性集中而细节特性差异大的特点，建立了基于一般特征层目标关联的重识别算法，利用特征流形分布规律，聚焦不同层次的特征群体划分，利用度量学习指导更有效的特征提取，从而实现鲁棒精准的跨摄像头目标重识别，具体地，1）深入分析特征流形的分布特点，细化空间中正负样本的相对位置关系描述，提出基于首位排序损失的度量学习算法，实现更接近样本真实分布的隐式间隔效应，提升模型鲁棒性及泛化能力；2）利用图网络提取行人特征群体的有效关联及拓扑信息，并通过知识蒸馏将教师分支的拓扑优化能力转移到卷积神经网络的学生分支上，获取图网络学习的数据非欧几何信息，实现复杂信息的有效提取与轻量化部署；3）构建伙伴式多分支互学习网络框架，全局分支注重目标整体信息，多个局部分支侧重不同的可鉴别性部件或语义信息，提出层次性特征的有机关联及知识迁移方案，实现局部与全局特征空间的有益融合；4）构建跨空间约束的注意力逐级抑制机制，从最显著的特征开始逐步抑制显著注意力信息，提取更为细微的有价值特征，结合基于目标和图片的跨空间约束进一步细化特征细粒度差异的学习，挖掘出更丰富的判别性信息；5）针对无法标准化定义的细节显著性信息，提出了基于多样性和一致性约束的非标准结构化特征解耦思路，对解耦后特征按照流形分布聚类，完成特征的隐式对齐，结合全局特征优势，有效地提升了目标特征的鲁棒性和判别能力。