基于多粒度的视频行人再辨识研究

Under the large-scale surveillance video scenarios, the existing algorithms for pedestrian image representation and measurement mainly extract features that are dense, high-dimensional, homogeneous and inaccuracy of similarity measurement, leading to both low accuracy and efficiency in person re-identification. This project, based itself on the application background of person re-identification in surveillance videos, will focus primarily on investigating two core problems: granular modeling of pedestrian features and similarity measurement mechanism between granulated pedestrian features. We elaborate our work as follows: (1) to develop a multi-level, multi-view pedestrian feature extraction algorithm to extract high-efficiency hash codes from varying levels and angles by the introduction of diverse feature levels, enhancing robustness; (2) to build a granular model by clustering on the pre-trained features, trying to understand correlations between granulation layers; (3) to explore the uncertainty in granulation of pedestrian features, and analyze the underlying mechanism, dealing with the uncertainty representation and measurement issues; (4) to build a multi-granularity similarity measurement model for image features based on granulation uncertainty. The major innovation of this project is centered on the study of the multi-granularity image representation and measurement model. It can be regarded as the extension to existing knowledge representation and reasoning theories and methods and will also contribute to the development of intelligent video surveillance.

大规模视频监控场景下，行人图像的表示和度量方法中抽取的特征存在高维、稠密、层次结构单一、相似性度量不稳定等问题，导致行人再辨识精度不高，效率低下。这严重制约了视频行人监控智能化的发展。针对这个问题，本项目以视频行人再辨识为背景，围绕解决行人图像信息粒化建模和粒化特征相似性度量两个关键科学问题，重点研究：（1）多层次、多视角行人图像特征提取算法，提取不同粒度和角度下的高效哈希码，解决特征粒度单一、高维、稠密等问题；（2）基于层次聚类的图像数据粒化建模，建立粒层间关联机制，解决不同粒层关系不明等问题；（3）基于行人图像数据粒化的不确定性建模，分析图像粒化中的不确定性机理，解决粒化不确定表示和度量等问题；（4）基于粒化不确定性的相似度量建模，构建多粒度图像特征相似性度量模型。本项目研究的多粒度图像表示和度量模型是对传统知识表示与推理理论和方法的拓展，对提升视频监控智能化水平有着重要的科学意义。

大规模视频监控场景下，行人图像的表示和度量方法中抽取的特征存在高维、稠密、层次结构单一、相似性度量不稳定等问题，导致行人再辨识精度不高，效率低下，严重制约了视频行人监控智能化的发展。本项目以视频行人再辨识为背景，围绕解决行人图像信息粒化建模和粒化特征相似性度量两个关键科学问题展开研究，在以下4个方面取得了重要进展，并分别发表多篇论文：.（1）多粒度特征表示：针对行人图像中存在的多种通道特征、局部特征、显著性特征、数据分布特征等问题，提出了特征融合和特征表示等多种相关方法。代表性工作为提出了一种新的center-triplet模型，结合了鲁棒性表示学习和度量损失函数的优化，能够改善行人的特征表示方法，从图像中提取更鲁棒的特征表示。另外，设计了一种提取局部显著特征的最大粒度结构特征表示方法，从图像中重叠的宏观像素中获取丰富的局部结构信息，分析多粒度的水平出现情况，将出现情况最大化，提取出对视角变化具有鲁棒性的特征表示。.（2）多粒度特征表示相似度量机理：通过研究行人图像的度量空间、核化空间、特征降维等问题，提出了基于度量学习、迁移学习、相似学习等多种度量方法。代表性工作为提出了联合迁移约束的相似学习算法，解决数据分布不一致性和相似度量不稳定问题，通过无监督聚类方法获取行人各部位特征并进行融合。.（3）深度学习；基于迁移学习、特征融合、三支决策、网络注意力等方法，提出了多种针对行人再识别问题的卷积神经网络。代表性工作为设计了一种改进的Monte Carlo策略，同时考虑平均距离和最短距离以进行匹配和排名，来提升行人重识别小规模数据集上的识别精度和鲁棒性。.（4）哈希学习：为提高行人再识别的效率，研究行人特征的哈希编码方法。代表性工作为设计了一种无监督的相似自适应深度哈希框架，有助于更新相似图矩阵，可以产生高质量的二进制编码。.本项目的开展将为真实环境的行人再识别奠定理论和技术基础，并为提高行人再识别的准确性和鲁棒性提供新的参考方法。