基于时空显著特性的行人再识别方法研究

With the growing requirement for social security, the research of person re-identification in surveillance video environment can effectively improve the response speed and efficiency of the public security departments. Person re-identification is a task of matching persons observed from different camera views and in different time. This research project includes these three parts of content：(1) To deal with the challenge of occlusion, different camera views, and illumination changes, we will study the feature representation model of person based on spatio-temporal saliency; (2) To deal with the slow matching problem between person objects based on the traditional distance metric, we will study the fast retrieval methods to meet the application requirements in large-scale video data; (3) To deal with the problem of insufficient training samples, we will study the research methods based on relevance feedback to improve the matching accuracy. This research project has an important scientific significance for the person re-identification task in the surveillance video, and an important practical significance for social security.

人们对社会安全的需求日益提高，面向监控视频的行人再识别技术，可以有效地提高公安部门的快速反应能力和破案效率。行人再识别研究的是：在视频中识别出特定的某个可能出现过的行人目标的问题。本课题拟围绕该问题展开以下三方面的研究内容：(1)针对行人再识别问题中遮挡、视角变化、光照变化的挑战，研究基于时空显著特性的行人表面特征模型；(2)针对行人目标匹配中基于传统距离度量方法匹配速度慢的问题，研究面向海量数据的行人快速检索方法，以适应在海量监控视频中的应用；(3)为了弥补行人再识别中训练样本不足的问题，研究面向行人目标检索的反馈学习方法，利用相关反馈技术来增加训练样本数量，提高行人匹配的准确性。本课题在面向监控视频的行人再识别研究方面具有重要的科学意义，在面向社会安全领域的重大需求方面具有现实的应用价值。

随着人们对社会安全需求的日益提高、视频采集设备成本的降低以及大规模数据存储技术的发展，数量庞大的监控摄像头被广泛布置在人群密集且容易发生社会安全事件的场所。在海量监控视频数据中，行人作为核心要素，往往是搜寻目标人物和追踪发生事件的关键。因此，围绕视频中搜索出某个特定的可能出现过的行人目标问题，即行人再识别（Person Re-identification）问题，本项目组开展了相关研究，完成了全部的预期研究内容：.本项目组研究了大规模多摄像机网络场景下的行人时空信息不全的问题，现有的行人再识别数据库都只有行人目标的图像数据，而缺乏行人目标的时空信息。项目组收集并标注了超过13万张图像的数据，建立了一个包括行人视觉信息和空间时间信息的大规模行人再识别数据库PKU-SVD-B-REID。该数据库不仅能够测试传统的基于视觉信息的行人再识别方法，还能够测试融合视觉信息和时空信息的行人再识别方法。.本项目组研究了大规模多摄像机网络场景下的行人再识别问题，对于行人在大规模多摄像机网络中的活动轨迹进行了建模，提出了一种基于层次时空模型(HSTM)的行人活动预测算法。该算法不仅能够在行人再识别任务中大量减小行人目标的搜索范围；还能够有效地提高行人再识别的准确度。实验结果表明，使用基于层次时空模型的行人活动预测算法后，在行人再识别任务中，搜索范围比其他算法小，准确度比其他算法高。.本项目组研究了行人再识别任务中背景干扰的问题，重点对行人特征表示进行了研究，提出了一种基于显著性加权的行人特征表示(SWD)和排序聚合算法，该算法能够有效地降低行人图像中的无关背景的干扰。实验结果表明，在5个公开的行人再识别数据库上，该算法均取得了比其他算法更高的识别率。.本项目的科学意义在于：研究了大规模摄像机网络下的行人再识别问题，提高行人再识别的识别精度和搜索效率，探索了行人再识别技术与行人检测、行人跟踪技术的结合，为行人再识别的技术框架和系统设计提供理论依据和技术指导。