面向视频侦查的行人重识别关键技术研究

With the deepening of the Safe City project, video investigation is gradually becoming an important mean for police to fight against, prevent and control criminal activities. As one of the key technologies of video investigation, person re-identification, namely searching specific person from mass surveillance videos, is becoming more and more important. Current person re-identification methods can be generally divided into two categories: key frame based representative image method and metric based distance learning method. The former usually selects a group of representative images to represent the person image sequence, and conducts distance comparison in the standard metric space. Due to the discard of lots of images captured in various cameras, such key frame based method can hard achieve ideal matching result. On the other side, the performance of distance learning based method heavily depends on the quantity of labeled samples. Since the acquisition of labeled samples is usually both label intensive and time consuming, the application scope of above supervised method is usually severely limited. This project presents a complete person re-identification method based on model representation and computation. First, we build a sequential object appearance model to represent the length-variable person image sequences; Second, the optimal model-to-model distance is learned via co-training technique utilizing mass unlabeled data as well as part labeled data; Last but not least, the initial person re-identification result is further re-ranked automatically through introducing a bidirectional verification method. This project tries to solve the major technical problems in application of video surveillance, and hence improve the operating efficiency of criminal investigation.

随着平安城市工程的深入推进，视频侦查逐渐成为公安部门打击和防控刑事犯罪的重要手段。作为其中的关键技术，行人重识别，即针对特定行人对象的视频检索，发挥着越来越重要的作用。现有的行人重识别方法主要分为两类：基于代表图特征描述的方法和基于距离学习的方法。前者通过抽取部分关键帧来表示行人图像序列。由于遗漏来大量视觉信息，因而匹配结果并不准确。后者的性能提升依赖大量标注样本，这在实际应用中往往难以有效获取。为此，本课题提出一整套基于模型表示的行人重识别方法：首先，对对行人对象的图像序列进行建模，获得行人外观的完整表示；其次，采用协同训练的方法，利用大量未标注样本来提升基于模型表示的距离学习算法的性能；最后，将双向验证的思想引入到行人重识别结果的重排序之中，进一步改善结果的准确率。本课题预期在标准公开数据集上对行人重识别的准确率提升近10%，从而显著提升视频侦查工作的效能。

随着平安城市工程的深入推进，视频侦查逐渐成为公安部门打击和防控刑事犯罪的重要手段。作为其中的关键技术，行人重识别，即针对特定行人对象的视频检索，发挥着越来越重要的作用。本项目面向视频侦查工作的实际需求，重点研究了行人重识别问题中的特征表示、距离度量以及排序优化等问题。具体而言：在特征表示方面，我们研究了基于模型表示的行人对象表示方法，利用特征分布而非特征向量对行人对象外观进行表示，使得仅通过少量的个体观测数据就能够得到鲁棒且准确的对象外观模型；同时，我们还研究了基于文本描述的行人特征建模方法，该方法能够在视觉信息缺失的情况下仅凭现场目击者的语言描述就准确重构嫌疑目标的外观特征；在距离度量方面，我们重点研究了基于特征投影的距离度量方法和基于数据驱动的自适应尺度修正方法。前者旨在消除摄像头之间的环境差异，后者则在于根据匹配样本特点来更好地进行距离度量；在排序优化方面，我们重点研究了基于双向重排、多序列融合和局部反馈等技术的排序优化算法，前两个属于无监督的排序优化技术，而后一个属于有监督的排序优化方法。我们所提方法在标准数据集上较现有国际最好方法在累积匹配率指标上能够平均提升10%-15%，并在视频检索领域最权威的国际性评测Trecvid 2015和2016年实例检索任务中取得优异成绩。项目执行三年以来，我们课题组累积发表学术论文30篇，其中SCI论文10篇，申请发明专利14项（含2项授权），授权软件著作权2项，2名博士后顺利出站，培养博士研究生4人，硕士研究生4人。通过与武汉大千公司的联合研发，我们的行人重识别算法已经被成功应用于该公司的视频侦查系统和装备之中，累积销售收入2000多万元，并在南京、武汉等地一线公安部门发挥了重要作用。