多摄像头监控网络下行人检测与身份再标识

With the development of the security requirement of modern society, the amounts of cameras are now growing explosively, leading to many new challenges on multi-camera based video surveillance. This project will focus on multi-view pedestrian detection and person re-identification (Re-ID) which are two key problems in intelligent systems of video surveillance network. This project proposes a novel multi-task learning model about pedestrian detection and Re-ID. Then some novel approaches are proposed based this model. Specifically, these approaches are designed for: (1) multi-view fusion and detection results generation for multi-view pedestrian detection, and (2) multi-pose learning and cross domain transfer learning for person re-ID. The research subject of this project is, through several efficient and robust pedestrian detection and Re-ID algorithms, to implement a prototype visual surveillance system applied on multi-camera based video surveillance, which can improve the effectiveness and practicality of existing multi-camera networks. This project will not only improve the development of pedestrian detection and Re-ID techniques, but also has great practical significances for building safe cities and maintaining social stability.

基于多摄像头的网络式监控系统已经逐渐覆盖各种重要场合，是敏感场所安全防范、安全隐患发现和应急管理的重要基础设施。然而，耗费巨资建立的视频监控网络并未发挥应有效果，其瓶颈在于缺乏有效的针对多摄像头网络的智能监控技术。本项目以大规模多摄像头监控网络中的行人监控系统为统一框架，针对多视角行人检测和身份再标识这两个实际应用中的关键任务，以行人检测和身份再标识的多任务学习模型为基础，突破多视角融合、多视角行人检测结果生成、基于多姿态学习以及跨场景迁移学习的行人身份再标识等关键技术。构造一种先进的基于多摄像头监控网络的行人监控方法，将多个“单打独斗”的监控摄像头有机的融入到一个监控整体中去，以提高现有监控方法的性能，扩大监控范围，使得已建立起的规模庞大的多摄像头监控网络发挥出更大的效应。该项目不仅可促进相关技术的发展，并且在实际应用中能够发挥非常大的作用。

基于多摄像头的网络式监控系统已经逐渐覆盖各种重要场合，是敏感场所安全防范、安全隐患发现和应急管理的重要基础设施。然而，耗费巨资建立的视频监控网络并未发挥应有效果，其瓶颈在于缺乏有效的针对多摄像头网络的智能监控技术。本课题针对这一问题，着力于研究多摄像头监控网络下的目标跨摄像头识别技术，在行人身份再标识、车辆身份再标识和口罩人脸识别等方面进行研究。具体地，1）在行人身份再标识问题上，提出了一种新的行人空间特征提取方式，通过建模行人在图像上的空间分布提供比统计式特征（比如Global Max pooling 和 Global AVG pooling等）更具区分性的特征，在market1501等标准测试数据集上取得SOTA的结果，相关论文发表在多媒体领域顶级会议ACM MM2020 (oral)上，并且在华为园区实地收集的9万行人140万图像上进行了实地验证，首位命中率超过92%，MAP超过90%。此外，为了减少行人再标识模型对大量标注数据的依赖，提出了一种新的无监督域自适应算法，利用域自适应注意力机制将行人特征图分解成域共享信息和域独由信息，提高模型的跨场景迁移能力，减少对标注数据的需求，相关论文发表在人工智能领域顶级会议AAAI 2020；2）在车辆身份再标识问题中，针对车辆视角和型号带来的类内差异大和类间差异小的问题，提出了多视角、多粒度的学习算法，相关论文发表在多媒体领域旗舰会议ICME 2019 (oral) 和ICIP 2019上。3）由于疫情影响，越来越多的行人开始戴口罩出行，口罩遮挡了人脸的大部分信息，给智能监控带来了很大的影响。因此，在项目开展过程中我们研究了口罩人脸识别问题，针对缺乏训练数据的问题，提出了一种基于身份认知的口罩人脸数据生成模型，能够从常规的无遮挡人脸训练数据中自动生成口罩人脸识别训练数据。此外，针对口罩人脸识别中口罩带来的干扰问题，提出了一种潜在部件检测的方法，从人脸中自动检测出未被口罩遮挡的部分，提升模型的鲁棒性。据我们所知，我们发布了世界上第一个口罩人脸测试数据集(https://pkuml.org/resources/pku-masked-face-dataset.html)，并且首次正式发表了口罩人脸识别的学术论文，相关论文发表在多媒体领域顶级会议ACM MM2020上。