基于迁移学习的有遮挡场景行人再识别关键问题研究

Fast and accurate access to portrait information in the scene through video surveillance is very important for national security and public security criminal investigation work. With the large-scale popularization of video surveillance cameras, relying on manual analysis of video content requires a lot of human resources and time, and cannot meet the growing demand for public security business development. At the same time, in our daily life, the target pedestrian image captured by the camera is inevitably affected by the obstruction. In order to solve the above two problems, this project first applies deep learning method for pre-training on the unobstructed person re-identification data-set which contains human body annotations and appearance attributes. Based on the pre-training network, we use deep reinforcement learning to apply the previous learning experience to the occlusion scene without any annotations, thus it is able to reduce the dependence on manual labeling. At the same time, the project will also design a feature fusion network to combine the features of different detected human body parts into a composite feature for final pedestrian matching. This research helps to further apply the pedestrian re-recognition algorithm to daily occlusion monitoring scenarios, and provides new ideas and methods for realizing generalized and accurate video surveillance content analysis.

通过视频摄像监控快速、准确地获取场景中的人像信息对于国家安防和公安刑侦工作十分重要。随着视频监控摄像头的大规模普及，仅依靠人工分析视频内容需要消耗大量人力资源和时间，无法满足日益增长的公安业务发展需求。同时，在我们的日常生活中，摄像头所捕捉到的目标行人图像都会不可避免地受到遮挡物的影响。为解决上述两项问题，本项目基于深度学习的方法，在有人体躯干和属性特征标注的无遮挡行人再识别数据集上进行预训练，以期获得能精准识别人体躯干的深度网络。我们再在该预训练网络的基础上，使用深度强化学习，将先前学习的经验用于无标注的有遮挡场景下，从而减少对人工标注的依赖。同时，本项目还会设计一个特征融合网络，将检测到的不同躯干特征融合为一个复合特征用于最终的行人匹配。该研究有助于将行人再识别算法进一步应用于日常有遮挡的监控场景下，为实现泛化能力强、计算精确的视频监控内容分析提供新思路和新方法。

有遮挡的行人重识别研究在现实运用中面临诸多挑战。本项目在实践探索过程中发现，无论在室内还是室外环境，光照颜色对于行人图片的成像和识别极易形成干扰。因此，本项目在研究过程中，对于光照颜色的识别尤其是色彩恒常性问题（color constancy）进行了重点研究，并应用于行人重识别问题中。其中，我们构建了一个基于可学习颜色直方图的三联网络，用于生成强壮并且准确的图像特征用于光照估算。在该特征空间中，相同光照拍摄的图有较近的距离，不同光照则距离较远。最终，我们估算出的图像光照颜色可用于行人图像的光照预处理，从而减少复杂场景中光照对于行人重识别的影响。.同时本项目探索建立基于强化学习和注意力机制的行人重识别模型。首先，本项目构建了一个基于ViT模型的图像小块特征提取模型。其次，本项目基于policy gradient算法构建图像小块选择策略，保留图像中关于人体躯干的重点部分，过滤掉如遮挡物、背景等干扰信息，从而提高匹配精度。相关技术在多个公开数据集上进行了测试，取得了较高的识别精度。该项目中的主要产出结果异常检测模型已被应用于网易（杭州）网络有限公司的大规模自动化手机画质测试，实现30%人力成本的节约，并获得网易公司内部技术进步奖。