面向视频行人重识别的特征表达与度量学习方法研究

Person re-identification (re-id) is an important technique of some video surveillance applications, such as suspects and missing people searching. Most traditional person re-id methods are based on still images, which ignore the motion information of persons in videos. Thus, they suffer from viewpoint changes, occlusion, and cluttered background in the practical applications. This project aims to propose a video-based person re-id method for video surveillance. In the practical video surveillance, two person sequences from different cameras may have different poses of the starting/ending frames, or have different lengths. To deal with this problem, we propose an accurate time alignment method, i.e., aligning person sequences based on the walking cycle, and transferring person images to the given pose using attribute and identification preserved Generative Adversarial Networks (GANs). Person sequences are quite different to model due to their spatial-temporal complexity. To this end, we propose a hierarchical Gaussian Mixture Model (GMM) model to represent person sequences. The appearance and motion features are fused to improve the robustness of the representations. Since the proposed representation is in the manifold space, thus, we propose a manifold metric learning method from three directions, image based metric, image set based metric, and sequence based metric. This project establishes a four stage frame work, i.e., sequence alignment, pose correction, sequence representation, and metric learning, which will promote the development of person re-id, both theoretically and methodologically. It will also contribute by providing algorithms to practical application of intelligent video surveillance.

行人重识别是嫌疑目标搜索和失踪人员查找等视频监控应用的关键技术。基于静态图像的方法忽略了行人的运动信息，不能有效地解决实际应用中视角变化、遮挡、复杂背景等带来的挑战。本项目面向视频监控应用，研究基于视频的行人重识别方法。针对不同摄像头中行人序列起始与结束的姿态不同、序列长度不等的问题，提出一种基于行走周期的行人序列对齐方法和基于属性身份保持生成式对抗网络的行人姿态校正方法，实现行人序列的精确对齐；针对行人序列时空变化复杂难以准确建模的问题，提出一种分层的混合高斯模型表达框架，融合表观特征和运动特征，提取行人序列的时空特征表达；针对行人序列表达处于流形空间的情况，提出一种分段行人序列的流形度量学习方法，并组合图像间与序列间相似性度量，以提高行人重识别的准确性。本项目建立一套序列对齐、姿态校正、序列表达、度量学习的四步框架，发展了视频行人重识别理论和方法，同时为智能视频监控应用提供算法支撑。

本项目针对视频监控的行人搜索问题开展研究，主要包括行人检索、行人重识别、行人解析、场景图像解析，具体包括：.（1）行人检索是根据待检索行人的图片，在场景图像中找到该行人出现的位置。从任务的角度看，行人检索包括了行人检测和行人重识别，在实际应用中有更加重要的意义。本项目着重研究准确高效的行人检索方法，提出了两阶段行人检索、一阶段行人检索以及弱监督行人检索方法，极大拓展了行人检索方法在实际视频监控中的应用。.（2）基于图像/视频的行人重识别是根据行人图像或者视频，从检测/跟踪的行人图像/视频中找到对应身份行人。本项目研究基于视频的行人重识别方法、基于互补特征的行人重识别方法、遮挡图像的行人重识别方法、跨域行人重识别方法、基于文本的行人检索方法、身份与相机风格解耦的行人重识别方法、融合属性的行人重识别方法等，解决了实际应用中行人追踪面临的部分重要挑战，有效提升了不同场景下行人重识别的性能。.（3）由于监控场景相对复杂，根据行人整体分析方法往往忽略了行人的局部特征，严重影响了行人重识别的精度。本项目研究像素级别的行人解析方法，获取像素级的行人表征，提出利用人体固有结构特征提升行人解析性能，为行人重识别提供有效的支撑。.（4）监控视频场景图像中包含了公共安全中重要的物体，包括行人、车辆、非机动车等。因此，仅仅关注行人目标不足以准确理解监控视频。在行人追踪任务中，行人和其他物体关系也非常重要，比如行人推自行车，自行车是识别该行人非常有效的特征。为此，本项目研究场景图像解析技术。同时，虽然场景图像解析方法与行人解析所研究的目标不同，但是其任务非常类似，因此场景图像解析的研究，也可以为行人解析提供技术支撑。