基于多源信息融合的行人重识别关键技术研究

The rapid development of computer techniques and the extensive deployment of video surveillance equipment have made the deep learning based pedestrian re-identification practicable for real-world applications. However, traditional methods usually adopt fixed sampling rate strategy to encode the input frames and use stack frames to extract the spatiotemporal features of pedestrians, which are easy to be influenced by the speed variation of pedestrians and fail to adequately utilize the information between different types of features. The essential issues of this project are finding how to design appropriate multi-rate model to encode the pedestrians and extracting the space-time features cooperatively. In this project, on the basis of the multi-rate recurrent framework, we aim at studying the representative technologies for human action recognition and the applications for pedestrian re-identification. The contributions of this research are threefold: (1) an accurate temporal model with multi-rate gated recurrent unit, which aims to solve the redundant problem and important-information-loss problem in traditional fixed-rate temporal encoding models; (2) a multi-rate deep learning framework for video-based person re-identification, which can effectively model temporal information and match pedestrians under complex cross-view variations; (3) multiple streams based spatiotemporal features extraction and fusion algorithms, which enable us to collaboratively learn multi-rate representation and fuse spatiotemporal information for different neural networks.

计算机技术快速发展和视频监控设备的广泛普及，为基于深度学习的行人重识别应用提供了有力支撑条件。然而，现有方法一般采用固定速率方式编码行人行为和特征堆叠方式提取视频资料中的时空信息，容易受到被分析对象速率变化的影响，且无法充分利用行人在时空域上的不同特征信息。本课题旨在研究基于多速率时序模型的行人重识别相关关键技术，以实现多速率行人行为数据的准确分析及时空特征的协同提取，为多媒体内容分析相关应用提供有效理论支撑。重点研究以下三项关键技术：（1）基于多速率门控循环单元的时序模型，完成多速率行人行为数据的准确建模，以解决固定速率编码方式所造成的信息冗余和重要信息丢失问题。（2）基于深度学习和多速率编码的行人重识别方法，以解决复杂环境下行人时序特征提取问题和行人匹配问题。（3）基于多源时空特征提取及其融合方法，以解决时空特征的协同学习问题和多种类型网络结构的信息融合问题。

深度行人重识别技术是计算机应用领域重要研究内容之一，其核心研究成果可为众多基础研究和工程应用提供支撑，如多媒体内容分析、多源多视图学习、迁移学习、网络压缩、智慧城市等。由于行人识别场景复杂多变、行人形态各异、遮挡等问题，行人重识别技术仍然存在极大挑战，是计算机视觉领域的重要课题。目前，现有深度行人重识别的工作大多集中于深度网络结构设计、行人外观和姿态分析等方面，并取得了显著成效。然而，现有研究还存在行人特征编码效率低、时空特征利用不充分的问题，不利于行人重识别的应用推广。为此，本课题从多源多视图特征分析、行人特征编码和高效深度行人重识别网络设计等方面展开相关研究，取得了一定研究成果。具体为：1）提出了高维多媒体数据特征分析方法，深入挖掘数据特征间相关性，并在无监督、半监督等多种训练模式下取得了较好效果；2）针对现有基于谱图的高维数据相关性分析方法易受噪声干扰的问题，课题提出多种局部和全局稀疏图学习机制，能够适应不同应用领域数据分析需求；3）提出了基于多源数据分析和组稀疏约束的多视图学习方法，充分利用了不同数据视图间共性信息，可有效提升多视图学习的性能； 4）深入研究了行人重识别场景和行人运动特点，分析了深度行人重识别网络通道属性及行人特征编码特性，提出了基于局部能量分析的行人重识别网络加速方法； 5）针对深度行人重识别特征对网络剪枝敏感的问题，提出一种深度网络权重衰减策略，可有效提升深度行人重识别网络加速性能； 6）搭建了行人重识别网络实验平台，该平台融合了多种当前流行的深度网络结构，可与不同软、硬网络剪枝方法结合，并可完成深度行人重识别网络在不同算力设备上的快速部署。目前项目达到了预期目标。