基于快速权重循环网络和多通道深度网络的行人再识别研究

Person re-identification plays a key role in several security and surveillance applications, such as criminal investigation, human retrieval, human monitor and analysis. This project researched on video-based person re-identification for it makes occlusion and cluttered background to be a solvable problem. Extracting dynamic features is a key issue for further improve the recognition rate, but the arbitrary length and/or different frame-rates make it is very difficult. The fast weights associative memory based on recurrent neural network is a kind of memory and learning model more like the synapses of human being. Except long and short time memories, it has the third form of memory, which is particularly well-suited for the sequence- to-sequence identification like person re-identification. So we propose using fast weights recurrent neural network to extract the inter-frame features. To improve the recognition rate, and to make full use of different kinds of features like appearance, inter-frame features and spatiotemporal features, we propose a multi-input forms, multi-network architectures and multi-channels deep learning model. which using video as the input of fast weight recurrent neural network, using images as the input of convolutional neural network and using the average image of pedestrian as the siamese convolutional neural network. Features from different channels are combined to identify the pedestrian.The research is meaningful.

行人再识别是多摄像头下智能视频监控的一个重要研究方向，在刑事侦查、行人检索、人员监控和分析等方面具有重要应用。为克服遮挡和复杂背景的干扰，本项目基于视频进行研究。行人动态特征的有效提取是进一步提高系统识别率的关键，但行人视频长短不一，帧率变化以及断续等问题使帧间动态特征提取非常困难。快速权重循环记忆网络具有类似人类大脑的记忆和学习模式，除具有短时和长时记忆外，还具有中间长度记忆，这种具有伸缩性的记忆联想模式非常适合行人视频这种不等长序列的特征提取和识别问题。因此，本项目提出用快速权重循环神经网络提取行人帧间动态特征的方法。为充分利用行人的外观特征、帧间动态特征和空时联合特征,本项目提出以行人视频、图像序列，平均行人图分别输入快速权重循环网络、卷积神经网络、二岔卷积网络，提取行人多类特征。构建多输入形式，多网络结构的多通道深度网络，提高行人再识别系统的识别率。本项目的顺利实施具有重要意义。

行人再识别是多摄像头下智能视频监控的一个重要研究方向，在刑事侦查、行人检索、人员监控和分析等方面具有重要应用，本项目基于视频进行行人再识别研究。行人静态特征和动态特征的有效提取是提高系统识别率的关键，本项目提出采用空时双流网络来提取行人的时域特征和空间特征，并采用联合加权距离进行最终分类。该双流网络的空间流将空间并行网络SCP扩展到三维，在提取空间局部和全局特征的基础上，同时提取行人的动态特征。时域通道采用空时协作卷积块CoST来替代CNN网络中的卷积核来提取特征，该方法通过2D卷积实现了3D卷积的效果。研究表明，本项目提出的双流网络能够有效的提取行人的空时域特征，在iLIDS-VID，PRID2011，MARS，DukeMTMC-VideoReID等数据库上Rank-1的识别率分别为92.8% ，95.7% ，88.1%， 96.7%；优于同期相关文献的识别结果。在双流网络的训练和融合方面，项目组提出采用多损失函数融合及通道加权的方式。研究表明，多通道网络优于单通道网络的识别率，多损失函数的联合使用优于单个损失函数。该结论同样适用于步态识别，研究表明采用多损失函数融合的双流网络能够很好提升识别率并去除背包的影响，在CASIA-B BG子数据集上的识别率为90.86%。在行人检测方面，项目组提出基于难负样本挖掘的改进FasterRCNN 行人检测训练方法，该方法在Pascal VOC2007数据集上测试的平均正确率均值(mAP)提高了2.4% ，在FDDB相同检出率下误检率降低了3.2%且边框拟合度更高。在网络参数简化方面，项目组提出的基于参数子空间和缩放因子的YOLO剪枝算法，提高了模型的压缩比例和泛化能力。本项目还对角度特征，图像去雾和基于深度学习网络的图像超分辨率重构和图像深度信息的生成进行了研究。这些研究将有助于解决行人再识别应用推广过程中面临的实际问题。