面向监控视频的结构化深度特征融合目标重识别研究

Object re-identification is one of the important part in the intelligent surveillance system. The goal of this project is studying the end-to-end object re-identification problem based on the deep learning technology, which will realize the re-identification for rigid object (vehicle) and non-rigid object (pedestrian and cyclist). According to study transforming different image representations within different feature sub-spaces into a unified feature sub-space, deeply feature fusion can be realized for different image features and a unified representation can be obtained, which will improve the re-identification accuracy. By transforming the VLAD model as a feature coding layer of the whole network, the CNN and VLAD models can be fused. Then multi-loss functions are used to train the whole network to improve the object representation ability of the network. Finally, a feature map alignment pooling method is proposed based on the image patch matching. Also, the relationships of video temporal and spatial context is considered to solve the inaccuracy problem of object detection frame and object occlusion. The implementation of this project will provide important theoretical value and extensive application prospects for deep learning, object re-identification, intelligent surveillance system, image retrieval etc.

目标重识别是智能监控系统的一个重要研究内容。本项目主要基于深度学习技术研究端到端的监控视频目标重识别问题，实现对刚性目标（车辆）以及非刚性目标（行人、骑车人）的目标重识别。通过研究不同特征子空间到统一子空间的转换和表示，实现多特征的统一表示及深度特征融合，提高重识别准确度；通过CNN与VLAD模型的深度有机融合，将VLAD模型转化为网络中的一个特征编码层，利用多损失函数对融合网络进行统一训练，进一步提升网络对于目标的表示能力；提出基于块匹配的特征图对齐池化方案，并考虑视频时空上下文关系，解决目标检测定位框不准确以及目标遮挡问题。本项目的成功实施对于深度学习、目标重识别、智能监控系统、图像检索等领域均有重要的理论价值及广泛的应用前景。

本项目面向监控视频目标重识别中的关键问题开展研究，并充分考虑实践应用中图像质量退化以及算法轻量化问题。在低质量监控视频图像重建、目标检测及网络轻量化、大规模图像检索、目标重识别、度量学习、多视图聚类方面开展深入研究，为低质量监控视频下的跨场景目标重识别问题给出一套完整的方案和框架。重点研究成果包括：(1) 针对实际监控场景中的图像质量退化的问题，提出图像超分辨重构行人检测算法、畸变目标检测算法、图像去雾GAN模型，提升退化图像质量及目标检测的准确率。另外，考虑实际智能安防中边缘计算的需求，提出目标检测网络轻量化设计方案。(2) 针对大规模图像检索及跨场景目标重识别，提出图神经网络局部语义相关性建模方法、面向可扩展图像检索的零样本语义树索引学习、联合多损失函数训练手工特征参与的深度特征嵌入模型、基于分块非直接耦合GAN网络的行人重识别、基于注意力特征的局部相关性GCN跨域行人重识别模型、以及基于跨类别满秩约束的特征多样性行人搜索框架。提升了行人重识别性能并满足实际应用中的需求。(3) 为了提升学习到的特征在新类别数据集上的泛化能力，针对深度度量学习，提出面向无监督深度度量学习的相对顺序分析和优化、面向可泛化深度度量学习的残差变换编码、面向深度度量学习的对比贝叶斯分析、以及面向特征融合的基于度量学习的三元组和标签约束的核变换器。(4) 针对多视图聚类，提出了基于低秩张量逼近的误差鲁棒多视图聚类、基于超拉普拉斯正则化的非凸低秩表示多视图子空间聚类、基于非凸低秩和稀疏张量表示的多视图子空间聚类方法，通过目标多视图聚类辅助提升目标重识别性能。本项目取得了一批有价值的研究成果，达到了预期研究目标。