基于虚实场景融合的跨相机目标重识别与轨迹关联技术

Technologies of cross-camera object re-identification and trajectory association has drawn much attention in the field of intelligent video analysis, which aim to retrieve the same object appearing in the view of different cameras and to generate a complete time-lined trajectory. In surveillance videos, it is very difficult to extract features from objects for further re-identification and trajectory association across cameras, due to small object size, illumination and pespective discrepancies, as well as occlusion..This project introduces the idea of mixed reality, and try to recovery the geometric structure according to scene analysis. A multi-camera topological connected graph is constructed by calibrating cameras and blending each camera image to three-dimensional scene, thus provides a spatial-temporal constraint retrieval model for object re-identification. Besides that, this project analyzes the effect of object orientations on the difference of appearance features and designs an orientation-guided re-identification network to extract appearance features of objects. Based on appearance features, the online multi-target tracking algorithm will be studied. Combined with the multi-camera spatial-temporal constraint retrieval model, the tracks of the objects in a single camera are associated to complete trajectories across cameras. This project combines mixed reality with deep learning to explore the spatial-temporal constrained model in cross-camera scenes and multiple loss functions joint training network, improving the accuracy and efficiency of object re-identification and trajectory association, which is of great significance for large-scale intelligent video analysis.

跨相机目标重识别与轨迹关联技术在视频智能分析领域受到广泛关注，它能检索出不同相机内出现的同一目标并根据时间生成完整轨迹。由于监控视频中目标所占像素区域普遍较小、部分相机间光照和视角差异大、动静目标存在大量遮挡等原因，从视频中提取目标特征并进行跨相机识别和关联的十分困难。本项目引入虚实融合思想，拟根据场景解析进行几何结构恢复，通过将相机标定到三维场景及融合各相机图像，构建一种多相机的拓扑连通图，为目标重识别提供时空约束检索模型；分析目标朝向对表观特征差异性的影响，设计朝向约束的目标重识别特征提取网络，研究基于表观特征的在线多目标跟踪算法，并结合多相机时空约束检索模型实现单相机内的目标轨迹到跨相机的完整轨迹生成。该研究将虚实融合与深度学习相结合，探索跨相机场景的时空约束模型与多损失函数联合训练网络，提高目标重识别与轨迹关联的准确率和效率，对大规模监控视频智能分析具有重要意义。

在大规模真实监控场景中，由于目标所占像素区域普遍较小、相机间光照和视角差异大、动静目标存在大量遮挡等原因，从视频中提取目标特征并进行跨相机识别和关联十分困难。因此，本项目引入虚实融合技术估计相机网络拓扑连通图，构建时空检索模型，利用深度学习技术提高目标表观特征区分度，并通过联合多相机时空约束模型和目标表观特征实现了单相机轨迹片段到跨相机完整轨迹的生成。.通过研究，项目组引入虚实融合的思想，挖掘场景中的语义信息，实现三维场景的结构恢复，并根据相机标定技术估计了相机网络拓扑连通图；优化行人重识别和车辆重识别的表观特征提取方法和相似性度量方式，降低朝向、遮挡、光照等因素对目标重识别的影响，实现多模态目标检索；通过开集多尺度目标检测方法和基于类关系解耦的小样本开集目标检测方法，提高目标检测的准确率，利用目标重识别方法提取目标表观特征，根据目标人头点和上下文信息进行优化实现在线多目标跟踪；根据拓扑连通图对场景语义进行结构化分析，构建时空约束模型，缩小检索范围，联合面向多任务和难样例的行人特征优化方法，生成目标跨相机轨迹，研究相机拓扑支持的跨相机轨迹关联方法，实现自动、高效、准确的跨相机目标关联分析，为监控视频智能分析提供有效的技术支持。.通过本项目的研究，形成了多相机拓扑分析、目标重识别、在线多目标跟踪以及跨相机轨迹关联等关键技术突破，在本领域重要期刊和会议上发表相关论文27篇。期刊论文15篇，其中SCI收录11篇，包括CCF A类期刊4篇；CCF推荐国际会议论文12篇，其中CCF B类论文4篇、C类论文7篇。相关成果申请发明专利7项。依托项目培养博士后1人，博士毕业生3人、硕士毕业生7人，另有7名在读硕博士研究生得到本项目的支持。项目组支持研究骨干参加国内外学术交流和开展国际合作交流20余人次，提高了项目关键技术的国际影响力。本项目探索跨相机场景的时空约束模型与多损失函数联合训练网络，提高目标重识别与轨迹关联的准确率和效率，对大规模监控视频智能分析具有重要理论意义和应用价值。