基于对象的监控视频检索方法研究

Object based surveillance video retrieval is urgently needed to the national economy and people's livelihood. However, there are several challenges in video object detection and retrieval: 1) Robust surveillance video object detection. 2) Effective video object feature representation and indexing. 3) Similarity measurement and ranking..To solve the above challenges, we propose some novel solutions, which are summarized as follows: 1) we propose a surveillance video object detection approach by fusing the motion information and object prediction by utilizing the deep neural network based approach. This approach makes full use of the motion regions detected from dynamic background modeling and faster- RCNN to generate the high quality object regions. This approach is robust to the variation of scale, orientation, format and illumination of object. 2) We propose a deep feature representation framework and file indexing structure for each detected video objects. To improve the feature discrimination power, we depart each object into regions and we carry out feature representation for each region and determine their attributes. We further build fast file indexing structure to support fast retrieval. 3) We propose to fuse multiple key-frame and object attribute information in similarity measurement and ranking. Each sub-region and its attribute is served as constraints in similarity measurement. We further carry out retrieval result clustering and make the top ranked results having sufficient diversity.

进行基于对象的视频检索对国计民生等有重大需求，然而其中存在如下挑战性的科学问题：1) 鲁棒的监控视频对象检测方法；2)有效的视频对象特征描述与索引方法；3）视频对象检索中的相似性度量和排序方法。.针对上述关键科学问题：提出一种融合运动和帧间预测的高效视频对象检测方法。采用动态背景建模获得运动对象区域，利用深度学习获取对象检测的置信度, 课题有效利用帧间视频对象预测以获得静止对象区域。该方法能够抵抗对象尺度、方向、形态及光照等变化。.提出视频对象深度特征描述方法及文件索引结构。该方法对每个对象不同部分抽取深度特征并提取其属性以提升特征在检索中的区分性，通过建立高效的基于对象的文件索引结构，以支持快速查询。.提出一种融合多关键帧及其属性信息的视频对象相似性度量和排序方法。检索中采用对象不同区域及其属性作为约束，进行相似性度量；对相关的检索结果进行聚类分析，使得排序靠前的结果具有较强的互补性。

本课题研究基于监控视频的检索方法，提出基于深度学习的对象检测方法、对象属性获取方法、基于对象特征描述及其索引方法、检索中的相似性度量和排序方法，以达到快速高效视频对象检索的目的。主要研究内容：监控视频对象检测方法；监控视频中对象的特征描述方法；监控视频中对象索引方法；监控视频对象检索中的相似性度量与排序方法。.在研究中，我们系统分析了面向监控视频的检索任务中各个环节，针对基于视觉的对象检测、特征描述、对象索引、相似性度量以及排序方面都进行了方案设计。首先，针对检索任务上游任务目标检测，我们提出一种无锚框纯卷积神经网络人脸检测方法。并提出了一种基于压缩感知输出编码的小对象检测方法。接下来，针对检索对象进行特征描述，我们设计了一种特征学习方法用来学习图像中不同物体对象之间的关系。并且针对监控视频中目标检索任务中的遮挡问题，提出了一种对遮挡物有感知能力的特征描述方法。在2D视觉特征的基础上，我们还设计了一种基于3D重建和图像美学的视角推荐方法。而为了实现视觉特征的快速提取，方便模型的移动端部署，我们设计了一种针对NPU的串并联结构骨架网络。进一步，对于视觉目标的索引，我们针对监控视频中行人检索问题，结合属性特征设计了一种基于哈希蒸馏的可分级索引方法。并设计了一种聚焦于物体相对位置的异质媒体检索方法。而在鲁棒的特征描述能力基础上，为了对目标进行更加快速的索引，我们设计了一种基于深度迁移的哈希图像检索方法。最后，对于检索任务的最后阶段，我们在相似性度量与排序方法上也进行了创新。我们提出一种基于卷积神经网络的草图检索重排序算法，以及一种基于盲式反馈的无监督草图检索重排序算法。我们还针对监控视频中的遮挡目标，结合困难样本三元组挖掘，设计了一种用于高效学习被遮挡目标特征的相似度损失函数。. 在IEEE TIP，TMM，TCSVT，TKDE等国际期刊和ICCV，IJCAI等国际会议中发表论文27篇。有针对视频中目标对象关系理解与针对图像中的目标定位问题的研究，我们将相关工作源码进行了分享，为广大研究者在该方向上的进一步研究提供便利。