复杂场景下的长程目标跟踪方法研究

The long-term object tracking in complex scenes is an extremely challenging research, which is also full of promising prospects. The targets in real complex scenes usually encounter lots of challenging factors, such as occlusions, background clutter, motion blur, low contrast, and so on. Consequently, it is hard to effectively detect and track the targets in long videos. This project intends to divide the long-term object tracking task into some subtasks, including the generation of object proposal windows, the reordering of the proposal windows, the optimization of the object proposal windows' location and re-detection of the targets, the feature extraction and tracking based on deep networks, etc. Specifically, in the project we intend to design an efficient object proposal window generation algorithm to conduct the sampling of positive and negative samples, with which we train a highly discriminative classifier. Based on a multi-expert mechanism, we are going to propose a reordering technique to effectively evaluate and reorder the generated object proposal windows, so that a small number of the high-quality object candidate windows are obtained. To handle the problem of occlusions, we will present an adaptive mechanism based on the correlation filtering technique, to adaptively select to optimize the location of the object proposal windows or re-detect the missing targets. In order to overcome the ineffectiveness problem of target representation, we plan to employ the multiple Siamese network to extract effective deep features from the object candidate windows and the search region, and then accurately estimate the location of the target. The research of this project can provide several novel methods and techniques for long-term object tracking in complex scenes.

复杂场景中的长程目标跟踪是一个极具挑战且具有巨大前景的研究方向。由于现实复杂场景中的目标经常遇到遮挡、背景杂乱、运动模糊、低对比度等挑战因素的影响，导致无法长期有效地检测和跟踪视频中的目标。本项目拟将长程目标跟踪分为目标建议窗口生成、建议窗口重排序、目标位置优化与重检测、基于深度网络的特征提取与跟踪等子任务。具体来说，本项目拟设计出高效的目标建议窗口生成算法来指导正负样本的采样，并训练出高判别力的分类器。拟提出基于多专家机制的目标窗口重排序技术，对目标建议窗口集进行有效评估和重排序，进而得到少量高质量的目标候选窗口。针对遮挡问题，拟提出基于相关滤波的自适应重检测判断机制，以自适应地选择目标位置优化或重检测。为了克服目标表征困难问题，拟采用多重孪生网络对候选目标窗口以及搜索区域提取有效的深度特征，然后精确地估计目标位置。本项目的成果将为复杂场景下的长程目标跟踪研究提供新的方法和技术。

本项目主要围绕长程目标跟踪中存在的关键问题开展研究，完成了项目研究任务，取得了预期的研究成果。具体来说，研究多个深度相关滤波跟踪方法，以有效处理尺度变化等复杂问题；另外还研究了利用颜色以及边缘信息的目标建议窗口生成算法，来生成互补的目标建议窗口；并提出一种基于表观相似度以及空间权重的目标建议窗口排序算法，对生成的目标建议窗口进行排序，从中筛选出少量实例感知的目标建议窗口；针对遮挡问题，提出了一种新颖的基于多重孪生网络的目标跟踪方法、并提出了一种基于模板融合的孪生网络跟踪方法，有效地结合了多重孪生网络和以及区域卷积网络，实现了对丢失目标的重新定位跟踪，可以更好地处理视野外以及严重遮挡等复杂场景下的目标跟踪；针对事件相机能有效处理物体快速运动和高动态范围场景等多种挑战问题，研究了多个基于事件相机的目标跟踪方法，提出了基于自适应时间平面的异步目标跟踪方法和基于端到端运动回归网络的目标跟踪方法，取得了较好的结果。在应用方面，本项目还对运动分割、目标检测、人脸识别、行人属性识别、行为识别、跨模态行人重识别等应用方向进行研究，提出了一系列有效的模型、方法、新的框架以及判别标准等。本项目已经在国内外重要学术期刊和学术会议（SCI 或EI 源）上发表了55篇高质量的学术论文（含SCI源期刊上发表28篇，国内外会议上发表24篇），其中在CCF A类、JCR1区、计算机视觉国际顶级期刊IJCV和IEEE TIP上各发表2篇论文、在其他JCR1区期刊上发表6篇论文，另在IEEE Transactions和Pattern Recognition国际权威期刊上发表论文11篇，并在CVPR、AAAI、ACM MM、IJCAI等CCF A类国际顶级会议上发表论文11篇。另有26项国家发明专利获授权。还培养了3名博士生和10名硕士生（已毕业），其中1名博士生荣获福建省计算机科学与技术专业研究生优秀博士学位论文荣誉、1名硕士生荣获福建省计算机科学与技术专业研究生优秀硕士学位论文荣誉。本项目取得的研究成果缓解了当前目标跟踪方法的鲁棒性低以及计算效率不高等问题，为提高长程目标跟踪算法的鲁棒性和效率奠定相关的理论技术基础，具有重要的理论与应用价值。