基于鲁棒表观建模的目标跟踪方法研究

The visual object tracking is a key technique for video intelligence analysis. Meanwhile, the key to visual tracking is how to describe the target and how to determine the likelihood of image patches in a frame. So the research of appearance modeling for visual tracking has a very high theory guiding meaning and also plays a very important engineering application value. This project focuses on different appearance modeling methods under complex scenes. The research includes: First, we study circulant structure to analyze the specific relationship between target templates and sampled particles upon the Bayesian framework for tracking, aiming for robust appearance modeling. It can refine and reduce particles using circular shifts of target templates, and improve tracking performance and reduce computation time. Second, we attempt to design a multi-task correlation particle filter for robust visual tracking by considering the advantages of correlation filter and particle filtering. Third, we utilize the relative property among image patches and deep learning for robust object appearance modeling. The method can make the relative model and deep learning enhance and complement each other in visual tracking task. Last, using a region which has good characteristic in position to enhance the appearance of a target, we study the appearance modeling method based on feature transformation under monitoring scene.

基于视觉的运动目标跟踪是视频智能分析中的关键技术，而视觉跟踪的关键是如何描述目标及确定目标在某个位置的似然度，即表观建模。因此，研究视觉目标跟踪中的表观建模方法具有非常重要的理论指导意义和工程应用价值。本项目将研究复杂场景下不同的表观建模方法。主要的研究内容包括：1、在贝叶斯框架下，利用循环结构挖掘目标模板与粒子之间特有的关系以进行表观建模，力求精化粒子的质量并减少粒子的数量，提高跟踪效果并降低计算复杂度。2、结合相关滤波与粒子滤波的优势，设计出一种多任务混合型相关粒子滤波器，从而获得更加鲁棒的跟踪效果。3、通过刻画图像块之间的相对关系，引入深度学习的理论方法来提高目标跟踪中表观建模的鲁棒性，使得相对模型和深度学习相互促进。4、研究监控场景内特征变换的表观建模方法。利用参考区域良好位置特性以增强目标的可识别性 。

复杂场景下的目标跟踪是计算机视觉研究领域的经典难题，除了具有重要的理论意义，还具备广阔的应用前景和潜在的商业价值。项目主要研究目标跟踪中的一些关键问题，取得了一些成果。.针对视频中的关键部分即视频精彩片段检测，提出一种基于局部区域信息的模型，可以在空间维度上找出关键区域，预测视频精彩片段。针对标注样本少的挑战，提出一种三维注意力模型。将上述两个模型嵌入一个传统的端到端深度排序模型中，学习一个深度神经网络来计算每个视频段的精彩分数。在YouTube和SumMe两个数据集上的大量实验结果表明，我们提出的方法比现有方法具有明显的优势。.对于视频时序定位问题，提出一种显式语义结构驱动的视频时序定位方法，同时对文本语义结构以及视觉结构进行编码，来定位与查询语句最匹配的视频片段。提出一种联合显式与隐式语义结构的视频时序定位方法，在联合的视频片段分类和回归的损失函数的优化下，对整个模型进行了联合的端到端训练。在Charades-STA和ActivityNet Captions两个公开数据集上进行了充分的实验，结果表明模型有效地提高了视频时序定位的准确性。.针对复杂场景，提出了一种基于条件随机场的鲁棒性深度相关滤波目标跟踪算法。将判别式相关滤波(DCF)与连续条件随机场(CRF)结合,设计了一个端到端的深度卷积神经网络,嵌入CRF中的一元状态函数与二元转移函数,用来获取图片的响应。通过结合一元状态函数中的初始响应和二元转移函数中的相似度矩阵,优化后的算法可以得到一个更平滑、更精确的响应图,从而提高跟踪的鲁棒性。在OTB-2013和OTB-2015这两个数据集上进行了大量的测试,比现有算法具有较高的成功率和精度。.另外，我们还取得了其它一些的成果。