基于多光谱视频的目标跟踪技术研究

Traditional video object tracking technology uses only a single spectrum video sensor, so the tracking precision, stability and applications are limited by the sensor imaging characteristics, and it is difficult to achieve stable, accurate tracking for all-time, all-weather conditions. The issue proposes the research on object tracking based on multi-spectral video. The key problems will be studied including multi-spectral video registration and object tracking based on multi-spectral video in complex scenes. The specific research topics include the following aspects. A multi-spectral video registration algorithm is proposed by studying local invariant common feature detector and descriptor based on entroy and structural image representation, and a hierarchical feature fusion tracking framework is proposed by fusing the object multi-spectral video registation, context tracking and object attribute characteristics, the single object tracking algorithm and multi-object tracking algorithm are proposed based on this framework to achieve stable and accurate tracking in complex scenes. Finally the GPU parallel processing of the registration and tracking algorithms is achieved by CUDA programming.The issue can provide theoretical and technological support for improving video tracking system performance through the use of redundant and complementary information of the multi-spectral video.The expected results can be widely used in intelligent video surveillance, battlefield reconnaissance and surveillance and so on. The issue has important theoretical and practical value.

传统视频目标跟踪技术仅利用单一光谱的视频传感器，跟踪精度、稳定性和应用场合受传感器成像特性的限制，难以实现全天时全天候的稳定准确跟踪。本课题基于多光谱视频的目标跟踪技术，深入研究多光谱视频的配准问题、基于多光谱视频的复杂环境下目标跟踪问题。主要研究内容包括：通过研究基于熵和结构图像表示的多光谱视频局部不变共有特征检测描述算子，提出一种多光谱视频配准算法；利用经过配准的多光谱视频进行目标跟踪，通过研究一种基于分层的特征融合跟踪框架，将目标的多光谱特征模型描述、上下文跟踪和目标属性特征关联有机结合，设计视频单/多目标跟踪算法，实现目标稳定准确跟踪；最后通过CUDA编程实现配准和跟踪算法的GPU并行处理。本课题通过利用多光谱视频的冗余和互补信息，为提高视频跟踪系统性能提供一种思路和技术支撑，预期成果可广泛应用于智能视频监控、战场侦察监视等领域，选题具有重要的理论意义和应用价值。

视频目标跟踪技术在军事和民用的许多领域都有重要的应用，利用多光谱视频（红外和可见光传感器）的互补性有利于提高跟踪系统在复杂场景下的稳定性和准确性。本项目深入研究基于多光谱视频的目标检测跟踪等技术，取得了一系列的研究成果。主要包括：（1）针对多光谱图像的灰度差异，研究图像的局部对称性，提出了一种基于局部对称性的特征检测算子和描述算子，在此基础上，设计了一种基于图像局部对称特征的配准方法。（2）针对复杂背景下的目标检测问题，结合视觉显著机制，提出了一种基于全局对比度的显著目标检测方法；针对大多检测方法没有考虑像素的空间相关性，结合多光谱的互补性，提出了一种基于区域的多光谱目标检测方法；结合背景先验知识，提出了一种基于候选目标和背景先验的目标检测方法；提高了检测精度和适应复杂场景变化的能力。（3）针对复杂背景下的目标跟踪问题，在粒子滤波框架下，提出了一种自适应分块融合的粒子滤波目标跟踪算法。针对粒子滤波的权值退化问题，提出了一种萤火虫算法智能优化粒子滤波方法，在保持粒子多样性的同时改善了粒子滤波的预测精度。利用红外和可见光的冗余互补特性，结合压缩感知理论，提出了一种基于多特征的多光谱压缩感知目标跟踪方法，改善了跟踪可靠性；在此基础上，通过研究压缩感知测量值和原信号间的关系，设计了一种加速的多特征压缩感知跟踪方法，提高了算法的快速性。研究了冗余词典下压缩感知测量矩阵的选取方式和信号的恢复算法，提出了一种基于冗余词典的多光谱压缩感知跟踪方法，提高了跟踪精度，和处理复杂场景中存在相似目标干扰、光照、遮挡等情况下的稳定性和可靠性。（4）研究视频并行处理技术，搭建了基于多核DSP的图像处理平台，开发了并行处理软件，并成功应用于某光电跟踪系统。本项目研究为多光谱视频在目标跟踪领域的应用提供了技术支撑，对复杂场景下视频目标跟踪技术的进一步研究提供参考。