基于稀疏表示的多摄像机非重叠视野域运动目标跟踪方法研究

It is a challenging task to robustly track object in non-overlapping multi-camera networks due to factors such as discrete in time and space, illumination change, difference in cameras properties, occlusion. Solution of these problems is important to improve the performance of the multi-camera surveillance system. Theory of Compressive Sensing provides a new idea to resolve these problems. On the background of Kunming Peace City video surveillance, this project aims to propose a robust and consistent tracking method and some theory basis to resolve the challenging problem of tracking in non-overlapping multi-camera networks, based on the research of sparse features acquisition and representation of moving object, dimensionality reduction of high-dimensional sparse feature and moving object association,and a new object association model.

由于目标出现在时空上离散，环境光照、摄像机成像特性差异以及跟踪过程中目标遮挡、外观变化等原因，使得多摄像机非重叠视野域跟踪成为具有挑战性的难题，该问题的解决对提高多摄像机监控系统的性能有重要意义。压缩感知理论的提出为解决多摄像机非重叠视野域跟踪提供了新的解决思路。本项目拟通过多特征融合构建目标高维稀疏特征，基于压缩感知理论对其降维，建立压缩感知域下多摄像机非重叠视野域运动目标特征模型；并通过将非重叠视野域下的目标关联问题转化为在关联数限制下的最大效用问题，建立最小费用流模型，一次求取所有关联数限制下的最大总体效用，实现多摄像机运动目标关联、跟踪。本项目以昆明市公安高清视频监控网络为实验和应用场景，以构建运动目标压缩感知域低维特征模型以及基于最小费用流的目标关联模型为突破口，为解决多摄像机非重叠视野域目标持续跟踪提供一些理论基础和新的技术手段。

由于运动目标出现在时空上离散，环境光照、摄像机成像特性差异以及跟踪过程中目标遮挡、外观变化等原因，使得多摄像机非重叠视野域跟踪成为具有挑战性的难题。本项目的研究对解决对提高多摄像机监控系统的性能有重要意义。本项目研究内容主要包括：1）运动目标高维稀疏特征表示；2）运动目标高维稀疏特征降维；3）多摄像机非重叠视野域运动目标关联等内容。通过研究上述内容，项目实现了以下研究目标：1）通过视觉显著性排除干扰目标，并融合运动目标的HOG、颜色及卷积特征等提出了排他的、鲁棒的运动目标高维稀疏特征表示方法；2）基于压缩感知理论和深度卷积网络，提出一种利用深度卷积网络感知低维目标特征，并通过深度卷积网络在压缩感知域对运动目标进行分类识别的方法；3).基于跨摄像机运动目标多模板历史信息及最小费用流模型，实现多摄像机非重叠视野域运动目标关联、跟踪；4）设计、开发和实现了社会治安视频监控多摄像机非重叠视野域运动目标跟踪实验平台。项目组成员在项目执行期总共发表32篇学术论文（1篇SCI检索、9篇EI检索、22篇中文核心），申请国家发明专利5项，申请软件著作权2项。研究成果超过计划要求。项目经费使用严格按国家基金委相关要求执行。本项目以昆明市公安高清视频监控网络为预期应用场景，通过融合多特征构建目标高维稀疏特征，基于压缩感知理论和深度卷积网络建立多摄像机非重叠视野域运动目标特征模型；并通过时空视觉显著性抑制干扰目标、基于跨摄像机运动目标多模板历史信息，实现多摄像机非重叠视野域运动目标关联、跟踪，为解决多摄像机非重叠视野域目标持续跟踪提供了新的理论基础和技术手段。