基于三维外表增量模型的离散多摄像机系统多目标跟踪方法研究

本项目面向复杂环境下的智能视频监控问题，以离散多摄像机系统中多目标跟踪问题为研究对象，以物体三维外表建模理论和多目标联合跟踪技术为基础，探索三维外表模型的增量式学习方法，从而建立联合多态重要性采样理论。主要研究内容包括：1)探索目标的多尺度全景描述方式，建立目标三维外表模型；2)基于目标观测值与三维外表模型进行匹配，建立增量三维外表模型；3)分析目标在多摄像头间传递的时空接续关系，研究基于多线索的目标传递方法；4)分析多摄像机环境中目标的多态性，结合联合概率分布最优化理论和交互式多态模型，建立联合多态重要性采样理论；5)以多摄像机多目标跟踪为例，对新理论进行验证。其成果旨在解决多视角离散引起的观察断裂和目标传递中的相互遮挡问题，支持复杂情况下的离散多摄像机系统多目标跟踪，对广域信号检测与跟踪也具有很好的支撑作用。因此，本项目研究既有重要的科学意义，又具有充分的理论和应用价值。

项目组为解决本项目提出的离散多摄像头环境下基于三维外表模型的鲁棒多目标跟踪这一问题，围绕五大方面（三维外表建模，多摄像头布局优化，鲁棒性特征选择，目标跟踪算法，多目标跟踪）展开了全方位研究，解决了三大理论问题，发表了超出预期数量的相关学术论文，指导了一批硕士研究生，构建了自有的多摄像头网路硬件环境以及多目标跟踪实验数据库，开发了专有的以跟踪为主体的多摄像头智能视频处理软件平台，并申请了相关的专利以及软件著作权。在理论研究方面：（1）对于三维外表建模，提出了基于区域的层次化立体匹配算法，其核心是视差值预设的逆向匹配策略和基于初选匹配点的自适应阈值更新方法。算法首先在初始视情况下确定初始匹配点，并得到可信匹配点，然后利用滤波技术去除伪匹配点。接着选择下一个阈值，重复上述步骤。最后通过进一步滤波得到平滑的视差图。在标准测试库上测试显示，该算法相比于传统基于区域的方法而言，匹配精度更高，且视差范围宽，特别适用于跟踪建模。（2）对于多摄像头布局优化，我们将全局优化的方法应用在摄像头网络优化上，并提出了基于清晰度和基于目标出现概率的两个新的模型，这些新模型和新方法，丰富并推进了多摄像头跟踪。本项目首次将位置和方向同时连续优化，使得解决方法具有广泛的适用范围。（3）对于多目标跟踪涉及到的特征优化以及跟踪算法，我们利用灰度共生矩阵的熵获得目标纹理的方向信息，在此基础上有针对性的产生具有方向纹理新的特征，从而可以有效避免无效随机特征的产生，减少了特征池的大小。同时，将粒子滤波算法引入on-line boosting目标跟踪框架中，通过建立目标运动模型，并把on-line boosting目标分类置信度与粒子滤波的观测模型结合起来，提出了基于粒子滤波的online boosting目标跟踪算法，这个凸显了我们当初提出的联合分布优化思想。此外，对于图像增强以及摄像机标定等问题我们也开展了一定的研究，为后期开展进一步的深入研究打下了良好的基础。经过三年的努力，我们取得了如下成果：(1) 发表学术论文34篇，其中7篇论文被SCI收录，20篇论文被EI收录，另有投稿3篇在评审中; (2)申请专利2项，软件著作权1项；(3)完成硕士学位论文9篇。