多目标跟踪中的注意模型研究

How visual attention is deployed in multi-object tracking(MOT)? It has been noticed in perceptual and neural science for a long time. It has common properties of bottom-up and top-down attention, and has properties specific to MOT.Inspired by attention mechanism of MOT in human vision, we will biuld computational attention models in complex dynamic scenes.On the one hand, we learn scene context in dynamic scenes, and discriminative appearance and high-order motion models of objects, to represent scenes and tasks efficiently. On the other hand,based on attention and eye movement theories and learning relations of objects with tasks by online random forest, we will build a top-down attention model. Applying the attention model in MOT which combines spatial-temporal grouping and multidimentional data association,coping with occlusion and distractors from dynamic background, we try to realize robust tracking. The research is expected to reduce gaps between computational tracking models and human visual tracking,and at the same time deepen our understanding to top-down attention.

人类视觉如何在被跟踪的多个目标中分配注意，一直是认知和神经科学非常关注的问题。它既具有自底向上和自顶向下注意的共性，还体现了多目标跟踪的特性。借鉴人类视觉在多目标跟踪中注意机理，利用视频跟踪中的眼动的研究成果，研究复杂动态环境的注意模型。一方面，我们从动态变化的场景中学习到空间布局等场景上下文；也将学习目标有区分度的表观特征和高阶运动模型，用于形成对场景和特定任务的有效表达。将学习到的先验作为"知识和熟悉性"，推广到未曾学习过的、新出现的目标。另一方面，借鉴多目标跟踪的注意理论，通过时空组织形成目标组，利用在线随机森林学习目标与任务的相关性，构建多目标跟踪的自顶向下注意模型。将所构建的注意模型应用在基于高阶运动量和多维数据关联的多目标跟踪中，解决遮挡和场景动态变化的干扰，实现鲁棒的跟踪。预计这一成果将缩小跟踪计算模型与人类视觉跟踪之间的鸿沟，加深我们对自顶向下注意的理解

本项目研究多目标跟踪和其中的注意模型，该问题不仅涉及到计算机视觉特征分析和神经科学的资源分配问题，而且涉及到高层运动理解，具有重要理论意义，在视频监控、无人驾驶和新一代人机交互中有广泛的应用前景。本项目围绕复杂动态环境下多目标跟踪任务的建模与描述方法，主要从四个方面展开了研究，包括场景上下文的有效表达，动态场景中的眼动注视点分布，目标的多层次描述、高阶运动模型和数据关联，以及基于目标的注意模型。通过目标跟踪的典型应用验证提出方法的性能，展示所构建的注意模型、场景动态建模方法的优越性。本课题共发表论文20篇，SCI收录论文7篇，包括IEEE Trans.期刊论文2篇。在计算机视觉领域的顶会、CCF A类会议上发表论文2篇，大会宣读论文1篇，张贴海报论文1篇。在复杂场景的多目标跟踪方面，提出了基于时间序列的图模型建模方法，联合优化部件分组和跟踪，利用邻域目标的空间拓扑关系构建鲁棒的动态场景上下文描述，所建的夜间车辆跟踪系统在雨天、高速、密集车流等多种场景中都能实现准确的跟踪。在目标的多层次描述和高阶运动模型方面，提出了一个新的高效的视频多目标跟踪框架。该框架摒弃了以增加网络结构复杂度来提高精度的思路，而是采用一种浅层卷积神经网络来提取目标外观特征，同时结合目标间的相互动作关系和目标自身的运动模式，在速度和精度方面取得了较好的平衡，为人群检测等实际应用提供了良好的基础。在眼动数据分析和注意模型方面，提出了分析眼动注视点分布和眼动轨迹随机性的模型，构建了融合自底向上和自顶向下的注意信息, 基于全卷积编解码的显著区域检测模型，并将数据驱动的注意模型引入到非监督的模式发现任务中，用于细粒度的场景分类。在典型应用方面，我们构建了夜间车辆跟踪系统、复杂交通场景中的行人跟踪系统、小群体的检测与跟踪系统，这些系统均取得了较高的准确率，可达到实时性需求。建成一个夜间交通监控视频数据集，于2017年公开，供研究使用。