基于视皮层腹侧与背侧通路融合计算模型的动态场景下跟踪研究

Visual tracking in dynamic scenes has been widely used in visual navigation for intelligent robots and automated vehicles. The challenges that arise in the visual tracking involve the rapid variations of the target objects and the backgrounds. To give a reasonable solution of the tracking challenges, we study the ventral and dorsal streams in the visual cortex. The issue is aimed at lessening the disturbance from the trail change and temporal occlusion. We propose a computational model based on the ventral and dorsal streams, and apply it to the visual tracking in dynamic scenes: 1). Feature representation: build spatiotemporal feature representation based on slowness feature analysis; add color and feedback paths to HMAX, and do identity feature representation based on the enhanced HMAX model. 2). Visual tracking: we bring the computational model based on the ventral and dorsal streams to the object tracking. We lessen the disturbance from the trail change and temporal occlusion by fusing the identity features and spatiotemporal features. Eventually we establish a prototype visual tracking system in dynamic scenes. This issue provides a novel idea about the visual tracking in dynamic scenes.

动态场景下的视觉跟踪在智能机器人、无人车等领域有着广泛的应用前景，其主要难点来自于目标外形和环境的快速变化。研究旨在克服动态场景下运动轨迹变化和暂时“遮挡”对跟踪的影响。本课题拟以人类视皮层腹侧与背侧通路的工作机理为切入点，研究动态场景下的目标跟踪方法。拟提出一种基于腹侧与背侧通路融合的计算模型框架，并将其引入到动态场景下的目标跟踪研究中：1）目标特征表征：拟将缓变特征分析引入到背侧通路模型构建中，并进行时空特征表征；拟对原腹侧通路模型（HMAX）进行改进，在原有基于灰度图像的层级前馈网络基础上，引入颜色通道和反馈调节机制，并进行身份特征表征；2）目标追踪：将腹背侧通路模型引入到目标追踪中，通过对目标时空和身份特征的融合建立起运动特征表征的连续性，以克服运动轨迹变化和遮挡对跟踪的影响，最终拟建立一个适用于动态场景的视觉跟踪原型系统。本课题为动态场景下的视觉跟踪提供了一种新思路。

针对动态场景下的视觉跟踪这个富有挑战性的问题，本项目围绕人类视皮层腹侧与背侧通路的工作机理，在克服动态场景下运动轨迹变化和暂时“遮挡”对视觉识别跟踪的影响上设计出了多种智能算法。我们对提出的算法进行了有效性验证：通过对大量挑战性图像序列进行测试，它们在性能表现优异，已发表在知名学术期刊或会议上。本项目提出了一种基于腹侧与背侧通路融合的计算模型框架，并将其引入到动态场景下的目标跟踪研究中：在目标特征表征方面，在视觉通路机理结构基础上引入更深层次的语义信息表征结构，并进行了时空特征表征；对原腹侧通路模型（HMAX）进行了改进，在原有基于灰度图像的层级前馈网络基础上，引入颜色通道和反馈调节机制，并用其进行身份特征表征；在目标追踪方面，我们将腹背侧通路模型引入到目标追踪中，通过对目标时空和身份特征的融合建立起运动特征表征的连续性，用以克服运动轨迹变化和遮挡对跟踪的影响。我们根据以上技术研究为基础，设计了用于移动机器人的视觉跟踪平台，其在实时目标跟踪方面取得了满意的效果。 .通过本项目的研究，我们系统的研究了基于腹背侧通路机理的目标跟踪方法，并在此基础上开展了目标检测、目标识别和图像理解检索等方面的研究工作。这些工作不仅对于生物启发的视觉智能理论研究工作具有推动作用，而且可以为比如视觉监控、机器人感知提供解决方案，在国民经济建设方面具有重要意义。