视觉注意与人脑记忆机制启发下的感兴趣目标提取与跟踪

As one of the most active research directions in the fields of computer vision, image processing, and pattern recognition, moving object tracking has been found vital values in application areas such as military, automated surveillance, vehicle navigation, video indexing, human-computer interaction, and robotics. This project will explore and study a novel method for object extraction and tracking inspired by biological visual attention and brain memorization mechanisms. First, a biologically inspired visual information processing model(BI-VIPM) will be proposed based on cognitive science for mimiking some mechanisms of human vision, such as perception, attention, matching, classification, learning, and decision, etc. Then the conspicuity perception and attention selection mechanism will be studied and a dynamic visual conspicuity feacture extraction model will be built based on biological visual attention mechanism. And then the representation, storing, and retrieving of the objects will be studied based on biological visual sparse coding mechanism and used for extracting the objects of interested combined with the biological visual attention mechanism. Finally, a memory-based object template matching and updating model will be proposed according to the three-stage memory theory and used for object tracking, which will address some hot issues in object tracking, such as object occlusion, object deformation, and object appearance variation, etc.

作为计算机视觉、图像处理和模式识别领域最活跃的研究方向之一，运动目标跟踪在军事、自动监控、车辆导航、视频检索、人机交互和机器人等多种领域都有着极其重要的应用价值。本项目拟将生物视觉注意与人脑记忆机制引入到计算机视觉中，探索和研究一种新的运动目标提取和跟踪建模方法。首先基于认知科学研究成果和生物视觉感知机制建立一种视觉信息处理认知模型，用于模拟人类对视觉模式进行感知、注意、匹配、分类、学习和决策的过程；在此基础上基于生物视觉注意机制研究人类视觉对显著特征的感知和注意选择，建立一种动态显著性特征提取模型；然后基于生物视觉稀疏编码机制研究目标特征的表达、存储和提取方法并将其与视觉注意机制相结合用于感兴趣运动目标的提取；最后基于三阶段记忆理论建立一种记忆式目标模板匹配与更新方法并将其用于目标跟踪，以解决复杂场景下目标间的遮挡、目标发生变形以及目标姿态变化等问题。

本研究将生物视觉注意与人脑记忆机制引入到计算机视觉中，提出了一系列新的感兴趣目标提取和跟踪方法，为解决复杂场景下目标间的遮挡、目标发生变形以及目标姿态变化等问题提供了新的思路。项目首先基于认知科学研究成果和生物视觉感知机制建立了一种视觉信息处理认知模型，用于模拟人类对视觉模式进行感知、注意、匹配、分类、学习和决策的过程，并将上述视觉信息处理模型引入到模板更新、码本建模以及多智能体协同进化中，分别提出基于记忆的模板更新模型、基于记忆的码本建模、以及基于记忆的多智能体协同进化模型，并将其分别嵌入到了粒子滤波和均值漂移目标跟踪框架中，实验结果表明，基于记忆的模型能够很好的处理运动目标姿态突变、运动目标遮挡等问题。为实现具体的三阶段记忆过程，提出一种三层旋转圆记忆模型（Spinning Tri-Layer-Circle Memory Modeling，STLC-MM）并将其应用于目标跟踪过程中的目标模板更新。将STLC-MM嵌入到粒子滤波目标跟踪框架进行目标跟踪实验，实验结果表明所提方法在目标姿态突变以及严重遮挡等方面具有较强的鲁棒性。此外，项目还对基于视觉注意机制的感兴趣目标提取与跟踪方法进行了研究，分别提出一种基于选择性注意的无边界主动轮廓图像分割算法、一种基于快速字典学习与特征稀有性的自然图像显著目标提取算法、和一种基于动态视觉显著性与多特征粒子滤波的目标跟踪算法，实验结果表明所提算法能够准确而有效地提取感兴趣目标，并能对感兴趣目标进行稳定的跟踪。最后，项目还对基于认知心理学记忆模型和认知神经计算模型的视觉图像表达、存储、分类与识别进行了研究和探讨，提出一种基于Bayesian决策的视觉图像记忆模型用于自然图像的表达、存储和分类，并对生物视觉感知模型HMAX进行了一系列改进，为进一步研究和探讨生物视觉机制启发下的视觉图像表达、存储和提取机制奠定生物基础。