基于贝叶斯推理的视觉注意计算模型及应用研究

在任一时刻都会有大量信息投射到视网膜上，但视觉系统的处理资源有限，无法同时对所有信息进行处理。灵长类动物在长期的进化过程和个体的生长发育过程中，形成了有效的视觉注意机制。视觉注意的最重要的用处就是使视觉凝视中心(gaze)聚焦于视觉环境中醒目的或者与任务有关的物体，从而只对这部分信息做进一步处理。本项目根据视觉系统的层次化结构和视觉注意的神经机制，设计一个分层的基于贝叶斯推理的计算模型，并将静态图像的视觉注意和动态视频的视觉注意分别应用于目标识别和动作识别中。该模型的创新之处在于：1）用贝叶斯推理将自底向上和自顶向下的两种视觉注意机制有机地结合起来；2）模型中的结点所对应的神经元是对视觉变量在自然环境中的概率进行编码，而不是抽取当前输入的特征；3）将视觉注意和目标识别、动作识别用统一的模型研究。本项目的研究在视觉感知和计算机视觉在众多领域的应用等方面有很好的理论意义和应用价值。

生物视觉的注意机制可以将凝视中心聚焦于视觉环境中醒目的或者与任务有关的物体,而忽略其他无关的信息, 从而充分利用视觉系统的资源并加速视觉信号的处理。视觉注意的计算模型已成功地应用于计算机视觉的有关领域中。本项目的主要研究内容包括: 1.基于贝叶斯推理的分层(hierarchical)视觉注意计算模型。我们研究了自底向上的视觉显著性和自顶向下的视觉注意模型并将两者结合。研究只限于静态图像，没有研究动态显著性。2. 视觉注意模型在目标检测与识别中的应用。在自顶向下的视觉注意模型中，我们研究了目标的检测。但目标识别的研究未与视觉注意结合，而是采用了稀疏编码，因此对稀疏编码的词典学习及流形上的几何约束作了一些研究。3.我们做了一些动作识别的研究，但未能与视觉注意结合，因为没有研究视频的动态显著性。4.场景图像的表示与分类的研究。. 本项目未能按计划实现一个类脑的分层表示模型。在所提出的视觉注意模型和目标识别算法中采用的是相当于初级视皮层的稀疏编码表示，没能实现中间层的中级表示和高层的高级表示。因而在识别任务中不及近几年来得到成功应用的深度网络。.