视觉注意的计算模型及其应用

Visual attention is a complex perceptual and cognitive process that selects a limited amount of information out of a huge volume of visual input so that it enables human beings apprehending complex scenes quickly and proficiently. Visual attention has been an active research area since 1980s. In this proposal, we study computational models for visual attention and propose computational theories to account for two of the key visual attentional behaviors, saccades and visual search, from an information theoretic viewpoint based on observed neural science, psychophysics and cognitive science evidences and conclusions. We will simulate and verify eye movements predicted by the proposed theories and models under the two different visual tasks. We will also show that by leveraging the proposed computational theories and models for visual attention, applications, such as image/video retargeting, (foreground/salient) object detection and segmentation, and shape analysis, will be improved.

选择性注意是一个非常复杂的感知、认知过程，它时时刻刻影响着大脑的信息加工过程。对选择性注意的研究自上个世纪八十年代以来一直是认知科学的热点领域。我们在本项目中的研究目标是借鉴神经科学、心理物理学和认知科学的研究成果，针对视觉注意的两大任务- - 不带任务的自由扫视和任务驱动的目标搜索，提出一套提出具有创新意义的计算理论、模型和方法，模拟大脑对（视觉）信息的"选择"这一重要功能，通过计眼动实验，在一般自然环境下验证、比较模型的准确性。同时，将研究成果应用于图像和视频的复用（retargeting）、（前景）物体的检测与分割、以及形状分析等实际问题中，以提高它们的效果。

借鉴神经科学、心理物理学和认知科学的研究成果，深入研究了不带任务的自由扫视和任务驱动的目标搜索下图像结构对注意过程的影响，提出了具有创新意义的计算模型与方法。代表成果包括：针对无任务自由扫视行为，(1) 提出了视觉显著图的心理物理学测量方法，揭示了显著图产生的神经机制。针对任务驱动的目标搜索行为，研究了无上下文目标检测的算法和利用上下文线索的目标检测算法。对于前者，(2) 基于格式塔心理学，提出了结构稀疏的表示和贝叶斯非凸优化等方法，能够高效地获得的图像结构，揭示了连续优化与离散优化的内在联系，克服了压缩感知理论依赖随机观测矩阵的局限性，并给出了理论证明；(3) 提出了基于感知规则的物体语义结构分解、部件感知重要性度量（即注意在物体结构上分布）的方法，通过心理学实验，验证了度量的准确性，提高了严重遮挡情况下的物体检测精度。对于后者，针对空间上下文，(4) 提出了融合多感知线索的三维场景重构方法和 (5) 一种基于弱监督学习的场景语义结构解析方法，建立了场景语义上下文模型，为目标搜索提供了富有信息量的上下文线索；针对时间上下文，(6) 提出了预测编码模型对时间上下文建模，能够准确地预测时序视觉事件；(7) 提出了获取与任务相关的关键帧（即注意在时间上的分布）的算法，提高了与任务相关的视觉事件的检测与识别的精度。总之，本项目研究成果不仅为揭示视觉注意的神经/心理学基础提供了依据，而且为注意在计算机视觉中的应用提供了有效的计算模型与方法。得到项目支撑的发表论文23篇，其中 17篇为CCF推荐的A类或5YIF>3论文。