复杂场景下基于目标感知的视觉注意机制的建模研究

The visual attention mechanism integrates a number of new technologies, including computer vision, bionics, and cognitive psychology. This project focuses on needs of objective perception under different deformation modes of complex scenes ------ the light, scale, rotation, angle of view and chaos background and intends to form a multi-modal features generation, express the intrinsic characteristics of the high-level semantic features description, correct feedback and build system framework of visual-perceived computational models. To explore the visual-calculation theoretical framework and the new technologies based on visual attention mechanism and objective perception, we intends to mine multi-modal high-dimensional feature representation; build theoretical framework and new technologies of multi-modal high-dimensional data feature extraction and description which fit visual cognition theory and methods well; therefore, to establish intrinsic expression of the high-dimensional data feature; to reveal the principle of establishing multi-modal feature integration expression and information integration under complex scenes; to develop concept matching system which organic integrate model portrayed visual perception and scenes objective perception; thus, to develop the visual perception computation model which combines the up-bottom and bottom-up image feature information. The theoretical and critical technical breakthrough of the project would help to develop the theory and to improve the usage human visual attention mechanism and be of a good reference for a number of fields, such as the Internet search fields, active target searching, robot visual tracking, etc.

视觉注意机制是计算机视觉、仿生学、认知心理学多项新技术的融合。本项目围绕在光照、尺度、旋转、拍摄视角及混乱背景、变形等的不同模态的复杂场景下实现目标感知的需求，拟形成多模态特征生成、特征的本征表达、高层语义特征的描述、反馈修正、建立视觉感知计算模型的体系框架。为了研究复杂场景下基于注意机制的视觉计算理论框架及其目标感知新技术和新方法：本研究拟以挖掘复杂场景中多模态高维特征表示为基础，建立符合视觉认知的多模态高维数据的特征提取与描述的理论和方法，从而形成高维场景数据特征的本征表达，以揭示建立场景多模态特征融合表示与信息整合准则，发展刻画视觉感知模型与场景目标感知有机融合的概念匹配体系，构建自顶向下和自底向上有机结合的视觉感知计算模型。本研究在理论和关键技术上的突破将对人眼视觉注意机制运用与发展具有理论意义和使用价值，能够为互联网搜索、主动目标搜索与机器人的视觉跟踪等多个领域提供借鉴。

如何建立在光照、尺度、旋转、混乱背景、变形等复杂场景下实现基于目标感知的视觉注意建模成为当前研究的热点。本研究重点在行人检测、车辆检测等目标识别与检测、目标感知的视觉显著性检测以及细粒度图像分类等任务中提出了若干算法，进行验证和性能分析。本研究的主要工作具体包括：(1)图像目标的识别与检测方面：提出了将视觉注意机制与语义计算、卷积神经网络等相结合的行人目标检测算法；深度位敏信息的图像目标检测算法以及基于多尺度局部特征点匹配的室外场景目标匹配、融合深度信息的显著区域在复杂场景下匹配的目标算法，实现目标高精度、高效率的智能识别。(2)基于目标感知的视觉显著性建模研究方面：提出了融合多先验与稀疏重构的视觉注意模型；在目标感知引导下的视觉注意模型，能够对目标进行显著性检测。(3)细粒度图像分类方面：提出了基于通道注意力的细粒度图像分类算法；提出了基于弱监督两级注意力的细粒度图像分类算法。.本研究对目标感知以及人眼视觉注意机制运用与发展具有一定的理论意义和使用价值，能够为互联网搜索、主动目标搜索与机器人的视觉跟踪等多个领域提供借鉴。课题组依托本项目的探索取得了一系列的成果，发表（录用）高水平论文13篇。目前，申请发明专利1项，申请并获批实用新型专利2项；培养硕士生8名。