生物可信性频域视觉注意模型及其图像多语义快速获取方法研究

Frequency-domain visual attention model is a hot research topic in the visual computation field for mimicking human visual system. Aiming at solving the problems of biological vision theory of these models and image multi-semantic rapid acquisition, on the basis of pre-studies, this project will build a biologically plausible quaternion-image frequency-domain visual attention model, and acquire image multi-semantic rapidly by combining the model with pulse-coupled neural network (PCNN) which also has biological background and good image processing ability. Firstly, based on the theories of biological lateral inhibition and spectral whitening, this project will solve the problems of the choice of weighted quaternion components and the normalization of amplitude spectrum with its phase spectrum unchanged in frequency domain. Thus, the biologically plausible quaternion-image frequency-domain visual attention model can be built. Secondly, this project will integrate the built model with PCNN, and use inhibition of return mechanism to segment multi-objects image; utilize PCNN image signature and quaternion correlation to acquire image multi-semantic rapidly. Finally, a real-time prototype system for image semantic retrieval will be built to test and evaluate the method of this project. The research results not only can improve the accuracy and generalization performance of complex image semantic acquisition greatly to enrich image understanding and recognition theory, but also have wide application prospects in the fields of computer vision, computer graphic and robot navigation.

频域视觉注意模型是视觉计算中拟合人类视觉系统的研究热点。针对该类模型的生物视觉理论和图像多语义快速获取研究薄弱的问题，本项目在前期研究的基础上拟构建一个生物可信性四元数图像频域视觉注意模型，并结合同样有生物学背景、图像处理性能良好的脉冲耦合神经网络（PCNN）进行图像多语义快速获取。首先，基于生物侧抑制和谱白化等理论，进行图像四元数系数的选择和频域中保留相位谱的幅度谱归一化，从而建立一个生物可信性频域视觉注意模型。其次，将所建模型与PCNN整合，并利用返回抑制机制进行多目标图像分割；利用PCNN的时间签名和四元数的互相关等特征进行图像多语义快速获取。最后，拟建立一个实时图像语义检索原型系统，对本项目的方法进行验证与评价。研究成果不仅可提高计算机获取复杂图像语义的准确性和泛化性能，丰富图像理解与识别理论，而且在计算机视觉、计算机图形学和机器导航等领域有广阔应用前景。

视觉注意机制只允许部分有价值的输入感知信息作为视觉意识的信息来源。在实际应用中优先为显著性目标分配计算资源，能够提高计算速度。空间域视觉注意模型普遍存在计算复杂度高和手工可调参数过多等不足。为弥补空间域模型的不足，频域视觉注意模型逐渐成为研究热点，但是频域视觉注意模型普遍缺乏生物视觉理论依据。同时，当受到光照、遮挡及姿态变化等引起的目标外观发生变化时，目标跟踪的鲁棒性和准确性往往会变得较差。.(1) 本研究从三个方面对HFT模型进行改进，以增强其生物可信性。首先，选择了符合人类视觉感知的CIE Lab颜色空间而不是大多数模型使用的RGB颜色空间；其次，选择的四元数的虚部系数在一定程度上模仿了人眼视觉神经元细胞的中央兴奋-周边抑制特性；最后，引入空间标准差和对比函数选择最优显著图。其AUC平均值为0.8454，F-measure达到0.8300，显著性检测性能优于相关模型。.(2) 提出一种基于上述改进域视觉注意模型的图像多分类方法。首先，为降低计算复杂度，文中在提取显著区域的前提下进行图像分类。其次，提取显著区域图像的纹理和PCNN时间签名特征，大大降低了特征维数，并且能够更加合理的表达图像的本质内容。最后，利用SVM进行图像多分类。其分类正确率达到94.42%，比基于原始图像的图像分类方法提高了5.04%。.(3) 提出一种有效的目标跟踪模型。首先，在目标运动定位模型中，使用灰度强度值表示目标对象；其次，判别模型通过训练正负模板集获得最优分类特征，并在生成模型中对目标直方图加权以提高目标生成效率；然后，将分类判别模型和生成模型集成在同一模型中，利用似然函数和重构误差确定目标；最后，通过各模块独立更新，达到缓解目标外观变化对目标跟踪影响的目的。其跟踪目标的平均中心误差（像素）仅为7.5，且具备良好的抗噪性和实时性。.由于图像多语义分类与目标跟踪模型是一项尚未解决的图像工程中的基础性研究，本项目的研究对大规模自然图像数据库的高效语义检索、识别及机器人导航等，具有重要的学术意义和应用价值。