基于视觉感知启发的对象发现技术

对象发现指通过分析未标注的数据，提炼出重复发生模式，通过对这些模式进行分析，发现图像中存在感兴趣对象的方法。是计算机视觉研究的基本问题之一，也是当前该领域研究的热点，在民用与军事领域，具有广泛的应用前景。不过，由于现有图像描述方法难以准确表达图像中真实的视觉感兴趣区域，导致现有对象发现技术难以取得良好的效果。本项目拟通过引入眼动跟踪技术，发展出一种新的先进的视觉感知启发的对象发现技术。利用课题组前期开发成功的眼动跟踪系统，获取人眼注视点运动数据，使用这些注视点数据，构建可计算眼动模型。之后利用可计算眼动模型，完善视觉注意力模型。利用视觉注意力模型，提取出图像中最感兴趣的区域，即符合人类感知与思维习惯的特征，进而生成视觉单词，基于这些视觉单词，建立视觉单词词袋（Bag-of-Visual-Words）模型，在此模型基础上，完成对象发现，从而发展出一种先进的基于视觉感知的对象发现新方法。

对象发现是机器学习研究的基本科学问题之一，是当前该领域的研究热点。本项目通过将眼动跟踪技术引入到对象发现中，发展出了一种新的、先进的基于视觉感知启发的对象发现技术。项目首先建立了自主版权的人在自由观看状态下的眼动数据库，基于该数据库、并基于马尔科夫链模型，提出并实现了一种可计算视觉注意力模型构建框架，突破了马尔科夫链中转移概率同真实眼动数据之间关系确定、利用眼动数据训练支持向量回归模型提取的图像特征预测相应位置间马尔科夫链转移概率、以及通过求解马尔可夫链平稳分布得到图像显著图等关键技术，该模型可更为真实地模拟人在自由观看状态下的视觉注意力，并很好地检测出感兴趣的目标；提出并实现了一种基于视觉注意力的视觉词典构建方法。首先确定图像上的仿射不变区域，然后基于本项目构建的可计算视觉注意力模型确定这些区域的显著性，选择那些显著的，人所关注的区域，抛弃那些无人关注的区域，并通过向量量化得到视觉单词词典。在该视觉词典的基础上，分别利用朴素贝叶斯分类器和支持向量机实现物体类别的识别。该方法克服了传统视觉词典构建时，因需求尽可能多的信息而导致的运算量过大的问题。利用本项目的基于视觉注意力的视觉词典，可以明显提升物体类别识别的准确率；提出并实现了一种基于视觉注意力的词袋模型图像表示方法。利用可计算注意力模型计算出图像的显著图。根据得到的显著图对图像中出现的视觉单词分配权值，用此加权过的视觉单词来表示图像。该方法解决了传统的基于词袋模型的图像表示对整幅图像上的所有区域进行一视同仁的处理，不能区分目标和背景，从而导致效果不佳的问题。在这种基于视觉注意力的词袋模型图像表示方式的基础上，分别利用k均值算法和潜在概率语义分析模型实现了目标发现。该方法显著提升了目标发现的能力；提出并实现了一种模拟人在寻找特定目标情况下的视觉注意力的可计算视觉注意力模型，实现了视觉感知启发的目标发现及定位。首先建立了人在寻找特定目标情况下的眼动数据库。在此基础上，提出并实现了一种基于概率潜在语义分析模型的目标种类特征提取方法。该方法可克服传统视觉注意力模型因难以提取高级的目标特征而无法模拟人在寻找特定种类目标时注意力的固有缺点。基于该模型，并利用一个前馈神经网络，实现了特定种类目标及其位置的寻找。研究成果表明，本项目提出的基于视觉感知的对象发现技术是可行的，对于机器学习基础理论及应用研究，意义重大。