基于视觉显著性的图像内容分析与检索

人眼利用注意选择机制可以对复杂场景进行显著性检测，通过上下文特征语义分析准确地找到感兴趣的目标。目前大多数图像内容分析与检索系统所提取的颜色、纹理等低层次视觉特征与人类在图像理解时所用的语义特征存在较大差异，造成了检索系统的语义鸿沟问题。本课题通过对人类视觉注意和显著性检测机制进行研究模拟，将上下文语义特征引入到图像内容分析与检索系统研究和实现中。研究内容包括1)自下而上的注意选择机制研究与显著性计算模型建立：借助眼动仪探索注意选择机制，建立与人类视觉感知系统一致的显著性计算和视点转移模型；2)自上而下的注意选择机制研究与模型建立：包括目标场景上下文模型和相关反馈模型；3)基于显著性的图像特征提取与匹配策略：研究局部区域特征和全局特征相结合的特征描述与匹配方式对检索系统性能的影响；4)最终实现自上而下的注意选择与自下而上的注意选择结合的图像检索系统，为目标检测、机器视觉等领域提供新的思路。

本项目围绕现有的图像检索系统存在的检索性能问题，借鉴人类视觉系统的注意选择机制，建立视觉显著性计算模型；研究基于显著性的图像语义特征提取与匹配策略；最终实现基于显著性的图像内容分析与检索系统。本项目研究具有深刻的理论价值和广泛的应用价值。.在重要刊物《Signal Processing Letters》、《Pattern Recognition》、《Neurocomputing》等及重要学术会议ACM Multimedia、ICIP、ICPR、ICME等发表论文39篇（SCI收录13篇，EI收录27篇，ISTP收录9篇），专利18项，软著10项。.在第一方面，研究了自下而上注意选择机制，提出了基于图像中对抗色模型的显著性检测方法、联合空域和特征域信息的视觉注意模型、基于时空不相似度的视频显著性模型、基于视差影响度和空域不相似度的立体显著性检测、基于真实视点数据的注意选择模型，使建立的显著性计算模型与人类视觉注意机制更加一致。相关成果发表在《Signal Processing Letters》、《Signal Processing:Image Communication》等知名刊物。.在第二方面，研究了自上而下的注意选择机制，建立了任务驱动的注意选择模型。提出了一基于视觉注意机制的行人检测模型，研究了基于眼动实验的视觉搜索机制；实现了一个基于上下文编码模型的目标搜索系统，相关研究成果发表在IJCNN’2014、CPSY’2016会议及《International Journal of Intelligence Science》刊物。.在第三方面，研究了对图像内容合理的描述方法以及相应的检索匹配策略。提出了基于空间分布紧凑性假设和对比度假设的局部显著对象描述方法、基于全局颜色紧凑度和局部纹理紧凑的显著性目标描述与检测、基于视频的对象级局部显著性检测与描述方法、基于二元视觉短语的图像特征结合描述方法、基于显著对象加权的视觉词组图像描述方法，相关研究成果发表在ACM Multimedia’12 ,ICIP’2013, IPCV’2013、VRCAI’2014等重要国际会议。.在第四方面，研究了基于视觉显著性的图像检索，设计了一种利用显著度与图匹配进行图像检索系统，成果发表在ICIP’2014。提出了基于误差重建和稀疏编码的像素级显著度检测，成果发表在ICIP’2015。