基于多尺度分割的视觉显著性模型及其应用研究

视觉显著性模型是国际前沿的一个研究热点，近年来广泛用于众多基于内容的图像处理应用中，但目前各类模型对于复杂图像生成的显著性图质量较差，尚不能以清晰的边界完整地凸显显著对象区域并有效地抑制复杂的背景区域。为克服目前模型的缺陷，本项目提出基于多尺度分割的视觉显著性模型，并获得显著性树这一新的显著性表征方式。首先，提出基于区域统计模型的多尺度分割方法，以获得图像有意义的多尺度区域表示。然后在此基础上，提出系统的显著性度量、修正与传播方法来生成显著性树以表征多尺度的区域级显著性；进而提出多尺度显著性融合方法来衍生出高质量的显著性图，用于提升显著对象检测与图像质量客观评价的性能。最后，本项目将通过显著对象分割、基于内容的图像检索、内容感知的图像缩放等应用来充分验证显著性树的有效性和普适性。预期研究成果不仅将丰富并推动视觉显著性模型研究的发展，而且将提升众多基于内容的图像处理应用的性能。

视觉显著性模型是国际前沿的研究热点，近年来广泛用于基于内容的图像处理应用中，但对于包含杂乱背景、非匀质对象、尺度差异较大的多个对象及低对比度的复杂图像，传统的各类模型生成的显著性图质量较差，难以以清晰的边界完整凸显显著对象区域，也难以有效抑制复杂背景区域。为克服上述缺陷，提出了高效的基于区域合并的多尺度分割方法，以及在此基础上构建了显著性树这一新的显著性检测框架,显著性树作为本项目的核心创新，有效实现了显著性的多尺度表示，并能获得高质量的象素级显著性图，有效提升了对复杂图像的显著性检测性能。在此研究基础上，针对图像集的共同显著对象检测，提出了基于多尺度分割的协同显著性模型以及结合共同显著对象发现和恢复的模型；针对视频的显著性检测，提出了基于超象素的时空显著性模型；这些模型有效提升了对图像集和视频的显著性检测性能。.本项目研究了视觉显著性模型在基于内容的图像处理中的多项应用，提出了一系列新方法并提升了相关应用的性能，主要包括：提出了基于核密度估计与两阶段图切割的显著对象分割方法，有效提高了复杂图像中显著对象分割的稳定性和质量；提出了基于区域间差异最大化的显著对象检测方法，无需人工设定参数且计算效率高；对于内容感知的图像缩放，提出了基于可伸缩性估计的块缩放方法，并借助显著性图的使用，有效提升了缩放后图像的质量；通过融合显著性图、眼动偏置、视觉记忆效应和抑制返回效应，提出了在自由观看状态下预测观察者注视点扫描路径的新方法，与由实际眼动数据获得的扫描路径之间具有更高相似性。.此外，为了有效推动视觉显著性模型及相关研究领域的发展，促进国内外同行的学术交流，项目负责人与国内外同行共同担任了国际学术期刊Signal Processing: Image Communication的客座编辑，组织了一期显著性模型、应用及评价的专刊（2015年10月出版的第38卷），并在国际学术会议ICME’2014和WIAMIS’2013上共同主持了与显著性模型及应用有关的专题。.本项目的研究成果及上述专刊和会议专题对于推动视觉显著性模型及其相关应用的发展有重要意义。截止2015年底，已发表论文24篇，其中SCI检索的国际学术期刊论文12篇（含IEEE Trans. IP/CSVT/MM论文3篇）；申请发明专利6项（其中3项已授权）；申请软件著作权登记2项；培养研究生14名；延伸技术开发项目1项。