基于隐含关系的视觉显著学习方法

Biology-inspired image and video analysis is now becoming a hot research topic in the field of computer vision. Generally, such research aims to obtain the analysis results that can match human perception by allocating limited computational resources onto salient visual information. Toward this end, this project will focus on the fundamental problems in the biology-inspired image and video analysis. The main objective is to explore the theories, models and algorithms for leaning-based visual saliency computation　using the latent correlations. In this study, the biological and psychological evidences, as well as the latest machine learning algorithms such as deep learning and ordinal discriminative learning, will be used to explore three key problems in visual saliency estimation. By using the limited accurately-labeled data, rich weakly-labeled data and massive unlabeled data, the three key problems, including latent correlation modeling, learning-based visual saliency computation and salient object segmentation, will be exhausitively studied. In particular, we will focus on the approaches and theories such as latent correlation modeling, saliency rank-learning on weakly-labeled data, saliency regression with latent correlations, incremental visual saliency modeling, correlation-driven salient object segmentation, etc. Furthermore, we will conduct extensive large-scale experiments on multiple public benchmarks. The algorithms and systems can be highly expected to demonstrate the leading performances in the related research area.

基于视知觉机理的图像和视频分析技术已经成为计算机视觉领域的研究热点之一，其特点在于使用有限计算资源优先分析值得关注的视觉信息并获得符合人类认知的分析结果。本项目面向这些图像及视频分析技术中存在的共性基础问题，以建立基于隐含关系的视觉显著学习理论、模型和方法为科学目标，结合视觉生理学和认知心理学对视知觉机理的实验结论以及机器学习最新的Deep Learning、序列判别学习等方法，面向少量精确标注数据、大量弱标注数据和海量未标注数据，对视觉显著计算中的隐含关系挖掘、视觉显著学习和显著对象分割等问题进行研究。其中，重点研究内容包括面向上述三类数据的视觉刺激隐含关系建模、面向弱标注数据的显著排序学习、基于隐含关系的显著回归分析、增量式视觉显著学习、关系驱动的显著对象分割等理论与方法。在此基础上，在多个公开数据集上进行大规模实验验证，预期将研发出性能达到国际领先水平的算法和系统。

基于视知觉机理的图像和视频分析技术已经成为计算机视觉领域的研究热点之一，其特点在于使用有限计算资源优先分析值得关注的视觉信息并获得符合人类认知的分析结果。本项目面向这些图像及视频分析技术中存在的共性基础问题，以建立基于隐含关系的视觉显著学习理论、模型和方法为科学目标，深入开展了视觉刺激隐含关系挖掘、视觉显著学习建模、显著对象精确分割等方面的理论方法研究，在视觉刺激“空域—频域”隐含关系学习、视觉刺激“互激励—互抑制”隐含关系学习、视觉刺激“空间分布—异常程度”隐含关系学习、基于隐含关系图模型学习构建的图像显著度计算、基于区分性子空间学习的图像显著度计算、基于时空加权不相似度的视频显著性检测、数据驱动的图像显著区域检测质量综合评价指标学习、互补显著性学习的图像显著物体精确分割、多先验知识权重学习的立体3D图像显著物体分割、基于显著性内嵌双支路卷积神经网络的图像检索等方面，取得了一定的技术突破与方法创新。在本项目的支持下，发表（录用）学术论文27篇，其中SCI论文15篇；出版Springer英文学术专著1部；获中国美国发明专利申请受理13项，授权7项（中国发明专利5项，美国发明专利2项）。