基于深度学习的复杂图像显著物体检测方法研究

Salient object detection enables to automatically infer the important content in a visual scene, which is a fundamental problem in image understanding area. It can be widely used in the applications such as image/video coding, image search and recognition, video surveillance, and remote sensing image surveillance. Based on the fact that current methods can not handle complex images well, this project proposes a novel idea which builds saliency detection model based on features learned from image data. The learned feature is able to capture hidden patterns in complex images. Based on our precious works published on IEEE TCSVT and IEEE TIP, this project focuses on four major techniques: 1) Develop unsupervised deep learning algorithm to model the background and thus accurately obtain the contrast between background and foreground; 2) Develop supervised deep learning algorithms to learn object attribute features and combine with contrast to detect salient objects; 3) Construct a large-scale dataset containing complex images for algorithm testing and comparison; 4) Validate and apply the proposed method in applications of image coding, image search engine, and mobile image visualization.This project will be conducted in a manner of international cooperation. It aims for innovative achievements in both theory and application and will also be very attractive for other relevant domains of image understanding.

显著物体检测技术能够自动提取场景中的重要内容，是图像理解中的一个基础问题，可广泛的应用于图像/视频编码与传输、图像搜索与识别、视频监控、遥感图像监测等领域。针对已有方法对复杂图像处理效果不佳的现状，本项目提出利用深度学习算法从数据中挖掘能够刻画复杂图像内在模式的特征，以此为基础构建显著物体检测模型的新思路。结合申请人前期工作（研究成果发表在国际期刊IEEE TCSVT,IEEE TIP等），重点研究以下四个主要内容：1）构造非监督深度学习算法对复杂背景建模来准确提取前景与背景间对比度信息；2）基于有监督深度学习算法学习物体属性特征，与对比度信息融合实现显著物体检测；3）构建用于显著物体检测的大规模复杂图像测试库；4）在图像压缩、互联网图片分类搜索、移动终端图片显示应用中对方法进行验证和应用。本项目采用国际合作研究方式，力争在算法理论和应用方面取得创新成果，并推动图像理解等相关领域的发展。

针对已有方法对复杂图像处理效果不佳的现状，本项目提出利用深度学习算法从数据中挖掘能够刻画复杂图像内在模式的特征，以此为基础构建显著物体检测模型的新思路。取得的代表性工作包括：1）提出了基于深度重构的显著物体检测方法；2）提出了端对端的层进式深度卷积神经网络，用于实现显著物体检测；3）提出了基于多分辨率卷积神经网络的人眼关注点预测方法；4）提出了利用深度和广度信息的协同显著物体检测方法，实现从多幅相关图像中提取共同的显著物体；5）提出了基于自步多事例学习的协同显著物体检测方法；6）提出了基于流形排序的物体协同分割方法，实现从多幅图像中分割共同物体；7）提出了一种基于深度度量学习的协同显著物体检测框架；8）提出了联合显著性检测和弱监督学习实现图像目标检测的新方法。..本项目研究产生了一批高水平研究成果，发表高水平学术论文25篇，其中领域重要的国际期刊论文16篇，包括IEEE TPAMI在内的IEEE汇刊系列12篇，本领域重要国际会议论文9篇；申请国家发明专利2项，授权国家发明专利8项；培养博士后2名、博士生8名、硕士生10名；项目负责人获得2017年教育部自然科学二等奖（排名第一）。