基于深度学习的视觉显著物体检测与跟踪

This project research the deep learning based visual salient object detection and tracking mechanisms and methods, build the deep learning based visual salient object detection and tracking model, explore the mechanism of bionic visual attention feature, setup the depth learning mechanism with huge volumes of training data, promote visual attention application in the field of UAV and robotics. This study will innovate in the following several aspects: 1. establish the depth of learning mechanism of massive visual attention benchmark database and evaluation standard, including massive video data collection and annotation with the help of UAV technology and visual tracking technology, build the benchmark data for the visual attention studies; 2. explore visual attention features in dynamic and complex scenes and study bionic visual attention mechanism, with the deep learning based visual structure feature selection; 3. establish the depth learning framework for visual attention detection and tracking, integrate the static and dynamic visual attention, spatial and temporal continuous and dynamic visual appearance to achieve unmanned machine police patrol and autonomous mobile robot vision applications.

本项目研究基于深度学习的视觉显著物体检测与跟踪机制和方法，建立基于深度学习的视觉显著物体检测与跟踪模型，探索仿生视觉机制的注意力检测特征，引入海量数据条件下的深度学习机制，推进视觉注意力在无人机和机器人等领域的应用。本研究将在如下几个方面进行创新：1、建立深度学习机制下的海量视觉注意力基准数据开放服务及评测标准，包括海量视频数据的采集、标注和整理，借助于无人机技术和视觉跟踪技术采集海量视频数据，为视觉实践应用奠定基础；2、建模动态复杂场景下的视觉注意力特征，研究仿生视觉注意力机制，引入动态复杂视觉场景和视觉疲劳概念，建模在动态复杂情况下视觉注意力如何发挥机制进行结构特征选择；3、建立视觉注意力检测的深度学习框架，构建深度学习机制下的视觉注意力检测模型，研究集成场景结构特征、静态和动态视觉注意力、时空连续性和视觉动态场景模型的视频中显著物体检测方法，实现无人机及机器人主动视觉系统的应用。

该项目研究基于深度学习的视觉显著物体检测与跟踪问题，并针对复杂动态环境下的显著物体检测进行了深入研究。由于深度学习需要收集大量的数据集图像，复杂环境中的显著物体检测为此带来了挑战，我们认为有必要并重新建立了数据量更充足的显著性数据集，该项目建立了6万+的视觉显著物体检测数据库。针对不同场景任然很难为各种显著物体收集到足够数量的训练数据，况且物体显著性的判断通常是与背景息息相关的。基于大量的实验分析，深度神经网络在数据集中学到的特征常常与人眼关注目标的显著特征有所差异，如何将人类对显著物体的认知经验构建进入到学习框架中，本项目提出了一种将有效的显著特征融入到深度学习框架中的新思路，并设计了并行多尺度的结构以增强神经网络对显著物体特征的学习能力, 提高了在复杂场景中检测显着物体的效果。此外基于对显著性的深入研究，我们探索了其作为预处理过程优化其他任务的可能性，同时将其引申到具有更高实用价值的其他现实应用中。