基于外源映射约束的图像视频显著性检测的研究

The key rational of the conventional saliency estimation methods is to locate the most eye attractors either in the single image space or the short-term video domain. However, such self-contained implementation frequently becomes inefficiency due to the varying nature of both the foreground objects and the image/video scenario itself. Thus, the current state-of-the-art methods fail to obtain intact detection for those salient objects with inharmonic extrinsic feature representation. Also, massive false-alarm detections can be easily found in those video scenarios with intensive external disturbance. To conquer these limitations, we propose to utilize multi-source information to establish a novel cross domain mapping mechanism. In this way, we can explore the common consistencies between the original data space and the novel mapping mechanism spanned data space, and then use it to guide the saliency estimation procedure.

传统的图像视频显著性检测的问题域通常局限于当前图像空间或视频局部帧空间，但由于图像视频场景的复杂性及多样性极易导致上述检测方式存在多方面不足：检测结果的完整性过分依赖于显著性物体的局部特征差异度高低，从而极易导致对存在明显差异的显著性物体检测不全；检测结果的可靠性易受背景环境或外部因素的干扰，从而导致对场景较为复杂的图像数据（相机运动较为复杂的视频数据）进行显著性检测极易产生假阳性检测。针对目前这些没有解决好的问题，本课题将探索通过多源信息索引获取与当前图像视频数据在特征层面存在强相关性的外源数据，并利用它们之间的区域级外源映射信息来确保当前待建立的显著性判定规则与外源数据的显著性判定规则尽可能相一致，从而能够从局部特征距离保持的层面出发实现显著性判定层面的优势互补，以期提升显著性检测的完整性并减少假阳性检测。

本项目以显著性物体检测为研究对象，研究了多种能够建立跨图区域匹配的映射方式，实现了轻量级外源信息快速索引；通过将目标数据和外源数据嵌入到统一的高维特征空间，利用外源数据与当前数据之间的强相关性来辅助约束显著性判定规则的建立，实现外源数据在显著性判定层面的优势互补，大幅度提升显著性物体检测的完整性并减少假阳性检测。本项目的研究思路是：首先以多层次、多尺度的方式设计外源信息的底层特征，并快速有效地建立能够用于后续显著性判定约束的外源映射；然后，提出多种场景环境自适应的外源信息质量评价机制，借助显著一致性约束来实现多源环境下的多源选择性显著性信息融合；此外，利用外源映射信息提供的区域相似性，以显著性迁移的方式将外源数据的显著性共性规则直接用于约束当前数据的显著性判定；最后，依据多源图像数据间的外源映射信息，实现了支持跨域的共性显著性判定规则的在线学习，从而大幅度提升了现有视频显著性物体检测的性能。相关工作共发表已标注的相关论文23篇，其中IEEE Trans.系列期刊论文13篇，CCF-A类论文8篇。依托相关研究成果，项目负责人成功入选校级人才序列，获得山东省研究生优秀成果奖三等奖一项，获评山东省高等学校青创科技团队带头人。