基于高阶张量分解的复杂视频显著性目标探测模型

The video salient object detection task is one of the latest hot issues in the computer vision field. It can be widely used in video surveillance, robot vision, automatic pilot, etc. Different from the traditional methods that have simply combined the model of salient object detection in an image with the motion cues, in this project, we plan to study this topic from the viewpoint of tensor decomposition. From the tensor perspective, a video is a high dimensional tensor, and the structure and motion cues contained in it are kept complete. We plan to begin our research from these three aspects: the tensor representation study for the video salient object detection, the tensor model for the video salient object detection, and the tensor decomposition algorithm for the video salient object detection. Our innovations are summarized as follows: 1. It is one of newest research ideas which introduces the tensor analysis method into the video salient object detection task. 2. Study the background, target, and the distinction between them, explore different prior knowledge, and constrain them with different regularized operators. 3. The new tensor decomposition algorithm via the product of sparse tensor in the transform domain will be studied. This project will bring some new ideas, new models and new algorithms for the video salient object detection task. The achievement of our team is outstanding and the technical demonstrations are detailed and reasonable.

视频显著性目标探测问题是一个新兴的具有挑战性的研究课题，该项研究在安防监控、无人驾驶、机器视觉等领域有着广泛应用。与以往将图像显著性探测模型与运动线索做一个简单整合的方法不同，本项目拟从张量视角对该课题展开研究。在张量视角下，一段视频就是一个高维张量，其中蕴含的结构信息和运动信息不会损失与破坏。本项目拟从视频显著性目标探测的张量表示方法、视频显著性目标探测中针对目标和背景的张量建模研究、针对视频显著性目标分割的张量分解算法三个方面展开研究。主要创新点如下：1、将张量分析的方法引入到视频显著性目标探测问题中，为该项研究提供了全新的思路；2、对视频中背景、目标及两者的区分度分别建模，并挖掘不同的先验知识，以采用不同的正则项约束形式；3、采用基于变换域稀疏张量积的张量分解算法来求解模型。本项目的预期成果将为视频显著性目标探测问题提供新思路、新模型、新算法，前期研究基础扎实，技术论证详实可行。

本项目针对杂乱背景下的视频显著性目标探测和分割问题展开研究，主要研究内容包括以下五个方面：1.构造合理的深度网络，提取深度特征，对复杂背景下的视频背景和目标进行有效的张量建模，对于背景低秩项寻求更为合适的非凸正则化形式，从而实现背景和目标的时空相关性建模。2.研究复杂背景下视频中目标的正则性建模，在张量高维特征描述下，引入适当的正则性约束，充分挖掘多视图特征之间的信息互补性，使得多视图信息的高维一致性和视图互补性得到有效挖掘。3.利用图像块的非局部自相似性，构建相应的低秩正则，在张量域构建迭代求解算法，并证明算法的全局收敛性。4.结合深度网络在数据学习方面的优势，利用时空注意力机制网络捕获视频序列中的鲁棒运动线索。5.提出基于时空级联神经网络的弱监督显著目标检测算法，从空间和时间线索中评估视觉显著性，从而引导最优的视频显著性预测。