基于监督选择与多层视觉特征融合的视频目标分割技术研究

Video object segmentation technique has important application value in video production and mixed reality. Its main difficulties include: the changing of object through the entire video will cause unpredictable randomness, which leads to the failed segmentation. Next, the pixel movement information, obtained by the priori estimation manner, has nothing to do with the object, which goes against inferring the final result. Lastly, the algorithm based on low-level feature has a poor capability of classification, without the perception of the object. To this end, we first study on how the labeled frames will influence segmentation result, and propose a supervision selection method to find the best choice of labelled frames for minimizing the propagation error. Then, we plan to turn the traditional priori estimation of motion into a posteriori way by introducing contour supervision and feature points supervision. The last, combing the technique of deep learning, we also plan to build a reasonable model that integrates both the high-level semantic features and low-level pixel features, in order to make our method more object-cognitive for achieving good anti-interference performance. We believe that the study of this proposal can provide reference for the related topics.

视频目标分割技术对影视制作、混合现实等领域都有重要的应用价值。目前该技术存在的问题有：目标在视频中不断变化，会产生不可预期的随机性，而导致误分割；其次，视频时间连续性的提取属于一种先验估计，所得到的像素运动结果不具备“物体特性”；最后，基于低层视觉特征的分割方法对于目标物体缺少整体的认知，使得算法的分割能力十分片面，泛用性很差。针对这三方面，本课题首先利用最优子集选择的思想，通过研究标签数据如何影响分割结果，为算法找出最合适的监督组合来减小目标在视频中不断变化所带来的影响；其次，通过标签数据上目标特征点和轮廓这两种先验信息，把先验估计转化为后验估计，以提高运动的“物体性”；最后，结合深度学习技术，通过低层像素特征与高层语义特征相融合的方法，让模型在认知物体本身的同时，对视频像素进行分割，以此提高算法的泛用性。相信通过本项目的研究，能为视频目标分割等一系列相关课题提供一定的参考价值。

随着视频数据的井喷式增长，视频处理智能化已俨然成为我国信息化建设任务中的重大需求。目前该技术存在的问题在于：目标物体在视频中会随时间不断形变，产生不可预期的随机性；其次，视频时间连续性的提取属于一种先验估计，即对图像像素估计其运动信息是与目标无关的，这会破坏分割目标的整体性；最后，基于低层视觉特征的分割方法对于目标物体缺少整体的认知，使其容易受到图像噪音的干扰，算法稳定性和泛用性差。针对这三方面，本课题首先利用最优子集选择的思想，通过研究标签数据如何影响分割结果，为算法找出最合适的监督帧来提高分割结果的准确率；其次，通过标签数据上目标特征点和轮廓这两种先验信息，把先验运动估计转化为后验估计，以此提高目标运动估计的完整性；最后，结合深度学习技术，建立低层像素特征与高层语义特征相融合的方法，让模型在认知物体本身的同时，对视频像素进行分割，以此提高算法的健壮性。本课题所研究的方法均在公开标准数据集上进行了详尽的实验与测试，并和目前最新方法进行了对比，其结果证明了该课题的所研究方法的有效性，相信本项目的研究成果，能为视频目标分割等一系列相关课题提供一定的参考价值。