基于弱监督的细化视频分割算法研究

There has been considerable attention for video segmentation in both academia and industry recently. Video segmentation has a large impact on video understanding, autonomous driving and robotics. There are several challenges in video segmentation. First, data annotation is extremely tedious for acquiring pixel-level labelled training data for video segmentation. In addition, state-of-the-art video segmentation methods have not addressed fine-grained situation. To address these challenges, we investigate a weakly supervised approach for fine-grained video segmentation in this project. The proposed approach considers only video-level label annotation rather than pixel-level label for video segmentation. Moreover, our approach is an instance-aware one which can identify different instances in videos. Our proposed project will have a tremendous impact in both computer vision theory and application fields.

近年来，视频分割日渐成为备受学术界和工业界关注的一个热点课题。视频分割技术在大规模视频理解、自动驾驶、机器人等诸多领域都有着极其广泛的应用。目前大部分视频分割方法需要大量像素级的训练数据标注，这导致获取数据工作沉重冗余。同时目前主流的视频分割方法，普遍缺乏对视频中执行动作的不同主体的细化度理解，并且无法精确到视频中个体实例化的分割。本项目面对当前视频分割中的挑战，重点研究如何在弱监督机器学习条件下进行细化度的视频分割方法。本项目提出了一种在只给定视频类别信息（无像素级标注）的条件下，对视频中的不同主体进行细化度分割的框架。同时本项目提出的分割方法可以精确到区分群体中的个体实例。本项目的研究成果不仅具有重要的理论意义，而且在计算机视觉相关领域具有广阔的应用前景。

近年来，视频分割日渐成为备受学术界和工业界关注的一个热点课题。视频分割技术在大规模视频理解、自动驾驶、机器人等诸多领域都有着极其广泛的应用。目前大部分视频分割方法需要大量像素级的训练数据标注，这导致获取数据工作沉重冗余。同时目前主流视频分割方法，普遍缺乏对视频的执行动作的不同主体的细化度理解，并且不能精确到个体实例化的分割。本项目面对当前视频分割的挑战，重点研究如何在弱监督学习条件下进行细化度视频分割方法。本项目提出了一种在只给定视频类别信息（无像素级标注）的条件下，对视频中的不同主体进行细化分割的框架。本项目提出的分割方法可以精确到分别群体中的个体实例。本项目研究成果不仅具有重要的理论意义，而且在计算机视觉相关领域具有广阔的应用前景。