基于连续元学习的快速视频多目标分割

Convolutional neural networks (CNN) based Video Object Segmentation (VOS) methods are dominated by heavily fine-tuning a segmentation model on the first frame of a given video, which is time-consuming and inefficient. Based on the fast and flexible learning ability of meta-learning methods, this project proposes a novel video multi-object segmentation framework, which makes the VOS methods have the ability to adjust the model parameters quickly to meet the specified segmentation target in dealing with multi-object segmentation problem. Concretely, aiming at the characteristics of VOS, this project proposes a continuous meta-learning method, and designs two kinds of meta-learners with different functions. one meta-learner is responsible for initializing the universal segmentation model on the specified target while the other one makes minor adjustments to the segmentation model parameters according to the change of the specified target in the time domain, which meet the needs of VOS tasks at different stages. In order to cope with the multi-object problem, this project also proposes a segmentation method based on multi-objective interactive prior, which converts the interaction between the specified target and other object to the prior feature of the segmentation model, thus helping the segmentation model to better deal with the multi-object situation.

基于卷积神经网络的视频目标分割方法依赖于在初始帧上的过拟合，导致模型调整时间长、对相似目标敏感。本项目利用元学习方法快速、灵活的学习能力，创新地提出了一种基于元学习方法的视频多目标分割框架，使得基于卷积神经网络的视频目标分割方法在处理多目标分割问题上，有能力快速地调整模型参数来适应指定的分割目标，并能够随着目标在时域上的变化来持续地学习。具体地，针对视频目标分割的特点，本项目提出了基于双元学器的连续元学习方法，设计了两类功能不同的元学习器，一类负责在指定目标上初始化通用分割模型，另一类负责根据指定目标在时域上的变化，对分割模型参数进行轻微调整，满足了视频目标分割任务在不同阶段的需求。为了更好地处理多目标问题，本项目还提出了一种基于多目标交互先验的分割方法，将指定分割目标与其他待分割目标在时域上的交互情况转换为分割模型的先验特征，从而帮助分割模型更好地处理多目标情况。

.基于卷积神经网络的视频目标分割方法依赖于在初始帧上的过拟合，导致模型调整时间长、对相似目标敏感。本项目利用元学习方法快速、灵活的学习能力，创新地提出了一种基于元学习方法的视频多目标分割框架，使得基于卷积神经网络的视频目标分割方法在处理多目标分割问题上，有能力快速地调整模型参数来适应指定的分割目标，并能够随着目标在时域上的变化来持续地学习。具体地，针对视频目标分割的特点，本项目提出了基于双元学器的连续元学习方法，设计了两类功能不同的元学习器，一类负责在指定目标上初始化通用分割模型，另一类负责根据指定目标在时域上的变化，对分割模型参数进行轻微调整，满足了视频目标分割任务在不同阶段的需求。为了更好地处理多目标问题，本项目还提出了一种基于多目标交互先验的分割方法，将指定分割目标与其他待分割目标在时域上的交互情况转换为分割模型的先验特征，从而帮助分割模型更好地处理多目标情况。.