基于共同模式挖掘的弱监督视频语义分割方法研究

Video segmentation is an important research in computer vision and multimedia processing. How to accurately discover and extract interesting object from video data based on small labeled samples is still a challenging task. By investigating the current status of video semantic segmentation, this project proposes a new common pattern based weakly supervised video semantic segmentation method：1) By analyzing the closed properties and contour feature of objects, we construct the geodesic convex contour based region proposal generative model. 2) Since the common pattern mining based on generative adversarial network is introduced, this method can obtain more accurate initial video semantic results via small labeled sample compared with traditional methods. 3) Based on the initial semantic object, we study the deep learning to extend the small labeled sample to the unlabeled video frames and design a weakly supervised semantic segmentation model to integrate deep learning and integer programming. This work will provide a new idea and theoretical foundation for video semantic segmentation.

视频分割是计算机视觉和多媒体信息处理领域中的重要方向，而如何利用少量数据标签准确地发现和提取视频中的感兴趣对象仍然是一个挑战性的问题。本项目针对目前视频语义分割的研究现状，提出了一种新的基于共同模式挖掘的弱监督视频语义分割方法: 1）通过分析对象闭合特性及轮廓外观特征，构建基于测地凸轮廓的候选区域生成模型。2）引入了基于弱监督生成对抗网络的共同模式挖掘，该方法比传统的视频分割方法能够更好地利用小样本标签数据实现初始视频语义分割。3）针对已挖掘的初始对象区域信息，利用卷积网络训练推广到其它非标记数据，构建基于卷积网络及整数规划的弱监督视频语义分割优化模型。该项目有望为解决视频语义分割提供新的思路和理论依据。

图像及视频语义分割是计算机视觉领域中的重要研究内容。本项目针对目前语义分割的研究现状，提出了基于遗忘测地距离特征映射方法，克服了非刚性物体下导致分割性能减弱的传统测地距离中误差累积问题。在区域一致性衡量及模型更新方面，构建了基于全局局部对象感知先验模型，克服了传统统计先验无法获取语义信息的难题；提出了基于高频语义构造的两分支深度网络，用以生成多尺度的高频语义信息；构建了基于半二次分裂及梯度下降的迭代更新模型，有效实现了全局局部感知先验更新。通过对课题的深入研究，取得了一系列重要学术成果，先后在国内外著名期刊上发表学术论文 7篇，其中 SCI期刊论文4篇，国际会议论文2篇，包括高水平IEEE汇刊论文1篇，如 IEEE TCSVT。同时，在本领域知名国际会议MobiMedia和AICS各发表论文1篇。申请国家发明专利1项，已获授权。