结构保持的高效视频缩放技术研究

Video resizing is one of the hottest topics for image and video processing field in recent years. Efficient video resizing technology is eagerly demanded in digital entertainment, film industry and the internet video players. Since current video resizing methods tend to generate deformation and distortion, this project focuses on the efficient resizing technology which can preserve the structure of video at the same time. We propose the novel method combining the video saliency detecting algorithm combining which can hold the temporal and spatial consistency and the resizing function which can keep the structure of shape and contour efficiently together. To construct salience map, we use video features include color and gradient, and object movements are introduced to increase robustness. And Gabor filter is adopted to preserve the details in the clips. With the obtained salience map, we apply the Seamlet carving resizing method to process the video frame by frame. We use the surface time consistency formulas in view of graph cut algorithm to optimize our results. This can significantly maintain the temporal and spatial consistency and avoid shape deformation caused by trembles and contour distortion during video resizing process. The method is easy to speed up on GPU, meanwhile solves the distortion problems which could not preserve the structure of shape and contour. This project is expected to promote the development of both the theory and applications in video resizing, thus ensures great practical and theoretical significance.

视频缩放是图像视频处理近几年的热点之一，高效的视频缩放技术在数字娱乐、影视工业、网络视频中都有广泛的应用需求。本项目针对现有视频缩放方法易产生形变、失真等现象，研究基于结构保持的高效视频缩放技术。具体研究保持时空一致的视频显著物体检测算法以及形状轮廓等结构保持的高效缩放方法。在视频颜色、梯度等特征的基础上，结合视频中物体运动信息，运用Gabor滤波构建细节保持的视频显著度图；利用光流估计技术得到运动历史图，结合已获取的视频显著度图，采用seamlet carving缩放方法，对视频序列进行逐帧处理；利用基于图切技术的表面时间一致性公式优化处理缩放结果，从而保持时空一致性，避免视频缩放过程中产生抖动和形状轮廓等结构的变形失真现象；该方法易于实现GPU加速，解决了现有视频缩放方法低效、不能有效的保持形状轮廓等结构问题，有望推动视频缩放理论及应用的发展，具有重要的理论和应用价值。

结构保持的高效视频缩放技术研究，在数字娱乐、影视制作、网络应用等领域具有重大理论与应用意义。围绕显著性检测和缩放两个核心内容，结合目前热点领域图像视频大数据智能处理技术的发展趋势，取得了超预期的研究成果。.（1）显著性检测方面的研究：提出了基于稀疏表示和标签传播的显著性检测算法、基于改进凸包的贝叶斯模型显著性检测算法、前景敏感的显著性检测、基于对比度优化流形排序的显著目标检测算法、基于背景种子联合贝叶斯的显著性检测、一种时空一致性的视频显著性检测方法等一系列新方法。.（2）缩放方面的研究：对缩放技术进行了充分的调研，提出了基于Seam Carving的逐帧优化视频缩放方法、基于缝裁剪和变形的图像缩放方法、显著物体形状结构保持的图像缩放方法、基于贝叶斯模型的内容保持图像缩放算法、能量均衡原则下的快速图像尺寸调整算法、基于主体区域保持的图像缩放算法、基于组合的图像插值方法、一种结构保持的视频缩放方法等一系列新方法。.（3）在显著性检测和缩放方法相关的一些其他研究：提出了显著性保持的去彩色化算法、一种基于联合插值的图像旋转算法、Lasso整脸形状回归的人脸配准算法、基于线性关系假设的彩色化方法、基于Canny思想的Robinson边缘检测算法、改进的Canny边缘检测算法、改进的KNN抠图技术等一系列新方法。. 项目发表25篇学术论文，其中期刊22篇（包括SCI期刊1篇，EI期刊8篇）、会议3篇（包括CCF B类会议ICMR、ICME各1篇），申请专利4项，协助培养博士3名（毕业1人），5名硕士。