融合多先验运动补偿插值的显著感知帧率上转换算法

The existing police video surveillance systems have recorded video at a low frame rate, and but the low-frame-rate video results in some undesirable effects such as jerking, motion blurs, color distortion and so on, which brings in some difficulties for the criminal investigation. Therefore this project is trying to use the Motion-Compensated Frame Rate Up-Conversion (MC-FRUC) to increase the frame rate of video by the way of post-processing, so as to enhance the visual perception of watching video. Lack of consideration on the human visual characteristic, the existing MC-FRUC schemes over-pursue the true motion of object in the motion estimation so as to waste lots of computing resources. Meanwhile, the multiple priors of image cannot be actively exploited in the motion compensated interpolation, which suppresses the improvement of interpolation accuracy. To extend the theoretical system of existing MC-FRUC, this project aims to propose a novel saliency-aware MC-FRUC framework by multi-priors fusion of motion-compensated interpolations. The innovations of this project include: we propose a space-time saliency detection fusing multiple features to extract the regions-of-interest of human eyes; we propose a saliency-aware motion estimation to intensively refine the motion vectors in the regions-of-interest; we propose to construct the Maximum A Posterior (MAP) model of motion compensated interpolation, in which the multiple priors of image are fused, and the lost structures of to-be-interpolated frames can be recovered by using the non-linearity optimal method.

现有治安视频监控系统拍摄帧率较低，导致顿挫、运动模糊和色彩失真等不良效应出现，给案件侦破工作带来一些困难，因此本项目拟以后处理方式采用运动补偿帧率上转换（MC-FRUC）算法提升视频帧率，增强视频流画面观感。现有MC-FRUC忽略了人眼视觉特性，从而导致运动估计过分追求真实运动造成计算资源浪费，与此同时，运动补偿内插过程也未主动利用各种图像先验信息，从而制约了内插精度提升。为此，本项目旨在提出一种新颖的融合多先验运动补偿插值的显著感知MC-FRUC框架，以拓展现有MC-FRUC的理论体系。本项目研究创新点包括：提出融合多特征的时空显著性检测方法，提取人眼视觉感兴趣区域；提出显著感知的运动估计算法，对感兴趣区域中的运动向量强化提纯，保证人眼视觉关注区域的运动准确度；提出建立运动补偿内插的最大后验概率（MAP）模型，融合多种图像先验知识，采用非线性优化方法复原待插帧丢失的结构信息。

运动补偿帧率上转换算法可提升视频帧率，以后处理方式增强视频的流畅度，降低视频编码能耗，与此同时提高率失真性能。现有运动补偿帧率上转换算法忽略了人眼视觉特性，从而导致运动估计过分追求真实运动造成计算资源浪费，运动补偿内插过程也未主动利用各种图像先验信息，从而制约了内插精度提升。为此，本项目致力于在高层视觉领域内设计显著感知运动估计，并以贝叶斯推理融合稀疏冗余先验建模运动补偿内插，构建高效的视频帧率上转换算法。根据拟定的研究计划，获得的研究成果如下：. 1）视觉显著性检测作为本项目实施的重要工具，投入了一定研究精力，提出了若干种视觉显著特征。为验证显著特征的有效性，将其与图像压缩感知结合，设计出若干有效的自适应压缩感知测量方法。. 2）选择基于亮度对比的时空显著特征，提出显著时空感知的多策略运动估计算法，其根据时空显著性，自适应地选择不同计算精度的运动估计策略，在去除冗余计算的同时，仍可保证较高的内插质量。. 3）通过构造小波金字塔，提取可反映不同空间分辨率下视觉显著特征的小波变换系数，提出了高效的多分辨率运动估计算法。受Bayer模式启发，利用运动向量场的空间相关性，提出了快速的Bayer运动估计算法。. 4）在贝叶斯推理框架下，提出将稀疏表示模型作为内插帧的先验知识以最大后验概率准则的方式融入运动补偿内插，非线性方式重建视频帧，以稀疏先验补充内插帧中丢失的结构特征，有效提升了上转视频的主客观质量。. 5）将帧率上转换技术应用于视频压缩感知，提出了多种低复杂度视频编码框架。由于帧率上转换技术可为视频帧重建提供高精度的预测帧，因而，可在提升解码率失真性能的同时，减少编码能耗，使视频压缩感知成为绿色物联网下具有潜能的视频编码方案。. 在完成既定研究目标之外，本项目也开展了视频上转换取证的研究，相关成果可作为帧率上转换技术的重要补充，为保证视频数据的客观性提供有力的支持。