多视角混合分辨率视频关键技术研究

It was revealed by the visual fusion and visual suppression principles that the performance of the visual perception of the quality-asymmetric and mixed resolution stereo video is not less than that of the original full resolution video under certain Peak Signal to Noise Ratio condition. In this project, based on the super resolution reconstruction, the original full resolution multi-view video will be represented as quality-asymmetric and mixed resolution multi-view video. We will focus on the following three important issues. (1) To deduce the data redundancy among the multi-view videos, based on the visual saliency, making use of two sets of key frames and non-key frames, we will find out a better way about how to represent the original video as the mixed resolution video. (2) Under the hypothesis that the full resolution frames could be decomposed into detailed information and structure information, we will study the down sampling model for the non-key frame, that is, the way to filter out the detailed information of the non-key frames but keep the structure information. (3) Under the complex motion caused by image matching and projecting of the multi-view frames, we will study on the method to fetch the detailed information from the key frames, and the method to merges the detailed information into structure frames.

视觉融合与抑制原理表明，在满足一定图像峰值信噪比阈值条件下，非对称质量及分辨率的混合分辨率立体视频能获得与原始全分辨率视频的同等视觉感知质量，为多视角视频编码提供了新的研究方向。本项目以超分辨率重构高分辨率图像技术为基础，探索将多视角视频分解为混合分辨率视频的描述方法。本项目具体研究内容包括：（1）研究应用视内、视间的运动显著性及其静态显著性多维线索，构建多视角图像的视觉显著性线索空间，实现对多视角视频关键帧图像最优化提取算法。（2）研究将全分辨率图像信息分解为细节（高频）信息与结构（低频）信息，滤除非关键帧图像的细节信息，仅保留其结构信息的下抽样模型。（3）研究由于多视角图像配准与投影误差而导致的复杂局部运动条件下，关键帧的细节信息提取，以及将其融合到非关键帧的信息融合方法。

针对立体视频、自由点电视、高清数字成像系统、公共安全监控、卫星遥感以及医学成像等海量视频数据应用场景，基于超分辨率技术，研究了视频数据在满足一定图像峰值信噪比阈值条件下的高效描述方法，并以较少的数据量实现高质量的视频呈现。主要研究了以下三个方面：.关键帧与非关键帧分离：建立了一种基于图像多维显著性特征的视频关键帧与非关键帧分离方法，将视频图像分离为具有显著特征的关键帧集合和更多的仅包含低分辨率结构信息的非关键帧集合，实现视频数据的混合分辨率描述。该方法可应用于多视角视频图像压缩与传输、高分辨率成像与目标探测、视频数据的结构化等应用需求场景。.非关键帧的低分辨率抽样：在空间域，分析、总结了现有各种滤波下抽样方法的混合分辨率图像重构效果。针对比特域，建立了一种基于卷积神经网络的比特分辨率下抽与分辨率上抽方法。实验结果显示，基于卷积神经网络的比特增益提升与常规的比特提升方法显著不同。可应用于超高清视频处理、压缩与传输、档案数据压缩管理、低功耗视频传感器部署等应用环境。.信息提取与信息融合：建立了一种基于卷积神经网络的运动估计/补偿的混合分辨率视频超分辨率方法。面对无高分辨率参考图像帧时，充分挖掘、利用单帧图像的信息率有限特征或者单帧图像内部图像块之间的自相似特征和图像多尺度之间的自相似特性，分别建立了一种基于有限信息更新率的单帧图像超分辨率方法和一种基于零样本学习的图像超分辨率方法，实现了单帧图像的空域超分辨率。可应用于无参考高分辨率图像的非合作目标图像的图像超分辨率。同时，针对异源传感器图像，建立了一种异源传感器图像之间的信息提取与信息融合方法。针对红外图像和可见光图像，从梯度域、多尺度域等不同角度，有效提取异源图像中各自的感兴趣信息，实现信息融合。可应用于多传感器探测、自动汽车驾驶、目标检测与跟踪等领域。