基于立体视觉感知特性的多视点视频错误隐藏研究

Multi-view video system takes in a wide application prospect because it can provide stereoscopic perception and interactive feature. How to improve the transmission robustness of multi-view video stream over network is one of the most important and difficult problems to assign multi-view video in practice. Error concealment is one of the most basic means of error control. State-of-the-art methods of double/ multi-view video error concealment have a drawback that these methods only exploit temporal, spatial and inter-view correlations in double/multi-view video to reconstruct lost information, but neglect the properties of stereoscopic perception. So the existing methods for improvement of transmission robustness of multi-view video stream is limited. This project will be based on two perceptual properties, e.g., stereoscopic visual difference sensitivity and stereoscopic visual attention, and utilize both analyses of subjective experimental results and statistical model calculation to build the model of binocular just-noticeable-difference, stereoscopic visual attention, and the model of both of stereoscopic visual sensitivity and stereoscopic visual attention. Furthermore, based on these models, the lost information can be represented more efficiently and reconstructed more accurately, and the raw algorithms of error concealment which are based on binocular just-noticeable -difference model, stereoscopic visual attention model and hybrid model will be proposed respectively for multi-view video coding with Hierarchial B Pictures structure (MVC-HBP). Through this project, a theoretical innovation and technical breakthrough in multi-view video error concealment will be created. This project also will promote the application of multi-view video.

多视点视频系统因能提供立体感和交互性，具有广泛的应用前景，然而如何提高多视点视频流网络传输的容错性是其推广应用急需解决的关键性难点问题。错误隐藏是视频传输中最基本的差错控制手段之一，当前流行的双目/多视点视频错误隐藏方法只局限于利用双/多视点视频中的时、空、视点间相关性来重建丢失信息，忽略了立体视觉感知特性，只能从有限的角度提高双/多视点视频流传输的容错性。本项目将从立体视觉失真敏感度和注意力两大感知特性出发，通过主观实验分析和统计模型计算相结合的方式，先建立双目恰可察觉失真模型、立体视觉注意模型、及其混合模型；随后以此模型为基础，面向基于分层B帧编码结构的多视点视频, 对丢失信息进行更高效的表达和准确的重建，分别构建出基于双目恰可察觉失真模型、立体视觉注意模型、及其混合模型的多视点视频错误隐藏新方法，实现多视点视频错误隐藏的理论创新和技术突破，促进多视点视频的广泛应用。

本项目计划从立体视觉感知特性出发，对立体/多视点视频的错误隐藏技术展开研究。在获得国家自然科学基金青年科学基金资助后，该项目进展顺利。 .在针对立体视觉感知特性的研究方面，项目组鉴于立体视觉刚可察觉失真模型已有相应的研究成果，因此着重对立体视觉感知特性的前沿——立体视觉显著性检测及其舒适度展开研究。我们研究了立体视觉不舒适度以及视差分布特征对立体视觉注意力的影响机制，提出了一种结合立体视觉舒适度因子的立体图像显著性计算模型。鉴于深度（视差）信息是影响立体视觉感知的核心因素，课题组率先对深度图显著性检测模型进行研究，提出了深度图质量度量因子，并将其嵌入到深度图显著区域计算模型中。同时，我们基于立体图像显著性，给出了立体图像舒适度预测模型。此外，项目组还提取了立体视频图像中的运动信息，提出了一种融合双目多维感知特性的立体视频显著性检测模型，据此给出了立体视频舒适度预测模型。.在立体/多视点视频错误隐藏的研究上，项目组率先将双目恰可察觉失真(binocular just noticeable difference, BJND)模型加入MV-HEVC错误隐藏技术中。在编码单元尺寸划分中，我们不仅考虑了视频自身的内容特性，还利用BJND模型以及相邻块运动/视差分布特征对重建时的编码块大小进行自适应划分。同时，我们还将人眼对于左右视点的失真可容忍度考虑进来，提出了结合BJND模型的新匹配准则。此外，面向MV-HEVC错误隐藏中的运动/视差补偿重建方法中，项目组通过实验表明：结合图像像素平滑性和纹理结构相似性可以更好地度量丢失重建块与周边正确解码块的匹配度；根据相邻块深度值可对受损块的恢复单元大小进行自适应划分。这为尚未成熟的MV-HEVC错误隐藏技术研究提供了重要基础。