基于感知的深度视频信号处理与编码研究

自由视点系统在教育培训、娱乐、交通、银行、医疗和文化遗产保护等领域具有广阔的应用前景和巨大的市场价值。连续准确的深度视频获取、高效率低复杂度深度视频编码是自由视点视频系统的关键问题。目前针对上述关键问题的研究主要是从信号处理的角度出发，没有结合人类视觉感知机制。本项目研究深度感知计算模型，并将其进一步运用到深度视频的处理和编码之中，主要包括（1）探索人类的深度感知机制，从虚拟视点绘制和显示的角度研究人类恰不可察觉的深度变化，建立深度感知计算模型；（2）在深度感知计算模型的理论基础上，研究深度视频相关性特征，提出深度视频处理方法，提高深度视频的时空一致性，提高深度视频的压缩效率和虚拟视点绘制与显示质量；（3）提出基于深度感知计算模型的深度视频编码方法，进一步提高深度视频的压缩效率，降低深度视频编码复杂度。本项目的研究能为深度视频信号的实时压缩和传输、高质量的虚拟视点绘制和显示提供理论基础。

连续准确的深度视频获取、高效率低复杂度深度视频编码是自由视点视频系统的关键问题。本项目的研究目标是提高深度视频编码效率、绘制和显示质量、降低深度视频编码复杂度。本项目在深度感知计算模型、深度视频处理和深度视频编码等方面展开研究，完全达到项目确定的研究目标。.基于恰可察觉绘制失真的深度视频时空相关性增强算法：提出一种明显的绘制失真（JNRD）模型，基于JNRD模型，从时间和空间相关性增强两个方面处理深度视频。该算法在保持虚拟视点质量不变的同时，能够降低其码率。.面向高压缩效率的深度视频像素分类与平滑方法：提出一种深度视频预处理算法来提高深度视频编码的效率，在保持绘制质量不变的同时，码率最低节省了3.15%，最高节省了37.94%。.基于类相关及角点敏感滤波的深度视频处理方法：提出一种基于自适应模糊C均值聚类(FCM)算法。对于非边缘像素点，通过每个聚类特征采用不同的方法。边界区域像素点，根据角点区域或非角点区域得像素点选择不同窗口大小的中值滤波。该方法的虚拟视点的客观质量平均提高了0.42dB。.基于分割的深度视频快速模式选择算法：提出一种基于深度分割的快速模式决策的深度视频编码算法。该方法在保证虚拟视点质量不下降的同时，节省码率大约在82.49% 到 93.21%。.基于PMFS的立体图像质量评价方法：提出一种基于单目和双目特性的感知模型相似性(PMFS)度量标准进行质量评价。该评价方法对于主观质量分数与其他一些新的质量评价方法相比，能够达到更高的一致性。.已发表论文34篇。其中，SCI检索9篇，EI检索21篇。撰写专利10项，已授权3项。培养研究生17名，其中在校9名，已经毕业8名。