基于感知质量优化的可分级立体视频自适应非对称容错传输

混合分辨率立体视频传输方法可以有效降低传输带宽，是立体视频传输领域的研究热点和前沿。由于缺乏准确有效的感知质量-带宽模型，在带宽相对有限且波动变化的丢包网络中实现感知质量最优的混合分辨率立体视频有效可靠传输仍然是一个尚未解决的难题。本项目首先通过对人眼双目视觉感知特性、混合分辨率立体视频编解码特性和网络丢包特性进行统一的数学描述，建立端到端的混合分辨率立体视频感知质量-带宽模型；进而以感知质量-带宽最优为准则，基于可分级立体视频编码方法，对左右视点帧率、空间分辨率和质量精细可分级增强层码率进行非对称实时最优调整，并结合分层前向纠错，对不同优先级的编码数据选择最优的不平等错误保护强度，最终实现感知质量-带宽意义上最优的时间、空间和质量可分级立体视频自适应非对称容错传输，为感知质量最优的混合分辨率立体视频有效可靠传输提供新思路和理论依据。

混合分辨率立体视频传输方法可以有效降低传输带宽，是立体视频传输领域的研究热点和前沿。然而，如何选择最优的左右两路视频信号的时间和空间分辨率，以使得视频传输达到感知质量-带宽最优，仍然是一个有挑战性的问题。本项目针对带宽有限且波动变化的丢包网络环境，开展感知质量—带宽最优的立体视频自适应非对称容错传输理论和方法研究。按照项目申请书，本项目在如下三个方面具体开展研究工作，并取得了一定的成果。（1）首先，研究了端到端网络传输应用中混合分辨率立体视频感知质量—带宽模型。设计便于解析的非线性融合函数将左右视点图像失真融合为双目图像感知失真，并针对不同的扩散方式设计不同的扩散衰减因子以度量失真传递函数。最终结合码率分析和函数拟合方法，将编码比特表示为编码参数的函数，完成了建模。（2）其次，研究了感知质量—带宽最优的可分级立体视频自适应非对称传输方法。结合统计模型和感知失真—码率标记法估计FGS增强层截取导致的双目图像感知失真，并将感知质量—带宽最优的可分级立体视频自适应非对称传输问题转化为一个约束最优化问题，进行迭代求解之后得到最佳的比特分配方案。（3）研究感知质量—带宽最优的可分级立体视频不平等错误保护传输方法。基于帧间、视点间和不同层间的错误扩散衰减因子，设计失真传递函数以描述数据包单独丢失时的接收端失真传递、衰减过程。感知质量—带宽最优的可分级立体视频自适应非对称容错传输问题，可以转化为一个多参数非线性约束最优化问题，并采用拉格朗日松弛算法求解。在上述三项研究内容之外，课题组还开发了模拟网络传输的立体视频传输软件实验平台，利用该软件可以对立体视频传输环境根据需要进行设置。本项目完成时，发表了6篇SCI文章/9篇EI文章，并申请了3项中国发明专利，其中一项已经获得授权。