面向无线通信的3D视频感知编码及码率控制研究

Due to the limitation of bandwidth, and time-varying of available bandwidth and transmission rate, wireless communication oriented 3D video coding and transmission techniques are required to have strong ability of adaptive rate control. Binocular fusion and suppression is an important part of human visual system to deal with the binocular visual information, and it is the footstone of stereoscopic visual perception. Since the process may enhance or suppress some of local distortion in the two views of a stereoscopic image, its properly using can maximize the subjective quality of the decoded stereoscopic image under the constraint of bandwidth, so that the performance of 3D video coding and the bit allocation can be effectively improved. In this project, the characteristics of distortion introduced in 3D video coding will be analyzed, and the impact of binocular fusion and suppression on different characteristics of stereoscopic image will be investigated, then the mathematical model of binocular fusion and suppression will be established for purpose of coding. After that, distortion measure model for different characteristics of stereoscopic image will be researched, based on which rate-distortion cost for rate-distortion optimization will be modified, and rate-distortion model for rate control will also be proposed to depict the relationship between the local distortion, bit rate and encoding parameters. Finally, how to reasonably allocate bits for each unit at different levels of rate control of 3D video coding and how to control the bit rate precisely will be investigated, so that the stereoscopic image with optimal subjective quality can be obtained and stable and balanced qualities of stereoscopic images at different views and different moments can be achieved.

无线信道带宽有限，且可用带宽、传输速率时变，要求面向无线通信的3D视频压缩与传输技术具备很强的自适应码率控制能力。双目融合与抑制是人类视觉系统处理双目视觉信息的重要环节，是产生立体感的根源。该过程会增强或抑制立体图像左右视点中的某些局部失真，对其合理利用可以有效提高3D视频编码码率分配的合理性，达到在有限带宽下尽可能提高解码重建立体图像主观质量的目的。本项目将就3D视频编码环节引入的失真特点进行分析，探索双目融合与抑制过程对不同图像特征感知的影响，建立适用于编码失真评测的双目融合与抑制数学模型；得到立体图像不同特征的失真测度模型，并以此为编码失真测度修正3D视频编码率失真代价函数，建立率失真模型，刻画立体图像各局部失真与码率、编码参数之间的关系；探索如何合理地在3D视频编码码率控制的各个层面进行合理的码率分配和控制，以得到总体主观质量最佳的立体图像且时域和视点间质量均衡稳定的3D视频信号。

无线信道带宽有限，且可用带宽、传输速率时变，要求面向无线通信的3D 视频压缩与传输技术具备很强的自适应码率控制能力。双目融合与抑制是人类视觉系统处理双目视觉信息的重要环节，是产生立体感的根源。该过程会增强或抑制立体图像左右视点中的某些局部失真，对其合理的利用可以有效地提高3D 视频编码码率分配的合理性，达到在有限带宽下尽可能提高解码重建立体图像主观质量的目的。.本项目研究内容及成果如下：1）分析了3D视频编码环节所引入的失真的特点，探索了双目融合与抑制过程对不同图像特征感知的影响，研究了3D视频图像的双目感知特性，建立了基于纹理复杂度的恰可察觉失真量化参数阈值模型、基于深度信息的恰可觉察失真模型、基于视网膜特性的立体感知恰可觉察模型等；2）研究了3D视频图像失真评测模型，提出了基于模拟双目感受野的立体图像质量评价模型、基于双目融合和抑制的立体图像质量评价模型、基于时域质降帧特征提取的半参考立体视频质量评价模型等；3）研究了3D视频感知编码及码率控制算法，提出了基于纹理复杂度的自适应可变量化非对称立体视频编码方案、基于多视点视频加深度的3D视频编码联合码率分配及码率控制新方法；提出3D重建图像合成失真模型以表征彩色和深度编码失真对绘制的影响，并采用率失真模型表征码率与3D重建图像合成失真的关系，得到彩色与深度视频的最佳码率比重，在视点层、彩色/深度层和帧层进行码率控制，从而同时实现高性能图像绘制和码率控制；4）研究了基于人类视觉感知的深度视频处理方法，提出了基于区域特征的深度视频处理算法、基于人类视觉感知的深度视频处理算法、时域和空域的适度视频增强方法；5）研究了3D视频的低复杂度编码算法，提出了基于感知的高效视频编码(HEVC)快速帧间编码新方法、基于双目恰可觉察失真的多视点彩色视频快速编码方法、基于区域分割的3D-HEVC深度视频快速帧内编码算法。