立体视觉掩蔽特性及其在图像质量评价与编码中的应用

三维视频系统能提供立体感、视点交互性等全新视觉体验，立体/多视点视频编码技术是其走向应用的关键。与单视点视频相比，立体/多视点视频还存在立体视觉冗余，表现为立体视觉掩蔽特性。现有立体/多视点视频编码压缩性能的评价方法主要考虑图像信息损失程度，很少关注立体图像主观视觉感知，不能真实反映编码算法的有效性。本项目从研究影响立体视觉掩蔽特性的因素出发，设计主观感知实验，统计分析各因素的影响，拟合特性曲线，建立数学模型，并对立体视觉掩蔽特性进行定量分析与描述，得到各种情况的立体最小可察觉变化值；面向视频编码，利用主观感知实验的样本数据和统计规律，研究基于立体视觉掩蔽特性的立体图像客观质量评价模型与方法；研究基于立体视觉掩蔽特性的立体/多视点视频编码，包括立体视觉注意力与对象分割、基于立体视觉掩蔽特性的宏块级/对象级码率分配策略等，以消除立体视觉冗余，提高编码效率与编码图像的主观视觉质量。

三维视频系统能提供立体感、视点交互性等全新视觉体验，立体/多视点视频编码技术是其走向应用的关键。与单视点视频相比，立体/多视点视频还存在立体视觉冗余，表现为立体视觉掩蔽特性。现有立体/多视点视频编码压缩性能的评价方法主要考虑图像信息损失程度，很少关注立体图像主观视觉感知，不能真实反映编码算法的有效性。在立体图像质量评价中，最终目标是建立符合人类视觉感知的立体图像客观质量评价模型，实现对立体图像的质量评价，以进一步对立体/多视点视频编码方案优劣进行评价，对编码参数设计进行指导或优化。.本项目从研究影响立体视觉掩蔽特性的因素出发，设计了相应的主观感知实验，统计分析各因素的影响，拟合特性曲线，建立数学模型，并对立体视觉掩蔽特性进行定量分析与描述，得到人眼立体最小可察觉变化的计算模型；利用主观感知实验的样本数据和统计规律，研究建立针对立体/多视点视频编码的基于立体视觉掩蔽特性的立体图像客观质量评价模型，提出了相应评价方法；研究了基于立体视觉掩蔽特性的立体/多视点视频编码方法，通过编码过程中宏块级的立体视觉掩蔽特性应用、基于立体视觉掩蔽特性的码率分配策略等技术消除立体/多视点视频的立体视觉冗余，提高了三维视频压缩效率。研究结果已在IEEE Transactions on Image Processing、IEEE Transactions on Multimedia、IEEE Transactions on Broadcasting、Signal Processing Image Communication、IET Image Processing、IET Signal Processing、电子与信息学报等本领域国内外代表性学术期刊或国际会议发表(录用)学术论文40篇，其中，SCI期刊论文18篇，EI检索36篇次；申请发明专利24项，其中，获授权发明专利7项。安排了成员4次赴国外参加国际会议、并邀请3位境外专家来华学术交流。