面向适配显示的3D视频视觉体验质量评价与优化

Stereoscopic three-dimensional (3D) video can provide an immersive visual experience to users. With the development of mobile communication network, the mainstream stereoscopic 3D display devices will gradually extend to the diverse mobile devices such as smart phones, tablets, wearable devices, etc. Although diverse, stereoscopic 3D video retargeting techniques enable the input 3D videos to be displayed at various devices with different aspect ratios or dynamic ranges. However, due to the scene diversity and the limitation of retargeting algorithms, different retargeting algorithms will have distinct impacts on the quality of visual experience of the retargeted 3D videos. However to accurately evaluate the quality of visual experience of the retargeted 3D videos and how to effectively utilize the evaluation metric to guide the optimization of 3D video retargeting algorithms are the key scientific issues in 3D video system. Focusing on the above scientific issues, the research work will be carried out on the following aspects: subjective evaluation, objective evaluation, and automatic enhancement. To be specific, 3D video retargeting databases with human subjects annotations will be constructed; multi-modal feature fusion-based 3D video retargeting quality evaluation metrics will be proposed; objective evaluation metric-guided 3D video retargeting optimization frameworks will be proposed to obtain retargeted 3D videos with high quality of visual experience. All of these provide theoretical base and technical methods to the development of 3D video retargeting technologies and 3D video systems.

3D立体视频能为用户提供身临其境的视觉体验。随着移动通信网络的发展，3D视频的主流显示设备将由电视、电影逐渐向智能手机、平板、穿戴式设备等移动终端上扩展。为了保证3D视频能够在具有不同宽高比和动态范围的设备上进行显示，需要对输入的3D视频进行适配调整。然而，由于场景的多样性以及适配算法性能的局限性，不同的适配算法对视觉体验质量将产生不同程度的影响。如何准确评价3D适配视频的视觉体验质量以及如何利用评价测度指导适配算法进行优化是目前3D视频系统面临的关键科学问题。本项目将深入研究以上问题，以“主观评价-客观评价-自动增强”为研究主线，构建带有主观视觉体验质量标注的3D适配视频数据库，提出基于多模态因素融合的3D适配视频视觉体验质量客观评价测度，并将该评价测度应用于指导3D适配显示算法的优化实现视觉体验质量的增强，为3D视频的适配显示技术及3D视频系统的发展提供理论依据和技术手段。

随着移动通信网络的发展，3D立体图像/视频的主流显示设备将由电视、电影逐渐向智能手机、平板、穿戴式设备等移动终端上扩展。为了保证3D图像/视频能够在具有不同宽高比和动态范围的设备上进行显示，需要对输入的3D图像/视频进行适配调整。然而，由于场景的多样性以及适配算法性能的局限性，不同的适配算法对视觉体验质量将产生不同程度的影响。如何准确评价3D适配视频的视觉体验质量以及如何利用评价测度指导适配算法进行优化是目前3D视频系统面临的关键科学问题。本项目针对3D适配图像/视频的视觉体验质量评价与优化问题展开研究，以“主观评价-客观评价-自动增强”为研究主线，构建了带有主观视觉体验质量标注的3D图像适配数据库，提出了有效的3D图像适配视觉体验质量客观评价测度，并将该评价测度应用于指导与3D适配显示相关的各类应用以实现视觉体验质量增强，为3D图像/视频的适配显示技术及3D视频系统的发展提供坚实的理论依据和技术手段。依托本项目，共发表IEEE Transactions论文20篇，申请和授权发明专利4项；项目负责人于2022年12月破格晋升教授；于2021年获浙江省自然科学基金杰青项目资助；培养/协助培养了4名博士/硕士生，其中1人获得浙江省优秀博士学位论文，1人被评为浙江省优秀毕业生且获得研究生国家奖学金。