立体图像感知舒适度评价及提升方法研究

After explosive development in recent years, 3D-TV once again encounter a technical bottleneck. It is urgent to make a break through on 3D-TV quality assessment and comfort program making to assure that the 3D-TV program made will be no harm to health. With the supporting achievement accumulated from our previous related works, this project works on 3D image database constructing, subjective comfort rank, biopsychology experiments and studying, ground-truth labeling to build a perceptual quality of comfort model, and proposes a comfort enhance making scheme. An open 3D image database will be constructed with features labeled and subjective comfort assessed. Eye-tracking will be used for labeling ground-truth and biopsychology assessment of 3D image in the database. Then, objective quality of comfort model will be build based on this 3D image database, and also comfort enhance making scheme. With the supporting, we expect to achieve innovations on following aspects: an opened 3D image database with subjective assessment and ground-truth data, a biopsychology and feature statistics based quality of comfort model, and comfort enhance making scheme for 3D content. The studying will promote the healthy development of 3D-TV industry in 3D program making and comfort quality control.

3D电视经过前几年快速发展又一次进入瓶颈期，迫切需要在立体电视质量评价及制作技术方面取得新的突破。本项目基于前期3D电视研究成果，建立开放的立体图像库，进行主观舒适度质量评价，开展舒适度生理心理学实验与研究，标注图像真值数据，研究建立3D图像的感知舒适度评价模型，最后基于评价结果进行3D图像舒适度调整。项目重点解决的问题包括：开放立体图像库建库及特征标注、舒适度主观测评；结合眼动跟踪的舒适度真值标注方法及生理心理学评价模型；基于立体图像库数据，研究建立舒适度评价模型、舒适度调整方法。项目预期在评价模型及调整方法等关键问题上取得创新突破，建立内容包括立体图像、视频、标注数据及主观评价结果的开放立体图像库，基于生理心理学知识及特征统计分析，形成立体图像舒适度评价模型，提出针对性的舒适度调整方法。研究进展将有助于推动3D电视内容产业发展，预期成果在3D节目制作与质量控制等领域有着广泛应用前景。

3D电视经历前一阶段快速发展又一次进入瓶颈期，迫切需要在立体电视质量评价及制作技术方面取得突破。本项目研究内容包括:建立具有主观质量评价标签的开放立体图像库，研究建立3D图像的舒适度评价模型，开发3D图像舒适度调整工具。经过四年研究，取得了以下成果：.（1）开发了用于立体图像主观质量评价的应用网站，规范了评价流程管理与数据处理，为保证后续主观质量评价数据采集质量打下了良好基础；.（2）针对出入屏对立体观看舒适度影响，研究建立了一个具有移轴立体图像库，在进行主观质量评价同时，同步采集了眼动数据，首次建立了具有眼动数据标注的立体舒适度图像库；.（3）在主观质量评价实验过程中，我们观察到主观评价结果受环境、个人偏好影响存在一定噪声。基于统计建模及集成学习方法，研究了主观评价数据的质量处理与提升方法，针对立体图像质量评价应用最多的IEEE-SA库，通过主观成对比较实验验证了项目所提质量标签提升方法可有效提升标签质量；.（4）提出了一种非关联像素比(PUP)立体图像质量评价方法，该方法在不提取视差信息条件下可取得较好的预测效果，同时也研究了基于深度学习的客观质量评价方法；.（5）利用眼动数据立体图像库，采用非参数统计学习方法进行了眼动模式聚类分析研究，提取到了不舒适观看条件下的眼动模式，这些模式反映了人眼不舒适观看条件下的生理、心理特征；.（6）基于Adobe After Effects非线编平台开发了具有几何校正、帧同步对齐、移轴/画面裁剪、3D格式转换等功能的3D视频质量提升处理插件，开发了一套可用于两路高清立体拍摄的立体视频实时校正处理设备。.项目发表期刊论文5篇、会议论文10篇，申请国家发明专利3项，已获专利授权1项，转让2项3D处理调整方法国家发明专利，申请软件著作权2项。