双目视觉特性计算模型与三维视频视觉体验质量评价和处理

Based on the research achievement of psychophysiology on human vision, perceptual characteristics of binocular vision system are to be revealed and a computational model will be established by systematically exploiting the mechanism of information processing in binocular vision system. The model is described integrally on “cyclopean eye” and includes binocular perception of both textural and spatial structure, and covers binocular fusion as well as suppression and rivalry. Features of both monocular independent processing and binocular interactional processing are considered. This comprehensive binocular visual characteristics model contributes to theoretical principle for 3D video processing and assessment of quality of binocular visual experience (QobvE). Therefore, an assessment of QobvE reflecting visual perception features is proposed, which involves sense of spatial structure, texture sharpness and visual comfort. A series of 3D video processing methods are developed to improve or adjust as requested either sense of spatial structure, texture sharpness, visual comfort or sense of material, which may be useful for 3D video content generation and production, compression and presentation, such that 3D video service can provide more reasonable and better content which results in healthy, comfortable and pleasant visual experience and promotes development of 3D video related industry..

从视觉生理心理学研究成果入手，深入系统地探索双目视觉的信息处理机理，揭示双目视觉系统的信息感知特性；通过类比方法模拟人类视觉系统信息处理机理，建立包括空间结构和纹理感知的双目视觉特性理论与综合计算模型，全面涵盖双目融合、抑制、竞争三类感知情形，并以中央眼为载体集成式地表达双目视觉特性，其中既包括左右眼独立处理单眼视觉信息的特性，又包括左右眼分别获得的视觉信息交互并共同感知、加工的特性，从而为三维视频处理方法和客观质量评价奠定理论基础。建立符合视觉特性的双目视觉体验客观质量评价体制，其融合空间结构感、纹理清晰感、视觉舒适感等影响主观视觉体验的主要因素。提出面向结构感、清晰感、舒适感和材质感的全方位三维视频处理方法，涉及内容生成制作、压缩编码、显示处理等三维视频系统重点环节，从而在现有的内容获取和显示呈现条件下，获得更合理的三维视频内容，提供更健康、舒适和愉悦的视觉体验，推动产业的进一步发展。

当前三维视频及虚拟现实技术产品不断涌现，但观看的视觉疲劳及不适等健康问题是破坏用户观看体验、制约观看时长和用户存留率的重要原因。双目视觉感知机理和特性的计算模型是解决上述问题的核心。本项目重点研究融合、抑制、竞争三类全面的双目视觉感知机理和特性，建立综合计算模型；形成双目视觉体验客观质量评价体制和评价方法；并提出一系列三维视频处理和高效编码的方法，提升体验质量。主要理论创新成果包括：1.揭示多维度特征、注意等与视觉工作记忆之间的关系，为视觉感知与认知研究揭示基础性现象与机理；突破传统只关注双目融合状态时的深度感知，重点研究对观看舒适度影响大的双目竞争状态，模拟视皮层信息处理机制，揭示了左右眼主导信号在空间频带－纹理方向带不一致时双目竞争的触发条件，并据此建立了双目竞争检测模型，实现了虚警率为1.8%、命中率达到90.5%的检测效果。2.提出一系列与人类视觉感知特性相符的三维视频内容清晰度、舒适度和深度感客观评价方法。其中基于视觉的时、空域通道感知特性和双目感知特性的3D-PQI指标被AVS标准工作组采用；全景视频质量度量方法WS-PSNR避免了所有原有方法的重采样精度失准问题，被MPEG和JVET采用，有近300项360视频、3DoF+和6DoF视频编码相关标准提案全部使用了WS-PSNR质量指标，这些成果为3D和全景视频编码标准化和处理技术发展做出突出贡献。3.在视觉记忆机制的启发下，提出模仿视觉长期记忆、基于先验知识库的视频编码新框架以及基于众包的知识库提取、多码流间参考图像索引、缓存管理、解码能力约束等一系列创新方法，在典型应用中编码效率提升达30%以上，已成为AVS3标准核心技术，获得Picture Coding Symposium 2019组织的短视频编码竞赛金奖。项目执行期间，发表论文53篇，其中期刊论文29篇；申请发明专利53项，授权11项、其中国际专利3项；培养研究生29名，向国内和国际标准组织提交提案154项；成功举办国际性学术会议3次。研究成果促进三维视频内容体验质量提升，推动产业和标准的发展。