立体信息特征感知、质量评价基础理论与显示关键技术

立体信息技术是新一代信息技术的发展方向，应用前景广。立体信息感知的本质是精确刻画场景深度。通过摄像机阵列的合理布设与控制，准确地感知前景的动态深度，解决前、后景及物体间相对运动、相互遮挡等匹配问题，重建真实的动、静态三维场景，是拟解决的第一个关键问题；实现舒适成像是立体显示的终极目标。揭示多视点自由立体显示中视觉舒适度、深度分辨率、视点数与子像素分辨率内在关系，探索深度分辨率调整控制理论，舒适地显示立体感知信息，是拟解决的第二个关键问题；用于感知与显示效果度量的立体信息评价体系。基于视觉系统感知和立体信息处理原理，建立视觉重构模型，探索立体信息质量评价理论与方法，是拟解决的第三个关键问题。其成果能为我国发展立体电视产业奠定基础，满足国家与产业重大需求；能为我国新一代网络提供新业务，满足国家宽带网发展的重大战略需求；能为人类提供多一维的信息来与自然界交流，满足人们更加丰富多彩工作与生活需求。

本项目深入研究了真实三维世界中立体信息的生成和处理、质量评价以及传输和显示等关键理论和技术。创新点(1)构建了国际首个多动态三维对象的运动捕捉与三维重建系统；(2)在保拓扑的动态场景、多对象复杂场景、交互运动对象场景、光照映射场景三维重建等方面，提出了完整的保拓扑动态场景三维重建框架、多对象复杂场景的三维重建方法、利用多视角多时刻光度特性对几何与反射特性信息实现高精度重建的策略以及符合动力学约束模型的交互运动形态三维重建等一系列创新方法；(3) 提出了满足视觉舒适度的立体视频中运动物体的合理运动规律和时空分布关系和满足视觉舒适度的运动物体的角速度和深度速率的约束关系及范围；(4)建立了不同编码模式下的多视点视频传输失真数学递归模型；(5)提出了引入深度特征的立体视觉显著性计算与评价方法；(6)分析了左右眼亮度差、关断比、双眼色差及串扰、可视角等的一系列指标对立体信息质量的影响；(7)基于此项研究，向国家标准委员会提交了《立体显示立体显示舒适度测试规范（20120247-T-339）》和《立体显示立体显示舒适度技术要求（20120248-T-339）》标准草案，并获得立项批准；(8)提出了利用所拍摄的低分辨率深度图和全分辨率RGB图像恢复出高质量高分辨率的深度图获取算法；(9)提出了散焦图像的空频分析方法和基于单幅图像恢复图像深度图的方法；(10)根据实际情况的需要，搭建了基于人机交互的半自动2D转3D平台。