基于视频分割的实时环境光序列采样的研究

环境光采样技术作为可提高图形渲染的真实感及绘制速度的有效手段，已被广泛用于图形学的诸多应用中。然而，目前成熟的环境光采样技术主要针对于单幅环境光图像，对环境光图像序列的采样研究还很不充分，现有的方法难以在时序一致性、渲染准确性以及处理实时采集的不定长度序列等几方面同时做好。本课题将基于视频分割技术设计一个可处理实时的任意长度的环境光图像序列的采样框架，通过将环境光采样与快速的视频分割技术相融合，以达到实时处理的性能，渲染准确度的提高，以及时序一致性的增强。该采样框架可应用于环境光采集系统，对采集数据进行实时采样，从而可极大的降低对存储空间的需求。本课题将搭建实验平台，通过在真实数据上对比实验的手段综合评测所提算法的性能。

环境光采样技术将高动态范围的高精度全景图像近似为有限数量的方向光源，从而可有效提高图形渲染真实感和绘制速度。本项目针对目前环境光采样技术在时序一致性、渲染准确性以及处理不定长度序列所存在的不足，研究了基于视频分割技术的环境光图像序列采样问题，并提出有效解决方案。于此同时，深入分析全景图序列的相关应用：基于全景图序列的虚拟浏览，提出并实现了实时视频浏览模式。. 作为环境光图像序列采样的特例，首先研究Meanshift图像分割技术用于单张环境光图像的切分效果；面对环境光的高动态范围对Meanshift分割性能带来的明显负面影响，采用色调映射技术减小环境光图像的动态范围，从而达到自适应Meanshift分割效果。在过分割的基础上，提出基于区域重要性进行自适应的区域分裂-合并算法，从而产生指定数目的采样点分布。通过与已有方法进行实验比较，发现基于自适应Meanshift分割的环境光采样技术可有效提高渲染结果的准确度。考虑到序列采样对算法效率的要求，在环境光图像序列采样中，采用Temporal SLIC算法达到时序一致性强的视频分割结果。设计考虑时序相关性的自适应区域合并-分裂算法，并提出连续两帧之间的采样点映射方法，将前一张环境光图像的采样点分布通过时序分割的对应关系映射到当前环境光图像上。实验比较发现基于视频分割的序列采样方法可有效提高渲染精度，并达到与已有方法相当的时序一致性。. 在网络环境下，虚拟浏览服务通常只提供稀疏采样的全景图序列，从一张全景图跳跃到另一张全景图的虚拟浏览在视觉上会造成明显的不连续性。提出并实现一种新的全景图视点插值技术，可有效模拟在邻接全景图间的连续视点变换。与现有技术相比，所提算法在运行时间上达到实时浏览的性能，插值结果在主观的视觉效果、客观准确性衡量上均体现出明显优势。在全景图序列虚拟浏览研究中，发现目前缺少快速准确的全景图特征提取与匹配技术。借鉴了平面图像特征提取与匹配的研究技术，提出采用气象学中的一种球面表示方法，进而将一种快速鲁棒的二值特征提取方法拓展至球面域。特征检测性能的量化分析结果表明，所提算法较已有的球面特征提取算法在速度、准确性、鲁棒性上具有明显优势。