基于视频的混合现实关键技术研究

在混合现实技术中，由于其实时性要求，虚拟景物还远不能达到照片品质，而可见性与光照一致性直接关系到虚拟场景融入视频场景的真实感。本项目旨在研究基于视频的混合现实技术中的三个关键问题：虚拟物体融入视频场景中的可见性计算、视频场景的自动光照环境重建技术、大规模虚拟人群在视频场景中的动态约束行为建模。本项目研究基于随机场分层方法，通过对分类模型能量项进行优化，准确抽取每一帧视频画面上前景的最大侧影轮廓线，实现视频场景的动态实时可见性计算。研究智能化的光照重建技术，将场景在不同光照环境下的图像，看作景物空间的低维嵌入，并以此作为理论框架，探索复杂的场景图像与其光照环境的本质关系与光照重建方法，突破传统光照重建技术的物理求解框架。此外,我们将自适应地构建视频场景与虚拟化身人群的空间位置关系,实现虚拟化身人群在真实视频场景中的动态约束下的大规模人群行为建模。