复杂虚拟场景多光源高效建模方法研究

Scenes modeling is a very important research direction in virtual reality. A lot of researchers did very good contributions in the 3D geometry modeling of scenes. Recently, more and more applications of virtual reality appeared, which provide some new challenges of scene modeling. Lighting is very important for the rendering of the geometry scenes, so the light source design and layout require artists spend plenty of time on them. Especially in the scene with complex geometry and a large number of light sources, even more sophisticated artists need many iterations to refine the parameters to achieve good quality. This project aims to help user in model and design the light sources more efficient based various user input, and gives the efficient solution to estimate and optimize the light source parameters accurately. We will do the research on image based light source modeling for the objects with complex geometry shapes, inverse light sources layout estimation for reflective scenes, example based light source transfer for geometry models and video based dynamic light source layout reconstruction. Our research will extend the data sources of scene modeling, lower down the difficulties of light sources design and modeling, improve the quality of scene, and make the modeling more efficiently.

虚拟场景建模方法是虚拟现实的重要研究方向，众多研究人员在三维场景几何建模方面研究做出了卓越的贡献。近年来虚拟现实应用研发的不断深入也为虚拟场景建模提出了新的需求。光照计算会对虚拟场景渲染结果起决定性的作用。光源设计与布置需要专业的美术人员投入大量的时间，尤其是当场景中的光源数量较大，场景的模型几何结构较为复杂时，即使是非常有经验的美术人员也需要进行迭代式的光源调节，操作繁琐，时间开销大。本课题针对这些问题，提出一系列面向复杂场景多光源建模的高效建模方法，拟解决根据用户输入的不同目标光照效果准确、高效地估计、优化场景多光源参数的难点问题。研究内容包括基于图像的复杂形状几何对象多光源排列迁移方法、基于反射光照效果分析的逆向光源参数估计方法、基于局部几何相似性的大规模场景光源编辑方法和基于烟花视频的动态光源建模传递方法，达到丰富虚拟场景建模数据来源，降低光源建模难度，提高建模质量、效率的目的。

光照计算会对虚拟场景渲染结果起决定性的作用。光源设计与布置需要专业的美术人员投入大量的时间，尤其是当场景中的光源数量较大，场景的模型几何结构较为复杂时，即使是非常有经验的美术人员也需要进行迭代式的光源调节，操作繁琐，时间开销大。本课题针对这些问题，1）提出基于图像信息来重建复杂几何对象表面光源的算法。首先估计相机参数，进而建立起三维模型和输入图像的对应关系。而后对有效像素进行聚类并对光源进行初始化，之后对光源参数进行优化，最后通过基于模型对称性分析的背面光源生成方法对不可见光源进行生成，最终实现基于图像信息来的复杂几何对象表面光源重建。该方法大大节省光源建模时间，降低建模的难度，同时提高建模质量。2）提出基于局部几何相似性的虚拟场景光源智能编辑方法。利用基于三方向的快速体素化方法和模型方向规范化，对三维模型的方向进行规范化操作，采用基于局部几何相似性的部件查找方法，根据模型的局部几何相似性，查找到与每一个待布置部件匹配的光源部件。3）提出基于烟花视频的多光源三维重建方法。基于粒子系统的烟花仿真，能生成烟花的彩色图图像以及对应的深度图图像，并以此作为深度估计的数据集，采用基于深度学习的单目图像深度估计方法和基于烟花视频多光源重建和场景渲染方法，该方法通过神经网络模型估计烟花粒子的深度信息，实现烟花粒子重建，并以重建后的烟花粒子作为光源，实现场景渲染。4）提出基于眼动跟踪的虚拟点光源全局光照实时绘制方法。采用基于眼动跟踪的虚拟点光源生成方法，从相反的从视点出发采样虚拟点光源，提出虚拟点光源管理方法，实现了虚拟点光源的分布和复用，使得光照渲染效果更加逼真，采用基于立即辐射度的全局光照绘制方法，通过间隔采样技术和抛物面阴影绘制等方法来有效加速了全局光照的绘制过程。本课题上述四项关键技术上取得了进展，已发表相关研究论文20 篇，其中期刊论文8篇，新申请专利11项，获得相关奖励5项。