观测图像与气象模型融合的云模拟方法研究

Cloud is a typical kind of natural phenomenon with polytypic, highly dynamic, and multi-scale nature. The simulation of clouds remains an important research area in virtual reality and computer graphics for a long time. Recently with the rapid growth of applications, leveraging rich meteorological data to enhance the data objectivity and visual realism of cloud simulation, has attracted much research attention. This proposal considers observation images of clouds, including natural images and satellite images, and incorporates meteorological models to explore new data-driven cloud simulation methods. The proposal aims at constructing three-dimensional clouds with high data objectivity and visual realism, and establishing a unified, multi-scale representation of the shape and optical properties of clouds. For natural images, we study the unified modeling of cloud shape and optical properties based on the scattering model. For satellite images, we investigate the effective modeling of large-scale cloud scenes by fusing multiple cues, and explore the registration of time-varying complex cloud systems using meteorological saliency models. Meanwhile, we are concerned with improving the performance of cloud rendering using carefully designed volume slice primitives. And finally, the goal of the proposal is to tackle the aforementioned problems, and to lay a solid technical foundation for the research of model interactions in the future.

云是一类典型的自然现象，具有多类型、高动态和多尺度等特点，其模拟方法是虚拟现实领域和计算机图形学长期研究的重要内容。近年来随着应用需求的提升，如何更好利用日益丰富的各类气象数据，使得云的模拟兼具数据的客观性和视觉的逼真性成为日益关注的问题。本申请拟从云的观测图像出发，包括自然图像及卫星云图，融入气象模型，探索新型气象模型和数据驱动的云模拟理论和方法，构造更加满足数据客观性和视觉逼真性要求的三维云，特别是具有表面形状和内部光照属性一体化和多尺度表示能力。具体而言，针对自然图像，研究基于散射模型的三维云形状和光照参数一体化建模方法；针对卫星云图，研究多参量融合的大规模云场景高效建模方法以及基于气象显著要素的复杂云系时变序列配准方法；围绕实时绘制，研究基于云体结构的切片图元构造及高效绘制算法。通过上述研究，给出兼具气象学意义和逼真性的云模拟理论和方法，为未来的云系交互性研究奠定更为坚实的基础。

云的模拟方法在虚拟现实领域和计算机图形学具有重要的研究意义。随着应用需求的提升，利用气象数据实现云模拟的数据客观性和视觉逼真性，成为日益关注的问题。本课题从云的观测图像出发，探索数据驱动的云模拟理论的方法，构造更加满足数据客观性和视觉逼真性要求的三维云。在基于散射模型的三维云形状和光照参数一体化建模方面，提出了基于单幅图像的三维云形状恢复方法、基于变分自编码器与对抗生成式网络的积云形状和光照一体化建模方法；在多参量融合的大规模云场景高效建模方面，提出基于物理的大尺度云系建模方法、基于卫星云图的自动化大规模云场景建模方法、多模态数据融合的积云场景建模方法、数据驱动的积云场景精细建模方法，以及基于协同显著性的流体三维重建方法；在基于气象显著要素的复杂云系时变序列配准方法方面，提出基于聚类和稀疏编码的前景分割方法、基于改进正负样本平衡的轮廓检测方法、基于视觉重要度的图像质量评价指标、网络显著性和非刚性形状匹配的一致度量表示方法、基于上下文的图像多层特征表示方法，以及时序序列积云的动态演化方法；在基于云体结构的切片图元构造及高效绘制算法方面，提出基于对象空间对齐的粒子切片图元构造方法。上述研究成果具有较高的创新性和可行性，已发表在国内外高水平学术会议和期刊上。通过上述研究，课题组给出了兼具气象数据客观性与视觉逼真性的云模拟理论和方法，为相关领域的应用，及进一步研究云系交互等奠定了坚实的基础。