几何结构引导的全景视频沉浸式显示技术研究

The immersive 360 panoramic videos have entered a period of rapid development, although the increasing demand for subjective quality and immersive feelings leads to a fast-rising amount of panoramic video data with high-resolution and high-immersion. That directly makes immersive panoramic video data simultaneously facing greater challenges in three aspects. Firstly, to achieve high-resolution and high-quality panoramic video data, a weighted boosting super-resolution scheme is introduced in the kernel partial Least squares (KPLS) regression model, and the 3D geometry-guided deburring can be adaptively computed, the 3D motion blur model realize multi-kernel blurring at pixel level, to estimate the high-quality detail of the target immersive video patches. Secondly, this project will develop an intrinsic color correction to alleviate the color discrepancies in panoramic video stitching and fusion, which can avoid the loss of local geometric details and yield an environment-harmonized color enhancement; thirdly, we will develop a new geometry-aware view synthesis model for immersive panoramic videos, we will apply the GPU accreted 3D texture mapping to provide an immersive feeling for viewers. It is expected to promote the development of VR and multimedia industry, such as virtual reality demonstration, new concept movie shows, VR webcast and surveillance, which has the significant research value.

本课题针对沉浸式全景视频交互显示中存在清晰度不足、色彩不一致、全景视频用户自主观看沉浸感不强等瓶颈问题，研究面向全景视频的视觉数据增强和沉浸式交互显示技术。首先，研究基于聚类和机器学习模型的全景视频超分辨率技术，弥补全景视频采集和处理中的图像降晰问题，并在构建色彩与几何特征关联性模型基础上，基于三维运动和三维模糊模型的去模糊方法获得全景视频画质增强；然后，通过材质与光照信息的本征图像分解技术，探索研究在全景视频拼接融合中实现色彩一致性校正与交互编辑方法，避免拼接鬼影和色彩细节丢失，产生与几何细节相协调的全景视频颜色校正效果; 最后，通过对用户关注区域的自动定位，以及利用三维纹理对于全景场景的紧凑表达，研发面向全景视频沉浸式用户观看的视点合成算法，通过GPU并行加速进行三维纹理的快速映射和空洞填补，实现高真实感虚拟视点交互渲染效果。本项目有望促进VR影视及安全监控等产业进步，有重要应用前景。

项目组高质量的完成了既定目标，共发表高水平论文约60篇，取得了丰硕的研究成果；项目主要参与人建设人工智能教育部重点实验室，夯实和加强了课题组的研究基础，构建并完善了实验室的研究梯队；在国内外交流方面，课题组成员在ACM Multimedia、CGI等知名国内外会议上作论文/短文宣讲，进一步扩大了课题组的学术影响力。本项目研究工作已经取得了坚实的成果: 在运动去模糊方面，我们提出了基于多对抗优化的循环一致生成对抗网络（CycleGAN）的无监督图像去模糊化方法, 利用基于CycleGAN的多对抗机制来进行盲目的运动去模糊处理，以生成高分辨率图像, 相关结果已发表在IEEE Transactions on Image Processing。在图像着色方面，我们提出了基于示例的广义GAN进行全局和局部语义着色研究，该着色框架由匹配子网络和着色子网络两个子网络组成，能极大地提高训练的稳定性，提高目标图像的语义真实性，相关结果已发表在IEEE Transactions on Image Processing。在视频合成方面，本项目提出了光照引导的视频合成方法，该方法可以产生全局一致的组合结果并保持时间上的一致性，相关结果已发表在IEEE Transactions on Image Processing。