大规模光场数据分析与表示理论及其关键技术研究

变光照条件下基于视频的场景绘制（LVBR）是符合科学研究发展趋势、瞄准科学研究国际前沿的新研究方向，目前既没有类似于图形学光照模型的"计算驱动型"视频场景光照生成模型，也缺乏"数据驱动型"视频场景光照生成理论体系，从而存在富有挑战性的科学问题"如何发现并构建大规模光场数据的基本表示单元集，如何建立基于光场数据基本表示单元的视频场景光照生成理论体系"。本项目深入开展大规模光场数据的分析与表示研究，重点突破面向视频场景光照表示的大规模光场数据压缩、面向视频场景光照表示的光场基群机理、基于知识表达集的光场基群库生成、光场基群库的紧致表达与索引机制、基于光场基元的视频场景光照生成等方面的理论方法和关键技术，基本形成基于大规模光场数据的视频场景光照生成理论体系，培养优秀中青年科技人才，推动视频场景绘制的快速发展，促进相关科学研究不断发展和有机交叉，抢占科学研究的新生长点，研究成果将具有广泛应用前景。

本项目围绕图像视频形式的光场数据， 立足光场信息获取分析、图像视频编码、计算机视觉、计算摄像学、计算机图形学、虚拟现实等研究领域及其交叉方向的国际前沿，重点瞄准多域联合的获取与编码、数据驱动的理解与生成等方面的难点问题，从光场数据获取、光影表示基元、光场数据编码、光影模板库、场景光影生成等方面，深入开展了大规模光场数据的分析与表示研究，取得了以光场数据获取与编码、光场特征分析与理解、可视场景编辑与生成为主线的系列理论方法及其关键技术创新。例如：（1）研制了变光照多视点动态场景的光场数据获取系统，提出了基于多视点深度相机的人体运动捕捉及其表面纹理映射方法，解决了多人复杂交互条件下的无标志物运动捕捉及其表面重建问题；构造了基于矩阵填充的稀疏表示基与低秩累积矩阵，提出了纹理及深度与运动向量场之间的相似性度量、基于楔形几何划分准则的图像块搜索等方法，降低了光场图像视频编码的计算复杂度。（2）构造了描述对象光影局部对比的可计算基本单元，学习出对象光影分布的组合规律，提出了特征组合驱动的肖像光影属性模板构造方法，建立了可表示光影知识、可生成光影效果的模板库；引入可见光成像的点扩散函数及其空频原子性质，提出了基于单幅散焦图像的场景绝对深度估计方法，提高了估计精度；提出了特征驱动的光场图像场景语义解析与层次解析等方法，提高了解析准确率；提出了多域联合的多视点视频对象运动估计方法，以运动信息驱动静态三维模型。（3）提出了边缘特征保持的图像视频对象光影迁移生成方法，仅需参考一幅图像或单个视频，提高了光影生成的逼真度，并可拓展到卡通画、水彩画、油画、素描、剪纸、艺术照等风格的艺术光影生成；通过球面谐波描述未知光照条件，根据光度立体约束，求解光照表面点的法向量等几何信息，提出了未知光照条件下的多视点光度立体三维重建方法，能够在无需配置、无需标定的未知光照条件下构建精细三维模型。在本项目资助下，发表了75篇学术论文，其中：SCI(E)论文34篇；TOG、PAMI、TIP、TVCG、CVPR、MM、TCSVT、TSMC-B、PR、CVIU、CGF、DCC、ECCV等论文39篇。申请了27项中国、美国发明专利，其中已授权20项。项目组2名主要成员分别获批国家杰出青年科学基金项目。本项目部分研究成果已应用于航空航天、影视制作等行业领域。本项目部分研究成果分别是国家级和省部级科技奖励的重要组成部分