海量数据驱动的高维材质外观建模方法

High-dimensional material appearance is an important research topic in computer graphics in recent years. Material appearance fundamentally characterizes light / material interactions. Thus, high-dimensional material appearance is more and more widely used in photorealistic rendering, in order to add realism to objects/characters in feature films and computer games. However, it is tedious and costly to model material appearance from the real world, even with the help of state-of-the-art techniques. Therefore, more effort is needed in this area to provide average users with low-cost, rapid high-dimensional material appearance modeling techniques. Inspired by the fast-growing visual data on the Internet, we would like to build a large-scale, high-dimensional material appearance database, which includes a wide variety of both natural and man-made materials. We will focus on the following key research problems, including efficient collection and preprocessing of visual data on the Internet, high-dimensional material appearance modeling method from a large number of tagged photographs, theoretical analysis of real material appearance space and related applications for the large-scale material appearance database. We propose a novel large-data-driven, max-a-posteriori-based high-dimensional material appearace modeling approach as the core algorithm. We plan to address the fundamental challenges that hinder the practical application of material appearance. Our research will promote wide applications of high-dimensional material appearance in industry.

高维材质外观是计算机图形学领域近年来一个重要的研究方向。它从本质上刻画了光与材料之间的交互作用，因此越来越多地被运用到真实感绘制中，给电影和游戏中的物体赋予了逼真的材质效果。然而目前对真实世界材料的外观进行数字化建模是一件十分耗时耗力的任务，面向普通用户的低成本快速高维材质外观建模仍然是一个有待探索的领域。受互联网上相关海量数据不断快速增长的启发，本项目以构建一个海量数据驱动的、包含常用自然和人造材料的大规模高维材质外观数据库为目标，拟对互联网上材质外观相关数据的高效采集处理、基于海量图片的高维材质外观建模方法、真实材料外观空间的理论分析和大规模材质外观数据库的相关应用这几个关键科学问题开展研究，并提出海量数据驱动的基于最大后验概率估计的高维材质建模核心算法。本项目拟根本上解决阻碍真实材质外观实用化的障碍，将有力推进高维材质外观在工业界中的大规模应用。

高维材质外观是计算机图形学领域近年来一个具有挑战性的重要研究方向。相关研究在电影、游戏以及当前热门的虚拟/增强现实等领域中的有着广泛的应用前景。高维材质外观刻画了光与材质之间的交互作用，因此越来越多地被运用到真实感绘制中，赋予虚拟物体逼真的材质效果。然而目前对真实世界材质外观进行建模是相当耗时耗力的任务，极大地阻碍了真实感材质外观的大规模应用。本课题构建面向普通用户的真实感外观建模技术为目标，在基于消费级深度摄像机的材质外观建模、基于少量照片的虚拟化身外观建模、超高分辨率微观高维材质外观建模、以及基于心理感知的高效材质外观滤波处理等方向上开展了研究。并解决了非精确输入条件下的高维材质、照相机位置、环境光照和法向量的联合优化框架、稀疏照片输入下的可形变动态几何表达形式、超高分辨率高维材质采集的稳定性维护、以及不同滤波策略下的高维材质外观呈现的心理感知等科学问题。这些研究成果的完成，对于推动面向普通用户的真实感外观建模具有重要意义。本课题的研究首先针对非精确弱输入条件的特点，在图形学领域首次实现了仅仅使用单个消费级深度摄像机就可以对日常物体的几何与高维材质外观进行高精度重建；还首次构建了达到亚微米级超高分辨率的高维材质外观采集系统；同时首次揭示并量化了对高维材质外观函数进行各种不同的滤波策略后人脑对材质外观感知所受到的影响。相关研究成果发表在ACM SIGGRAPH / SIGGRAPH Asia等领域内顶级学术会议上，并通过在这些会议上的论文宣讲以及与国际同行的交流扩大了影响。这些成果还被ACM Transactions on Graphics, IEEE Transactions on Visualization and Computer Graphics, Computer Graphics Forum等领域内权威国际期刊所收录。课题组在材质外观建模方向的研究已经申请了两项专利，为进一步在工业界推广打下了基础。