基于互联网照片集的室外静态场景建模技术研究

目前互联网上有海量的室外静态场景照片，它们内容覆盖面广并且容易获取。如何利用这些照片，快速、方便地构造各种逼真的虚拟场景是互联网的迅猛发展给虚拟现实带来的新的研究课题之一。本项目针对同一真实场景的互联网照片数量大，光照条件、视点变化大的特点，研究基于互联网照片集构造室外静态虚拟场景的理论、方法和关键技术，主要包括：场景三维几何建模，研究结合多视角立体与光度立体方法构造精细三维几何模型的方法；自然光照建模，研究可以描述室外自然光照随时间、天气变化，且适于利用场景外观数据求解的光照模型；光照模型和物体表面反射属性模型求解，研究利用基材质库与小波、球面调和等基函数表达材质反射属性模型以进行降维的方法，研究利用同一场景在不同照片中外观变化，迭代优化求解材质反射属性与拍摄时光照条件的方法。研究成果在文化遗产数字化保护、数字化城市、数字娱乐与游戏等领域有重要的应用价值。

本项目围绕基于互联网图像集的室外静态场景建模技术开展研究工作，研究成果如下：(1)研究了基于单张互联网图像的建筑三维建模，提出了基于单幅图像的建筑规则和三维组件生成方法；研究了基于图纸的中国古建三维建模，提出了从图纸中识别、提取、生成中国古代建筑规则的方法。定义了生成建筑规则的ASG（Architectural Shape Grammar）规则语法，研制了从ASG 规则生成建筑模型的编译器，可根据建筑规则生成三维模型。(2)研究了同一场景不同视角的互联网图像集的几何建模和反射属性建模。提出了一种渐进式的从运动恢复结构方法和区域生长方法，可快速构造三维场景。基于各向同性基材质库和三重小波积积分绘制框架，实现了基于互联网照片集同时构造物体表面反射属性及环境光照模型的算法。(3)研究了室外自然光照建模，提出了一种将自然光照分为天空光照与太阳光照，并将其在一天内的变化分别用二维与三维基函数表达的方法；在自然光照模型基础上，研究了针对同一视角、不同光照下多张图像的精细几何建模方法，提出一种迭代优化阴影区域分割、迭代拟合场景在天空光照下与在日光直射下亮度与颜色的方法，求解出场景表面逐像素的法向量；(4)研究了物体表面反射属性建模、模型库构造。提出一种基于拉普拉斯角插值与Nystrom核矩阵重建方法的双向反射分布函数(BRDF， Bidirectional Reflectance Distribution Function)建模、编辑方法。实现基于逆向绘制的数据驱动反射属性建模方法。设计和构造了物体表面材质反射属性模型库。利用这些研究成果，我们研制了虚实融合的航空发动机拆装维护应用系统，虚实融合的外科手术系统。在国内外重要学术期刊和会议上发表论文18篇，其中SCI检索5篇，EI检索14篇。本项目负责人获2013年度教育部技术发明一等奖1项(排名第4)；中国发明专利授权6项，中国发明专利受理11项。