基于众源影像的三维街景模型增强

Public images or crowd-sourcing images are those with geographic reference, collected by the general public using smart phones or ordinary digital cameras and shared on the Internet. They provide vast, up-to-date, and location flexible data of street views. This research will establish the basic theory and develop the methods for utilizing the public images to enhance and supplement existing street view database created usually by mobile mapping techniques. It includes: 1) geo-referencing of public images to images or models in street view database; 2) 3D building reconstruction from public images by using techniques in computer vision and photogrammetry; and 3) Repairing and replacing occluded textures in existing street view database to generate complete and seamless streetscape textures. This study will lay a theoretic foundation for wide-spreading use of public images - a free, volunteered, up-to-date data source, and promote public involvement in creation of digital city and public awareness of geographic science.

众源影像指由大众使用智能手机或普通数码相机拍摄并通过互联网共享的具有地理坐标的数字影像，其中包含大量时效性好、位置灵活的街景信息。本项目研究利用众源影像对由地面移动测量建立的三维街景模型进行补充和扩展的理论与方法。研究内容包括：1）众源影像的地理配准，即利用已有的街景数据和其它辅助信息确定众源影像的空间位置和姿态；2）众源影像的三维建模，即通过计算机视觉和摄影测量的方法对街景建筑物进行三维重建；3）基于众源影像的街景数据纹理修复，即利用众源影像修复被遮挡的街景数据并对其进行晕光处理，从而形成完整无缝的街景纹理。本项目旨在为众源影像这一新兴数据源在街景建模中的应用奠定理论基础，使街景模型的建立和更新拥有现势和开放的数据源，促进大众参与数字城市建设以及地理学科的大众化发展。

众源影像指由大众使用智能手机或普通数码相机拍摄并通过互联网共享的具有地理坐标的数字影像，其中包含大量时效性好、位置灵活的街景信息。研究利用众源影像对由地面移动测量建立的三维街景模型进行补充和扩展的理论与方法，为进一步的利用众源影像数据进行城市三维重建奠定理论基础。主要研究内容包括：众源影像的地理配准，即利用已有的街景数据和其它辅助信息确定众源影像的空间位置和姿态；众源影像的三维建模，即通过计算机视觉和摄影测量的方法对街景建筑物进行三维重建；基于众源影像的街景数据纹理修复，即利用众源影像修复被遮挡的街景数据并对其进行晕光处理，从而形成完整无缝的街景纹理。.1、分析和总结了众源影像数据的采集和获取的一般流程及方法，设计和实现了基于手机的众源影像数据采集软件LiveAPP，提出并实验了网络众源影像数据的获取方案。.2、研究了基于线特征的众源影像之间以及与其他数据源的配准方法，并实现了基于EPNP (efficient perspective-n-point)的全景影像定向方法，设计并研发了众源影像与全景影像、机载Lidar数据、众源影像与街景模型进行地理配准的工具。.3、提出了融合机载Lidar点云数据和众源影像点云数据的建筑物立面完整建模方法，利用众源影像内嵌的GPS数据和外方位元素来作为配准初始值，实现了基于多数据源的完整建筑物立面重建。.4、研究了从众源影像生成密集三维点云并用RANSAC算法进行去噪的方法，实现了基于高维滤波的局部密集立体匹配算法和多视角光束法平差了，可以解算无序众源影像的影像外方位元素。.5、研究了纹理子区域匹配照明转移的阴影去除以及基于光流和特征点匹配的半自动影像修复，基于该方法以及配准结果实验了众源影像对街景三维模型的纹理修复。.本项目探索了可显著提高城市三维模型更新现势性和准确性的数据获取新途径，使三维城市街景模型的建立和更新拥有现势和开放的数据源，为众源影像的三维建模应用奠定了理论基础，提高了大众参与数字城市建设以及地理学科的大众化发展的可能性。