众源图片支持的室内场景理解与三维地图自动构建研究

The indoor 3D map is the basic data for the location-based applications in indoor spaces. However, in comparison with the rich outdoor map data, the indoor map data are still not very sufficient, which seriously prevents the development of the indoor applications. This proposal intends to develop a low cost, no-dependence and ubiquitous indoor 3D map construction technique for indoor applications based on the ever-increasing indoor crowdsourcing images and the 2D floor plans, which contains the following contents: the structure from motion (SfM)-based visual reconstruction of indoor scene, the deep learning-based indoor scene understanding, the automatic registration crowdsource data with indoor 2D map, and the 3D reconstruction of indoor scene models. This study can construct the elaborate and high-fidelity indoor models, while segmenting these models into independent objects, which is meaningful for the development of indoor 3D GIS systems and the promotion of efficacy of indoor location-based applications.

室内三维地图是室内位置应用的基础数据。然而，相较于丰富的室外地图数据，室内地图数据还比较匮乏，严重地制约了室内位置应用的发展。本项目拟将与日增多的动态众源图片数据与室内二维平面图结合, 在运动结构恢复视觉重建的基础上，通过基于深度学习的室内场景理解、众源数据自动地图注册及语义辅助的室内对象三维重建等手段，发展面向泛在测绘、低成本、无依赖的室内三维地图自动构建方法。在构建高真实感室内精细三维模型的同时，充分挖掘场景的语义信息，并实现室内对象的单体化表达，从而有效支撑室内三维GIS系统构建，大幅提升室内位置应用的可用性。

室内三维地图作为室内位置应用的数据基础，是构建面向位置服务的室内三维GIS系统的关键所在。然而，当前室内地图面临着数据匮乏、地图精度低、表现力不够丰富等问题，严重制约室内位置应用的发展。此外，室内三维地图具有泛在化、实时动态以及与室内定位技术等深度融合的特点，对其提出了不同于室外的构图要求。因此，研究快速低成本的室内三维地图具有重要意义。. 当前，传统的半自动建模方式处理效率低、信息不够丰富，且不具备现势性，无法满足室内环境动态变化的要求。室内移动三维测图数据采集效率高、处理自动化程度高，但一方面其直接测图成果一般为三维点云、带位姿参考的全景影像，海量数据与具体应用难以对接，另一方面高精度大规模室内移动测图，受限于室内空间的封闭性和复杂性，难以大范围作业。智能移动设备的广泛可用为室内制图提供了新的途径，急剧增加的众源数据不仅是室内制图天然的数据源，同时也和其它室内测图的空缺形成了互补。因此，有必要研究面向这种海量无空间参考数据的室内三维快速构图技术。. 项目首先从室内图像数据和二维平面图数据的互补特性出发，分析论证了基于两种数据快速构建室内三维地图的必要性和可行性。然后，围绕“基于二维平面图的室内GIS信息提取与语义路径图构建”，“众源图片支持的室内点云生成及场景理解”，“众源数据与室内地图的自动注册及三维地图构建”等三个方面展开研究，发展面向泛在测绘、低成本、无依赖的室内三维地图自动构建方法，其可在众源图片覆盖区域，生成具有空间参考的纹理图像和室内点云及高现势性的精细室内三维场景，为室内位置服务铺垫良好的地图数据基础。. 按照既定的研究计划，项目基本完成了课题设定的研究任务，实现了预期目标，并在研究的深度和广度上都比既定计划都有了进一步的扩展。在项目资助下，发表科研论文7篇，其中SCI检索6篇(中科院一区1篇，二区2篇)，另有2篇论文已投稿SCI期刊，正在审稿中。独立培养硕士研究生1名，协助培养博士研究生2名，硕士1名。