结合2D图像和3D点云数据的城市建筑物重建关键技术研究

Urban scene 3D model has a very wide application in smart city and digital entertainment, etc. Buildings modeling provided by sense of reality and accuracy geometric level is the key technique and one of difficult researches in the urban scene reconstruction. This project is to take the street view images as the research object, use sparse 3D point clounds acquired by SFM method, then combine accurate 2D and realistic 3D information to establish a urban architecture reconstruction framework. In order to finish all kinds of objects' identification and classification, we establish confluent 2D and 3D information of the high dimension characteristic matrix and trained classifier to firstly remove distraction about pedestrians and vehicles objects; With treated building image,we then extract SIFT characteristics and SIFT spatial distribution model of building image to identify the add-on objects and repetitive structure using machine learning method; According to the building's edges and the repetitive structures' distribution, complete the image segmentation with semantic meaning; Finally, accomplish the mark and the optimization of 3D point cloud datum based on the 2D intersected image and the confluent different view's 3D optimized data, to get a prototype system describing full three-dimensional reconstructed city buildings. This project's research results will provide technical support for digital city construction.

城市场景三维模型在智慧城市、环境感知等领域有着非常广泛的应用。具有真实感和几何准确性的建筑物重建是城市场景重建的关键技术和研究难点之一。本项目拟以街边图像为研究对象，用SFM方法获取场景的稀疏点云，建立结合2D和3D信息的高几何准确性和真实感的城市建筑重建框架。项目首先结合2D图像特征和3D信息建立高维特征向量集，通过训练多值分类器完成场景中各类物体的识别，消除行人、车辆等物体的干扰；针对消除干扰后的建筑图像提取各类物体SIFT特征及SIFT特征点结构图模型，通过机器学习方法完成建筑立面重复结构和外挂物的识别；提取2D图像中主要方向的边缘线段，结合重复结构的分布实现2D图像具有语义意义的分割；最后在2D图像分割的基础上，融合多视点图像和3D数据，完成三维点云数据的标记和优化，最终获取具有真实感和几何准确性的建筑物的三维描述和原型系统。项目的研究成果将为数字城市建设和机器人的导航提供技术支持

项目以街边图像为研究对象，用SFM方法获取场景稀疏点云，建立了结合2D和3D信息的高几何准确性和真实感的城市建筑重建框架。项目首先针对城市场景中的行人、车辆等物体对城市建筑物重建产生干扰的问题，研究了场景分类、行人、车辆检测和识别方法。提出了结合全局特征和局部特征的场景描述及分类方法、结合单行人和双行人DPM模型的行人检测方法及基于分步的融合时空信息的背景建模和基于加权直方图的背景建模的行人和车辆检测方法；研究了基于2D图像和3D点云数据的建筑物分类和分割方法，提出结合格式塔理论的建筑物区域提取方法、基于平面特征和马尔科夫随机场的建筑物分割和分类方法及基于少量交互的多视角建筑物不同平面区域分割算法；研究了建筑物图像中线特征的提取及利用边缘特征提取建筑物主要结构和框架结构的方法，提出了一种仿射不变的直线描述子，解决从图像中提取的直线常出现不完整、端点位置不准确等问题，在此基础上提出了基于直线和投票机制的室内框架重建方法及基于图像边缘及玻璃属性约束的窗户检测方法；研究了结合2D图像和3D数据的建筑物重建方法。提出了首先对点云 进行多平面区域的分割，然后分段重建的方法及将三维稀疏点云的多平面模型估计和无监督的二维图像分割相结合，在不借助深度图的条件下，提取完整的平面区域，分段重建三维多平面场景的方法。项目的研究成果已经应用在智能交通中的车位检测系统。