单视&多视地面影像场景深度重建的统一方法研究

3D reconstruction from images, which is a significant topic of research in Photogrammetry and Geographic Information Science, has been increasingly used in various fields such as smart city, public emergencies. Scene structure cannot be correctly recovered through 3D reconstrcution methods from multi-view images, due to large baseline and self-occlusion between images. Moreover,it's difficult to recover 3D scene with few texture and only a single image. Deep Learning can automatically learning features at multiple levels from raw data, without depending completely on complicated human-crafted feature and data reconstruction. By virtue of the advantages of Deep Learning, scene structure is recovered from single and multi-view images. Superpixel segmentation is improved by considering the size, number and boundary information of superpixels. A deep learning model for semantic segmentation with incorporating spatial information is designed. Based on semantic labels, unified depth reconstruction from single and multi-view images is constructed.The study will help to enrich the technologies and methods of 3D reconstruction from images, and extend the application of 3D reconstruction.

从影像中恢复场景的三维信息作为摄影测量和地理信息科学的重要研究内容，已经越来越多地用于各个领域，如智慧城市、突发公共事件等。项目针对多视影像三维重建方法在难以正确重建场景三维结构时（如基线过大、弱纹理、遮挡、只含有单幅影像等），以单视或多视地面近景影像为数据源，借助深度学习的自动特征学习机制，系统构建单视和多视影像场景深度重建的统一方法。研究在超像素的大小、数量、边界信息等约束下，影像超像素分割的改进算法；研究融合空间先验信息和深层网络模型的图像语义分割方法；在此基础上，融合图像的语义类别信息，实现单视和多视地面影像稠密深度的统一重建，有助于丰富影像三维重建的技术与方法，并在一定程度上扩展三维重建的应用范围。

从地面影像中获取场景的三维信息一直是摄影测量和地理信息科学的重要研究内容，可服务于智慧城市、地质勘探、旅游等众多领域，有着迫切的现实需求。项目旨在提高基于地面影像三维重建的精度和可靠性，对其关键技术进行了研究和探索。对现有超像素分割算法进行分析总结，完成了影像的超像素分割；针对现有图像语义分割技术存在的局限性，考虑物体的上下文关系，结合多尺度技术和DCNN网络，设计了一种基于多尺度DCNN的图像语义分割算法，有效地提高了图像语义分割的精度；结合图像的语义类别信息，构建了样本数据集中每类物体的深度模板，并设计了一种基于CNN模型的深度模板预测，能够有效地估计图像中局部区域的相对深度变化趋势；在充分考虑场景的全局和局部结构，结合图像的语义类别和局部区域的相对深度变化信息，提出一种融合CNN和CRF的单像深度重建方法。利用图像的语义类别信息和点对CRF模型获取图像的连续深度值，采用局部区域的相对深度变化趋势获取图像局部更为详细的结构信息，并且将点对CRF模型作为CNN模型中损失层的损失函数，将CNN和点对CRF统一在一个CNN框架中，有效地提高了深度重建的精度，得到可靠的场景三维结构；以手机拍摄的单张POI照片为数据源，结合web服务（百度地图API），收集POI周边的具有地理位置的众源影像，实现基于众源影像的三维重建，解决了单张POI影像无法进行三维重建的瓶颈。