基于图像语义理解的场景三维恢复

The technology of three-dimensional scene recovery is one of the hot topics in the field of computer vision, using the visual image to calculate the three-dimensional model of real scene. Existing technologies of three-dimensional scene recovery generally utilize image color features and scene geometry constraints, which only adopt the limited underlying semantic. Therefore, it is difficult to recover the real scene with insufficient image texture. This project intends to fully explore how to introduce image semantic understanding into the real scene recovery. We attempt to design a novel deep learning network for image semantic segmentation to analyze the semantic information. On this basis, we aim to explore three-dimensional recovery technologies of single image, multiple images and video sequence. This project is proposed to study the automatic three-dimensional recovery of single image based on semantic understanding. Moreover, this project aims to research semantic-based image matching, and to obtain the three-dimensional recovery of multiple low-overlap images using chain registration. In addition, combining with the image semantic understanding, this project aims to explore a robust SLAM method to realize the three-dimensional dense scene reconstruction. This project explores three-dimensional recovery technology based on image semantic understanding, which would provide new ideas and foundation to improve the efficiency and robustness of scene reconstruction. With breakthroughs in deep learning methods, this project aims to promote the development of related technologies.

场景三维恢复技术利用视觉图像计算求取现实景物的三维模型表达，是计算机视觉领域的研究热点之一。现有的场景三维恢复技术往往通过图像颜色特征以及场景几何结构约束进行处理，仅利用了有限的图像底层语义，对图像纹理特征不足的场景，难以恢复理想的三维场景。本项目拟较为全面地探索将图像语义理解引入到真实场景的三维结构恢复中，设计图像语义分割深度学习网络，解析图像语义信息，在此基础上研究单幅图像、多幅图像以及视频图像序列的三维恢复技术。拟研究基于语义理解的单幅图像三维几何结构自动恢复；研究基于语义的图像匹配技术，采用多幅图像间的链式注册实现多幅低重叠度图像的三维恢复；结合图像语义理解，研究更鲁棒的同时定位与地图构建方法，实现场景的稠密三维重建。本项目探索基于图像语义理解的场景三维恢复，为提高场景重建的效率与鲁棒性提供了新的思路和基础，在深度学习方法取得突破的背景下，力争促进相关技术发展。

传统的场景三维恢复技术多数是基于颜色与几何特征的场景三维恢复方法，通常只能利用有限的图像底层语义，对图像语义理解技术的挖掘较少，在图像纹理特征提取困难的情况下存在问题，并且导致生成的模型缺乏语义理解。因此，本项目将图像语义理解引入到真实场景的三维恢复中，基于深度学习设计图像语义分割网络，解析图像语义信息，实现多幅图像的三维恢复，与SLAM算法相结合，可实时恢复视频图像序列的场景三维稠密地图。.在项目研究中，针对多幅图像或者视频图像序列展开研究，充分利用场景的低层级特征和高层级特征获得初步的语义分割结果；引入残差网络，进一步优化图像语义分割结果；结合夜晚图像的特点和白天图像场景语义信息，实现场景的三维结构自动恢复；结合图像语义分割和布局结构关键点检测方法，实现基于关键点检测的单幅图像三维结构推断方法；利用鱼眼相机大视场优势，解析其中的几何语义信息，实现室内鱼眼图像的三维场景恢复；采用多幅图像匹配技术，将多个小视场场景进行组合，实现大视场场景的三维结构恢复；对图像场景中的语义信息进行研究，补偿多幅图像叠加变换所产生的累积误差；利用多幅图像重叠区域的特征点信息，提高多幅图像匹配的精确性与鲁棒性；利用人工场景图像的重叠区域特征线信息，实现基于多幅图像匹配的链式三维结构恢复；基于场景几何语义信息，获得更为准确的三维场景稠密深度地图；联合图像语义信息高维特征，提高SLAM算法中相机跟踪、姿态估计、闭环检测等部分的准确率，实现对真实场景更鲁棒的三维恢复。.通过本项目研究，形成了语义分割、单幅图像结构恢复、多幅图像链式结构恢复及视频图像序列的三维恢复等关键技术突破，在本领域重要期刊和会议上发表相关论文14篇，其中IEEE汇刊论文3篇(含1篇ESI高被引论文)、其它SCI检索期刊论文9篇、领域专业EI检索期刊论文1篇；CCF推荐的国际会议论文4篇，其中A类会议论文1篇、B类会议论文1篇、C类会议论文2篇。相关成果还申请了发明专利10项，其中国际专利1项已授权。依托项目培养博士后1人，博士毕业生4人、硕士毕业生7人。支持项目组研究骨干参加国内外学术交流和开展国际合作交流20余人次，提高了项目关键技术的研究水平。