图像语义与中、低层特征柔性融合的城市建筑物三维重建研究

The research of 3D building reconstruction based on images is important of scientific significance in virtual city construction, and has many practical applications, such as urban planning, digital map, intelligence surveillance, and emergency management and simulation in urban areas. However, the traditional backstepping methods form images to spatial structure are difficult to achieve the correct and complete results without any guidance of high-level image semantic, and the current methods of rigidly jointing semantic with middle-lower level are easy to lead to accurate deteriorated due to inaccurate semantic detection. In this project, the soft joint semantic with mid-low level features is adopted as the research method, and structure from motion (SFM) is built by combination semantics with point features, and then the modeling formalisms of the semantic constraint and the feedback between multi-level features are studied. The project aims to, on one hand, take advantage of semantic invariance across multi-views images and guidance for reconstruction to improve incomplete model due to the mid-low level features are sensitive to illumination changes, on the other hand take advantage of mid-low level features locate accurate and descript convenience to relieve inaccurate reconstruction resulted by inaccurate semantic detection. The research results can lay the foundation to further improve the quality of reconstruction.

基于图像的建筑物三维重建研究对于虚拟城市的建设具有重要的科学意义，它在城市规划、智能监控等方面都有重要的实用价值。传统由图像反推空间结构的自底向上的重建方法，由于缺乏图像高层语义的指导，很难实现正确完整的重建；而目前的语义与中、低层特征刚性连接的方法容易因语义识别的不准确而反致重建准确度下降。本项目以语义与中、低层特征的柔性融合为研究手段，首先通过语义与点特征相结合的SFM (Structure From Motion)估计相机参数与场景稀疏结构，再在此基础上，研究场景语义约束的建筑物建模、多层特征信息互反馈的建筑物局部结构建模。课题的研究利用语义在多视图间的不变性、对重建过程的指导性等优点，改善中、低层特征易受光照变化等因素影响而导致的空间形状重建不完整问题；反之，利用中、低层特征定位准确、描述方便的优点，弥补语义检测的低精度导致的重建不准确问题，为进一步提高三维重建质量的研究奠定基础。

基于图像的三维重建研究对于虚拟城市的建设具有重要的科学意义，它在城市规划、智能监控等方面都有重要的实用价值。随着深度学习技术的飞速发展，传统由图像反推空间结构的自底向上的重建方法，由于缺乏图像高层语义的指导，很难实现正确完整的重建。本项目基于多视点图像和单视点图像的场景三维重建进行了如下研究：1）对多视点图像的一致性目标分割进行了研究，并基于深度学习技术的图像分割网络进行了模型压缩研究；2）针对室外开放大场景的指定目标重建进行了研究。该项研究通过对少量的SFM点建立目标/背景的分类模型，再从MVS稠密点云中识别目标来实现目标重建；3）研究了基于单幅RGB建筑物室内场景图像的分段平面三维重建。将压缩-激励模块和空间注意力机制融入卷积神经网络（CNN），实现特征通道间的相互依赖性的建模，并且自适应校准通道间的特征响应，改善了待重建目标物体的细节及分割图质量不佳的问题；4）联合注意力和多尺度融合的深度学习网络模型，对单幅图像建筑物室外场景的分段平面重建进行了研究。本项研究对CNN提取到的高级特征进行带空洞的深度可分离卷积的空间金字塔池化（DASPP）处理，并加入多分辨率特征融合的双注意力机制，提高了网络的特征学习能力以及对有用信息的获取能力。该项研究能更好的解决平面深度预测精度低、平面分割不完整、相似纹理分割不准确等问题，同时具有计算速度快可达到实时性的优点。5）研究了图像去噪声的预处理技术。提出了新的非局部均值滤波算法，该算法将 Turky型函数与指数型相结合，得到一种新的指数-Turky型权值核函数替代原NLM算法和FNLM算法中的指数型核函数，同时综合了结构相似性和欧氏距离来衡量图像邻域间的相似性，从而使得权值的选取更加合理，有效排除图像中不相似邻域的干扰，提高了算法的去噪性能。本项目的成功实施为有效提高三维重建质量提供新的途径，为探索基于图像恢复场景三维模型提供了新的思路。