基于无人机图像多维空间融合感知的桥梁检测关键技术研究

Research on the key technique of bridge inspection based on multidimensional space fusion perception of UAV image is the current research focus and frontier direction in the field of non-destructive detection. Although there are a lot of research achievements made in related fields in the domestic and foreign country, we find some key technical problems to be solved in practical application. This project intends to study the use of UAV vision system, establish an effective describing method for crack objects in 3D space, enhance the ability to distinguish different 3D object, and realize bridge defect detection and classification method based on 3D space perception and multidimensional heterogeneous data fusion in complex environment. This project is researching on achieving parametric description, automatic classification and panoramic sensing method for bridge crack feature in seamless mosaic image, and constructing a dynamic monitoring system and evaluation mechanisms for bridge crack development based on 3D vision. This project is also exploring to improve the calculation accuracy of 3D reconstruction by many aspects, such as elimination of parameters cumulative error reconstruction in the process of reconstruction from the perspective of global optimization, high-precision matching method based on 3D optical flow, dense super-resolution reconstruction based on guided local features of color image. The study of this project is expected to solve a number of technical requirements in military and civilian photoelectric system fields, such as UAV reconnaissance, 3D image guidance, bridge safety inspection, danger area exploration, which will produce significant economic value and social benefits.

基于无人机图像多维空间融合感知的桥梁检测技术是当前无损检测领域的研究热点和前沿方向，尽管国内外在此相关领域取得了很多研究成果，但是在实践应用中，我们发现还存在若干需要解决的关键技术问题。本项目拟研究采用无人机视觉系统，建立三维空间中裂缝目标的有效描述方法，增强对不同三维目标的区分能力，实现复杂环境中基于三维空间感知和多维异源数据融合的桥梁缺陷检测与分类方法。研究在无缝镶嵌图像中实现桥梁裂缝特征的参数化描述、裂缝的自动分类与全景感知方法，并构造基于三维视觉的桥梁裂缝发展动态监测体系与评价机制。探索从全局优化角度消除重建过程中的参数累积误差、高精度三维光流匹配方法、彩色图像局部特征引导的超分辨率致密重建等多方面提高三维重建精度的计算方法。通过本项目的研究有望解决无人机侦察、三维图像制导、桥梁安全检测、危险区域探测等军用和民用光电系统领域的多项技术需求，从而产生重大的经济价值和社会效益。

桥梁安全关系到人民群众生命财产的安全，做到缺陷隐患的及时、高效、精确检测，成为共和国桥梁安全的关键所在。桥梁是确保交通枢纽畅通、经济社会发展的生命线。目前我国每年都有大批桥梁由于使用年限延长、超负荷运转进入了老化期。桥梁垮塌的原因往往都是由于进入老化期后没有进行科学及时的缺陷检测，无法判断桥梁的实时安全状况，在结构受损严重的情况下仍然盲目通行所造成的。随着计算机技术的高速发展，特别是图像处理、模式识别、机器学习与计算机视觉技术的快速发展，基于计算机视觉的自动检测技术已经成为了国内外现代桥梁缺陷检测的主流方式和研究热点。.本项目主要研究基于无人机图像多维空间融合感知的桥梁检测方法，主要解决三维深度图像数据的准确匹配、融合彩色图像特征的深度图超分辨率致密重建算法、基于全景镶嵌图像的桥梁缺陷检测方法、基于三维空间深度点云与彩色图像融合的桥梁缺陷检测方法、桥梁裂缝发展动态监测与评价方法等问题。针对主流的裂缝检测算法不能很好的对桥梁裂缝图像中的裂缝进行检测的问题，本项目提出了一种基于深度学习的桥梁裂缝检测算法。首先，利用滑动窗口算法将桥梁裂缝图像切分为较小的桥梁裂缝面元图像和桥梁背景面元图像，并根据对面元图像的分析，提出了一种基于卷积神经网络的分类模型，用于桥梁背景面元和桥梁裂缝面元的识别。然后，基于分类模型结合改进的窗口滑动算法对桥梁裂缝进行检测。最后，采用图像金字塔和感兴趣区域结合的搜索策略对算法进行加速。实验结果表明，与传统算法相比，本项目算法具有更好的识别效果和更强的泛化能力。.项目团队共发表和录用论文15篇，出版专著“智能视觉感知技术”一部，授权和申报国家发明专利19项，其中国家发明专利“一种混凝土桥梁裂缝的自动检测方法和预测方法”获得超过10万元以上的企业成果应用转化。此项目的研究成果可以应用在军用和民用等多个领域，从而产生重大的经济价值和社会效益。