基于多特征视觉和多源信息融合的焊道识别智能方法及鲁棒性研究

Seam tracking is a key technology for welding automation. Visual sensing has been widely applied and investigated to improve the performance and intelligence of automatic welding systems. However, the current technology is limited in its ability to sense for varying conditions. Sophisticated and time-varying sensing environment requires high robustness of the seam tracking system. The diversity of welding structure and materials, as well as the specification of welding procedure, requires the adaptability of system. The development of advanced manufacturing requires further improvements in speed, accuracy and reliability. Innovations of seam tracking method are in urgent need to answer to these confronted challenges. The applied project aims at establishing a robust seam tracking method based on extraction of multi-visual feature and information fusion. Thorough research will be pursued in the following aspects: synchronized multi-visual sensing method, real-time feature extraction, adaptive selection of high-credibility-level source, temporal-spatial joint processing technique and construction of multi-level fusion model. The performance and robustness of the method will be studied through experimental applications, including: weld bead detection in multi-layer multi-pass welding, precise trajectory tracking in high energy beam welding, process control of narrow gap GMAW, automatic navigation of post-welding NDT, etc. Innovations will support and drive the development of intelligent technologies for welding automation.

焊道自动识别及跟踪控制是实现智能化焊接不可或缺的关键和前提。面临焊接结构和材料及工艺方法的多样性、焊接生产环境的复杂性和时变性、以及先进制造领域不断提出的高标准新要求等诸多挑战，现有的焊接视觉系统确难以应对，大量重要的焊接作业尚无法真正实现焊道自动识别及实时跟踪。借鉴人类思维和焊工视觉模式特点，本项目申请提出从深入挖掘不同特征视觉信息、多特征同步视觉信息融合、视觉与非视觉多源信息融合等三个途径解决复杂对象识别和时变环境鲁棒性问题的思路，拟针对多视觉同步传感、基于实时图像的多特征信息提取、置信度高信息源的适应性选择、时空域处理方法和逐层级融合决策模型的建立等方面开展深入研究，在多层多道焊缝形貌在线识别、高能束焊接细隙轨迹精确跟踪、异质合金窄间隙明弧焊接过程实时控制、焊缝无损检测的自动导引等重要应用和自动适应强干扰环境等方面取得突破，为发展智能化焊接自动识别及跟踪技术系统提供基础。

在智能化焊接过程中，结合焊道区域的多种视觉信息和非视觉特征进行综合决策，充分利用不同特征信息间的冗余性和互补性准确识别焊道位置，以实时纠正焊道轨迹偏移，自适应调整焊接过程的工艺参数，对维持焊接过程稳定性、保证焊接接头质量、提高焊接构件服役性能具有重要意义。. 针对焊道区多视觉特征在线传感和实时处理问题，本项目深入挖掘焊道区的几何形貌、纹理、光影等丰富视觉特征信息，分析了构建不同视觉特征所需的光学传感条件，实现了对应于每种特征信息的实时图像处理算法，并探讨了不同视觉特征信息在焊道轨迹识别场合的分离度特性。同时，本项目提出了“多光源交替频闪-相机同步采集”方法，通过多光源点亮时刻与相机快门间的时序一致性，同步获取焊道区的多种视觉特征信息。. 针对焊道区多视觉特征融合问题，本项目评估了不同视觉特征信息的置信度指标，研究了多视觉特征隐含有效信息的提取方法，解决了多视觉特征的筛选与合并问题，提出了在图像时域、空域等两个维度和像素级、特征级、决策级等多个层次对获取的多种视觉特征信息进行融合处理的新方法。. 针对焊道区视觉与非视觉多源信息融合问题，本项目深入分析了焊接过程的电参量、温度、光谱信息等非视觉特征在焊道自动识别场合的适用性，根据不同特征信息的置信度指标建立信息融合模型，提出了焊道区视觉与非视觉特征融合方法，旨在提高焊道自动识别结果的准确性与可靠性。. 基于上述研究成果，本项目在强镜面反射表面工件细隙焊道轨迹焊接过程实时跟踪、中厚板多层多道焊焊道轨迹智能识别、焊后焊缝无损检测过程轨迹自动导引等场合开展了深入的实验研究，结果表明，本项目提出的基于多视觉特征与多源信息融合的焊道轨迹自动识别与跟踪控制方法能克服传统基于单一特征决策方法适用性低、精度欠佳等弊端，有效提升了焊道轨迹检测结果的准确性和鲁棒性。本项目研究结果可应用于航空航天、能源装备、重型机械等领域关键焊接构件智能化焊接场合。