基于光度立体的精密板带表面微小缺陷在线检测方法

Surface defects are one of the most important factors for quality of metal sheets. Gray level information is commonly used to detect defects by off-the-shelf surface inspection systems, and only defects with size larger than 0.3 mm can be detected. However defects can be distinguished by naked eyes are not allowed on the surface of precision metal sheets, and the size is about 0.1 mm. A tiny defect is represented as 3D feature variation of metal surfaces, so 3D features can be used to detect defects to increase detection rate of tiny defects. Application of photometric stereo to 3D detection of metal surface has advantages of high resolution an high speed. In the project, photometric stereo is introduced as a method of recovering 3D data of metal surfaces. Combined with gray level images obtained by traditional ways, online detection of tiny defects for precision metal sheets are implemented with information fusion of depth and gray levels. Main research contents of the project include surface reflection models of metal strips, optimized design of optical path, recovery of 3D data and feature extraction, information fusion and classification of defects, and so on. A system prototype will be developed at the laboratory, and applied to production lines of automobile steel sheets and aluminum sheets finally. A reliable way of 3D surface inspection of metal sheets will be provided, and of great importance in improving surface quality of metal sheets and ensuring economic benefits of the enterprises.

表面缺陷是影响金属板带质量的重要因素，现有的表面检测系统主要采用灰度图像检测方法，可检测缺陷的最小尺寸一般在0.3 mm以上，而精密板带表面不允许存在肉眼可分辨的缺陷，其尺寸约为0.1 mm。微小缺陷表现为表面三维形貌发生变化，因此通过表面三维形貌检测缺陷可提高微小缺陷的检出能力。光度立体是一种三维形状恢复技术，具有分辨率高、速度快等优势，本项目拟以光度立体法为表面三维数据获取手段，结合传统灰度图像检测方法，通过深度信息与灰度信息的融合，在不增加检测分辨率的条件下实现精密板带表面微小缺陷的在线检测。重点研究金属板带表面反射模型、检测光路优化设计、表面三维数据恢复算法及特征提取方法、灰度与深度信息融合及缺陷识别算法等内容，在实验室内搭建系统原型，并最终应用于汽车板、铝带等精密板带生产线。项目将为表面缺陷三维检测提供了一条可靠途径，对于提高金属板带表面质量，保障企业经济效益具有重要意义。

表面缺陷是影响金属板带质量的重要因素，对于汽车钢、铝带等精密板带表面产品，表面不允许存在肉眼可见的，即尺寸在0.1mm左右的缺陷。本项目针对在线应用的金属板带表面检测系统微小缺陷检测能力不足、缺陷识别准确率低等问题，提出多光源图像采集方案，并将深度学习算法应用于表面缺陷在线检测与识别，提高了表面缺陷的检出能力和缺陷识别准确率。项目的主要研究内容与成果如下：.（1）设计了一种“点光源阵列”型光源。该光源在扁平的线形空间中形成相互平行且具有一定角度的照明光束，便于凹凸缺陷形成明显的阴影边缘特征。实验表明，该光源对微小划伤缺陷，特别是平行于金属运动方向的划伤缺陷的检测具有明显的增益效果，可以检测到宽度为0.1mm的划伤缺陷。.（2）设计了红、绿、蓝三色光源检测系统，基于先验知识，对光度立体三维重建算法进行了优化。提出了一种新的自适应多尺度几何分析方法——RNAMlet变换，通过对图像进行自适应的分块处理实现自动调节算法的复杂程度，可以检测金属板带的最高运行速度为300 m/min，满足在线检测的要求。.（3）将深度学习算法应用于表面缺陷在线检测与识别，开发了基于分类优先网络的缺陷检测算法、基于对抗生成网络的半监督样本学习方法以及基于长短期记忆网络的周期性缺陷识别算法，解决了深度学习方法应用于表面缺陷检测领域存在的缺陷定位精度不够、有标签样本需求量大以及周期性缺陷难以检测等问题，对生产线上常见表面缺陷的识别率达90%以上。.项目成果在太钢、马钢、酒钢、张浦、台湾尚承、西南铝业等15条生产线上在线应用，其中在太钢2250、马钢CSP、酒钢炉卷轧机等生产线上的应用替代了生产线上原有国外进口系统，为企业创造了巨大的经济效益，获得2020年度冶金科学技术一等奖。本项目为深度学习方法在工业领域的应用提供了典型案例，对于提高金属板带产品的质量，提升企业核心竞争力和品牌效应，推动我国制造业的转型升级具有重要意义。