基于语义分割深度模型的工业场景中产品表面缺陷检测关键技术研究

Surface defect inspection of industrial products is one of the key and core technologies in product quality control. It is also a hot and difficult issue in the field of automatic optical inspection. This project aims at the technical challenges of difficult product quality detection, poor model universality and low detection efficiency in complex industrial inspection environment, especially when the product variety is diversified, the inspected object is unstructured and the inspected surface is flexible. This project intends to design a new defect inspection method based on deep neural network model. The following problems will be specifically studied: 1) Aiming at the problem of poor generality of industrial product surface defect inspection model, a general conditional random field semantic segmentation deep neural network model is designed, which can accurately quantify defect areas, and the correlation mechanism between model structure and defect characteristics is analyzed; 2) Aiming at the problem of low accuracy of model detection in complex environment, the influence of internal parameters of the model and the super-parameters introduced for compatibility with specific requirements on defect detection results is revealed, the corresponding trade-off optimization method is proposed. 3) Aiming at the problem of low detection efficiency of defect detection model, the evaluation mechanism of model weight tailoring measurement is explored, and the basis of model lightweight design is proposed. 4) An experimental platform is constructed to verify the project results qualitatively and quantitatively. The successful implementation of this project will greatly promote the development of product surface quality control technology.

工业产品表面缺陷检测是产品质量控制的关键和核心技术之一，也是自动光学检测领域的热点和难点问题。本项目针对复杂工业检测环境下，尤其是当产品种类多元化、被检对象非结构化、被检表面柔性化条件下产品质量检测难度大、模型通用性差、检出效率低的技术挑战，拟设计一种基于深度神经网络模型的缺陷检测新方法，具体研究以下问题：1）针对工业产品表面缺陷检测模型通用性差的问题，设计能准确量化缺陷区域的通用的条件随机场语义分割深度模型，分析模型结构与缺陷特征之间的关联机理；2）针对复杂环境下模型检出精度低的问题，揭示模型内部参数以及因兼容特定需求而引入的超参数对缺陷检测效果的影响规律，提出对应的权衡优化方法；3）针对缺陷检测模型检出效率不高的问题，探索模型权重剪裁度量评价机制，提出模型轻量化设计依据；4）构建实验平台，对项目成果进行定性和定量验证。本项目的成功实施，将很好地推动产品表面质量检测技术的发展。

自动光学检测是一种采用机器视觉方法进行异常判定的技术手段，在工业质量检测需求中具有广泛的应用场景并扮演着越来越重要的角色。本课题主要研究基于深度神经网络的语义分割缺陷检测方法，涉及模型的设计、模型的训练、模型超参数选择策略及影响机理、模型轻量化部署及应用等问题。本课题的研究，对于建立针对工业产品表面缺陷检测应用的条件随机场语义分割深度神经网络模型方法及探索解决样本不均衡、多尺度、小样本等问题以及设计合理的语义分割深度神经网络模型结构轻量化策略等科学问题，具有重要意义。本课题提出的理论及方法，已经在多个工业场景中进行了测试及验证。其中基于课题思想提出了一种基于卷积神经网络的多尺度语义分割算法并在半导体晶圆缺陷数据库中进行了验证，实验表明系统整体检出率mPA指标可达到93.97%，mIOU指标可达到83.58%。系统的抗噪性能、鲁棒性等均经过了验证，并且通过权重剪枝及超参数评估优化，系统计算复杂度控制在4.04×10^10，单张256*256图像推理平均时间可控制在424ms（RTX1060平台）以内。进一步，通过在光纤端面检测场景、MvTec工业质量检测等多个场景中均验证本文方法及理论的有效性。科学意义：本课题面向工业应用中产品表面缺陷检测的应用需求，建立能够量化缺陷区域的条件随机场语义分割深度神经网络模型；设计了针对小缺陷样本和多尺度缺陷形态的模型训练策略；分析了神经网络模型超参数对模型训练阶段收敛速度、测试阶段分割准确率等的影响，并进行权衡优化设计；研究了模型部署时的轻量化及加速办法，构建相应的实验平台，对项目成果进行定量和定性的实验验证。本项目的研究成果，为基于深度学习的表面缺陷检测模型设计、调优等提供新的研究思路；同时，为工业自动光学检测应用场景提供新的、实用的解决方案，推动该领域技术发展及应用落地。