非参数化缺陷图像生成系统和语义驱动方法

One of the key technologies of reducing the interaction gap between human and machine is semantic technology. The vast majority of natural images are non-parametric images that cannot be depicted with a Euclidean geometric model, and it is a challenge of building a human-computer interaction system which can generate non-parametric images driven by high-level human semantics. Aiming at the theoretical and technical issues that may be encountered in the design of such a defect image generation system, the four research aspects are going to be carried out in this proposal: (1) the minor semantic lexicon design, and semantic driven approach; (2) the design of the image parsing structure; (3) structural rules formation and the randomness of the structures; (4) feature fusion rules, and the evaluation of the generated images. The objective is to propose effective analysis, design, implementation and evaluation methods for semantic-driven non-parametric defect image generation, and to realize an available semantic-driven non-parametric defect image generation system. The research results will be utilized in other related research areas including semantics, feature extraction and analysis, and image generation.

语义技术减少了人与机器交互的隔阂，成为人机交互的关键技术之一。自然图像的绝大部分属于非参数化图像，不能用欧式几何模型表达。如何根据人类的高层语义建立一种人机交互系统生成非参数化图像是当前的技术挑战。针对语义驱动的非参数化缺陷图像生成系统在设计与实现过程中可能遇到的关键理论和技术问题，本项目拟在四个方面开展研究：（1）小语义词汇库设计,语义驱动方法；（2）图像解译图结构设计；（3）结构规则的形成及其结构随机性表现；（4）特征融合规则研究和生成图像的评估。研究目标是提出有效的非参数化缺陷图像生成与语义驱动的分析、设计、实现、评估方法，最终实现一个可用的非参数化缺陷图像语义驱动生成系统。研究成果可应用于语义、特征提取与分析、图像生成等相关的研究领域。

缺陷样本在缺陷自动检测、算法设计和测试过程中占有重要地位。尽管自然缺陷形状和尺寸千变万化，但用非参数化方法可能实现缺陷的生成。本项目研究缺陷的语言特征和缺陷的图像特征之间的关系，发现缺陷形式上的非参数化特性，适合通过一定语义范围进行语言定义，因此可以按不同缺陷类型建立小语义词汇库，并将词汇库中的语义按有参照性的形态参数经过比例处理后参数化，进行语义参数匹配，驱动生成符合语义描述的缺陷。非参数化缺陷生成方法基于具体缺陷的图像解译图结构设计，通过对缺陷骨架的结构做出分析，选取一些满足一些条件的特定位置上的点作为骨架的关节点。提出了通过Perlin自然性噪声来模拟和生成疏松缺陷图样，量化生成的缺陷图样的形状特征，建立了形状特征数据库，实现了具有一定随机性的参数化的海绵状疏松和条孔疏松缺陷图样生成算法。分析了枝状缩松缺陷的灰度分布、梯度分布和几何外观结构等视觉特征。结合上述缺陷形成的物理过程和对图像的统计以及解译分析，提出了以骨架表达缺陷的几何结构信息，并建立了分层模板枝状缩松缺陷的时空模型，实现了该类缺陷的图像仿真。还建立了特征融合规则，利用缺陷检测算法对真实缺陷及模拟缺陷进行检测并给出客观的评价。