基于语义分割的印刷电路板缺陷检测方法

1.本发明涉及智能制造技术领域，具体涉及一种基于语义分割的印刷电路板缺陷检测方法。


背景技术：

2.印刷电路板(pcb)的应用正随着电子行业的发展越加广泛，相对应的对pcb的需求也越来越大。在pcb生产制造工业中，会因为工艺精度等造成pcb的缺陷瑕疵，影响产品使用。在pcb的缺陷检测环节往往投入大量人力物力，提高生产成本。随着深度学习的提出，pcb缺陷检测也变得智能化以及自动化。当深度学习网络具有足量训练样本时，可以达到很好的检测分割效果，对缺陷检测具有很大的帮助。然而在实际生产过程中，大多数情况得到的缺陷样本很少，不足以训练深度学习网络。如果使用缺陷数据来微调已有语义分割模型，可能会出现欠拟合的问题，检测精度远远达不到生产要求，这给pcb缺陷检测任务带来了很大的困难。本发明着重点在少量pcb缺陷样本前提下，学习分割缺陷的能力(小样本分割)。


技术实现要素：

3.为解决上述技术问题，本发明提供一种基于语义分割的印刷电路板缺陷检测方法。
4.为解决上述技术问题，本发明采用如下技术方案：
5.一种基于语义分割的印刷电路板缺陷检测方法，通过缺陷分割模型得到pcb查询图像的缺陷分割结果，缺陷检测方法包括以下步骤：
6.步骤一：提取pcb查询图像和pcb支持图像的视觉缺陷特征，其中pcb查询图像为不带有缺陷标签的pcb图像，pcb支持图像为具有缺陷标签的pcb图像；
7.步骤二：使用自监督内环调整低层次视觉缺陷特征的分布；
8.步骤三：使用深度非线性度量确定pcb查询图像中感兴趣的缺陷区域；
9.步骤四：使用分割解码器将pcb查询图像中感兴趣的缺陷区域细化到原始pcb图像的大小，得到缺陷分割结果。
10.进一步地，步骤一中，提取pcb查询图像和pcb支持图像的视觉缺陷特征时，具体包括以下步骤：
11.s11：将pcb图像样本划分成不带有缺陷标签的pcb查询图像和具有缺陷标签的pcb支持图像；
12.s12：利用孪生网络um计算含有缺陷的pcb查询图像和pcb支持图像的视觉缺陷特征：
13.tq＝um(yi；δm)；
14.t
p
＝um(pi；δm)；
15.式中，tq为pcb查询图像的缺陷特征，t
p
为pcb支持图像的缺陷特征，δm为孪生网络um的可学习参数；yi、pi分别为第i类pcb查询图像和第i类pcb支持图像。
16.进一步地，步骤二中，使用自监督内环调整低层次视觉缺陷特征的分布时，具体包括以下步骤：
17.s21：使用深度非线性度量un测量pcb支持图像内部缺陷特征存在的区域i
p
：i
p
＝un(t
p
，t
p
；δn)；δn表示非线性度量参数；
18.s22：使用解码器ud将区域i
p
细化为原始pcb图像大小，获得支持pcb缺陷图像掩码k
p
：k
p
＝ud(i
p
；δd)；δd表示解码器参数；
19.s23：用相应的pcb支持图像掩码计算辅助交叉熵损失loss
p
：：：为第i个pcb支持图像的缺陷像素的标签；
20.s24：获得pcb支持图像的视觉缺陷特征反向传播自监督损失计算的梯度映射，得到用于增强pcb支持图像缺陷嵌入空间中每个像素的指导
[0021][0022]
进一步地，步骤三中，使用深度非线性度量确定pcb查询图像中感兴趣的缺陷区域时，具体包括：
[0023]
s31：将上一步得到的视觉缺陷特征指导与支持pcb图像的缺陷像素标签相乘，并将结果进行聚合，得到潜在缺陷特征；
[0024]
s32：将缺陷潜在特征平铺到原始的空间尺度上，以便pcb查询图像的视觉缺陷特征的每个维度都与代表性缺陷特征对齐：
[0025][0026]
式中t代表平铺操作，pool代表池化操作；
[0027]
s33：通过关系网络比较器re，得到pcb查询图像的缺陷响应区域，即pcb查询图像中感兴趣的缺陷区域i：
[0028][0029]
进一步地，步骤四中，使用分割解码器将pcb查询图像中感兴趣的缺陷区域细化到原始pcb图像的大小时，具体包括以下步骤：
[0030]
s41：将感兴趣的缺陷区域输入分割解码器，细化并恢复至原始pcb图像的大小，以得到缺陷分割结果k以及主交叉熵损失函数lossm：
[0031]
k＝ud(i；δd)；
[0032][0033]
s42：根据之前得到的主交叉熵损失函数lossm和辅助交叉熵损失losse对缺陷分割模型进行优化训练。
[0034]
与现有技术相比，本发明的有益技术效果是：
[0035]
本发明中，特定缺陷类别的语义约束由自监督的内环提供，并用于调整缺陷潜在特征在不同事件中的分布。由此产生的辅助损失也被引入到训练过程的外环中，实现了缺陷分割模型更快的收敛速度。本发明具有面对少量缺陷样本达到较高检测速度以及精度的优点。
附图说明
[0036]
图1为本发明缺陷分割模型的结构图；
[0037]
图2为本发明自监督内环模块的示意图；
[0038]
图3为本发明深度非线性度量的示意图；
[0039]
图4为缺件类缺陷示意图；
[0040]
图5为缺件类缺陷的检测结果示意图。
具体实施方式
[0041]
下面结合附图对本发明的一种优选实施方式作详细的说明。
[0042]
本发明提出了一种基于语义分割的印刷电路板缺陷检测方法，所采用的缺陷分割模型的结构见图1。本发明使用一种自监督方案动态调整潜在缺陷类别特征的边缘分布，使用一种基于自分割任务驱动的基础缺陷特征学习器，增强了对具体缺陷类别的特征描述，提高了缺陷标签预测的性能。
[0043]
一种基于语义分割的印刷电路板缺陷检测方法，通过缺陷分割模型得到pcb查询图像的缺陷分割结果，缺陷检测方法包括以下步骤：
[0044]
步骤一：提取pcb查询图像和pcb支持图像的视觉缺陷特征，其中pcb查询图像为不带有缺陷标签的pcb图像，pcb支持图像为具有缺陷标签的pcb图像。
[0045]
步骤一，具体包括以下步骤：
[0046]
s11：将pcb图像样本划分成不带有缺陷标签的pcb查询图像和具有缺陷标签的pcb支持图像。
[0047]
s12：利用孪生网络um计算含有缺陷的pcb查询图像和pcb支持图像潜在的视觉缺陷特征：
[0048]
tq＝um(yi；δm)；
[0049]
t
p
＝um(pi；δm)；
[0050]
式中，tq为pcb查询图像的缺陷特征，t
p
为pcb支持图像的缺陷特征，δm为孪生网络um的可学习参数；yi、pi分别为第i类pcb查询图像和第i类pcb支持图像。
[0051]
步骤二：使用自监督内环(见图2)调整低层次视觉缺陷特征的分布。
[0052]
步骤二，具体包括以下步骤：
[0053]
s21：使用深度非线性度量un测量pcb支持图像内部缺陷特征存在的区域i
p
：i
p
＝un(t
p
，t
p
；δn)；δn表示非线性度量参数。
[0054]
s22：使用解码器ud将区域i
p
细化为原始pcb图像大小，获得支持pcb缺陷图像掩码k
p
：k
p
＝ud(i
p
；δd)；δd表示解码器参数。
[0055]
s23：用相应的pcb支持图像掩码计算辅助交叉熵损失loss
p
：：：为第i个pcb支持图像的缺陷像素的标签。
[0056]
s24：获得pcb支持图像的视觉缺陷特征反向传播自监督损失计算的梯度映射，用于增强pcb支持图像缺陷嵌入空间中每个像素的指导
[0057][0058]
步骤三：使用深度非线性度量确定pcb查询图像中感兴趣的缺陷区域。
[0059]
步骤三，具体包括以下步骤：
[0060]
s31：将上一步得到的视觉缺陷特征指导与支持pcb图像的缺陷像素标签相乘，并将结果进行聚合，得到潜在缺陷特征。
[0061]
s32：将缺陷潜在特征平铺到原始的空间尺度上，以便pcb查询图像的视觉缺陷特征的每个维度都与代表性缺陷特征对齐：
[0062][0063]
式中t代表平铺操作，pool代表池化操作。
[0064]
s33：通过关系网络比较器re，得到pcb查询图像的缺陷响应区域，即pcb查询图像中感兴趣的缺陷区域i：
[0065][0066]
步骤四：使用分割解码器将pcb查询图像中感兴趣的缺陷区域细化到原始pcb图像的大小，得到缺陷分割结果。
[0067]
步骤四，具体包括以下步骤：
[0068]
s41：将感兴趣的缺陷区域输入分割解码器，细化并恢复至原始pcb图像的大小，以得到缺陷分割结果k以及主交叉熵损失函数lossm：
[0069]
k＝ud(i；δd)；
[0070][0071]
步骤五，本发明根据之前得到的主交叉熵损失函数lossm和辅助交叉熵损失loss
p
对缺陷分割模型进行优化训练。
[0072]
在少量缺件类缺陷样本下，使用该方法证明其有效性。缺件类缺陷示例如图4所示，对该类缺陷检测结果见图5，可以看出模型成功分割出该缺陷，图中较亮不规则区域为模型分割结果。
[0073]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0074]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.一种基于语义分割的印刷电路板缺陷检测方法，通过缺陷分割模型得到pcb查询图像的缺陷分割结果，缺陷检测方法包括以下步骤：步骤一：提取pcb查询图像和pcb支持图像的视觉缺陷特征，其中pcb查询图像为不带有缺陷标签的pcb图像，pcb支持图像为具有缺陷标签的pcb图像；步骤二：使用自监督内环调整低层次视觉缺陷特征的分布；步骤三：使用深度非线性度量确定pcb查询图像中感兴趣的缺陷区域；步骤四：使用分割解码器将pcb查询图像中感兴趣的缺陷区域细化到原始pcb图像的大小，得到缺陷分割结果。2.根据权利要求1所述的基于语义分割的印刷电路板缺陷检测方法，其特征在于：步骤一中，提取pcb查询图像和pcb支持图像的视觉缺陷特征时，具体包括以下步骤：s11：将pcb图像样本划分成不带有缺陷标签的pcb查询图像和具有缺陷标签的pcb支持图像；s12：利用孪生网络u
m
计算含有缺陷的pcb查询图像和pcb支持图像的视觉缺陷特征：t
q
＝u
m
(y
i
；δ
m
)；t
p
＝u
m
(p
i
；δ
m
)；式中，t
q
为pcb查询图像的缺陷特征，t
p
为pcb支持图像的缺陷特征，δ
m
为孪生网络u
m
的可学习参数；y
i
、p
i
分别为第i类pcb查询图像和第i类pcb支持图像。3.根据权利要求1所述的基于语义分割的印刷电路板缺陷检测方法，其特征在于：步骤二中，使用自监督内环调整低层次视觉缺陷特征的分布时，具体包括以下步骤：s21：使用深度非线性度量u
n
测量pcb支持图像内部缺陷特征存在的区域i
p
：i
p
＝u
n
(t
p
，t
p
；δ
n
)；δ
n
表示非线性度量参数；s22：使用解码器u
d
将区域i
p
细化为原始pcb图像大小，获得支持pcb缺陷图像掩码k
p
：k
p
＝u
d
(i
p
；δ
d
)；δ
d
表示解码器参数；s23：用相应的pcb支持图像掩码计算辅助交叉熵损失loss
p
：：：为第i个pcb支持图像的缺陷像素的标签，loss
e
为交叉熵损失；s24：获得pcb支持图像的视觉缺陷特征反向传播自监督损失计算的梯度映射，得到用于增强pcb支持图像缺陷嵌入空间中每个像素的指导于增强pcb支持图像缺陷嵌入空间中每个像素的指导4.根据权利要求3所述的基于语义分割的印刷电路板缺陷检测方法，其特征在于，步骤三中，使用深度非线性度量确定pcb查询图像中感兴趣的缺陷区域时，具体包括：s31：将上一步得到的视觉缺陷特征指导与支持pcb图像的缺陷像素标签相乘，并将结果进行聚合，得到潜在缺陷特征；s32：将缺陷潜在特征平铺到原始的空间尺度上，以便pcb查询图像的视觉缺陷特征的每个维度都与代表性缺陷特征对齐：式中t代表平铺操作，pool代表池化操作；s33：通过关系网络比较器re，得到pcb查询图像的缺陷响应区域，即pcb查询图像中感
兴趣的缺陷区域i：5.根据权利要求4所述的基于语义分割的印刷电路板缺陷检测方法，其特征在于：步骤四中，使用分割解码器将pcb查询图像中感兴趣的缺陷区域细化到原始pcb图像的大小时，具体包括以下步骤：s41：将感兴趣的缺陷区域输入分割解码器，细化并恢复至原始pcb图像的大小，以得到缺陷分割结果k以及主交叉熵损失函数loss
m
：k＝u
d
(i；δ
d
)；s42：根据之前得到的主交叉熵损失函数loss
m
和辅助交叉熵损失loss
e
对缺陷分割模型进行优化训练。

技术总结
本发明涉及智能制造技术领域，公开了一种基于语义分割的印刷电路板缺陷检测方法，包括以下步骤：提取PCB查询图像和PCB支持图像的视觉缺陷特征，其中PCB查询图像为不带有缺陷标签的PCB图像，PCB支持图像为具有缺陷标签的PCB图像；使用自监督内环调整低层次视觉缺陷特征的分布；使用深度非线性度量确定PCB查询图像中感兴趣的缺陷区域；使用分割解码器将PCB查询图像中感兴趣的缺陷区域细化到原始PCB图像的大小，得到缺陷分割结果。本发明使用一种自监督方案动态调整潜在缺陷类别特征的边缘分布，使用一种基于自分割任务驱动的基础缺陷特征学习器，增强了对具体缺陷类别的特征描述，提高了缺陷标签预测的性能。提高了缺陷标签预测的性能。提高了缺陷标签预测的性能。


技术研发人员：康宇 史珂豪 柏鹏 许镇义 曹洋
受保护的技术使用者：中国科学技术大学
技术研发日：2023.06.19
技术公布日：2023/9/22