基于灰度和缺陷特征感知的焊接缺陷检测方法与流程

1.本发明属于焊接缺陷检测技术领域，具体是一种基于灰度和缺陷特征感知的焊接缺陷检测方法，可用于工业领域中各种焊接结构的缺陷检测。


背景技术：

2.焊接工艺由于具有连接性好、焊接结构刚度大、整体性好以及适应性广等优点，广泛应用于压力容器、汽车、机器人、船舶等结构复杂和需要对钢材进行大量连接的设备上。对于高端制造业所需的结构复杂、质量要求较高的设备，因其具有高价值、高强度、高参数的特点，对焊接结构的质量也具有更高要求。由于焊接环境和各种各样因素的影响，焊接过程中不可避免地会产生包括条形、圆形、线性等在内的缺陷，这些缺陷会影响焊接质量，进而影响设备质量。因此，为了保证焊接产品的质量，对焊接缺陷进行检测是非常必要的。
3.目前，焊接缺陷检测一般采用无损检测技术，x射线检测作为最常用的、最直观的无损检测技术，可有效发现焊接结构的内部缺陷，保障焊接结构的安全性和可靠性。x射线无损检测技术主要是基于x射线穿透焊接产品的密度和厚度不同，利用不同灰度图像特征检测焊接结构的内部缺陷。随着机器学习技术的发展，基于深度学习的目标检测技术为焊接缺陷检测开拓了新视野。相较于传统的焊接缺陷检测技术，基于深度学习的焊接缺陷检测能够自动提取缺陷的复杂特征，从而减少了人工提取特征过程中人为主观因素的影响，提高了焊接缺陷的检测精度和客观性。此外，基于深度学习的焊接缺陷检测技术还可有效降低企业在质检环节的人力成本和时间成本，实现焊接缺陷的自动化检测。
4.不同类型的焊接缺陷其形状存在较大差异，例如未焊透缺陷和未熔合缺陷是非常扁平的，属于病态长宽比缺陷，常规的检测模型容易将这种病态长宽比缺陷分割为几部分，难以准确定位和检测这些缺陷。此外，在同一张x射线焊接图像中，由于缺陷所在部位的金属密度不同，故焊接图像中缺陷与非缺陷区域的明暗度也会不同，这些明暗度差异为焊接缺陷检测提供了丰富的灰度信息，有利于缺陷定位和分类。为此，本技术提出了一种基于灰度和缺陷特征感知的焊接缺陷检测方法，充分利用灰度信息提取缺陷特征，同时提高对于病态长宽比缺陷的检测能力。


技术实现要素：

5.针对现有技术的不足，本发明拟解决的技术问题是，提出一种基于灰度和缺陷特征感知焊接缺陷检测方法。
6.本发明解决所述技术问题采用的技术方案如下：
7.一种基于灰度和缺陷特征感知的焊接缺陷检测方法，其特征在于，该方法使用的焊接缺陷检测模型包括基于灰度注意力的darknet53网络、基于形状感知的特征金字塔网络以及中心感知检测头；基于灰度注意力的darknet53网络是在darknet53网络的相邻两个卷积阶段之间嵌入一个灰度注意力模块得到的，焊接缺陷图像输入到基于灰度注意力的darknet53网络中进行特征提取，在特征提取过程中利用灰度注意力模块关注图像的灰度
信息，增强缺陷特征的表达能力；将基于灰度注意力的darknet53网络第三～五卷积阶段提取的特征图c3～c5输入到基于形状感知的特征金字塔网络中进行特征融合，基于形状感知的特征金字塔网络采用膨胀卷积和纹理增强的方式提高模型对病态长宽比缺陷的检测能力和精度，得到特征图t2～t5；将特征图t2～t5输入到中心感知检测头中进行预测，对缺陷进行分类和定位；
8.灰度注意力模块的输入特征图x经过卷积、归一化和激活操作，得到特征图u；特征图u经过卷积、归一化和激活操作，得到特征图k；特征图k经过全局平均池化得到各个通道描述符，各个通道描述符经过特征提取得到各个通道阈值；将通道描述符与通道阈值相乘，得到阈值化的通道描述符，并根据阈值化的通道描述符对特征图k进行二值化；同时，特征图k经过全局平均池化和特征提取得到各个通道的权重，将二值化的特征图与各个通道的权重相乘后，再与输入特征图x拼接，得到灰度注意力模块的输出特征图。
9.进一步的，特征图c5输入到基于形状感知的特征金字塔网络即为特征图h5，特征图h5与c4融合得到特征图h4，特征图h4与c3融合得到特征图h3，特征图h3即为特征图p3；特征图p3与c3融合得到特征图p4，特征图p4与c4进行融合得到特征图p5；同时，将特征图h3输入到多尺度膨胀卷积模块，在多尺度膨胀卷积模块中特征图h3经过预处理后分别进入到三个并行的膨胀卷积分支，三个膨胀卷积分支的输出特征图经过后处理得到特征图m3；每个膨胀卷积分支包括四个连续的空洞残差单元，输入到空洞残差单元中的特征图依次经过1
×
1卷积、膨胀卷积以及使用1
×
1卷积后，再与空洞残差单元的输入特征图拼接，得到空洞残差单元的输出特征图；
10.将特征图p3～p5以及m3输入到纹理特征增强模块中进行纹理增强，纹理特征增强模块采用四个子模块并行处理不同层级的特征图，每个子模块包括cpre模块、canny算子以及cpost模块，cpre模块包括连续的1
×
1卷积、3
×
3卷积以及激活操作，cpre模块得到的特征图输入到canny算子中生成纹理热图；将纹理热图与子模块的输入特征图拼接后，再经过cpost模块，完成纹理增强；cpost模块包括卷积和relu激活操作。
11.进一步的，多尺度膨胀卷积模块三个膨胀卷积分支的膨胀卷积大小分别为1
×
3、2
×
3、3
×
3。
12.进一步的，在中心感知检测头中，在特征图的每个像素点处均生成一个预测框，利用式(6)计算各个预测框的中心度；
[0013][0014]
其中，θ表示预测框的中心度，l、t、r、b分别为像素点到预测框左、上、右、下四个边界的距离；
[0015]
根据中心度对预测框进行偏移处理，偏移后的预测框表示为：
[0016]
priors
*
＝cat(priors,1.5
×
priors
×
(1-sigmoid(θ)))
ꢀꢀ
(8)
[0017]
其中，priors、priors
*
分别表示偏移前、后的预测框，cat(
·
)表示拼接操作，sigmoid(
·
)表示sigmoid激活函数；
[0018]
根据缺陷类别信息，利用式(9)计算标签得分lable_score；将标签得分作为偏移量，并利用式(10)计算真实框的中心区域；
[0019]
lable_score＝sigmoid(gt_lables/gt_nums)+k
ꢀꢀ
(9)
[0020][0021]
其中，gt_lables表示数值化的缺陷类别，gt_nums表示缺陷类别数目，k为常数，l
*
、t
*
、r
*
、b
*
分别表示真实框中心到左、上、右、下四个边界的距离；
[0022]
将偏移后的预测框位于真实框内部以及位于真实框中心区域内的区域取交集，得到正样本候选区域，利用式(12)和(13)分别计算正样本候选区域与对应真实框的交并比i
gt
以及真实框的代价值cost；
[0023]igt
＝iou(q,gt)
ꢀꢀ
(12)
[0024]
cost＝cls_loss+λ
·
iou_loss+100000
·
(-q)
ꢀꢀ
(13)
[0025]
其中，q表示正样本候选区域，gt表示真实框，iou(
·
)表示计算交并比，cls_loss、iou_loss分别表示预测框的分类损失和定位损失，λ为定位损失平衡系数；
[0026]
从真实框对应的预测框集合中选取交并比大的多个预测框，并从选取的多个预测框中选取代价值小的多个预测框作为真实框的正样本，其余为负样本，完成正负样本分配；将正、负样本输入到检测头中进行分类和定位。
[0027]
进一步的，像素点到预测框四个边界的距离根据式(7)计算；
[0028][0029]
其中，(x,y)为像素点的位置坐标，[x
min
,y
min
,x
max
,y
max
]为像素点对应的真实框，x
min
、x
max
分别为真实框横坐标的最小值和最大值，y
min
、y
max
分别真实框纵坐标的最小值和最大值。
[0030]
进一步的，在灰度注意力模块中，特征提取包括依次连接的全连接层、归一化层、relu激活层、全连接层以及sigmoid激活层。
[0031]
与现有技术相比，本发明的有益效果是：
[0032]
1.在同一张焊接图像中，由于缺陷所在部位的金属密度不同，故在焊接图像中缺陷和非缺陷区域的明暗度也会不同，而这些明暗度差异提供了丰富的灰度信息，本发明为了充分利用图像中的灰度信息，提出了灰度注意力模块，灰度注意力模块使网络聚焦于图像的灰度信息，针对每个通道学习出一个阈值，采用多阈值的方式来获取不同阈值下的缺陷特征信息，并抑制无效特征。灰度注意力模块利用不同焊接缺陷灰度特征不同，突出缺陷特征的灰度差异，从而更容易检测出缺陷。
[0033]
2.为了提高模型对病态长宽比焊接缺陷的检测能力，提出基于形状感知的特征金字塔网络，此网络在传统fpn+pan模块的基础上，增加多尺度膨胀卷积模块和纹理特征增强模块，可以有效捕获病态长宽比缺陷的特征，避免病态长宽比缺陷被分割为几部分；fpn+pan模块在fpn基础上增加了自底向上的特征金字塔，以获取底层的强定位信息；多尺度膨胀卷积模块采用多个尺度的膨胀卷积来捕获不同尺度下的病态长宽比缺陷特征；纹理特征
增强模块通过cnn网络和边缘检测算子突出缺陷的纹理信息，三个模块组成级联结构，用于增强病态长宽比缺陷的特征并提取缺陷的纹理信息。
[0034]
3.在焊接缺陷中，小尺度缺陷居多，因此数据集中小尺度缺陷的样本较多，而大尺度缺陷的样本较少，为了缓解缺陷类间尺寸差异过大的问题，中心感知检测头通过引入中心度和缺陷的类别信息对预测框进行偏移处理，不同尺寸的缺陷采用不同的分配策略，完成正负样本的匹配；此外引入中心损失来抑制远离真实框中心的低质量预测框，以提高缺陷检测的精度。
附图说明
[0035]
图1为本发明的整体流程图；
[0036]
图2为本发明的焊接缺陷检测模型的结构示意图；
[0037]
图3为本发明的灰度注意力模块的结构示意图；
[0038]
图4为本发明的基于形状感知的特征金字塔网络的结构示意图；
[0039]
图5为本发明的多尺度膨胀卷积模块的结构示意图；
[0040]
图6为本发明的纹理特征增强模块的结构示意图；
[0041]
图7(a)为基线模型检测圆形缺陷的测试结果图；
[0042]
图7(b)为基线模型与本发明的灰度注意力模块构成的检测模型检测圆形缺陷的测试结果图；
[0043]
图8为基线模型和基线模型与多尺度膨胀卷积模块构成的检测模型检测条形缺陷的测试结果图；
[0044]
图9(a)为条形缺陷的真实框；
[0045]
图9(b)为基线模型检测条形缺陷的可视化热图；
[0046]
图9(c)为基线模型与多尺度膨胀卷积模块构成的检测模型检测条形缺陷的可视化热图；
[0047]
图9(d)为基线模型与纹理特征增强模块构成的检测模型检测条形缺陷可视化热图。
具体实施方式
[0048]
下面结合附图和具体实施方式对本发明的技术方案进行详细说明，并不以此限定本技术的保护范围。
[0049]
本发明为一种基于灰度和缺陷特征感知的焊接缺陷检测方法(简称方法，参见图1-9)，包括如下步骤：
[0050]
第一步、获取带有obb(oriented bounding boxes)标注的x射线焊接缺陷图像，构建数据集；
[0051]
第二步、以深度学习网络为基础，构建焊接缺陷检测模型；如图2所示，焊接缺陷检测模型包括三部分，分别为基于灰度注意力的darknet53(grayscale attention module darknet53，gam-darknet53)网络、基于形状感知的特征金字塔网络(shape perception based feature image pyramids networks，s-fpn)以及中心感知检测头(center perception based detection head，c-head)；x射线焊接缺陷图像输入到基于灰度注意力
的darknet53网络中提取多尺度特征图，将gam-darknet53网络第三～五卷积阶段提取的特征图c3～c5输入到s-fpn网络中进行特征融合，得到特征图t2～t5；将特征图t2～t5输入到中心感知检测头中进行预测，对缺陷进行分类和定位。
[0052]
darknet53网络分为五个卷积阶段，在darknet53网络的相邻两个卷积阶段之间均嵌入一个灰度注意力模块(grayscale attention module，gam)，得到基于灰度注意力的darknet53网络；如图3所示，灰度注意力模块的输入特征图x经过卷积、归一化和激活操作，得到特征图u；特征图u经过卷积、归一化和激活操作，得到特征图k；特征图k进入到一个阈值学习模块中，学习每个通道的阈值；阈值学习模块包括全局平均池化(gap)和特征提取操作，特征图k经过全局平均池化操作生成各个通道的描述符，各个通道描述符分别通过特征提取操作捕获通道之间的联系，得到各个通道的阈值；在特征提取操作中，通道描述符经过全连接层(fc)、归一化层(bn)、relu激活层和全连接层得到的特征图再经过sigmoid激活层，得到通道阈值，其表达式为：
[0053]
s＝f
ex
(z,w)＝σ(w2δ(bn(w1z)))
ꢀꢀ
(1)
[0054]
式中，s表示通道阈值，f
ex
(
·
)表示特征提取操作，z表示通道描述符，w表示权重矩阵，w1、w2表示两个全连接层的权重矩阵，bn(
·
)表示归一化操作，δ表示relu激活函数，σ表示sigmoid激活函数；
[0055]
将通道描述符与对应通道的阈值相乘，得到阈值化的通道描述符，表达式为：
[0056]
s＝ε(z,s)
ꢀꢀ
(2)
[0057]
式中，ε(
·
)表示通道描述符与对应通道阈值相乘操作，s表示阈值化的通道描述符；
[0058]
根据阈值化的通道描述符对特征图k进行二值化操作，得到二值化特征图b；二值化操作表示为：
[0059][0060]
式中，υ(
·
)表示二值化操作，二值化操作的具体含义为：若k＞s，即特征图k某个像素点的灰度值大于阈值化的通道描述符s，则该像素点的灰度值取特征图k的最大灰度值max(k)，否则取最小灰度值min(k)；
[0061]
特征图k同时进入到另一个阈值学习模块中，根据通道所含灰度信息重要程度的不同，学习每个通道的权重；将二值化特征图与各个通道权重相乘，得到加权后的二值化特征图u
*
，表示为：
[0062]u*
＝ω(f
ex
,b)＝f
ex
(z,w)
·
b＝s
*bꢀꢀ
(4)
[0063]
其中，ω表示二值化特征图与对应通道权重相乘，s
*
表示通道权重；
[0064]
将加权后的二值化特征图与灰度注意力模块的输入特征图x进行拼接，完成二值化特征融合过程，得到灰度注意力模块的输出特征图；
[0065][0066]
其中，表示拼接操作，x
*
表示灰度注意力模块的输出特征图。
[0067]
如图4所示，将gam-darknet53网络第三～五卷积阶段提取的特征图c3～c5输入到s-fpn网络中进行特征融合，特征图c5输入到s-fpn网络中即为特征图h5；将特征图h5与c4
进行融合，得到特征图h4；将特征图h4与c3进行融合，得到特征图h3；特征图h3即为特征图p3，将特征图p3与c3进行融合，得到特征图p4；将特征图p4与c4进行融合，得到特征图p5；特征图h3同时输入到多尺度膨胀卷积(msld)模块中进行融合，得到特征图m3；然后将特征图p3～p5以及m3输入到纹理特征增强(tfem)模块中进行纹理增强，得到特征图t2～t5，特征图t2～t5即为s-fpn网络的输出特征图；
[0068]
如图5所示，多尺度膨胀卷积模块通过多次扩张卷积核大小，使网络专注于缺陷的形状特征，从而提高网络对于病态长宽比缺陷的检测能力；特征图h3经过1
×
1卷积减少通道数目和3
×
3卷积精炼语义信息进行预处理(prejector)，得到预处理的特征图；预处理的特征图分别输入到三个并行的膨胀卷积分支中，每个膨胀卷积分支包括4个连续的空洞残差单元(dilated encoder,de)，这四个空洞残差单元的膨胀卷积核的膨胀比例不同，可以在保证特征图尺寸不变的情况下获取更大感受野的特征，避免普通卷积下采样造成的信息损失，并且扁平式的膨胀卷积核能够更好地提取未焊透缺陷和未熔合缺陷等中病态长宽比的缺陷；空洞残差单元首先使用1
×
1卷积降维以减少参数运算量，然后采用i
×
3的膨胀卷积，最后使用1
×
1卷积将维度恢复，恢复维度的特征图与空洞残差单元的输入特征图拼接，得到空洞残差单元的输出特征图；为了获取多种尺度的病态长宽比缺陷的特征，三个膨胀卷积分支中i取值分别为1、2、3，因此三个膨胀卷积分支的膨胀卷积大小分别为1
×
3、2
×
3、3
×
3，这样采用不同尺度的卷积核分别获取不同尺度的病态长宽比缺陷的特征；三个膨胀卷积分支的输出特征图经过后处理(postjector)，得到多尺度膨胀卷积模块的输出特征图m3；后处理包括拼接、卷积和激活三个操作；
[0069]
纹理特征增强模块通过对缺陷区域进行纹理特征增强，提升网络对于缺陷纹理信息的感知能力，从而有助于提高缺陷检测的准确性；特征图p3～p5以及m3输入到纹理特征增强模块中进行特征增强，得到特征图t2～t5，即s-fpn网络的输出特征图；如图6所示，纹理特征增强模块采用四个子模块并行处理不同层级的特征图；每个子模块均包括cpre模块、canny算子以及cpost模块，其中，cpre模块包括连续的1
×
1卷积、3
×
3卷积以及激活操作，目的是为了减少通道数目以及精炼语义信息；cpre模块得到的特征图输入到canny算子中获取特征图的纹理信息，canny算子首先经过高斯滤波平滑噪声，然后计算特征图中像素点的梯度和梯度方向并使用极大值抑制消除边缘检测带来的杂散效应，最后通过双阈值检测和抑制弱边缘完成边缘检测，生成纹理热图；将纹理热图与该子模块的输入特征图进行拼接，拼接得到的特征图经过cpost模块的处理，完成纹理增强，得到子模块的输出特征图；cpost模块包括卷积和relu激活操作。
[0070]
第三步、获取训练样本，利用训练样本对焊接缺陷检测模型进行训练，将训练后的焊接缺陷检测模型用于焊接缺陷检测；
[0071]
针对缺陷类间尺寸存在差异的特点，改进样本分配策略，对于不同尺寸的缺陷采取不同的分配策略，使模型更加适配不同尺寸的焊接缺陷；同时，引入中心损失抑制距离真实框中心较远的低质量预测框，降低远离真实框中心的预测框的权重。首先在特征图的每个像素点处均生成一个预测框，并通过式(6)计算各个预测框的中心度，再根据预测框的中心度对预测框进行偏移处理，预测框的中心度越接近于1，则越不需要进行偏移，而中心度越接近0，则需要对预测框进行偏移，偏移后的预测框参见式(8)；
[0072][0073]
其中，θ表示预测框的中心度，l、t、r、b分别为像素点到预测框左、上、右、下四个边界的距离；若位置坐标为(x,y)的像素点对应的真实框为gt＝[x
min
,y
min
,x
max
,y
max
]，x
min
、x
max
分别为真实框横坐标的最小值和最大值，y
min
、y
max
分别真实框纵坐标的最小值和最大值，则像素点到预测框四个边界的距离可由式(7)计算；
[0074][0075]
priors
*
＝cat(priors,1.5
×
priors
×
(1-sigmoid(θ)))
ꢀꢀ
(8)
[0076]
其中，priors、priors
*
分别表示偏移前、后的预测框，cat(
·
)表示拼接操作，sigmoid(
·
)表示sigmoid激活函数；
[0077]
根据式(9)计算各个标签得分lable_score：
[0078]
lable_score＝sigmoid(gt_lables/gt_nums)+k
ꢀꢀ
(9)
[0079]
其中，gt_lables表示数值化的缺陷类别，取值0,1,2,3分别表示圆形缺陷、夹钨缺陷、条形缺陷和线形缺陷，gt_nums表示缺陷类别数目，k为常数，取2.0；
[0080]
大缺陷在焊接过程中出现的概率较小，能够收集到的大缺陷样本数量有限，这些大缺陷常常具有病态长宽比特点，而病态长宽比的缺陷形状可能非常细长或扁平，这会导致缺陷特征在图像中非常微弱，难以准确检测和识别，故将大缺陷视为困难样本。在正负样本匹配过程中，将标签得分作为偏移量，代入式(10)计算真实框的中心区域，对大缺陷采用大偏移，小缺陷采用小偏移，对大缺陷更加宽容保证其有足够的正样本；利用标签得分，根据式(10)计算各个真实框的中心区域；
[0081][0082]
其中，l
*
、t
*
、r
*
、b
*
分别表示真实框中心到左、上、右、下四个边界的距离；
[0083]
将偏移后的预测框位于真实框内部以及位于真实框中心区域内的区域取交集，得到正样本候选区域q，表示为：
[0084]
q＝gt&center
ꢀꢀ
(11)
[0085]
其中，&表示取交集，center表示真实框中心区域；
[0086]
利用式(12)和(13)分别计算各个正样本候选区域与对应真实框的交并比i
gt
、各个真实框的代价值cost；
[0087]igt
＝iou(q,gt)
ꢀꢀ
(12)
[0088]
cost＝cls_loss+λ
·
iou_loss+100000
·
(-q)
ꢀꢀ
(13)
[0089]
其中，iou(
·
)表示计算交并比，cls_loss、iou_loss分别表示预测框的分类损失
和定位损失，λ为定位损失平衡系数，取值为3.0；
[0090]
从真实框对应的预测框集合中选取交并比大的多个预测框，从这些预测框中选取代价值小的多个预测框作为该真实框的正样本，其余为负样本，完成正负样本分配；将正、负样本作为训练样本并输入到检测头中进行分类和定位，每个检测头负责不同特征层级的预测任务；在模型训练过程中，将中心损失、分类损失、置信度损失以及iou损失四种损失合并为混合损失，中心感知检测头在混合损失的监督下，输出高质量的预测框；在特征层级i上，混合损失定义如下：
[0091][0092]
其中，表示分类损失，表示iou损失，表示中心损失，表示置信度损失。
[0093]
实施例1
[0094]
为了验证本发明方法的有效性，利用实验数据集进行测试。图7(a)、(b)分别为利用基线模型和基线模型与本发明的灰度注意力模块构成的检测模型检测圆形缺陷的测试结果对比图。基线模型采用yolox模型，yolox以darknet53作为特征提取的骨干网络，并添加空间金字塔池化结构(spatial pyramid pooling,spp)。从图中可知，基线模型对缺陷的检测效果较差，存在漏检，无法有效检测并区分缺陷。添加灰度注意力模块后能缓解这种现象，能够有效检测并区分出所有缺陷，验证了本发明的灰度注意力模块能够有效提高缺陷检测精度，避免漏检和误检。
[0095]
图8为基线模型和基线模型与本发明的多尺度膨胀卷积模块(msld)构成的检测模型检测线形缺陷的测试结果图。从图中可以发现，基线模型的原始fpn网络在检测过程中会将一个线形缺陷检测成多个大小不同的缺陷，即将一个线形缺陷分割为两部分，而这些检测框过于小的话则不会被认定为正样本，会导致缺陷的查全率和查准率都偏低。在fpn中引入msld模块之后，线形缺陷可以被完整的检测出来，这是因为msld模块引入了扁平式的多尺度膨胀卷积，可以适应线形缺陷这种病态长宽比缺陷，因此生成了可以完整覆盖线形缺陷的检测框，这表明通过在fpn上添加msld模块可以有效解决线形缺陷检测效果差的问题，提高了模型对于线形缺陷的检测精度。
[0096]
图9(a)为线形缺陷的真实框，图9(b)～(d)可视化热图的形式分别展示了基线模型、基线模型与本发明多尺度膨胀卷积模块构成的检测模型、基线模型与本发明的纹理特征增强模块构成的检测模型对线形缺陷的检测结果。从图9可知，基线模型在线形缺陷特征获取方面表现相对较弱，难以准确地反映出线形缺陷的轮廓；为了增强缺陷特征的获取能力，基线模型引入了多尺度膨胀卷积模块，膨胀卷积能够扩大感受野并增强特征的获取能力，在基线模型的基础上引入纹理特征增强模块之后，能够准确地捕获到缺陷的特征信息，并且有效减少了无关因素的干扰。表1为基线模型与本发明各个模块各项指标对比结果。
[0097]
表1各个模块与基线模型的实验对比结果(％)
[0098][0099]
从上述测试结果可知，基线模型存在漏检现象，本发明的焊接缺陷检测模型则是对yolox模型中的骨干网络、fpn和检测头进行了改进，提出了gam、s-fpn和c-head模块。从表1中可以看出，在本文提出的三个子模块中，与基线模型相比，s-fpn模块对平均查全率提升最显著，平均查全率提高了3.42％；gam对平均查准率的提升效果最好，平均查准率提升了4.91％；添加c-head模块也能较为明显的提升平均查准率，平均查准率提升了3.91％。当三个子模块互相结合时，s-fpn和c-head组合时对模型效果提升最好，平均查全率提升了5.94％，平均查准率提升了4.05％，平均精准度提升了6.53％。三个模块组合时的检测结果提升最高，与基线模型相比，平均查全率提升了6.19％，平均查准率提升了6.45％，平均精准度提升了8.82％。通过组合不同模块进行实验，不仅验证了gam、s-fpn和c-head模块具有互补关系，同时验证了整体模型的有效性。
[0100]
本发明未述及之处适用于现有技术。

技术特征：
1.一种基于灰度和缺陷特征感知的焊接缺陷检测方法，其特征在于，该方法使用的焊接缺陷检测模型包括基于灰度注意力的darknet53网络、基于形状感知的特征金字塔网络以及中心感知检测头；基于灰度注意力的darknet53网络是在darknet53网络的相邻两个卷积阶段之间嵌入一个灰度注意力模块得到的，焊接缺陷图像输入到基于灰度注意力的darknet53网络中进行特征提取，在特征提取过程中利用灰度注意力模块关注图像的灰度信息，增强缺陷特征的表达能力；将基于灰度注意力的darknet53网络第三～五卷积阶段提取的特征图c3～c5输入到基于形状感知的特征金字塔网络中进行特征融合，基于形状感知的特征金字塔网络采用膨胀卷积和纹理增强的方式提高模型对病态长宽比缺陷的检测能力和精度，得到特征图t2～t5；将特征图t2～t5输入到中心感知检测头中进行预测，对缺陷进行分类和定位；灰度注意力模块的输入特征图x经过卷积、归一化和激活操作，得到特征图u；特征图u经过卷积、归一化和激活操作，得到特征图k；特征图k经过全局平均池化得到各个通道描述符，各个通道描述符经过特征提取得到各个通道阈值；将通道描述符与通道阈值相乘，得到阈值化的通道描述符，并根据阈值化的通道描述符对特征图k进行二值化；同时，特征图k经过全局平均池化和特征提取得到各个通道的权重，将二值化的特征图与各个通道的权重相乘后，再与输入特征图x拼接，得到灰度注意力模块的输出特征图。2.根据权利要求1所述基于灰度和缺陷特征感知的焊接缺陷检测方法，其特征在于，特征图c5输入到基于形状感知的特征金字塔网络即为特征图h5，特征图h5与c4融合得到特征图h4，特征图h4与c3融合得到特征图h3，特征图h3即为特征图p3；特征图p3与c3融合得到特征图p4，特征图p4与c4进行融合得到特征图p5；同时，将特征图h3输入到多尺度膨胀卷积模块，在多尺度膨胀卷积模块中特征图h3经过预处理后分别进入到三个并行的膨胀卷积分支，三个膨胀卷积分支的输出特征图经过后处理得到特征图m3；每个膨胀卷积分支包括四个连续的空洞残差单元，输入到空洞残差单元中的特征图依次经过1
×
1卷积、膨胀卷积以及使用1
×
1卷积后，再与空洞残差单元的输入特征图拼接，得到空洞残差单元的输出特征图；将特征图p3～p5以及m3输入到纹理特征增强模块中进行纹理增强，纹理特征增强模块采用四个子模块并行处理不同层级的特征图，每个子模块包括cpre模块、canny算子以及cpost模块，cpre模块包括连续的1
×
1卷积、3
×
3卷积以及激活操作，cpre模块得到的特征图输入到canny算子中生成纹理热图；将纹理热图与子模块的输入特征图拼接后，再经过cpost模块，完成纹理增强；cpost模块包括卷积和relu激活操作。3.根据权利要求2所述基于灰度和缺陷特征感知的焊接缺陷检测方法，其特征在于，多尺度膨胀卷积模块三个膨胀卷积分支的膨胀卷积大小分别为1
×
3、2
×
3、3
×
3。4.根据权利要求1～3任一所述基于灰度和缺陷特征感知的焊接缺陷检测方法，其特征在于，在中心感知检测头中，在特征图的每个像素点处均生成一个预测框，利用式(6)计算各个预测框的中心度；其中，θ表示预测框的中心度，l、t、r、b分别为像素点到预测框左、上、右、下四个边界的
距离；根据中心度对预测框进行偏移处理，偏移后的预测框表示为：priors
*
＝cat(priors,1.5
×
priors
×
(1-sigmoid(θ)))
ꢀꢀ
(8)其中，priors、priors
*
分别表示偏移前、后的预测框，cat(
·
)表示拼接操作，sigmoid(
·
)表示sigmoid激活函数；根据缺陷类别信息，利用式(9)计算标签得分lable_score；将标签得分作为偏移量，并利用式(10)计算真实框的中心区域；lable_score＝sigmoid(gt_lables/gt_nums)+k
ꢀꢀ
(9)其中，gt_lables表示数值化的缺陷类别，gt_nums表示缺陷类别数目，k为常数，l
*
、t
*
、r
*
、b
*
分别表示真实框中心到左、上、右、下四个边界的距离；将偏移后的预测框位于真实框内部以及位于真实框中心区域内的区域取交集，得到正样本候选区域，利用式(12)和(13)分别计算正样本候选区域与对应真实框的交并比i
gt
以及真实框的代价值cost；i
gt
＝iou(q,gt)
ꢀꢀ
(12)cost＝cls_loss+λ
·
iou_loss+100000
·
(-q)
ꢀꢀ
(13)其中，q表示正样本候选区域，gt表示真实框，iou(
·
)表示计算交并比，cls_loss、iou_loss分别表示预测框的分类损失和定位损失，λ为定位损失平衡系数；从真实框对应的预测框集合中选取交并比大的多个预测框，并从选取的多个预测框中选取代价值小的多个预测框作为真实框的正样本，其余为负样本，完成正负样本分配；将正、负样本输入到检测头中进行分类和定位。5.根据权利要求4所述基于灰度和缺陷特征感知的焊接缺陷检测方法，其特征在于，像素点到预测框四个边界的距离根据式(7)计算；其中，(x,y)为像素点的位置坐标，[x
min
,y
min
,x
max
,y
max
]为像素点对应的真实框，x
min
、x
max
分别为真实框横坐标的最小值和最大值，y
min
、y
max
分别真实框纵坐标的最小值和最大值。6.根据权利要求1所述基于灰度和缺陷特征感知的焊接缺陷检测方法，其特征在于，在灰度注意力模块中，特征提取包括依次连接的全连接层、归一化层、relu激活层、全连接层以及sigmoid激活层。

技术总结
本发明为一种基于灰度和缺陷特征感知的焊接缺陷检测方法，使用的焊接缺陷检测模型包括基于灰度注意力的Darknet53网络、基于形状感知的特征金字塔网络以及中心感知检测头；基于灰度注意力的Darknet53网络在特征提取过程中利用灰度注意力模块关注图像的灰度信息，增强缺陷特征的表达能力；将基于灰度注意力的Darknet53网络第三～五卷积阶段提取的特征图C3～C5输入到基于形状感知的特征金字塔网络中进行特征融合，得到特征图T2～T5；将特征图T2～T5输入到中心感知检测头中进行预测，对缺陷进行分类和定位。该方法充分利用图像中缺陷和非缺陷区域灰度信息差异提取缺陷特征，提高模型对缺陷的检测能力，模型对于病态长宽比缺陷也具有良好的检测效果。陷也具有良好的检测效果。陷也具有良好的检测效果。


技术研发人员：石陆魁 台吉凯 王璇 高英杰 张子轩
受保护的技术使用者：天津市特种设备监督检验技术研究院（天津市特种设备事故应急调查处理中心） 天津鼎华检测科技有限公司
技术研发日：2023.06.19
技术公布日：2023/9/20