基于无锚框目标检测的焊缝缺陷检测方法、系统和介质与流程

1.本发明涉及一种基于无锚框目标检测的焊缝缺陷检测方法、系统和介质，属于缺陷检测技术领域。


背景技术：

2.近年来，现代工业、制造业的水平不断提高，焊接技术也在不断的进步，已成为工业制造领域不可或缺的技术，并且广泛地应用于各类细分领域，如石油天然气、核工业、建筑等，拥有巨大的工程量及测量。对于焊接构件来说，它的焊接质量决定了工件的安全性与其有效年限。但在焊接过程中容易受各种环境和人为因素的干扰，焊接工件的焊缝不可避免的会出现各种缺陷，从而导致安全隐患的存在。为了确保焊接工件在如此众多的应用领域的质量以及安全性，防止意外情况产生，对焊接工件的焊缝进行缺陷检测就变得非常重要。
3.焊缝的缺陷检测目前以人工检测为主，传统的人工检测方法容易由于疲劳以及主观性导致检测结果准确性降低，同时效率较低。随着计算机视觉技术的发展，基于计算机视觉的缺陷检测方法受到了越来越多的关注。目前大多数基于计算机视觉的缺陷检测方法都是基于传统图像处理的方法或者基于锚框的深度学习目标检测方法。基于传统图像处理的方法不可避免的要经历人工选取特征的过程，该过程耗时费力，而且特征的选取是否合理具有很大的主观性，一定程度上影响了识别的正确率。基于锚框(锚框是指预先设定好的一组矩形框，以这组矩形框为基本设置，在这些矩形框的基础上进行精细化的调整)的深度学习目标检测方法需要对缺陷的尺寸以及宽高比进行统计分析，然后根据分析结果设定锚框的尺寸，对于和锚框尺寸差异不大的缺陷识别效果较好，但是偏离锚框尺寸的缺陷识别效果就大打折扣，泛化性能较差。


技术实现要素：

4.针对上述问题，本发明目的是提供一种基于无锚框目标检测的焊缝缺陷检测方法、系统和介质，其解决了现有技术中缺陷检测时需要对缺陷的尺寸以及宽高比进行统计分析，根据分析结果设定锚框的尺寸，在缺陷尺度跨越较大时检测不准确的问题。
5.为实现上述目的，本发明提出了以下技术方案：一种基于无锚框目标检测的焊缝缺陷检测方法，包括：通过数据集对预建立的焊缝缺陷检测模型进行训练；将所述数据集中任一图像输入经过训练的所述焊缝缺陷检测模型，输出所述图像中缺陷类型和位置，将获得的所述缺陷类型和位置与真实的缺陷类型和位置进行对比，并计算损失函数；对所述损失函数进行后向梯度计算，并对经过训练的所述焊缝缺陷检测模型进行参数更新，重复上一步和本步，直至达到最大训练轮数，达到最大训练轮数后，输出最终的焊缝缺陷检测模型；将待检测的焊缝图像输入所述最终的焊缝缺陷检测模型，进行前向计算，获得缺陷分类置信度和位置坐标。
6.进一步，所述损失函数包括：分类损失函数和边界框损失函数；其计算公式如下：
[0007][0008]
其中，loss是损失函数，n
pos
是前景点的个数，p
c,i
是类别c在每一个层级特征图上位置i的预测iou感知分类评分，q
c,i
是类别c在每一个层级特征图上位置i的目标iou感知分类评分；λ0和λ1均为l
bbox
的平衡权重，vfl是分类损失函数；l
bbox
是边界框损失函数；q
c*,i
是l
bbox
的权重；bboxi是精炼的边界框；bbox’i
是初始边界框；是真值边界框。
[0009]
进一步，所述分类损失函数的计算公式如下：
[0010][0011]
其中，p是预测iou感知分类评分；q是目标iou感知分类评分，α和γ是两个调和因子。
[0012]
进一步，所述边界框损失函数的计算公式如下：
[0013][0014]
其中，a和b代表任意两个边界框，c是a和b的外接矩形，l
giou
是边界框回归使用预测边界框和真实边界框之间的重叠区域作为损失函数，称为基于交并比(intersection over union，iou)的损失函数。
[0015]
进一步，所述焊缝缺陷检测模型包括：焊缝图像特征提取单元、多尺度特征融合单元、分类单元和位置回归单元；所述焊缝图像特征提取单元，用于提取焊缝图像的特征图；所述多尺度特征融合单元，用于将多个特征图进行特征融合；所述分类单元，用于对经过特征融合后的特征图进行缺陷分类；所述位置回归单元，用于根据用星型框表示的iou，对经过特征融合后的特征图的每一个特征进行回归。
[0016]
进一步，所述位置回归单元包括第一阶段位置回归，所述第一阶段位置回归的方法为：使用一卷积层做进一步的特征提取，在获得的特征图中预测边界框位置；通过iou损失函数，结合预测的所述预测边界框位置计算边界框损失函数。
[0017]
进一步，所述位置回归单元还包括第二阶段位置回归，所述第二阶段位置回归的方法为：使用所述预测边界框位置在特征图中进行星型采样，将所述星型采样结果输入可变性卷积层进行特征提取；根据提取的特征预测边界框偏移值，将所述边界框偏移值与所述边界框位置相加，得到最终的边界框位置，并通过iou损失函数，结合最终的边界框位置计算边界框损失函数。
[0018]
进一步，所述分类单元将多个特征图做进一步的特征提取，根据所述预测边界框位置，进行星型采样，将所述星型采样结果输入可变性卷积层进行特征提取；根据提取的特征预测缺陷类型的分类得分；通过分类损失函数，结合所述缺陷类型的分类得分计算分类
损失函数。
[0019]
本发明还公开了一种基于无锚框目标检测的焊缝缺陷检测系统，包括：模型训练模块，用于通过数据集对预建立的焊缝缺陷检测模型进行训练；计算损失函数模块，用于将所述数据集中任一图像输入经过训练的所述焊缝缺陷检测模型，输出所述图像中缺陷类型和位置，将获得的所述缺陷类型和位置与真实的缺陷类型和位置进行对比，并计算损失函数；后向梯度计算模块，对所述损失函数进行后向梯度计算，并对经过训练的所述焊缝缺陷检测模型进行参数更新，直至达到最大训练轮数，达到最大训练轮数后，输出最终的焊缝缺陷检测模型；模型推理模块，用于将待检测的焊缝图像输入所述最终的焊缝缺陷检测模型，进行前向计算，获得缺陷分类置信度和位置坐标。
[0020]
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现上述的基于无锚框目标检测的焊缝缺陷检测方法。
[0021]
本发明由于采取以上技术方案，其具有以下优点：本发明基于深度学习算法实现，端到端地进行缺陷识别，避免了人工选取特征的过程，同时不需要预设锚框，可以适应的缺陷尺度范围更广，从不足1毫米的缺陷到150毫米的缺陷均能识别。解决了现有技术中缺陷检测时需要对缺陷的尺寸以及宽高比进行统计分析，然后根据分析结果设定锚框的尺寸，在缺陷尺度跨越较大时检测不准确的问题。
附图说明
[0022]
图1是本发明一实施例中无锚框目标检测的焊缝缺陷检测方法的示意图；
[0023]
图2是本发明一实施例中分类单元和位置回归单元中处理方法的流程图。
具体实施方式
[0024]
为了使本领域技术人员更好的理解本发明的技术方案，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。
[0025]
针对现有技术存在的需要预先对缺陷的尺寸以及宽高比进行统计分析，然后根据分析结果设定锚框的尺寸，对于和锚框尺寸差异不大的缺陷识别效果较好，偏离锚框尺寸的缺陷识别效果大打折扣，泛化性能较差的问题，本发明提供了基于无锚框目标检测的焊缝缺陷检测方法、系统和介质，其通过焊缝缺陷检测模型的训练，并根据训练好的焊缝缺陷检测模型进行推理，预测待检测图像的缺陷。其通过将获得的缺陷类型和位置与真实的缺陷类型和位置进行对比，并计算损失函数；对损失函数进行后向梯度计算，并对经过训练的焊缝缺陷检测模型进行参数更新，实现端到端地进行缺陷识别，避免了人工选取特征的过程中可能存在的错误或纰漏，同时不需要预设锚框，可以适应的缺陷尺度范围更广，从不足1毫米的缺陷到150毫米的缺陷均能识别。下面结合附图，通过实施例对本发明方案进行详细说明。
[0026]
实施例一：
[0027]
本实施例公开了一种基于无锚框目标检测的焊缝缺陷检测方法，如图1所示，包
括：
[0028]
s1通过数据集对预建立的焊缝缺陷检测模型进行训练；
[0029]
预建立的焊缝缺陷检测模型包括初始化训练参数，即设置训练轮数、学习率、优化器参数和损失函数参数等。构建优化器和损失函数，本实施例中使用adamw优化器，损失函数包括：分类损失函数和边界框损失函数。分类损失函数的计算公式如下：
[0030][0031]
其中，p是预测iou感知分类评分(iou-aware classification loss,iacs)；q是目标iou感知分类评分，α和γ是两个调和因子。p∈[0,1]，q∈{
±
1}，α∈[0,1]，γ∈[0,5]。
[0032]
边界框损失函数使用通用iou(generalized iou，giou)损失函数，其计算公式如下：
[0033][0034]
其中，a和b代表任意两个边界框，c是a和b的外接矩形，l
giou
是边界框回归使用预测边界框和真实边界框之间的重叠区域作为损失函数，称为基于交并比(intersection over union，iou)的损失函数。
[0035]
整个训练的损失函数由分类损失函数和边界框损失函数共同组成，其计算公式为：
[0036][0037]
其中，loss是损失函数，n
pos
是前景点的个数，p
c,i
是类别c在每一个层级特征图上位置i的预测iou感知分类评分，q
c,i
是类别c在每一个层级特征图上位置i的目标iou感知分类评分；λ0和λ1均为l
bbox
的平衡权重，vfl是分类损失函数；l
bbox
是边界框损失函数；q
c*,i
是l
bboc
的权重，对于前景点，q
v*,i
取预测值与真值框的iou，其它情况下，q
c*,i
取0；bboxi是精炼的边界框；bbox’i
是初始边界框；是真值边界框。
[0038]
使用已构建好的优化器和损失函数构建无锚框的焊缝缺陷检测模型，该焊缝缺陷检测模型包括：焊缝图像特征提取单元、多尺度特征融合单元、分类单元和位置回归单元；
[0039]
焊缝图像特征提取单元，用于提取焊缝图像的特征图；
[0040]
多尺度特征融合单元，用于将多个特征图进行特征融合；
[0041]
分类单元，用于对经过特征融合后的特征图进行缺陷分类；
[0042]
位置回归单元，用于根据用星型框表示的iou(交并比，intersection over union,iou)，对经过特征融合后的特征图的每一个特征进行回归。
[0043]
通过大规模数据集对预建立的焊缝缺陷检测模型进行训练，对焊缝缺陷检测模型
的权重和偏置参数进行调整。
[0044]
s2将数据集中任一图像输入经过训练的焊缝缺陷检测模型，输出图像中缺陷类型和位置，将获得的缺陷类型和位置与真实的缺陷类型和位置进行对比，并计算损失函数；
[0045]
焊缝缺陷检测模型处理焊缝图像的方法为：
[0046]
s2.1提取焊缝图像的特征图：焊缝图像特征提取单元由5个堆叠的残差卷积阶段组成，焊缝图像每经过一个残差卷积阶段，其宽高减半，且通道数翻倍，在第3、4、5个残差卷积阶段各输出一个特征图，共三个特征图，分别记作：f3、f4和f5。
[0047]
s2.2输出的特征图f3、f4和f5进入多尺度特征融合单元进行特征融合，其中，特征图f5连接两个卷积层，分别生成两倍下采样的特征图f6和四倍下采样的特征图f7，其中特征图f7再经过一个卷积层后，直接输出特征图f7’。特征图f4、f5、f6和f7’分别经过一个卷积层后，分别进行两倍上采样，经过上采用后的特征图分别和f3、f4、f5和f6相加后得到融合后的特征图f3’、f4’、f5’和f6’。
[0048]
s2.3将融合后的特征图f3’、f4’、f5’和f6’送入分类单元和位置回归单元，从特征图上的每一个特征点直接进行分类和位置回归，不需要预设锚框。
[0049]
如图2所示，将输出的特征图f3’、f4’、f5’和f6’经过三个卷积层做进一步的特征提取；从本步开始，位置回归单元分为第一阶段位置回归和第二阶段位置回归，
[0050]
第一阶段位置回归的方法为：
[0051]
使用一个卷积层做进一步的特征提取，在获得的特征图中使用1
×
1的卷积层，输出预测边界框位置；
[0052]
通过iou损失函数，结合预测边界框位置计算边界框损失函数。
[0053]
第二阶段位置回归的方法为：
[0054]
使用预测边界框位置在特征图中进行星型采样，将星型采样结果输入可变性卷积层进行特征提取；
[0055]
根据提取的特征使用1
×
1卷积预测边界框偏移值，将边界框偏移值与边界框位置相加，得到最终的边界框位置，并通过iou损失函数，结合最终的边界框位置计算边界框损失函数。
[0056]
分类单元将多个特征图f3’、f4’、f5’、f6’和f7’经过三个卷积层做进一步特征提取，根据预测边界框位置，进行星型采样，将星型采样结果输入可变性卷积层进行特征提取；根据提取的特征使用1x1卷积预测缺陷类型的分类得分；通过分类损失函数，结合缺陷类型的分类得分计算分类损失函数。
[0057]
将第一阶段位置回归、第二阶段位置回归和分类单元计算获得的损失函数进行加权相加，得到最终的损失函数。
[0058]
s3对损失函数进行后向梯度计算，并使用优化器对经过训练的焊缝缺陷检测模型进行参数更新，重复上一步和本步，直至达到最大训练轮数，则输出模型参数并保存模型，达到最大训练轮数后，输出最终的焊缝缺陷检测模型；
[0059]
s4将待检测的焊缝图像输入最终的焊缝缺陷检测模型，进行前向计算，获得缺陷分类置信度和位置坐标。
[0060]
在模型训练完成后，就可以使用训练好的模型进行焊缝缺陷检测的工作了。构建无锚框的焊缝缺陷检测模型，使用训练好的模型参数初始化焊缝缺陷检测模型，在推理过
程中不需要优化器和损失函数。
[0061]
实施例二
[0062]
基于相同的发明构思，本实施例公开了一种基于无锚框目标检测的焊缝缺陷检测系统，包括：
[0063]
模型训练模块，用于通过数据集对预建立的焊缝缺陷检测模型进行训练；
[0064]
计算损失函数模块，用于将数据集中任一图像输入经过训练的焊缝缺陷检测模型，输出图像中缺陷类型和位置，将获得的缺陷类型和位置与真实的缺陷类型和位置进行对比，并计算损失函数；
[0065]
后向梯度计算模块，对损失函数进行后向梯度计算，并对经过训练的焊缝缺陷检测模型进行参数更新，直至达到最大训练轮数，达到最大训练轮数后，输出最终的焊缝缺陷检测模型；
[0066]
模型推理模块，用于将待检测的焊缝图像输入最终的焊缝缺陷检测模型，进行前向计算，获得缺陷分类置信度和位置坐标。
[0067]
实施例三
[0068]
基于相同的发明构思，本实施例公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现上述的基于无锚框目标检测的焊缝缺陷检测方法。
[0069]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0070]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0071]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0072]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0073]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何
修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种基于无锚框目标检测的焊缝缺陷检测方法，其特征在于，包括：通过数据集对预建立的焊缝缺陷检测模型进行训练；将所述数据集中任一图像输入经过训练的所述焊缝缺陷检测模型，输出所述图像中缺陷类型和位置，将获得的所述缺陷类型和位置与真实的缺陷类型和位置进行对比，并计算损失函数；对所述损失函数进行后向梯度计算，并对经过训练的所述焊缝缺陷检测模型进行参数更新，重复上一步和本步，直至达到最大训练轮数，达到最大训练轮数后，输出最终的焊缝缺陷检测模型；将待检测的焊缝图像输入所述最终的焊缝缺陷检测模型，进行前向计算，获得缺陷分类置信度和位置坐标。2.如权利要求1所述的基于无锚框目标检测的焊缝缺陷检测方法，其特征在于，所述损失函数包括：分类损失函数和边界框损失函数；其计算公式如下：其中，loss是损失函数，n
pos
是前景点的个数，p
c,i
是类别c在每一个层级特征图上位置i的预测iou感知分类评分，q
c,i
是类别c在每一个层级特征图上位置i的目标iou感知分类评分；λ0和λ1均为l
bbox
的平衡权重，vfl是分类损失函数；l
bbox
是边界框损失函数；是l
bbox
的权重；bbox
i
是精炼的边界框；bbox
′
i
是初始边界框；是真值边界框。3.如权利要求2所述的基于无锚框目标检测的焊缝缺陷检测方法，其特征在于，所述分类损失函数的计算公式如下：其中，p是预测iou感知分类评分；q是目标iou感知分类评分，α和γ是两个调和因子。4.如权利要求2所述的基于无锚框目标检测的焊缝缺陷检测方法，其特征在于，所述边界框损失函数的计算公式如下：其中，a和b代表任意两个边界框，c是a和b的外接矩形，l
giou
是基于交并比的损失函数。5.如权利要求1-4任一项所述的基于无锚框目标检测的焊缝缺陷检测方法，其特征在于，所述焊缝缺陷检测模型包括：焊缝图像特征提取单元、多尺度特征融合单元、分类单元和位置回归单元；所述焊缝图像特征提取单元，用于提取焊缝图像的特征图；
所述多尺度特征融合单元，用于将多个特征图进行特征融合；所述分类单元，用于对经过特征融合后的特征图进行缺陷分类；所述位置回归单元，用于根据用星型框表示的iou，对经过特征融合后的特征图的每一个特征进行回归。6.如权利要求5所述的基于无锚框目标检测的焊缝缺陷检测方法，其特征在于，所述位置回归单元包括第一阶段位置回归，所述第一阶段位置回归的方法为：使用一卷积层做进一步的特征提取，在获得的特征图中预测边界框位置；通过iou损失函数，结合预测的所述预测边界框位置计算边界框损失函数。7.如权利要求6所述的基于无锚框目标检测的焊缝缺陷检测方法，其特征在于，所述位置回归单元还包括第二阶段位置回归，所述第二阶段位置回归的方法为：使用所述预测边界框位置在特征图中进行星型采样，将所述星型采样结果输入可变性卷积层进行特征提取；根据提取的特征预测边界框偏移值，将所述边界框偏移值与所述边界框位置相加，得到最终的边界框位置，并通过iou损失函数，结合最终的边界框位置计算边界框损失函数。8.如权利要求7所述的基于无锚框目标检测的焊缝缺陷检测方法，其特征在于，所述分类单元将多个特征图做进一步的特征提取，根据所述预测边界框位置，进行星型采样，将所述星型采样结果输入可变性卷积层进行特征提取；根据提取的特征预测缺陷类型的分类得分；通过分类损失函数，结合所述缺陷类型的分类得分计算分类损失函数。9.一种基于无锚框目标检测的焊缝缺陷检测系统，其特征在于，包括：模型训练模块，用于通过数据集对预建立的焊缝缺陷检测模型进行训练；计算损失函数模块，用于将所述数据集中任一图像输入经过训练的所述焊缝缺陷检测模型，输出所述图像中缺陷类型和位置，将获得的所述缺陷类型和位置与真实的缺陷类型和位置进行对比，并计算损失函数；后向梯度计算模块，对所述损失函数进行后向梯度计算，并对经过训练的所述焊缝缺陷检测模型进行参数更新，直至达到最大训练轮数，达到最大训练轮数后，输出最终的焊缝缺陷检测模型；模型推理模块，用于将待检测的焊缝图像输入所述最终的焊缝缺陷检测模型，进行前向计算，获得缺陷分类置信度和位置坐标。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-8任一项所述的基于无锚框目标检测的焊缝缺陷检测方法。

技术总结
本发明属于缺陷检测技术领域，涉及一种基于无锚框目标检测的焊缝缺陷检测方法、系统和介质，包括：通过数据集对预建立的焊缝缺陷检测模型进行训练；将所述数据集中任一图像输入经过训练的所述焊缝缺陷检测模型，输出所述图像中缺陷类型和位置，将获得的所述缺陷类型和位置与真实的缺陷类型和位置进行对比，并计算损失函数；对所述损失函数进行后向梯度计算，并对经过训练的所述焊缝缺陷检测模型进行参数更新，重复上一步和本步，直至达到最大训练轮数，达到最大训练轮数后，输出最终的焊缝缺陷检测模型；将待检测的焊缝图像输入所述最终的焊缝缺陷检测模型，进行前向计算，获得缺陷分类置信度和位置坐标。其解决了在缺陷尺度跨越较大时检测不准确的问题。越较大时检测不准确的问题。越较大时检测不准确的问题。


技术研发人员：张超 许佳伟 肖立 杨亮 郝思佳 邱灶杨 范嘉堃 盖小刚 程昊 张彧 李欣欣 曹玉 宋涛
受保护的技术使用者：中海石油气电集团有限责任公司
技术研发日：2023.07.05
技术公布日：2023/10/19