一种桩腿焊缝缺陷检测方法与流程

1.本发明涉及一种焊缝缺陷检测方法，尤其涉及一种桩腿焊缝缺陷检测方法。


背景技术：

2.随着目标识别焊缝缺陷技术、行为模拟、大数据技术的快速发展，使得利用深度学习的方法来检测桩腿焊缝缺陷逐渐成为主流的方法，在传统的工业视觉领域有着广泛的应用。
3.针对桩腿焊缝缺陷检测问题，世界各国的研究者开展相关研究，其中abdehak m提出的利用多种阈值方式结合的快速检测及分割的方法对焊缝缺陷进行检测，其方法具体采用x射线图像并结合阈值的方法进行焊缝缺陷特征提取，该算法对相对清楚的焊缝缺陷区域有较高的检测准确率。但是当图像背景复杂多变，例如图像存在亮度不均衡现象，检测效果会直线下降，因此，zhichao liao等人提出一种固定背景的检测方法，其主要思想就是对检测存在的背景区域进行拟合，通过对背景区域的剔除，最终完成检测区域的焊缝缺陷特征提取。
4.尽管以上焊缝缺陷检测方法在焊缝缺陷检测上有很好的检测效果，但仍然有许多不足的地方，例如虽然能够大致定位焊缝缺陷检测区域，但是与真实缺陷区域有一定位置差，在检测中会出现漏检、误检的情况。与此同时，这些方法在算法设计上，没有考虑缺陷图像与无缺陷图像的相同点，在实际生产中有缺陷的图像和无缺陷的图像是均匀存在的，在检测中可能会出现在无焊缝图像中检测出缺陷的图像，这对检测准确率有很大影响，因此这些方法通用性比较弱，在不同实际生产场景下，需要提出更好的焊缝缺陷检测算法来提高检测效果。
5.公开号为“cn115984272a”、名称为“基于计算机视觉的半挂车车桥缺陷识别方法”的中国专利，其公开的基于计算机视觉的半挂车车桥缺陷识别方法，通过获取车桥表面的焊缝区域图像中的各个可疑连通域，确定各个可疑连通域的边缘规则程度值，进而确定各个可疑连通域中的各个目标连通域；根据各个目标连通域中像素点的灰度值，确定各个目标连通域对应的内部灰度变化程度值和灰度曲线评估值，进而确定各个目标连通域对应的夹渣缺陷可信程度，从而最终确定各个目标连通域中的夹渣缺陷区域。该缺陷识别方法，虽然能够实现对焊缝缺陷的检测，但其主要针对夹渣缺陷和气孔缺陷，适用范围受限。


技术实现要素：

6.为解决上述技术问题，本发明的目的是提供一种不易误检、检测准确率高的桩腿焊缝缺陷检测方法。
7.本发明的桩腿焊缝缺陷检测方法，包括以下步骤：
8.步骤s1；获取图像中可能具有缺陷的潜在区域；
9.步骤s2；利用训练好的焊缝区域划分模型判断步骤s1中获取的潜在区域中是否具有缺陷，并输出具有缺陷的潜在区域；
10.步骤s3；利用训练好的卷积神经网络模型判断步骤s2输出的潜在区域中具体的缺陷区域及缺陷类别；
11.其中，步骤s1中可能具有缺陷的潜在区域的获取步骤如下；
12.步骤s11；提取图像中所有的连通域；
13.步骤s12；保留面积最大的连通域，并将其余连通域内的灰度值设置为0；
14.步骤s13；针对步骤s12中面积最大的连通域，利用小波变换模极大值多尺度边缘检测方法，获取图像边缘，并框选出包含该图像边缘的区域，该区域即为可能具有缺陷的潜在区域。
15.该桩腿焊缝缺陷检测方法的优点在于，其利用小波变换模极大值多尺度边缘检测方法，获取最大连通域的图像边缘，进而实现了对具有缺陷的潜在区域的获取。然后通过焊缝区域划分模型判断该潜在区域中是否包含缺陷，并通过卷积神经网络模型判断该缺陷的具体缺陷区域及缺陷类别。
16.由于焊缝面积一般较大，相较于现有的焊缝缺陷检测方法，该桩腿焊缝缺陷检测方法通过保留面积最大的连通域，从而剔除了非焊缝区域，避免了在非焊缝区域检出缺陷，提高了检测的准确度。
17.同时，其在对缺陷区域及缺陷类别识别前，通过焊缝区域划分模型预先判断潜在区域中是否包含缺陷，这不仅提高了缺陷检测的效率，同时进一步提高了缺陷检测的准确度，降低了对缺陷的漏检及误检，大大提高了焊缝缺陷检测的有效性。
18.进一步的，本发明的桩腿焊缝缺陷检测方法，在步骤s1之前对图像进行预处理，包括以下步骤；
19.对图像进行降噪的步骤：利用非线性滤波对图像去噪；
20.对图像进行灰度变化的步骤：将三通道的图像转换成单通道图像；
21.对图像进行数据变换的步骤：利用伽马变换对图像进行校正；
22.利用灰度直方图对图像进行均衡化的步骤。
23.对图像进行的预处理，方便了后续程序对潜在区域的获取，提高了潜在区域获取的准确度。
24.进一步的，本发明的桩腿焊缝缺陷检测方法，步骤s2中焊缝区域划分模型通过以下步骤获取；
25.步骤s21；对提取到的特征数据进行数据整理并加真实标签；
26.步骤s22；利用步骤s21中提取的特征数据，并通过决策树分类器对焊缝区域划分模型进行训练。
27.进一步的，本发明的桩腿焊缝缺陷检测方法，步骤s3之前包括图像归一化步骤；
28.图像大于等于416*416像素，采用等比例缩放；小于416*416像素运用seam-carving算法进行非等比例缩放；
29.对图像非等比变换时，先对图像尺寸进行判断，如果超过归一化尺寸的图像，对其进行等比例缩放，在满足规定的尺寸要求后，在继续进行非等比例变换，最终使图像满足尺寸要求。
30.进一步的，本发明的桩腿焊缝缺陷检测方法，还包括以下步骤；
31.s14：将潜在区域划分为若干列；
32.s15：针对潜在区域的每列，利用平方加权灰度重心法，获取该列区域中亮度中心点，计算公式为:
[0033][0034]
其中，(υc,νc)为亮度中心点的坐标，(u,vi)为一列内某像素点坐标，n为一列内像素点总个数，i为像素点灰度值；
[0035]
s16：运用连续边缘拟合操作，将步骤s15中获取的各列区域中的亮度中心点拟合为连续的亚像素级中心线，并计算亚像素级中心线包围区域的面积和周长。
[0036]
采用平方加权灰度重心法获取中心点，进而通过连续边缘拟合操作获取亚像素级中心线及其包围的面积和周长，步骤s2中焊缝区域划分模型可利用该面积及周长特征，对其进行预测，以判断其是否为缺陷，该操作使得本发明的桩腿焊缝缺陷检测方法，在焊缝区域小、缺陷特征弱的情况下，能够保持较好的检测效果。
[0037]
上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，并依照说明书的内容予以具体实施，以下以本发明的实施例对其进行详细说明。
附图说明
[0038]
图1是桩腿焊缝缺陷检测方法的流程图。
具体实施方式
[0039]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0040]
参见图1，本实施例的桩腿焊缝缺陷检测方法，包括以下步骤：
[0041]
步骤s1；获取图像中可能具有缺陷的潜在区域；
[0042]
步骤s2；利用训练好的焊缝区域划分模型判断步骤s1中获取的潜在区域中是否具有缺陷，并输出具有缺陷的潜在区域；
[0043]
步骤s3；利用训练好的卷积神经网络模型判断步骤s2输出的潜在区域中具体的缺陷区域及缺陷类别；
[0044]
其中，步骤s1中可能具有缺陷的潜在区域的获取步骤如下；
[0045]
步骤s11；提取图像中所有的连通域；
[0046]
步骤s12；保留面积最大的连通域，并将其余连通域内的灰度值设置为0；
[0047]
步骤s13；针对步骤s12中面积最大的连通域，利用小波变换模极大值多尺度边缘检测方法，获取图像边缘，并框选出包含该图像边缘的区域，该区域即为可能具有缺陷的潜在区域。
[0048]
本发明的桩腿焊缝缺陷检测方法，利用小波变换模极大值多尺度边缘检测方法，获取最大连通域的图像边缘，进而实现了对具有缺陷的潜在区域的获取。然后通过焊缝区域划分模型判断该潜在区域中是否包含缺陷，并通过卷积神经网络模型判断该缺陷的具体
缺陷区域及缺陷类别。
[0049]
由于焊缝面积一般较大，相较于现有的焊缝缺陷检测方法，该桩腿焊缝缺陷检测方法通过保留面积最大的连通域，从而剔除了非焊缝区域，避免了在非焊缝区域检出缺陷，提高了检测的准确度。
[0050]
同时，其在对缺陷区域及缺陷类别识别前，通过焊缝区域划分模型预先判断潜在区域中是否包含缺陷，这不仅提高了缺陷检测的效率，同时进一步提高了缺陷检测的准确度，降低了对缺陷的漏检及误检，大大提高了焊缝缺陷检测的有效性。
[0051]
其中，连通域的面积为连通域内，灰度值不为0的像素个数。
[0052]
小波变换模极大值多尺度边缘检测方法是一种现有的图像边缘检测方法，其能够精准快速地提取图像边缘，其具体方法步骤为现有技术，具体可参考相关文献，不再赘述。
[0053]
其中，焊缝区域划分模型用于判别潜在区域内是否具有缺陷，其通过特征提取得到特性信息后运用分类器进行模型训练并实现分类，进而达到正确焊缝缺陷区域的划分，具体步骤包括；
[0054]
对提取到的特征数据进行整理并加真实标签；
[0055]
利用上述特征数据通过决策树分类器进行模型训练后对待测数据进行预测并分类；
[0056]
其中，卷积神经网络模型用于获取具体的缺陷区域及缺陷类别，其为yolov3网络模型，其具体结构及原理可参考相关文献，不再赘述。
[0057]
作为优选，本实施例的桩腿焊缝缺陷检测方法，在步骤s1之前对图像进行预处理，包括以下步骤；
[0058]
对图像进行降噪的步骤：利用非线性滤波对图像去噪；
[0059]
对图像进行灰度变化的步骤：将三通道的图像转换成单通道图像；
[0060]
对图像进行数据变换的步骤：利用伽马变换对图像进行校正；
[0061]
利用灰度直方图对图像进行均衡化的步骤。
[0062]
对图像进行的预处理，方便了后续程序对潜在区域的获取，提高了潜在区域获取的准确度，
[0063]
其中，对图像进行数据变换的步骤增强了目标与背景的对比度，具体的，伽马变换对灰度值进行了修正，过低或者过高的值经过计算后，灰度值需重新赋值计算，原图像上每个位置的像素值与参数进行乘积运算，增强的图像视觉效果会变得更好。
[0064]
其中，非线性滤波对图像去噪、将三通道的图像转换成单通道图像、利用伽马变换对图像进行校正的方法均为现有方法，其具体原理及步骤过程不再赘述。
[0065]
利用灰度直方图对图像进行均衡化的步骤如下：
[0066]
a1：确定图像的灰度级别，从而判断是否需要进行灰度转换；
[0067]
a2：计算原始的直方图分布概率；
[0068]
a3：计算直方图概率累计值；
[0069]
a4：计算像素映射的公式；
[0070]
a5：对图像中所有的像素进行公式映射，映射后的所有像素形成新的图像；
[0071]
利用灰度直方图对图像进行均衡化的步骤通过对图像灰度的分布范围的扩大，提高了图像的视觉效果。
[0072]
作为优选，本实施例的桩腿焊缝缺陷检测方法，步骤s2中焊缝区域划分模型通过以下步骤获取；
[0073]
步骤s21；对提取到的特征数据进行数据整理并加真实标签；
[0074]
步骤s22；利用步骤s21中提取的特征数据，并通过决策树分类器对焊缝区域划分模型进行训练。
[0075]
作为优选，本实施例的桩腿焊缝缺陷检测方法，步骤s3之前包括图像归一化步骤；
[0076]
图像大于等于416*416像素，采用等比例缩放；小于416*416像素运用seam-carving算法进行非等比例缩放；
[0077]
对图像非等比变换时，先对图像尺寸进行判断，如果超过归一化尺寸的图像，对其进行等比例缩放，在满足规定的尺寸要求后，在继续进行非等比例变换，最终使图像满足尺寸要求。
[0078]
作为优选，本实施例的桩腿焊缝缺陷检测方法，还包括以下步骤；
[0079]
s14：将潜在区域划分为若干列；
[0080]
s15：针对潜在区域的每列，利用平方加权灰度重心法，获取该列区域中亮度中心点，计算公式为:
[0081][0082]
其中，(υc,νc)为亮度中心点的坐标，(u,vi)为一列内某像素点坐标，n为一列内像素点总个数，i为像素点灰度值；
[0083]
s16：运用连续边缘拟合操作，将步骤s15中获取的各列区域中的亮度中心点拟合为连续的亚像素级中心线，并计算亚像素级中心线包围区域的面积和周长。
[0084]
采用平方加权灰度重心法获取中心点，进而通过连续边缘拟合操作获取亚像素级中心线及其包围的面积和周长，步骤s2中焊缝区域划分模型可利用该面积及周长特征，对其进行预测，从而更精确地判断其是否为缺陷，该操作使得本发明的桩腿焊缝缺陷检测方法，在焊缝区域小、缺陷特征弱的情况下，能够保持较好的检测效果。
[0085]
以上仅是本发明优选的实施方式，用于辅助本领域技术人员实现相应的技术方案，而并不用于限制本发明的保护范围，本发明的保护范围由所附权利要求限定。应当指出，对于本领域的普通技术人员来说，在本发明的技术方案基础上，可做出若干与其等同的改进和变型，这些改进和变型也应视为本发明的保护范围。同时，应当理解，虽然本说明书按照上述实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.一种桩腿焊缝缺陷检测方法，其特征在于，包括以下步骤：步骤s1；获取图像中可能具有缺陷的潜在区域；步骤s2；利用训练好的焊缝区域划分模型判断步骤s1中获取的潜在区域中是否具有缺陷，并输出具有缺陷的潜在区域；步骤s3；利用训练好的卷积神经网络模型判断步骤s2输出的潜在区域中具体的缺陷区域及缺陷类别；其中，步骤s1中可能具有缺陷的潜在区域的获取步骤如下；步骤s11；提取图像中所有的连通域；步骤s12；保留面积最大的连通域，并将其余连通域内的灰度值设置为0；步骤s13；针对步骤s12中面积最大的连通域，利用小波变换模极大值多尺度边缘检测方法，获取图像边缘，并框选出包含该图像边缘的区域，该区域即为可能具有缺陷的潜在区域。2.根据权利要求1所述的桩腿焊缝缺陷检测方法，其特征在于：在步骤s1之前对图像进行预处理，包括以下步骤；对图像进行降噪的步骤：利用非线性滤波对图像去噪；对图像进行灰度变化的步骤：将三通道的图像转换成单通道图像；对图像进行数据变换的步骤：利用伽马变换对图像进行校正；利用灰度直方图对图像进行均衡化的步骤。3.根据权利要求1所述的桩腿焊缝缺陷检测方法，其特征在于：步骤s2中焊缝区域划分模型通过以下步骤获取；步骤s21；对提取到的特征数据进行数据整理并加真实标签；步骤s22；利用步骤s21中提取的特征数据，并通过决策树分类器对焊缝区域划分模型进行训练。4.根据权利要求1所述的桩腿焊缝缺陷检测方法，其特征在于：步骤s3之前包括图像归一化步骤；图像大于等于416*416像素，采用等比例缩放；小于416*416像素运用seam-carving算法进行非等比例缩放。5.根据权利要求1所述的桩腿焊缝缺陷检测方法，其特征在于：还包括以下步骤；s14：将潜在区域划分为若干列；s15：针对潜在区域的每列，利用平方加权灰度重心法，获取该列区域中亮度中心点，计算公式为:其中，(υ
c
,ν
c
)为亮度中心点的坐标，(u,v
i
)为一列内某像素点坐标，n为一列内像素点总个数，i为像素点灰度值；s16：运用连续边缘拟合操作，将步骤s15中获取的各列区域中的亮度中心点拟合为连
续的亚像素级中心线，并计算亚像素级中心线包围区域的面积和周长。

技术总结
本发明涉及一种桩腿焊缝缺陷检测方法，本发明的桩腿焊缝缺陷检测方法，利用小波变换模极大值多尺度边缘检测方法，获取最大连通域的图像边缘，进而实现了对具有缺陷的潜在区域的获取。然后通过焊缝区域划分模型判断该潜在区域中是否包含缺陷，并通过卷积神经网络模型判断该缺陷的具体缺陷区域及缺陷类别。相较于现有的焊缝缺陷检测方法，其通过保留面积最大的连通域，剔除了非焊缝区域，提高了检测的准确度。同时，在对缺陷区域及缺陷类别识别前，通过焊缝区域划分模型预先判断潜在区域中是否包含缺陷，进一步提高了缺陷检测的准确度，降低了对缺陷的漏检及误检，大大提高了焊缝缺陷检测的有效性。测的有效性。测的有效性。


技术研发人员：宗占强 朱春香 钱雨希
受保护的技术使用者：江苏永康机械有限公司
技术研发日：2023.06.25
技术公布日：2023/10/5