一种基于改进YOLOX的列车车体焊接质量检测方法

一种基于改进yolox的列车车体焊接质量检测方法
技术领域
1.本发明属于轨道交通图像识别领域，特别提供一种基于改进yolox的列车车体焊接质量检测方法。


背景技术：

2.轨道交通列车车体多由铝合金基础件组焊而成，焊缝在列车运行过程中承受冲击载荷、残余应力，焊接缺陷会降低车体的强度和刚度，威胁列车的运行安全。目前焊接质量检测多为人工检测和机器人巡检，采用超声波、x射线等无损检测方式，但需要依靠检测人员的工程经验对无损检测仪器采集的焊接缺陷信息进行分析，检测效率低，漏检率和误检率较高。人工智能的发展为焊接质量检测提供了新思路，深度学习算法可以智能学习焊接缺陷特征、学习判断缺陷类型的能力，并自主完成焊接缺陷类型的识别。


技术实现要素：

3.本发明的目的在于：提供一种基于改进yolox的列车车体焊接质量检测方法，本发明能提高焊接缺陷检测的效率，较好的平衡检测精度和检测速度，可以实现列车车体焊接质量智能检测，以及实现焊接缺陷的智能识别，且检测成本低，效率高。
4.本发明提出一种基于改进yolox的列车车体焊接质量检测方法，所述焊接质量检测包括以下步骤：
5.步骤1：获取列车车体的焊接缺陷图像，对列车车体的焊接缺陷图像进行人工标注；
6.步骤2：对标注的列车车体的焊接缺陷图像作增强扩增处理并制作数据集，再按一定比例将数据集划分为训练集和测试集；
7.步骤3：对所述训练集用改进的yolox网络进行训练，得到检测精度最高的权重文件；对所述测试集用改进的yolox网络和所述权重文件进行测试，用于评估列车车体的焊接缺陷检测质量。
8.上述方案优选的，在所述步骤2中，使用labelme工具标注焊接缺陷数据集，并将焊接缺陷信息以接缺陷名称、缺陷坐标存储在用labelme标注过程中生成的json文件里。
9.上述方案优选的，在所述步骤2中所述焊接缺陷分为五种类型，分别包括未焊透、未熔合、气孔、裂纹和夹渣。
10.上述方案优选的，在所述步骤2中，按7:3比例将数据集划分为训练集和测试集；对标注的列车车体的焊接缺陷图像作增强扩增处理包括对图像翻转、增加噪声、增加随机点、平移和改变亮度。
11.上述方案优选的，在所述步骤3中，所述改进yolox网络先以改进的cspdarknet特征提取网络进行全局提取焊接缺陷特征，即在cspdarknet网络中引入通道融合机制，再通过加权双向金字塔网络bifpn网络进行特征融合，最后通过目标检测网络识别焊接缺陷。
12.上述方案进一步优选的，所述步骤3中，所述cspdarknet中包含cspdark1、
cspdark2、cspdark3、cspdark4和cspdark5等多个模块。cspdarknet网络中的csp(cross stage partial)跨阶段分部通过划分区域降低信息的重复学习，从而提高特征学习的速度。csp的前向传播与权重计算如公式(1)-(6)所示。在前向传播的过程中将图像的特征图均分为2部分，分别用x
′0、x
″0表示，每部分都有k层卷积，如公式(1)所示。x
″0通过darknet进行特征提取的输出为x
t
，x
′0不计算，最后将x
′0和x
t
通过concat函数计算的结果定义为xu。xi，xk，x
t
，xu分别表示前向传播过程中的特征图，wk，w
t
，wu与w
′k，w
′
t
，w
′u分别表示更新前和更新后的权重，f表示权重更新函数，gi表示第i层卷积的梯度。cspdarknet采用梯度下降法更新权重，设更新前的权重为w，更新后的权重w
′
＝f(w,g0,g1,...,gk)＝w-g
0-g
1-...-gk。
13.xk＝wk*[x
″0,x1,...,x
k-1
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0014]
x
t
＝w
t
*[x
″0,x1,...,xk]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0015]
xu＝wu*[x
′0,x
t
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0016]w′k＝f(wk,g
″0,g1,...,g
k-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0017]w′
t
＝f(w
t
,g
″′
,g1,...,gk)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0018]w′u＝f(wu,g
′0,g
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0019]
上述方案进一步优选的，在所述步骤3中，引入所述通道融合机制过程为：先将特征图rgb(红、绿、蓝)通道分成3组，再将3组通道各自分为n个小组，最后通过维度操作和转置将各部分均匀的打乱，使得特征信息在不同组间流转，从而提高网络的特征提取能力。
[0020]
上述方案进一步优选的，在所述步骤3中，所述加权双向金字塔网络可以使网络输出的特征进行双向融合，将低层的语义信息向高层融合，将高层的语义信息向低层融合。加权双向金字塔网络一共有5级特征图。第1级为上一阶段的输入特征图，第2级、第3级、第4级为中间特征图，第5级为加权双向金字塔的输出特征图。第4级和第5级特征图的计算如公式(7)-(9)所示。分别表示第5级、第4级特征图的输入、表示第4级特征图的中间层，分别表示第5级、第4级特征图的输出，conv表示卷积运算，resize表示上采样或者下采样运算，自顶向下是上采样，自底向上是下采样。w1，w2表示第4级特征图的中间层的权重，w1′
，w
′2，w3′
表示第4级特征图的输出层的权重。常数项ε＝0.0001。第2级和第3级特征图的计算与第4级类似。
[0021][0022][0023][0024]
上述方案优选的，在所述步骤4中，用改进yolox网络对焊接缺陷图片进行检测，通过平均检测精度map(mean average precision)、帧速率fps(frames per second)评估其检测性能。
[0025]
本发明的优点是：基于深度学习提出了改进yolox的城市轨道交通列车车体焊接质量检测模型，结合图像标注、数据增强等技术，可以有效全面的提取焊接缺陷特征信息，实现列车车体焊接质量的智能检测，能有效提高焊接缺陷检测的效率，实现焊接缺陷的智能识别，且检测成本低，效率高，提高了焊接质量检测的速度、精度和鲁棒性。与传统的无损
检测方法相比，节约大量人力物力，检测精度和速度大大提高，能较好的平衡检测精度和检测速度，对于降低焊缝的故障率和失效率、保证列车的运行安全具有重要意义。
附图说明
[0026]
图1是本发明的焊接质量检测装置的示意图。
[0027]
图2是本发明的darknet与cspdarknet模型结构对比图。
[0028]
图3是本发明的通道混合机制结构图。
[0029]
图4是本发明的bifpn模型结构图。
[0030]
图5是本发明的改进的yolox模型结构图。
[0031]
图6是本发明的焊接缺陷检测结果对比图。
具体实施方式
[0032]
本发明提出一种基于改进yolox的列车车体焊接质量检测方法，如图1，所述焊接质量检测包括以下步骤：
[0033]
步骤1：获取列车车体的焊接缺陷图像，对列车车体的焊接缺陷图像进行人工标注；用相控阵超声波检测仪1、相控阵探头2、编码器3采集1500张列车车体焊接试件4焊接缺陷扇形扫描图像；
[0034]
步骤2：对标注的列车车体的焊接缺陷图像作增强扩增处理并制作数据集，再按一定比例将数据集划分为训练集和测试集；用计算机5对所述图像进行人工标注焊接缺陷，并通过旋转、平移、增加噪声等数据增强技术将焊接缺陷图像扩增到3000张，制作数据集，并以7:3的比例将数据集划分为训练集和测试集，即训练集有2700张图像，测试集有300张图像；
[0035]
步骤3：对所述训练集用改进的yolox网络进行训练，得到检测精度最高的权重文件；对所述测试集用改进的yolox网络和所述权重文件进行测试，用于评估列车车体的焊接缺陷检测质量；用计算机5对所述训练集用改进的yolox网络进行训练，得到检测精度最高的权重文件；用计算机5对所述测试集用改进的yolox网络和所述权重文件进行测试，从检测精度和检测速度两方面进行评估该装置的检测性能，检测精度的评估指标为平均检测精度map、检测速度的评估指标为帧速率fps。平均检测精度越高，表示检测得越准确；帧速率与检测速度呈正相关。
[0036]
图2是本发明的darknet与cspdarknet模型结构对比图。所述cspdarknet中包含cspdark2、cspdark3、cspdark4和cspdark5等多个模块。cspdarknet网络中的csp(cross stage partial)跨阶段分部(即cspdark2、cspdark3、cspdark4和cspdark5模块中的跨阶段分部)通过划分区域降低信息的重复学习，从而提高特征学习的速度。cspdarknet网络中的csp跨阶段前向传播与权重计算如公式(1)-(6)所示。cspdarknet网络中的每个模块都具有csp跨阶段分部，“跨阶段分部csp(cross stage partial)”表示将特征图划分为2部分的动作，在前向传播的过程中将图像的特征图均分为2部分，分别用x
′0、x
″0表示，每部分都有k层卷积，如公式(1)所示。x
″0通过darknet进行特征提取的输出为x
t
，x
′0不计算，最后将x
′0和x
t
通过concat函数计算的结果定义为xu。xi，xk，x
t
，xu分别表示前向传播过程中的特征图，wk，w
t
，wu与w
′k，w
′
t
，w
′u分别表示更新前和更新后的权重，f表示权重更新函数，gi表示第i层卷
积的梯度；
[0037]
cspdarknet采用梯度下降法更新权重，设更新前的权重为w，更新后的权重w
′
＝f(w,g0,g1,...,gk)＝w-g
0-g
1-...-gk。
[0038]
xk＝wk*[x
″0,x1,...,x
k-1
]，
ꢀꢀꢀꢀꢀ
(1)；
[0039]
x
t
＝w
t
*[x
″0,x1,...,xk]，
ꢀꢀꢀꢀꢀꢀꢀ
(2)；
[0040]
xu＝wu*[x
′0,x
t
]，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)；
[0041]w′k＝f(wk,g
″0,g1,...,g
k-1
)，
ꢀꢀꢀꢀꢀ
(4)；
[0042]w′
t
＝f(w
t
,g
″0,g1,...,gk)，
ꢀꢀꢀꢀꢀꢀ
(5)；
[0043]w′u＝f(wu,g
′0,g
t
)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)；
[0044]
图3是本发明的通道混合机制结构图，所述通道融合机制先将特征图rgb(红、绿、蓝)通道分成3组，通道混合机制的原理是对特征图rgb(红、绿、蓝)三个通道进行分组卷积、维度操作和转置，使得特征信息在不同组间流转，从而提高网络的特征提取能力；然后再将3组各自分为n个小组，最后通过维度操作和转置将各部分均匀的打乱(由左至右，第一张图是特征图按照rgb通道类型分为3组，第二张图是特征图将这三个组再分为n个小组，第三张图是将n个小组均匀的打乱)，使得特征信息在不同组间流转，从而提高网络的特征提取能力。
[0045]
图4是本发明的bifpn模型结构图，双向表示自顶向下和自底向上，加权表示带权重进行特征融合。图4中点画线箭头表示自顶向下的通路(焊缝缺陷特征信息的流动分为自顶向下的通路和自底向上的通路)，传递高层特征语义信息；虚线箭头表示自底向上的通路(焊缝缺陷特征信息在通路中流转，包括自顶向下的通路和自底向上的通路)，传递低层特征的位置信息。所述加权双向金字塔网络可以使网络输出的特征进行双向融合，将低层的语义信息向高层融合，将高层的语义信息向低层融合。一共有5级特征图。第1级为上一阶段的输入特征图，第2级、第3级、第4级为中间特征图，第5级为加权双向金字塔的输出特征图。第4级和第5级特征图的计算如公式(7)-(9)所示。分别表示第5级、第4级特征图的输入、表示第4级特征图的中间层，分别表示第5级、第4级特征图的输出，conv表示卷积运算，resize表示上采样或者下采样运算，自顶向下是上采样，自底向上是下采样。w1，w2表示第4级特征图的中间层的权重，w
′1，w
′2，w
′3表示第4级特征图的输出层的权重。常数项ε＝0.0001。第2级和第3级特征图的计算与第4级类似。
[0046][0047][0048][0049]
图5是本发明的改进的yolox模型结构图。改进的yolox网络主要由输入端、特征提取网络、特征融合网络和目标检测网络四部分组成，如图4所示。输入端将焊缝缺陷图像尺寸通过多尺度融合重置为640*640，并分为r，g，b三个通道输入到特征提取网络中，如图5(a)所示。
[0050]
特征提取网络如图5(b)所示。输入的特征图图像经过一个3*3卷积的下采样层；然
后，输出特征图经过1*1卷积分为两路分支，且卷积后特征图的通道数为输入特征图通道数的一半。主干部分再通过1*1卷积调整通道数，经过若干个cspdark卷积块之后，再使用1*1卷积整合通道特征。最后将残差边和1*1卷积输出特征图在通道维度上堆叠，再经过1*1卷积融合通道信息。输入图像的shape的[长度，宽度，通道数]为[640，640，3]，网络不断进行下采样来获得更高的语义信息，输出三个有效特征层，特征层1的shape的为[80，80，256]，负责预测小目标；特征层2的shape为[40，40，512]，负责预测中等目标；特征层3的shape为[20，20，1024]，负责预测大目标。csp结构增强了卷积神经网络的学习能力，占用较少的显存空间，加快了网络的推理速度。spp加强特征提取结构能在一定程度上解决多尺度的问题。对网络模型输出的特征层3先经过三个卷积层调整通道数，然后分别使用池化核大小为5*5，9*9，13*13的最大池化，通过padding操作使得池化前后特征图的shape完全相同。然后，将原始输入和三种池化的结果特征图在通道维度上堆叠。最后经过三次卷积融合通道信息。基本卷积、通道混合卷积、残差组件、focus、csp结构和spp(spatial pyramid pooling)的单元构成如图5(e)所示。
[0051]
特征融合网络如图5(c)所示。加权双向金字塔(bidirectional feature pyramid network,bifpn，简称bifpn)将网络输出的有效特征层和spp结构的输出进行特征融合。bifpn为双向路径，一个是将低层的语义信息向高层融合，另一个是将高层的语义信息向低层融合。首先，对spp结构的输出p5进行卷积和上采样，对网络输出的20*20*1024的特征图卷积，将两个结果在通道维度上堆叠，再经过5次卷积，输出特征图shape为20*20*512，然后将结果再进行卷积和上采样。网络输出的80*80*256特征图与上一层的40*40*512特征图经过1*1卷积，将两个特征图在通道维度上堆叠，完成低层的语义信息向高层融合。同理，可以实现高层的语义信息向低层融合。
[0052]
目标检测网络如图5(d)所示，图5(d)的
①②③
与图5(c)中的
①②③
相连，目标检测网络采用解耦检测头结构，可以提高检测性能，提升收敛速度。不同的分支对应于bifpn输出的不同尺度下的特征图，结合不同的尺度对焊接缺陷进行精确分类。输入为[640，640，3]，经过8倍、16倍、32倍下采样，即得到80*80、40*40、20*20三个尺度预测框，可以实现不同尺度下焊接缺陷的预测。
[0053]
在本发明中，图6所示为部分检测结果对比图。从中可以看出，检测出五种焊接缺陷未焊透(incomplete penetration,ip)、未熔合(lack of fusion,lof)、裂纹(crack)、夹渣(slag)、气孔(core)的精度较高，焊接缺陷的检测效果较好。图6(a)-(c)为无噪声的图像，图6(d)-(f)为与之对应的有噪声的图像。从图6可知，有噪声和无噪声的图像，检测精度都可以达到98％左右，对于噪声图像的焊接缺陷仍可以准确识别，改进yolox模型的鲁棒性较好。
[0054]
表1检测效果对比
[0055]
[0056]
改进yolox模型与主流模型的检测效果对比如表1所示，改进yolox模型的平均检测精度map较原始yolox提高了5％，帧速率提高了7.6帧每秒(fps)。改进yolox的检测效率较高，模型鲁棒性较好，对于列车车体焊接质量检测具有较好的应用前景。
[0057]
以上所述仅是本发明的优选实施方式，并不用于限制本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，所做出的若干修改、等同替换和改进等，也应视为本发明的保护范围。

技术特征：
1.一种基于改进yolox的列车车体焊接质量检测方法，其特征在于，所述焊接质量检测方法包括以下步骤：步骤1：获取列车车体的焊接缺陷图像，对列车车体的焊接缺陷图像进行人工标注；步骤2：对标注的列车车体的焊接缺陷图像作增强扩增处理并制作数据集，再按一定比例将数据集划分为训练集和测试集；步骤3：对所述训练集用改进的yolox网络进行训练，得到检测精度最高的权重文件；对所述测试集用改进的yolox网络和所述权重文件进行测试，用于评估列车车体的焊接缺陷检测质量。2.根据权利要求1所述的一种基于改进yolox的列车车体焊接质量检测方法，其特征在于，在所述步骤1中，使用labelme工具标注焊接缺陷图像，并将焊接缺陷名称、缺陷坐标存储在生成的json文件里。3.根据权利要求1所述的一种基于改进yolox的列车车体焊接质量检测方法，其特征在于，所述焊接缺陷分为五种类型，分别包括未焊透、未熔合、气孔、裂纹和夹渣。4.根据权利要求1所述的一种基于改进yolox的列车车体焊接质量检测方法，其特征在于，在所述步骤2中，按7:3比例将数据集划分为训练集和测试集；对标注的列车车体的焊接缺陷图像作增强扩增处理包括对图像翻转、增加噪声、增加随机点、平移和改变亮度。5.根据权利要求1所述的一种基于改进yolox的列车车体焊接质量检测方法，其特征在于，在所述步骤3中，改进的yolox网络由特征提取网络和特征融合网络组成，其中，所述特征提取网络为改进的cspdarknet网络，所述特征融合网络由加权双向金字塔网络bifpn构成，先在改进的cspdarknet网络中引入通道融合机制，再通过加权双向金字塔网络bifpn网络进行特征融合，最后通过目标检测网络识别焊接缺。6.根据权利要求5所述的一种基于改进yolox的列车车体焊接质量检测方法，其特征在于，所述改进的cspdarknet网络中包含cspdark2、cspdark3、cspdark4和cspdark5模块，改进的cspdarknet网络中的跨阶段分部通过划分区域降低信息的重复学习，用于提高特征学习的速度；改进的cspdarknet网络中的跨阶段分部在前向传播的过程中将图像的特征图均分为两部分，分别用x
′0、x
″0表示特征图的两部分，每部分都有k层卷积，x
″0通过darknet进行特征提取的输出为x
t
，x
′0不计算，最后将x
′0和x
t
通过concat函数计算的结果定义为x
u
；改进的cspdarknet网络中的跨阶段的前向传播与权重计算计算满足如下：x
k
＝w
k
*[x
″0,x1,...,x
k-1
]，
ꢀꢀꢀꢀ
(1)；x
t
＝w
t
*[x
″0,x1,...,x
k
]，
ꢀꢀꢀꢀꢀꢀ
(2)；x
u
＝w
u
*[x
′0,x
t
]，
ꢀꢀꢀ
(3)；w
′
k
＝f(w
k
,g
″0,g1,...,g
k-1
)，
ꢀꢀ
(4)；w
′
t
＝f(w
t
,g
″0,g1,...,g
k
)，
ꢀꢀꢀ
(5)；w
′
u
＝f(w
u
,g
′0,g
t
)，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)；其中，x
i
，x
k
，x
t
，x
u
分别表示前向传播过程中的特征图，w
k
，w
t
，w
u
与w
′
k
，w
′
t
，w
′
u
分别表示更新前和更新后的权重，f表示权重更新函数，g
i
表示第i层卷积的梯度：改进的cspdarknet采用梯度下降法更新权重，设更新前的权重为w，更新后的权重w
′
＝f(w,g0,g1,...,g
k
)＝w-g
0-g
1-...-g
k
。
7.根据权利要求5所述的一种基于改进yolox的列车车体焊接质量检测方法，其特征在于，引入所述通道融合机制过程为：先将特征图融合通道分成3组，再将3组通道各自分为n个小组，最后通过维度操作和转置将各部分均匀的打乱，使得特征图上的特征信息在不同组间流转，从而提高网络的特征提取能力。8.根据权利要求5所述的一种基于改进yolox的列车车体焊接质量检测方法，其特征在于，所述加权双向金字塔网络bifpn用于对网络输出的特征进行双向融合，将低层的语义信息向高层融合，将高层的语义信息向低层融合；加权双向金字塔网络bifpn一共由5级特征图构成，其中，第1级为上一阶段的输入特征图，第2级、第3级、第4级为中间特征图，第5级为加权双向金字塔的输出特征图，第4级和第5级特征图的计算满足：第4级和第5级特征图的计算满足：第4级和第5级特征图的计算满足：第4级和第5级特征图的计算满足：其中，分别表示第5级、第4级特征图的输入，表示第4级特征图的中间层，分别表示第5级、第4级特征图的输出，conv表示卷积运算，resize表示上采样或者下采样运算，自顶向下是上采样，自底向上是下采样；w1，w2表示第4级特征图的中间层的权重，w1′
，w
′2，w3′
表示第4级特征图的输出层的权重，；常数项ε＝0.0001。9.根据权利要求1所述的一种基于改进yolox的列车车体焊接质量检测方法，其特征在于，在所述步骤4中，用改进的yolox网络对焊接缺陷图片进行检测，通过平均检测精度map和帧速率fps进行评估其检测性能。

技术总结
本发明公开了一种基于改进YOLOX的列车车体焊接质量检测方法，包括以下步骤，获取列车车体的焊接缺陷图像，对列车车体的焊接缺陷图像进行人工标注；对标注的列车车体的焊接缺陷图像作增强扩增处理并制作数据集，再按一定比例将数据集划分为训练集和测试集；对所述训练集用改进的YOLOX网络进行训练，得到检测精度最高的权重文件；对所述测试集用改进的YOLOX网络和所述权重文件进行测试，用于评估列车车体的焊接缺陷检测质量。本发明能提高焊接缺陷检测的效率，较好的平衡检测精度和检测速度，可以实现列车车体焊接质量智能检测，以及实现焊接缺陷的智能识别，且检测成本低，提高了焊接质量检测的速度、精度和鲁棒性。精度和鲁棒性。精度和鲁棒性。


技术研发人员：贺德强 马瑞 刘旗扬 靳震震 贺岁球 孙海猛 陈艳 张明超
受保护的技术使用者：广西大学
技术研发日：2023.06.28
技术公布日：2023/9/22