一种基于改进YOLOv4的铸坯缺陷检测方法

一种基于改进yolov4的铸坯缺陷检测方法
技术领域
1.本发明涉及深度学习技术领域，尤其是涉及一种基于改进yolov4的铸坯缺陷检测方法。


背景技术：

2.炼钢连铸是钢铁企业生产中至关重要的环节，1963年从欧洲开始采用浸入式水口保护浇注技术，凭借其独特的优势，迅速在全世界推广开来。为了解决连铸坯壳与结晶器之间的润滑传热问题，研究者开发了保护渣应用技术，使保护渣熔化形成的液渣膜充填坯壳与结晶器间的空隙，有效解决了敞开浇注中存在的润滑不良和裂纹等问题。
3.目前，国内绝大多数钢厂的结晶器保护渣加渣操作仍是人工加渣。虽然提出了“勤加、少加、均匀加，保证黑面作业，加强渣厚测量”的操作要求，但在实际操作过程中难以得到保证。人工加渣需要操作者不定时向结晶器内推入保护渣，容易引起结晶内钢液面的瞬间搅动，造成卷渣；由于人工加渣操作的加渣量、加渣速率等参数的控制很大程度上依靠操作者的经验，难以产生稳定的液渣层；再者，人工加渣操作无法解决保护渣在储存过程中的返潮现象。
4.利用加渣机器人取代人工实现自动化的保护渣加渣是目前解决上述问题的一个主要研发方向，但目前自动化的保护渣加渣的中还无法保证铸坯缺陷的问题，导致无法获得高质量的钢坯。


技术实现要素：

5.针对上述问题，本发明提供了一种基于改进yolov4网络的铸坯缺陷检测方法，能够在各种复杂的背景下，精确地识别定位出铸坯缺陷。
6.为了实现发明的目的，拟采取以下技术方案：一种基于改进yolov4网络的铸坯缺陷检测方法，包括，
7.步骤1，获取铸坯表面缺陷图像；
8.步骤2，利用标注软件对含有铸坯缺陷的图像进行标注，构建含有铸坯缺陷的图像数据集；
9.步骤3，构建改进的yolov4铸坯缺陷检测网络模型；
10.步骤4，利用训练后的改进yolov4网络模型对铸坯表面缺陷进行测试。
11.进一步的，在步骤s1中，用摄像头拍摄铸坯表面缺陷图像。
12.进一步的，在步骤s2中，利用parker软件对获取的铸坯表面缺陷图像进行缺陷类型和缺陷位置标注，生成数据集。
13.尤其，对数据集进行预处理为对数据集进行包括尺度变换、随机翻转和对比度调节在内的数据增强操作。
14.进一步的，在步骤s3中，改进yolov4网络模型的主干特征提取网络的具体内容为：
15.在对训练集的图像分割时，注入空洞卷积代替下采样和上采样操作，加强特征特
征提取网络panet采用csplayer代替五次卷积模块convset5，设计图像目标检测模型的损失函数。
16.尤其，在对训练集的图像分割时，注入空洞卷积代替下采样和上采样操作，通过调整扩张率控制数据之间的距离，在不降低特征分辨率的情况下，扩大模型的感受野，在上采样获取高层语义信息，输出特征图；
17.空洞卷积卷积核k的计算公式为：k＝k+(k-1)(r-1)，其中，k为原始卷积核大小，r为空洞卷积参数空洞率。
18.尤其，将铸坯训练集输入改进的yolov4网络进行训练，首先冻结主干网络cspdarknet53参数进行多次世代训练，再解冻进行完整的世代训练，每个世代训练完成都代入验证集计算验证集的损失函数值，反向传播更新网络权值，保存损失函数值最低的权值文件为训练获得的最优的权重参数。
19.进一步的，在步骤s3中，中设计的图像目标检测模型的损失函数loss(object),同时考虑了目标预测框与真实目标框之间的位置损失loss(box),目标框的预测置信度和真实置信度之间的损失loss(conf),以及目标的预测类型与真实类型之间的损失loss(class)，损失函数的表达式为：
20.loss(object)＝loss(box)+loss(conf)+loss(class)；
21.所述模型的预测目标框与真实目标框之间的位置损失loss(box)的表达式为：
22.loss(box)＝1-iou(a,b)+d2/c2+αυ；
23.其中，iou(a,b)为真实目标框a和预测目标框b之间的交并比，d2为a与b之间的欧式距离，c2为a与b闭包空间的对角线距离；
24.其中，是衡量目标框长宽比一致性的参数,并且，w和h分别是a和b的宽和高，α＝υ/((1-iou)+υ)是用于做权衡的参数；
25.所述目标框的预测置信度和真实置信度之间的损失loss(conf)的表达式为：
[0026][0027]
其中，k
×
k表示图像被分割成网格的数量，m表示每个网格可预测的目标数量，i表示网格中的第i行，j表示网格中的第j列；
[0028]
若目标出现在第i*j个网格中，则
[0029]
否则表示第i个网格中的第j个anchor；
[0030]
其中，和ci分别是第i*j个网格的置信度的真实值和预测值，λ
noobj
为无目标权重,并且λ
noobj
＝0.5，用来降低不含目标的网格的损失在损失函数中的权重；
[0031]
目标的预测类型与真实类型之间的损失loss(class)的表达式为：
[0032][0033]
其中k
×
k表示图像被分割成网络的数量；
[0034]
若目标出现在第i*j个表格中，则
[0035]
否则
[0036]
其中，和pi(c)分别表示目标属于第i个目标类型的真实概率和预测概率。
[0037]
进一步的，在步骤s4中，将铸坯训练集输入改进的yolov4网络进行训练，首先冻结主干网络(cspdarknet53)参数进行多次世代训练，再解冻进行完整的世代训练，每个世代训练完成都代入验证集计算验证集的损失函数值，反向传播更新网络权值，保存损失函数值最低的权值文件为训练获得的最优的权重参数。
[0038]
与现有技术相比，本发明的有益效果在于：本发明通过获取不同视角含有铸坯缺陷图像，构建改进yolov4网络，学习到含有铸坯缺陷图像多尺度的特征信息，提升网络模型的泛化能力，最终在加渣背景下精准的识别定位出铸坯缺陷图像。
附图说明
[0039]
图1为本发明实施例中基于改进yolov4网络的铸坯缺陷检测方法的整体流程图；
[0040]
图2为本发明实施例中基于改进yolov4网络的铸坯缺陷检测方法的流程分析图；
[0041]
图3为本发明实施例中空洞卷积示意图；
[0042]
图4为本发明实施例中基于yolov4的图像目标检测框架。
具体实施方式
[0043]
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0044]
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
[0045]
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0046]
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
[0047]
请参阅图1、图2、图3、图4所示，图1为本发明实施例中基于改进yolov4网络的铸坯缺陷检测方法的整体流程图；图2为本发明实施例中基于改进yolov4网络的铸坯缺陷检测方法的流程分析图；图3为本发明实施例中空洞卷积示意图；图4为本发明实施例中基于yolov4的图像目标检测框架。
[0048]
本发明提供一种基于改进yolov4网络的铸坯缺陷检测方法，包括，
[0049]
步骤1，通过拍摄获取铸坯缺陷图像；
[0050]
步骤2，通过parker软件对获取的铸坯表面缺陷图像进行缺陷类型和缺陷位置进行标注，生成数据集；
[0051]
步骤3，改进yolov4网络模型的主干特征提取网络，加入空洞卷积扩大感受野，获取优化后的改进yolov4网络模型，基于训练集对优化后的改进yolov4网络模型进行训练。
[0052]
尤其，改进yolov4网络模型的主干特征提取网络的具体内容为：
[0053]
在对训练集的图像分割时，注入空洞卷积代替下采样和上采样操作，通过调整扩张率控制数据之间的距离，在不降低特征分辨率的情况下，扩大模型的感受野，在上采样获取高层语义信息，输出特征图；
[0054]
调整扩张率后空洞卷积卷积核k的计算公式为：k＝k+(k-1)(r-1)，其中，k为原始卷积核大小，r为空洞卷积参数空洞率。
[0055]
尤其，基于改进yolov4的铸坯缺陷检测方法，其特征在于，改进的yolov4网络由主干特征提取网络cspdarknet53、加强特征提取网络panet和头部网络yolo-head构成，主干特征提取网络cspdarknet53在残差模块后引入卷积注意力模块cbam，加强特征特征提取网络panet采用csplayer代替五次卷积模块convset5，在每一次上采样和下采样后，经过维度堆叠的特征层都采用一次空间金字塔池化模块spp。
[0056]
尤其，基于改进yolov4的铸坯缺陷检测方法，其特征在于，所述步骤3)中设计的图像目标检测模型的损失函数loss(object),同时考虑了目标预测框与真实目标框之间的位置损失loss(box),目标框的预测置信度和真实置信度之间的损失loss(conf),以及目标的预测类型与真实类型之间的损失loss(class)，损失函数的表达式为：
[0057]
loss(object)＝loss(box)+loss(conf)+loss(class)；
[0058]
所述模型的预测目标框与真实目标框之间的位置损失loss(box)的表达式为：
[0059]
loss(box)＝1-iou(a,b)+d2/c2+αυ；
[0060]
其中，iou(a,b)为真实目标框a和预测目标框b之间的交并比，d2为a与b之间的欧式距离，c2为a与b闭包空间的对角线距离；
[0061]
其中，是衡量目标框长宽比一致性的参数,并且，w和h分别是a和b的宽和高，α＝υ/((1-iou)+υ)是用于做权衡的参数；
[0062]
所述目标框的预测置信度和真实置信度之间的损失loss(conf)的表达式为：
[0063][0064]
其中，k
×
k表示图像被分割成网格的数量，m表示每个网格可预测的目标数量,i表示网格中的第i行，j表示网格中的第j列；
[0065]
若目标出现在第i*j个网格中，则
[0066]
否则表示第i个网格中的第j个anchor；
[0067]
其中，和ci分别是第i*j个网格的置信度的真实值和预测值,λ
noobj
为无目标权重，并且λ
noobj
＝0.5用来降低不含目标的网格的损失在损失函数中的权重；
[0068]
目标的预测类型与真实类型之间的损失loss(class)的表达式为：
[0069][0070]
其中k
×
k表示图像被分割成网络的数量；
[0071]
若目标出现在第i*j个表格中，则
[0072]
否则
[0073]
其中，和pi(c)分别表示目标属于第i个目标类型的真实概率和预测概率。
[0074]
步骤4，将铸坯训练集输入改进的yolov4网络进行训练，首先冻结主干网络cspdarknet53参数进行多次世代训练，再解冻进行完整的世代训练，每个世代训练完成都代入验证集计算验证集的损失函数值，反向传播更新网络权值，保存损失函数值最低的权值文件为训练获得的最优的权重参数，将需要检测的图像输入铸坯缺陷检测网络模型，识别和定位出铸坯缺陷。
[0075]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

技术特征：
1.一种基于改进yolov4网络的铸坯缺陷检测方法，其特征在于，包括，步骤1，获取铸坯表面缺陷图像；步骤2，利用标注软件对含有铸坯缺陷的图像进行标注，构建含有铸坯缺陷的图像数据集；步骤3，构建改进的yolov4铸坯缺陷检测网络模型；步骤4，利用训练后的改进yolov4网络模型对铸坯表面缺陷进行测试。2.根据权利要求1所述的基于改进yolov4的铸坯缺陷检测方法，其特征在于，在步骤s1中，用摄像头拍摄铸坯表面缺陷图像。3.根据权利要求1所述的基于改进yolov4的铸坯缺陷检测方法，其特征在于，在步骤s2中，利用parker软件对获取的铸坯表面缺陷图像进行缺陷类型和缺陷位置标注，生成数据集。4.根据权利要求3所述的基于改进yolov4的铸坯缺陷检测方法，其特征在于，对数据集进行预处理为对数据集进行包括尺度变换、随机翻转和对比度调节在内的数据增强操作。5.根据权利要求1所述的基于改进yolov4的铸坯缺陷检测方法，其特征在于，在步骤s3中，改进yolov4网络模型的主干特征提取网络的具体内容为：在对训练集的图像分割时，注入空洞卷积代替下采样和上采样操作，加强特征特征提取网络panet采用csplayer代替五次卷积模块convset5，设计图像目标检测模型的损失函数。6.根据权利要求5所述的基于改进yolov4的铸坯缺陷检测方法，其特征在于，在对训练集的图像分割时，注入空洞卷积代替下采样和上采样操作，通过调整扩张率控制数据之间的距离，在不降低特征分辨率的情况下，扩大模型的感受野，在上采样获取高层语义信息，输出特征图；空洞卷积卷积核k的计算公式为：k＝k+(k-1)(r-1)，其中，k为原始卷积核大小，r为空洞卷积参数空洞率。7.根据权利要求5所述的基于改进yolov4的铸坯缺陷检测方法，其特征在于，将铸坯训练集输入改进的yolov4网络进行训练，首先冻结主干网络cspdarknet53参数进行多次世代训练，再解冻进行完整的世代训练，每个世代训练完成都代入验证集计算验证集的损失函数值，反向传播更新网络权值，保存损失函数值最低的权值文件为训练获得的最优的权重参数。8.根据权利要求5所述的基于改进yolov4的铸坯缺陷检测方法，其特征在于，在步骤s3中，中设计的图像目标检测模型的损失函数loss(object),同时考虑了目标预测框与真实目标框之间的位置损失loss(box),目标框的预测置信度和真实置信度之间的损失loss(conf),以及目标的预测类型与真实类型之间的损失loss(class)，损失函数的表达式为：loss(object)＝loss(box)+loss(conf)+loss(class)所述模型的预测目标框与真实目标框之间的位置损失loss(box)的表达式为：loss(box)＝1-iou(a,b)+d2/c2+αυ其中，iou(a,b)为真实目标框a和预测目标框b之间的交并比，d2为a与b之间的欧式距离，c2为a与b闭包空间的对角线距离；
其中，是衡量目标框长宽比一致性的参数,并且，w和h分别是a和b的宽和高，α＝υ/((1-iou)+υ)是用于做权衡的参数；所述目标框的预测置信度和真实置信度之间的损失loss(conf)的表达式为：其中，k
×
k表示图像被分割成网格的数量，m表示每个网格可预测的目标数量,i表示网格中的第i行，j表示网格中的第j列；若目标出现在第i*j个网格中，则否则表示第i个网格中的第j个anchor；其中，和c
i
分别是第i*j个网格的置信度的真实值和预测值,λ
noobj
为无目标权重，并且λ
noobj
＝0.5，用以降低不含目标的网格的损失在损失函数中的权重；目标的预测类型与真实类型之间的损失loss(class)的表达式为：其中k
×
k表示图像被分割成网络的数量；若目标出现在第i*j个表格中，则否则其中，和p
i
(c)分别表示目标属于第i个目标类型的真实概率和预测概率。9.根据权利要求1所述的基于改进yolov4的铸坯缺陷检测方法，其特征在于，在步骤s4中，将铸坯训练集输入改进的yolov4网络进行训练，首先冻结主干网络(cspdarknet53)参数进行多次世代训练，再解冻进行完整的世代训练，每个世代训练完成都代入验证集计算验证集的损失函数值，反向传播更新网络权值，保存损失函数值最低的权值文件为训练获得的最优的权重参数。

技术总结
本发明公开了一种基于YOLOv4网络的铸坯缺陷检测方法，属于铸坯缺陷检测技术领域，本发明包括以下步骤：步骤S1，获取含有铸坯缺陷的图像；步骤S2,利用标注软件对含有铸坯缺陷的图像进行标注，构建含有铸坯缺陷的图像数据集；步骤S3，构建改进的YOLOv4网络；步骤S4，利用训练后的改进YOLOv4网络模型对铸坯表面缺陷进行测试，本发明通过获取不同视角含有铸坯缺陷图像，构建改进YOLOv4网络，学习到含有铸坯缺陷图像多尺度的特征信息，提升网络模型的泛化能力，最终在加渣背景下精准的识别定位出铸坯缺陷图像，本发明抗干扰能力强，稳定性高，能够在各种复杂背景图像中精准的识别和定位出铸坯缺陷。出铸坯缺陷。出铸坯缺陷。


技术研发人员：李志远 陈祖国 卢明 陈超洋 邹莹 李沛
受保护的技术使用者：湖南科技大学
技术研发日：2023.04.27
技术公布日：2023/8/1