一种用于铸件射线图像的自监督学习方法与流程

1.本发明涉及工业无损检测领域，特别涉及一种用于铸件射线图像的自监督学习方法。


背景技术：

2.随着计算机视觉与人工智能的不断发展，基于射线图像的铸件缺陷自动识别主要依赖于深度学习模型。在实践中，常常使用在imagenet、coco等大型自然图像数据集的预训练模型作为初始的网络参数。然而，射线图像与自然图像在图像模式、动态范围、目标特点等方面存在较大差异，即二者在特征空间存在较大的域间隔，因此从自然图像预训练而学习到的特征并不完全适用于工业射线图像。此外，由于缺陷图像的稀缺性，难以构建如imagenet这样大规模的缺陷数据集以实现有监督的预训练。基于图像恢复的自监督学习技术可以在没有图像标签的情况下，实现网络的预训练，提升模型在下游任务的表现。然而目前的自监督学习任务有两大不足，其一是目前的方法仅适用于transformer架构，对于常规的卷积神经网络并不使用；其二是忽略了图像不同区域之间的信息密度差异。


技术实现要素：

3.鉴于上述方法存在的一些不足，本发明提出了一种用于铸件射线图像的自监督学习方法，该方法通过熵选择遮蔽策略与多尺度hog特征恢复网络实现了适用于射线图像的特征预训练，并显著提升下游任务的识别精度。
4.本发明提供了一种用于铸件射线图像的自监督学习方法，其特征在于：
5.其步骤为：
6.步骤1.自监督学习任务所需的图像数据集的构建；
7.步骤2：自监督模型训练；
8.步骤3.网络应用。
9.所述的步骤1.自监督学习任务所需的图像数据集的构建：
10.搜集不同射线装备在不同射线成像参数下的多种铸件图像，构建数据集d＝{i1，i2，...，in}；in为数据集中的第n张图像；n一般为大于10000的一个整数；随后对数据集中每个图像采用slic超像素聚类方法，获得对应的聚类结果集，记为ds＝{s1，s2，...，sn}；sn为in的聚类结果图，共包含k个超像素，记为
11.计算每个超像素的熵值e＝{e1，e2，...，ek}；其中ek代表第k个超像素的熵；超像素的熵值越大代表该超像素具有较高的信息密度；计算所有超像素熵值的中位数，超像素熵值小于中位数的为低熵超像素，超像素熵值大于中位数的为高熵超像素；将p1％的低熵超像素进行遮蔽(in中对应位置的图像灰度置为0)，将p2％的低熵超像素进行遮蔽，获得in对应的遮蔽后图像mn，并组成遮蔽图像数据集m＝{m1，m2，...，mn}，其中p1，p2为可调参数，p1一般应大于70且小于90，p2一般应大于0且小于40；最后，提取数据集d中的所有图像的hog特征组成数据集h＝{h1，h2，...，hn}；将得到的图像数据集随机划分为训练集和验证集，其比
例分别为70％和30％。
12.所述的步骤2：自监督模型训练：
13.自监督训练的模型整体结构为unet，unet的特征提取部分一般采用resnet等常用卷积神经网络模型；在自监督训练中使用的resnet采用稀疏卷积层而不使用常规的卷积层；将数据集m作为unet网络模型的输入，数据集h作为模型的输出；损失函数采用mse损失，其中只计算被遮蔽部分的图像损失；使用步骤1中的训练数据集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数；重复上述步骤，直至验证集损失函数值不再下降，模型收敛，resnet中的稀疏卷积层中参数值固定。
14.所述的步骤3.网络应用
15.训练完成后，将resnet中的稀疏卷积层替换为常规卷积层，但卷积层中的参数仍为自监督训练后的参数；resnet模型可作为后续铸件缺陷分类、分割网络的初始模型，帮助提升后续任务的识别精度。
16.本发明与现有技术相比，其优点在于：
17.本发明所述的用于铸件射线图像的自监督学习方法，一方面通过熵选择遮蔽策略，对图像具有不同信息差异的部分进行不同的遮蔽比例，从而克服传统方法忽略了图像不同区域之间的信息密度差异的问题。另一方面，传统方法只适用于transformer架构，而本发明提出的方法可以适用于卷积神经网络模型。在铸件缺陷检测领域中卷积神经网络仍然是主流方法，因此本发明更适用于铸件缺陷检测领域。
附图说明
18.下面结合附图及实施方式对本发明作进一步详细的说明：
19.图1原始铸件射线图像in；
20.图2 in的超像素聚类结果sn；
21.图3 sn中的低熵超像素；
22.图4 sn中的高熵超像素；
23.图5熵选择遮蔽策略处理后的结果mn。
具体实施方式
24.下面将结合具体的实施方案对本发明进行进一步的解释请参阅图
25.本发明提供了一种用于铸件射线图像的自监督学习方法，其特征在于：
26.其步骤为：
27.步骤1.自监督学习任务所需的图像数据集的构建；
28.步骤2：自监督模型训练；
29.步骤3.网络应用。
30.所述的步骤1.自监督学习任务所需的图像数据集的构建：
31.搜集不同射线装备在不同射线成像参数下的多种铸件图像，构建数据集d＝{i1，i2，...，in}；in为数据集中的第n张图像；n一般为大于10000的一个整数；随后对数据集中每个图像采用slic超像素聚类方法，获得对应的聚类结果集，记为ds＝{s1，s2，...，sn}；sn为in的聚类结果图，共包含k个超像素，记为
32.计算每个超像素的熵值e＝{e1，e2，...，ek}；其中ek代表第k个超像素的熵；超像素的熵值越大代表该超像素具有较高的信息密度；计算所有超像素熵值的中位数，超像素熵值小于中位数的为低熵超像素，超像素熵值大于中位数的为高熵超像素；将p1％的低熵超像素进行遮蔽(in中对应位置的图像灰度置为0)，将p2％的低熵超像素进行遮蔽，获得in对应的遮蔽后图像mn，并组成遮蔽图像数据集m＝{m1，m2，...，mn}，其中p1，p2为可调参数，p1一般应大于70且小于90，p2一般应大于0且小于40；最后，提取数据集d中的所有图像的hog特征组成数据集h＝{h1，h2，...，hn}；将得到的图像数据集随机划分为训练集和验证集，其比例分别为70％和30％。
33.所述的步骤2：自监督模型训练：
34.自监督训练的模型整体结构为unet，unet的特征提取部分一般采用resnet等常用卷积神经网络模型；在自监督训练中使用的resnet采用稀疏卷积层而不使用常规的卷积层；将数据集m作为unet网络模型的输入，数据集h作为模型的输出；损失函数采用mse损失，其中只计算被遮蔽部分的图像损失；使用步骤1中的训练数据集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数；重复上述步骤，直至验证集损失函数值不再下降，模型收敛，resnet中的稀疏卷积层中参数值固定。
35.所述的步骤3.网络应用
36.训练完成后，将resnet中的稀疏卷积层替换为常规卷积层，但卷积层中的参数仍为自监督训练后的参数；resnet模型可作为后续铸件缺陷分类、分割网络的初始模型，帮助提升后续任务的识别精度。
37.本发明未尽事宜为公知技术。
38.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种用于铸件射线图像的自监督学习方法，其特征在于：其步骤为：步骤1.自监督学习任务所需的图像数据集的构建；步骤2：自监督模型训练；步骤3.网络应用。2.根据权利要求1所述的用于铸件射线图像的自监督学习方法，其特征在于：所述的步骤1.自监督学习任务所需的图像数据集的构建：搜集不同射线装备在不同射线成像参数下的多种铸件图像，构建数据集d＝{i1，i2，...，i
n
}；i
n
为数据集中的第n张图像；n一般为大于10000的一个整数；随后对数据集中每个图像采用slic超像素聚类方法，获得对应的聚类结果集，记为d
s
＝{s1，s2，...，s
n
}；s
n
为i
n
的聚类结果图，共包含k个超像素，记为计算每个超像素的熵值e＝{e1，e2，...，e
k
}；其中e
k
代表第k个超像素的熵；超像素的熵值越大代表该超像素具有较高的信息密度；计算所有超像素熵值的中位数，超像素熵值小于中位数的为低熵超像素，超像素熵值大于中位数的为高熵超像素；将p1％的低熵超像素进行遮蔽(i
n
中对应位置的图像灰度置为0)，将p2％的低熵超像素进行遮蔽，获得i
n
对应的遮蔽后图像m
n
，并组成遮蔽图像数据集m＝{m1，m2，...，m
n
}，其中p1，p2为可调参数，p1一般应大于70且小于90，p2一般应大于0且小于40；最后，提取数据集d中的所有图像的hog特征组成数据集h＝{h1，h2，...，h
n
}；将得到的图像数据集随机划分为训练集和验证集，其比例分别为70％和30％。3.根据权利要求1所述的用于铸件射线图像的自监督学习方法，其特征在于：所述的步骤2：自监督模型训练：自监督训练的模型整体结构为unet，unet的特征提取部分一般采用resnet等常用卷积神经网络模型；在自监督训练中使用的resnet采用稀疏卷积层而不使用常规的卷积层；将数据集m作为unet网络模型的输入，数据集h作为模型的输出；损失函数采用mse损失，其中只计算被遮蔽部分的图像损失；使用步骤1中的训练数据集进行训练，每次输入固定数量的图像后，经前向传播获得损失函数值，利用反向传播算法优化模型各个卷积层中参数；重复上述步骤，直至验证集损失函数值不再下降，模型收敛，resnet中的稀疏卷积层中参数值固定。4.根据权利要求1所述的用于铸件射线图像的自监督学习方法，其特征在于：所述的步骤3.网络应用：训练完成后，将resnet中的稀疏卷积层替换为常规卷积层，但卷积层中的参数仍为自监督训练后的参数；resnet模型可作为后续铸件缺陷分类、分割网络的初始模型，帮助提升后续任务的识别精度。

技术总结
本发明提供了一种用于铸件射线图像的自监督学习方法，其步骤为：步骤1.自监督学习任务所需的图像数据集的构建；步骤2：自监督模型训练；步骤3.网络应用。通过熵选择遮蔽策略与稀疏卷积预训练架构实现铸件射线图像的自监督预训练，克服传统方法不适用于卷积神经网络与忽略图像不同区域之间的信息密度差异的问题。相比于自然图像预训练与传统自监督学习方法，本发明在提升模型下游任务的精度方面具有更好的效果。在铸件缺陷检测领域中卷积神经网络仍然是主流方法，因此本发明更适用于铸件缺陷检测领域。陷检测领域。陷检测领域。


技术研发人员：李兴捷 于涵 李新越 侯春雨 刘尚瑀
受保护的技术使用者：中国机械总院集团沈阳铸造研究所有限公司
技术研发日：2023.06.01
技术公布日：2023/10/6