一种改进U2-Net的瓷砖表面缺陷分割方法

一种改进u
2-net的瓷砖表面缺陷分割方法
技术领域
1.本发明涉及一种改进u
2-net的瓷砖表面缺陷分割方法，属于显著性目标分割技术领域。


背景技术：

2.显著性目标分割又叫显著性目标检测，主要目标为区分图像中最明显的区域。通过提取出图像中的目标区域来进行分析。目前在场景物体分割、人体前景分割、人脸人体parsing、三维重建技术等在智能安防、无人驾驶、安防监控等领域应用广泛。
3.传统的显著性目标检测算法整体上主要都是基于低级视觉特征的，包括中心偏差、对比度先验和背景先验等。achanata等人分别对亮度和颜色两种低级特征处理，使用高斯差分函数来进行频域滤波，从而来计算当前像素与其周围不同大小的域中像素的对比度，以此确定图像像素的显著值。klein等人是利用信息论中的k-l散度去衡量图像的特征空间的中心位置于其周围特征的差异。这些算法都是从考虑局部像素对比的方面，它在检测目标的边缘信息时能有很好的表现，但是对目标整体很难实现检测。而基于全局对比的检测算法则是计算像素区域相对于图像里所有像素的对比，这样能够将显著目标的具体位置检测出来。如wei等人将背景连接度的概念提出，在他们的方法中用来获取有效范围并且计算图像显著性的就是全局对比度。在高等人的方法中，先获得超像素分割后的图像，然后在cielab颜色空间中计算纹理细节和图像的全局对比度，借助了多核增强学习融合这两个特征得到显著图，并且用使用滤波器的后处理方法优化得到的预测图。perazzi等人首先将图像分解成不同的块，这些块与块之间的图片关系是紧凑的，具有视觉平滑性，然后给这些块的唯一特殊性和空间分布情况计算评估，根据评估度量结果生成图像的显著性图。此外还有研究人员通过构建图模型来进行图像像素的显著值计算。yang等人据此提出了基于流型排序的sod算法。他们的做法是首先采用超像素分割图片，然后选取合适的背景种子点，其他节点和种子点之间可以计算相似度，不同大小的排序的到初始显著图，再将它作为前景种子点，再次计算相似度再排序得到结果显著图。但是这种算法最后是否能很好地检测出显著图和种子点的选取十分相关。yuan等人提出了一个显著性反转校正过程，去除边界附近的前景超像素，防止显著反转，从而提高基于边界先验的显著性预测的准确性和鲁棒性。shan等人利用背景权重图为流形排序提供种子，并且利用一个三阶光滑性框架来提高流形排序的性能。在wu等人针对先前存在的方法在检测一些背景对比度低的图片时可能遗漏目标区域的问题，提出了一种新的传播模型，该模型考虑到了利用变形平滑约束。该模型局部正则化图像的节点和它周围的点，然后使用变形的平滑约束阻止可能出现错误的结果传播下去。
4.总之，基于传统的目标检测算法大多提取的特征比较简单，并且对图片显著值的训练过程也不是很复杂，目前在许多场景下也有着比较好的性能。然而在大量的数据集和实际场景图像中，需要检测的环境和图片情况变得越来越复杂，检测性能和检测速率的要求在增高，基于传统的方法逐渐难以满足这些要求。


技术实现要素：

5.为了克服现有技术中存在的缺陷，本发明旨在提供一种改进u
2-net的瓷砖表面缺陷分割方法。
6.本发明解决上述技术问题所提供的技术方案是：一种改进u
2-net的瓷砖表面缺陷分割方法，包括以下步骤：
7.步骤s1、获取瓷砖表面缺陷检测数据集，并将其分为训练集与测试集；
8.步骤s2、构建基于u
2-net的瓷砖表面缺陷分割网络模型；
9.所述瓷砖表面缺陷分割网络模型为六层u型结构，包括6级编码器、5级解码器、2级多尺度特征融合模块及显著图融合模块；
10.其中前4个编码器及对应的4个解码器由特征提取结构dcrsu构成，每个dcrsu的层数随着encoder和decoder的层数的增加而减少，即前4个编码器使用的分别是dcrsu-7、dcrsu-6、dcrsu-5、dcrsu-4，前4个解码器同理如此；
11.第5个编码器及对应的解码器采用的就是rsu-4f；
12.第6个编码器引入sknet作为最深一层的编码器；
13.分别在第5个解码器和第4个解码器的输入引入2个改进注意力门模块，将第6个编码器与第5个编码器输出的特征进行融合输入第5个解码器，将第4个编码器与第5个解码器输出的特征进行融合输入第4个解码器；然后使用3
×
3卷积和sigmoid函数从第6个编码器、第5个解码器、第4个解码器、第3个解码器、第2个解码器和第1个解码器生成6个输出显著概率图；然后将输出的显著图的逻辑图向上采样至于输入图像大小一致，并通过级联操作相融合；最后通过1
×
1卷积层和sigmoid函数，以生成最终的显著性概率映射图；
14.步骤s3、通过训练集对瓷砖表面缺陷分割网络模型进行不断迭代训练，直到网络最终收敛，得到训练好的瓷砖表面缺陷分割网络模型；
15.步骤s4、将待处理的图片输入到训练好的瓷砖表面缺陷分割网络模型中，得到分割的目标。
16.进一步的技术方案是，所述步骤s10中训练集与测试集按4：1进行划分。
17.进一步的技术方案是，所述dcrsu由输入卷积层、编码器、解码器和残差结构4部分组成；
18.输入卷积层用于提取局部特征和转换通道；
19.编码阶段，最后一个编码器采用卷积+批量归一化+relu激活函数结构，倒数第2层采用深度可分离卷积+批量归一化+relu激活函数结构；其余编码器利用残差结构将深度可分离卷积提取的特征和经注意力机制模块处理的输入特征相加后再输入下一个特征提取层进行特征提取,使得每级输出特征可以在聚焦于具有更多有效特征信息通道，加强每一级有效特征的提取能力并获取多尺度特征信息；
20.残差结构将输入层和中间层进行融合，对两个不同尺度的特征进行一个拼接；
21.解码阶段，解码器模块将经过拼接的特征图，经过一个3
×
3卷积一个批量归一化层和relu激活函数通过上采样逐步修复分割对象的细节和空间维度；经最后一个解码器输出的特征图，与经输入卷积层的特征图相加融合得到经dcrsu模块处理后的最终特征图。
22.进一步的技术方案是，所述rsu-4f将下采样和上采样换成了膨胀卷积，输入特征cxhxw首先通过2个由卷积+批量归一化层+relu组成的模块，然后经过膨胀卷积依次为1、2、
4、8，整个过程中特征图大小不变。
23.进一步的技术方案是，sknet作为最深一层的编码器，提取多尺度特征操作是将原特征图分别通过一个3
×
3的分组/深度卷积和3
×
3的空洞卷积生成两个特征图：和然后将这两个特征图进行相加，生成u；
24.生成的u通过全局平均池化生成1
×1×
c的特征图，该特征图通过全连接层生成d
×
1的向量z，对向量z分别经2个fc层重新变回长度c，对2个向量在通道维度上求softmax，得到各自的权重向量，并将权重与阶段一的2个输出进行相乘得到新的特征图，对两个新的特征图进行求和得到最终输出，送入下一个解码器。
25.进一步的技术方案是，所述改进注意力门模块的两个输入分别是编码器的当前层xl和解码器的下一层g，输入特征为cxhxw，他们首先经过逐元素的相加，经过relu激活函数，得到cxhxw的特征图，然后通过1
×
1的卷积将通道数降为1，然后sigmoid激活函数进行归一化得到注意力系数，然后再经过一个1
×
1模块将尺寸还原回来，得到cxhxw的系数，最后使用得到的注意力系数对两个输入特征图进行相乘，然后进行拼接，将最后得到的特征图送入下一个解码器模块。
26.进一步的技术方案是，所述步骤s3中训练模型时，设定批量大小为16，使用adamw优化器进行优化；首先使用1
×
10-3
的学习率进行初始训练，然后使用1
×
10-5
的学习率微调模型。
27.进一步的技术方案是，所述步骤s3中的损失公式为：
[0028][0029]
式中：l
fuse
代表的是最终的预测概率图的损失，l代表二值交叉熵损失，w代表每个损失的权重。
[0030]
本发明具有以下有益效果：本发明的u
2-net网络结构深且复杂，通过rsu和跳跃连接能够提取图片不同尺寸的级内和级间信息，但在连接中容易出现非缺陷区域等无效特征的保留和缺陷边缘等信息的丢失，仍存在一定的漏分割情况，为进一步提升网络分割性能，本发明主要从提高有效特征的提取能力和减少信息丢失两方面对网络进行改进；
[0031]
针对当前显著性目标检测解码阶段因为跳跃连接导致非缺陷区域等无效特征的保留和缺陷边缘等信息的丢失的问题，本发明能够充分利用图像的上下文信息从而减少信息丢失，提升显著性主体的分割效果；
[0032]
针对显著性目标检测在瓷砖表面缺陷场景下目标与背景对比度较低、检测精度较低的问题，本发明能够充分利用主干网络对有效特征的提取能力，使图片中缺陷目标的分割效果更好。
附图说明
[0033]
图1本发明流程图；
[0034]
图2为本发明方法的网络结构图；
[0035]
图3为本发明方法编-解码器中的特征提取dcrsu模块；
[0036]
图4为本发明方法编-解码器中用到的ca注意力模块；
[0037]
图5为本发明方法编-解码器中的特征提取rsu4-f模块；
[0038]
图6为本发明方法的编码器模块sknet；
[0039]
图7为本发明方法多尺度特征融合模块ag+模块；
[0040]
图8为本发明方法效果示意图。
[0041]
实施方式
[0042]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
如图1所示，本发明的一种改进u
2-net的瓷砖表面缺陷分割方法，包括以下步骤：
[0044]
步骤s1、获表面缺陷检测领域的magnetic-tile-defect-datasets数据集，并将其分为训练集与测试集，按4：1进行划分；
[0045]
步骤s2、构建基于u
2-net的瓷砖表面缺陷分割网络模型；
[0046]
该网络基于编解码结构，并采取了侧边融合的方式进行显著性目标预测。如图2所示，该模型由6级编码器、5级解码器，2级多尺度特征融合模块及显著图融合模块4部分组成。
[0047]
该网络结构总体是u形结构，前4个编码器及对应的4个解码器由特征提取结构dcrsu(如图3所示)构成，每个dcrsu的层数随着encoder和decoder的层数的增加而减少，即第1个编码器、第2个编码器、第3个编码器、第4个编码器使用的分别是dcrsu-7、dcrsu-6、dcrsu-5、dcrsu-4，解码器同理如此。
[0048]
第5个编码器及对应的解码器采用的都是rsu-4f(如图4所示)，f表示不会变化尺寸，也就是只进行特征提取。
[0049]
本发明在第6个编码器引入sknet(如图6所示)作为最深一层的编码器。
[0050]
此外，为解决仅使用跳跃连接模拟全局多尺度上下文，容易导致空间信息的丢失的问题，本发明分别在第5个解码器和第4个解码器的输入引入2个ag+模块(如图5所示)，将第6个编码器与第5个编码器输出的特征进行融合输入第5个解码器，将第4个编码器与第5个解码器输出的特征进行融合输入第4个解码器。
[0051]
然后使用3
×
3卷积和sigmoid函数从第6个编码器、第5个解码器、第4个解码器、第3个解码器、第2个解码器和第1个解码器生成6个输出显著概率图然后将输出的显著图的逻辑图向上采样至于输入图像大小一致,并通过级联操作相融合；最后通过1
×
1卷积层和sigmoid函数，以生成最终的显著性概率映射图。
[0052]
dcrsu(如图3所示)由输入卷积层、编码器、解码器和残差结构4部分组成。且假设dcrsu中设置的三个参数：输入通道数cin输出通道数cout中间模块输出通道数cmid。
[0053]
输入卷积层用于提取局部特征和转换通道，以输入图片3
×
512
×
512为例，它通过一个3
×
3卷积一个bn层和relu激活函数,通道上升，变为cout
×
512
×
512(该特征设为a)。
[0054]
编码阶段，最后一个编码器采用卷积+批量归一化+relu激活函数结构，倒数第2层采用深度可分离卷积+批量归一化+relu激活函数结构。其余编码器利用残差结构将深度可分离卷积提取的特征和经ca模块处理的输入特征相加后再输入下一个特征提取层进行特
征提取，使得每级输出特征可以在聚焦于具有更多有效特征信息通道，加强每一级有效特征的提取能力并获取多尺度特征信息。
[0055]
以a作输入特征为例，它通过cout个3
×
3卷积，变为cin
×
512
×
512；然后通过cmid个cin
×1×
1卷积、一个bn层和relu激活函数，变为cmid
×
512
×
512。
[0056]
同时a作为输入特征通过ca注意模块和一个bn层。ca注意模块(如图4所示)将c
×h×
w形状的输入特征图逐通道进行平均池化，使用(h，1)和(1，w)的池化核分别按x和y轴方向进行池化对每个通道进行编码，产生c
×h×
1和c
×1×
w形状的特征图。通过这种方式所产生的一对方法感知特征图可以使ca注意力能够在一个通道内捕获长距离的依赖关系，并且还有助于保留精确的位置信息，使网络能够更加准确的定位对象。将上述所提取到的特征图按空间维度进行拼接，拼接成形状的特征图，其中r用于控制块的减小率和se中的作用相同。再将特征图经过f1卷积变换函数(1
×
1卷积)和非线性激活函数产生f中间特征图。在将f按空间维度拆分成两个张量fh和fw，形状分别为和再分别进行fh和fw卷积变换函数(1
×
1卷积)和sigmoid激活函数得到gh和gw坐标注意力。然后将gh和gw与原输入进行相乘得到与输入相同形状的输出，然后再经过一个1
×
1卷积和批量归一化层让输出的特征图的形状，与同阶段特征a经过深度可分离卷积输出的形状相同。最后将经两路处理的特征a进行相加，输入下一个特征提取层。
[0057]
残差结构将输入层和中间层进行融合，对两个不同尺度的特征进行一个拼接。
[0058]
解码阶段解码器模块将经过拼接的特征图，经过一个3
×
3卷积一个批量归一化层和relu激活函数通过上采样逐步修复分割对象的细节和空间维度。经最后一个解码器输出的特征图，与经输入卷积层的特征图相加融合得到经dcrsu模块处理后的最终特征图。
[0059]
在rsu-4f模块，由于经过了几次下采样，原图已经很小了，为避免信息丢失，rsu-4f不再进行下采样(如图5)，将下采样和上采样换成了膨胀卷积，输入特征c
×h×
w首先通过2个由卷积+批量归一化层+relu组成的模块，然后经过膨胀卷积依次为1、2、4、8，整个过程中特征图大小不变。
[0060]
sknet(图6)作为最深一层的编码器，提取多尺度特征操作是将原特征图分别通过一个3
×
3的分组/深度卷积和3
×
3的空洞卷积(感受野为5
×
5)生成两个特征图：(图中黄色)和(图中绿色)。然后将这两个特征图进行相加，生成u。生成的u通过全局平均池化(fgp)生成1
×1×
c的特征图(图中的s)，该特征图通过全连接层(ffc函数)生成d
×
1的向量(图中的z)，对向量z分别经2个fc层重新变回长度c，对2个向量在通道维度上求softmax，得到各自的权重向量，并将权重与阶段一的2个输出进行相乘得到新的特征图，对两个新的特征图进行求和得到最终输出，送入下一个解码器。
[0061]
ag+模块(如图7所示)的两个输入分别是encoder的当前层xl和decoder的下一层g，输入特征为c
×h×
w，他们首先经过逐元素的相加，经过relu激活函数，得到c
×h×
w的特征图，然后通过1
×
1的卷积将通道数降为1，然后sigmoid激活函数进行归一化得到注意力系数，然后再经过一个1
×
1模块将尺寸还原回来，得到c
×h×
w的系数，最后使用得到的注意力系数对两个输入特征图进行相乘，然后进行拼接，将最后得到的特征图送入下一个解码器模块。
[0062]
步骤s3、通过训练集对瓷砖表面缺陷分割网络模型进行不断迭代训练，直到网络最终收敛，得到训练好的瓷砖表面缺陷分割网络模型；
[0063]
实验设备采用nvidia v100，整个模型用pytorch实现。
[0064]
训练模型时，设定批量大小为16，使用adamw优化器进行优化。我们首先使用1
×
10-3
的学习率进行初始训练，然后使用1
×
10-5
的学习率微调模型。
[0065]
公式如下为计算的损失公式，在这里m＝6，表示第1个解码器、第2个解码器、第3个解码器、第4个解码器、第5个解码器、第6个编码器有六个输出，l
fuse
代表的是最终的预测概率图的损失，l代表二值交叉熵损失，w代表每个损失的权重。
[0066][0067]
二值交叉熵损失如下所示，其中(r，c)是像素坐标，(h，w)是图像尺寸：高度和宽度。pg(r，c)和ps(r，c)表示像素地面实况值和预测显著概率-能力图。
[0068][0069]
步骤s4、将待处理的图片输入到训练好的瓷砖表面缺陷分割网络模型中，得到分割的目标。
[0070]
为了验证算法的有效性，实验使用magnetic-tile-defect-datasets数据集，将本发明提出的算法与u-net和u
2-net算法进行比较。
[0071]
分析：在magnetic-tile-defect-datasets数据集上进行了实验，并对生成的结果进行定量比较。主要是两个评价指标，maxf
β
和mae如下表所示，我们的方法相较于其他方法在两个指标上都取得了最优结果。
[0072]
methodmaemaxf
β
u2net0.0020.781u-net0.0040.733ours0.0010.792
[0073]
mae为平均绝对误差，是衡量图像质量的指标之一。计算原理为真实值与预测值的差值的绝对值然后求和再平均，mae值越小，说明图像质量越好。公式如下：
[0074][0075]
其中p和g是显著对象的概率图检测和相应的地面实况，(h，w)和(r，c)是(高度、宽度)和像素协调。
[0076]
准确率(accuracy)＝(tp+tn)/总样本。定义是：对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。
[0077]
精确率(precision)＝tp/(tp+fp)。它表示：预测为正的样本中有多少是真正的正样本，它是针对我们预测结果而言的。
[0078]fβ
用于综合评估精确度和召回率，如下所示：
[0079][0080]
将β2设置为0.3，并报告最大f
β
(maxf
β
)。
[0081]
以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，可利用上述揭示的技术内容作出些变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种改进u
2-net的瓷砖表面缺陷分割方法，其特征在于，包括以下步骤：步骤s1、获取瓷砖表面缺陷检测数据集，并将其分为训练集与测试集；步骤s2、构建基于u
2-net的瓷砖表面缺陷分割网络模型；所述瓷砖表面缺陷分割网络模型为六层u型结构，包括6级编码器、5级解码器、2级多尺度特征融合模块及显著图融合模块；其中前4个编码器及对应的4个解码器由特征提取结构dcrsu构成，每个dcrsu的层数随着encoder和decoder的层数的增加而减少，即前4个编码器使用的分别是dcrsu-7、dcrsu-6、dcrsu-5、dcrsu-4，前4个解码器同理如此；第5个编码器及对应的解码器采用的就是rsu-4f；第6个编码器引入sknet作为最深一层的编码器；分别在第5个解码器和第4个解码器的输入引入2个改进注意力门模块，将第6个编码器与第5个编码器输出的特征进行融合输入第5个解码器，将第4个编码器与第5个解码器输出的特征进行融合输入第4个解码器；然后使用3
×
3卷积和sigmoid函数从第6个编码器、第5个解码器、第4个解码器、第3个解码器、第2个解码器和第1个解码器生成6个输出显著概率图；然后将输出的显著图的逻辑图向上采样至于输入图像大小一致，并通过级联操作相融合；最后通过1
×
1卷积层和sigmoid函数，以生成最终的显著性概率映射图；步骤s3、通过训练集对瓷砖表面缺陷分割网络模型进行不断迭代训练，直到网络最终收敛，得到训练好的瓷砖表面缺陷分割网络模型；步骤s4、将待处理的图片输入到训练好的瓷砖表面缺陷分割网络模型中，得到分割的目标。2.根据权利要求1所述的一种改进u
2-net的瓷砖表面缺陷分割方法，其特征在于，所述步骤s10中训练集与测试集按4：1进行划分。3.根据权利要求1所述的一种改进u
2-net的瓷砖表面缺陷分割方法，其特征在于，所述dcrsu由输入卷积层、编码器、解码器和残差结构4部分组成；输入卷积层用于提取局部特征和转换通道；编码阶段，最后一个编码器采用卷积+批量归一化+relu激活函数结构，倒数第2层采用深度可分离卷积+批量归一化+relu激活函数结构；其余编码器利用残差结构将深度可分离卷积提取的特征和经注意力机制模块处理的输入特征相加后再输入下一个特征提取层进行特征提取,使得每级输出特征可以在聚焦于具有更多有效特征信息通道，加强每一级有效特征的提取能力并获取多尺度特征信息；残差结构将输入层和中间层进行融合，对两个不同尺度的特征进行一个拼接；解码阶段，解码器模块将经过拼接的特征图，经过一个3
×
3卷积一个批量归一化层和relu激活函数通过上采样逐步修复分割对象的细节和空间维度；经最后一个解码器输出的特征图，与经输入卷积层的特征图相加融合得到经dcrsu模块处理后的最终特征图。4.根据权利要求1所述的一种改进u
2-net的瓷砖表面缺陷分割方法，其特征在于，所述rsu-4f将下采样和上采样换成了膨胀卷积，输入特征cxhxw首先通过2个由卷积+批量归一化层+relu组成的模块，然后经过膨胀卷积依次为1、2、4、8，整个过程中特征图大小不变。5.根据权利要求1所述的一种改进u
2-net的瓷砖表面缺陷分割方法，其特征在于，sknet作为最深一层的编码器，提取多尺度特征操作是将原特征图分别通过一个3
×
3的分组/深
度卷积和3
×
3的空洞卷积生成两个特征图：和然后将这两个特征图进行相加，生成u；生成的u通过全局平均池化生成1
×1×
c的特征图，该特征图通过全连接层生成d
×
1的向量z，对向量z分别经2个fc层重新变回长度c，对2个向量在通道维度上求softmax，得到各自的权重向量，并将权重与阶段一的2个输出进行相乘得到新的特征图，对两个新的特征图进行求和得到最终输出，送入下一个解码器。6.根据权利要求1所述的一种改进u
2-net的瓷砖表面缺陷分割方法，其特征在于，所述改进注意力门模块的两个输入分别是编码器的当前层xl和解码器的下一层g，输入特征为cxhxw，他们首先经过逐元素的相加，经过relu激活函数，得到cxhxw的特征图，然后通过1
×
1的卷积将通道数降为1，然后sigmoid激活函数进行归一化得到注意力系数，然后再经过一个1
×
1模块将尺寸还原回来，得到cxhxw的系数，最后使用得到的注意力系数对两个输入特征图进行相乘，然后进行拼接，将最后得到的特征图送入下一个解码器模块。7.根据权利要求1所述的一种改进u
2-net的瓷砖表面缺陷分割方法，其特征在于，所述步骤s3中训练模型时，设定批量大小为16，使用adamw优化器进行优化；首先使用1
×
10-3
的学习率进行初始训练，然后使用1
×
10-5
的学习率微调模型。8.根据权利要求1或7所述的一种改进u
2-net的瓷砖表面缺陷分割方法，其特征在于，所述步骤s3中的损失公式为：式中：l
fuse
代表的是最终的预测概率图的损失，l代表二值交叉熵损失，w代表每个损失的权重。

技术总结
本发明涉及一种改进U


技术研发人员：黄进 包锐 王逢港 谢艺玮 方铮 冯义从 李剑波 荣鹏 郭伦 翟树红
受保护的技术使用者：西南交通大学
技术研发日：2023.06.25
技术公布日：2023/8/28