一种基于改进的Unet网络的皮肤病图像分割方法及系统

一种基于改进的unet网络的皮肤病图像分割方法及系统
技术领域
1.本发明涉及自动图像分割技术领域，具体涉及一种基于改进的unet网络的皮肤病图像分割方法及系统。


背景技术：

2.医学图像分割的目的是使图像中解剖或病理结构的变化更加清晰；它在计算机辅助诊断和智能医疗中发挥着至关重要的作用，极大地提高了诊断的效率和准确性。目前流行的医学图像分割任务包括肝脏和肝脏肿瘤分割，脑和脑肿瘤分割，视盘分割，细胞分割，肺分割和肺结节等。
3.2015年olafronneberger等提出了unet网络模型，其基于编码器-解码器结构，并应用长距离跳跃连接结合来自底层的细节，有效的弥补了因下采样操作过程中空间信息缺失，帮助网络恢复更加精确的定位，这对于医学图像分割、遥感图像分割以及抠图这种对细节非常看重的密集型分割任务来说是至关重要的。
4.现有的医学图像分割方法受到复杂的病灶表面以及病灶区域丰富组织和纹理的影响，如皮肤病图像可能包含毛发、血管、气泡等，病变区域与周围皮肤的边界模糊等因素会对分割和分类结果产生一定的影响，皮损周边的颜色分布不均、形状不规则，遮挡病灶区域在分割准确性和稳定性上难以满足临床需求，这都给皮肤病图像分割任务带来较大的挑战。为此需要一种更精准的分割模型来应对具有挑战性的医学图像问题。


技术实现要素：

5.发明目的：本发明提供一种基于改进的unet网络的皮肤病图像分割方法及系统，提高对于皮肤病分割的准确度，可以更准确的辅助医生进行诊断。
6.技术方案：本发明所述的一种基于改进的unet网络的皮肤病图像分割方法，具体包括以下步骤：
7.(1)预先有关皮肤病的医学图像，并对图像中待分割区域进行标记，将其作为标签，形成数据集；
8.(2)构建基于改进的unet网络的图像分割模型；所述改进的unet网络包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；所述编码器由resnext作为主干特征提取网络，swintransformer作为辅助特征提取网络；
9.(3)对图像分割模型进行训练，将训练集的图像输入模型中，生成模型预测的标签图，再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化，保存结果最好的一次权值，生成权值文件；
10.(4)图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割。
11.进一步地，步骤(2)所述swintransformer一共由五层编码层组成，分别为stage1，stage2，stage3，stage4，stage5，通过swintransformer对待分割图片进行编码，得到通道
数分别为48，128，256，512，1024的子特征图f1～f5；所述resnext一共由五层编码层组成，分别为conv1，conv2，conv3，conv4，conv5，通过resnext对待分割图片进行编码，得到通道数分别为64，256的特征图e1和e2；将f2与e2输入网络特征聚合机制得到e2’，再将e2’继续输入进编码层conv3得到通道数为512的特征图e3；将f3与e3输入网络特征聚合机制得到e3’，再将e3’继续输入进编码层conv4得到通道数为1024的特征图e4；将f4与e4输入网络特征聚合机制得到e4’，再将e4’继续输入进编码层conv5得到通道数为2048的特征图e5；将特征图e5输入进空洞空间卷积池化金字塔得到e5’；
12.子特征图e1通过卷积将通道数64变为128得到e1’；e1’～e4’分别输入至对应的边缘增强注意力机制通道中，分别得到子特征图e1”～e4”；e5’经过上采样得到m5，m5与e4”在通道维度上拼接，经过第四层解码层输出大小为m4的特征图，其再与e3”进行拼接，经过第三层解码层输出大小为m3的特征图，其与e2”进行拼接，经过第二层解码层输出大小为m2的特征图，其与e1”进行拼接，经过第一层解码层输出大小为m1的特征图，最后通过1
×
1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图p1。
13.进一步地，所述resnext包括conv1，由一次7
×
7卷积块卷积得到，conv2～conv5分别由3，4，6，3个bottleneck构成。
14.进一步地，步骤(2)所述swintransformer包括stage1，由一次卷积得到，stage2～stage5分别由2，2，18，2个swintransformrt block构成。
15.进一步地，步骤(2)所述网络特征聚合机制包括：swintransformer输入的特征图大小为h
×w×
c，在分别经过全局最大池化和全局平均池化之后，输出结果为两个1
×1×
c的特征图t1，t2，将它们分别输入进前置多层感知机，使通道数大小c变为c/16；再将得到两个特征图相加并输入进后置多层感知机中，将通道数大小c/16变为c，并且用sigmoid激活函数进行激活，之后与resnext输入的特征图进行相乘操作得到out1；接着对swintransformer输入的特征图在长、宽以及通道的维度上计算全局平均池化得到avg_out1,avg_out2,avg_out3，对swintransformer输入的特征图在长、宽以及通道的维度上计算全局最大池化得到max_out1,max_out2,max_out3；将avg_out3和max_out3在通道的维度上进行拼接并且进行一次7
×
7的卷积操作；将所得结果分别直接使用sigmoid激活函数激活得到spatial_out1，取反使用sigmoid激活函数激活得到spatial_out2；将两个spatial_out1相加减去spatial_out2得到的结果用sigmoid函数激活加上spatial_out1，再乘以out1得到新的out1；将max_out1和max_out2相乘，avg_out1和avg_out2相乘，所得结果相加并用sigmoid函数激活乘以swintransformer输入的特征图得到out2；将out1，out2，swintransformer输入的特征图，resnext输入的特征图相加得到最终结果。
16.进一步地，步骤(2)所述边缘增强注意力机制包括：网络特征聚合机制输入的特征图大小为h
×w×
c，在分别经过全局最大池化和全局平均池化之后，输出结果为两个1
×1×
c的特征图；再将它们一起输入到一个共用的多层感知机将特征图先降维再升维，再将两张输出的特征图相加，经过sigmoid激活函数归一化特征图的每个通道的权重spatial_out，将归一化后的权重和输入特征图相乘得到通道注意力；对通道注意力输出的特征图进行处理，分别进行global max pooling和global average pooling，将输出的两张特征图在通道数上进行concatenate,再用1
×
1卷积调整通道数，最后经过sigmoid函数归一化权重；将归一化权重和输入特征图相乘得到空间注意力out1；将out1用sigmoid函数激活，将所得结
果分别直接使用最大池化将特征图缩小一倍，取反使用最大池化将特征图缩小一倍，将两者结果进行相加得到out2；将out1用sigmoid函数激活，将所得结果分别直接使用最大池化将特征图缩小一倍，取反使用平均池化将特征图缩小一倍，将两者结果进行相加得到out3；将out1用sigmoid函数激活，将所得结果直接使用最大池化将特征图缩小一倍得到out4；将out2，out3，out4相加得到新的out2；将out2用双线性插值使特征图放大一倍，加上spatial_out后用sigmoid函数激活，最后和网络特征聚合机制输入的特征图进行相乘操作得到结果。
17.基于相同的发明构思，本发明所述的一种基于改进的unet网络的皮肤病图像分割系统，包括：
18.图像获取模块，预先有关皮肤病的医学图像，并对图像中待分割区域进行标记，将其作为标签，形成数据集；
19.图像分割模块，包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；所述编码器由resnext作为主干特征提取网络，swintransformer作为辅助特征提取网络；
20.图像分割训练模块，对图像分割模型进行训练，将训练集的图像输入模型中，生成模型预测的标签图，再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化，保存结果最好的一次权值，生成权值文件；图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割；
21.结果显示模块，多形式展示皮肤病图像分割后的结果。
22.有益效果：与现有技术相比，本发明的有益效果：本发明提出一种高精度的改进的unet网络，resnext擅长提取小物体的特征而对于大目标物体的特征提取则精度有所降低，transformer则可以弥补改善resnext对于大目标的缺陷，提出的网络特征聚合模块能较好的结合二者，提高分割模型的整体精度；本发明提出的边缘增强注意力机制则使原本模糊难分割的边缘更加清晰，使分割结果更加接近标签图；改进的unet网络可以很好的适用于绝大部分机器，分割效果好于现有的分割网络，有非常好的良性市场前景，且该分割方法可以应用于医院以及医疗机构中，使图像中解剖或病理结构的变化更加清晰；在计算机辅助诊断和智能医疗中发挥着至关重要的作用，辅助医生进行诊断，极大地提高了诊断的效率和准确性。
附图说明
23.图1是本发明提出的改进的unet网络结构示意图；
24.图2为本发明提出的网络特征聚合机制流程图；
25.图3为本发明提出的边缘增强注意力机制流程图；
26.图4为采用本发明的分割结果图。
具体实施方式
27.下面结合附图对本发明作进一步详细说明。
28.本发明提供一种基于改进的unet网络的皮肤病图像分割方法，包括以下步骤：
29.步骤1：预先有关皮肤病的医学图像，并对图像中待分割区域进行标记，将其作为
标签，形成数据集。
30.本实施方式使用的是网上公开的皮肤病分割数据集，对图中待分割区域进行标记，将其作为标签。选择2600张待分割图像及其标签，其中1816张为训练集，784张为测试集。
31.步骤2：如图1所示，构建基于改进的unet网络的图像分割模型；改进的unet网络包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；编码器由resnext作为主干特征提取网络，swintransformer作为辅助特征提取网络。
32.首先，将大小为224
×
224像素的3通道待分割图像输入到swintransformer进行编码，得到通道数分别为48，128，256，512，1024的子特征图f1～f5，每经过一层编码层，图像的尺寸缩小为原先的1/2，编码器一共由五层编码层组成，分别为分别为stage1，stage2，stage3，stage4，stage5；五层编码层中的stage1为一次卷积，stage2～stage5的分别由2，2，18，2个swintransformer block构成。将大小为224
×
224像素的3通道待分割图像输入到resnext进行编码，得到通道数分别为64，256的特征图e1和e2。将f2与e2输入网络特征聚合机制得到e2’,再将e2’继续输入进编码层conv3得到通道数为512的特征图e3。将f3与e3输入网络特征聚合机制得到e3’,再将e3’继续输入进编码层conv4得到通道数为1024的特征图e4。将f4与e4输入网络特征聚合机制得到e4’,再将e4’继续输入进编码层conv5得到通道数为2048的特征图e5。将特征图e5输入进空洞空间卷积池化金字塔(aspp)得到e5’。
33.其次，子特征图e1通过卷积将通道数64变为128得到e1’。e1’～e4’分别输入至对应的边缘增强注意力机制通道中，分别得到子特征图e1”～e4”。e5’经过上采样得到m5，m5与e4”在通道维度上拼接，经过第四层解码层输出大小为m4的特征图，其再与e3”进行拼接，经过第三层解码层输出大小为m3的特征图，其与e2”进行拼接，经过第二层解码层输出大小为m2的特征图，其与e1”进行拼接，经过第一层解码层输出大小为m1的特征图，最后通过1
×
1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图p1。
34.如图2所示，网络特征聚合机制流程包括：swintransformer输入的特征图大小为h
×w×
c，在分别经过全局最大池化和全局平均池化之后，输出结果为两个1
×1×
c的特征图t1，t2，将它们分别输入进前置多层感知机，使通道数大小c变为c/16。再将得到两个特征图相加并输入进后置多层感知机中，将通道数大小c/16变为c，并且用sigmoid激活函数进行激活，之后与resnext输入的特征图进行相乘操作得到out1。接着对swintransformer输入的特征图在长，宽以及通道的维度上计算全局平均池化得到avg_out1,avg_out2,avg_out3,对swintransformer输入的特征图在长，宽以及通道的维度上计算全局最大池化得到max_out1,max_out2,max_out3。将avg_out3和max_out3在通道的维度上进行拼接并且进行一次7
×
7的卷积操作。将所得结果分别直接使用sigmoid激活函数激活得到spatial_out1，取反使用sigmoid激活函数激活得到spatial_out2。将两个spatial_out1相加减去spatial_out2得到的结果用sigmoid函数激活加上spatial_out1，再乘以out1得到新的out1。将max_out1和max_out2相乘，avg_out1和avg_out2相乘，所得结果相加并用sigmoid函数激活乘以swintransformer输入的特征图得到out2。将out1，out2，swintransformer输入的特征图，resnext输入的特征图相加得到最终结果。
35.如图3所示，边缘增强注意力机制包括：网络特征聚合机制输入的特征图大小为h
×w×
c，在分别经过全局最大池化和全局平均池化之后，输出结果为两个1
×1×
c的特征
图；再将它们一起输入到一个共用的多层感知机将特征图先降维再升维，再将两张输出的特征图相加，经过sigmoid激活函数归一化特征图的每个通道的权重spatial_out，将归一化后的权重和输入特征图相乘得到通道注意力；对通道注意力输出的特征图进行处理，分别进行global max pooling和global average pooling，将输出的两张特征图在通道数上进行concatenate,再用1
×
1卷积调整通道数，最后经过sigmoid函数归一化权重。将归一化权重和输入特征图相乘得到空间注意力out1。将out1用sigmoid函数激活，将所得结果分别直接使用最大池化将特征图缩小一倍，取反使用最大池化将特征图缩小一倍，将两者结果进行相加得到out2。将out1用sigmoid函数激活，将所得结果分别直接使用最大池化将特征图缩小一倍，取反使用平均池化将特征图缩小一倍，将两者结果进行相加得到out3。将out1用sigmoid函数激活，将所得结果直接使用最大池化将特征图缩小一倍得到out4。将out2，out3，out4相加得到新的out2。将out2用双线性插值使特征图放大一倍，加上spatial_out后用sigmoid函数激活，最后和网络特征聚合机制输入的特征图进行相乘操作得到结果。
36.步骤3：对图像分割模型进行训练。将训练集的图像输入进模型中，生成模型预测的标签图，再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化。一共训练200轮，保存结果最好的一次权值，生成权值文件。
37.步骤4：图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割。
38.输入上述图片对基于改进的unet网络的图像分割模型进行训练。然后仅向训练过的模型输入待分割测试图像，分割结果图如图4所示。
39.由图4所示可以看到，改进的unet网络(rsunet)在小目标，大目标以及复杂边缘病灶的分割上都能展现非常好的结果，体现出rsunet的优异性。为了说明本方法的有效性，将相同的图像输入以resnet50为主干特征提取网络的unet，unet++，deeplabv3+，fpn，pspnet中，计算模型输出的分割结果和真实标签的交并比(miou)，准确率(accuracy)，dice系数，召回率(recall)，精准率(precision)，对比结果如表1所示，rsunet的所有指标都要优于其他所有的对照网络。
40.表1不同网络输出结果对比
[0041][0042]
基于相同的发明构思，本发明还提供一种基于改进的unet网络的皮肤病图像分割系统，包括：
[0043]
图像获取模块，预先有关皮肤病的医学图像，并对图像中待分割区域进行标记，将
其作为标签，形成数据集；
[0044]
图像分割模块，包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；所述编码器由resnext作为主干特征提取网络，swintransformer作为辅助特征提取网络；
[0045]
图像分割训练模块，对图像分割模型进行训练，将训练集的图像输入模型中，生成模型预测的标签图，再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化，保存结果最好的一次权值，生成权值文件；图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割；
[0046]
结果显示模块，多形式展示皮肤病图像分割后的结果。

技术特征：
1.一种基于改进的unet网络的皮肤病图像分割方法，其特征在于，包括以下步骤：(1)预先有关皮肤病的医学图像，并对图像中待分割区域进行标记，将其作为标签，形成数据集；(2)构建基于改进的unet网络的图像分割模型；所述改进的unet网络包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；所述编码器由resnext作为主干特征提取网络，swintransformer作为辅助特征提取网络；(3)对图像分割模型进行训练，将训练集的图像输入模型中，生成模型预测的标签图，再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化，保存结果最好的一次权值，生成权值文件；(4)图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割。2.根据权利要求1所述的一种基于改进的unet网络的皮肤病图像分割方法，其特征在于，步骤(2)所述swintransformer一共由五层编码层组成，分别为stage1，stage2，stage3，stage4，stage5，通过swintransformer对待分割图片进行编码，得到通道数分别为48，128，256，512，1024的子特征图f1～f5；所述resnext一共由五层编码层组成，分别为conv1，conv2，conv3，conv4，conv5，通过resnext对待分割图片进行编码，得到通道数分别为64，256的特征图e1和e2；将f2与e2输入网络特征聚合机制得到e2’，再将e2’继续输入进编码层conv3得到通道数为512的特征图e3；将f3与e3输入网络特征聚合机制得到e3’，再将e3’继续输入进编码层conv4得到通道数为1024的特征图e4；将f4与e4输入网络特征聚合机制得到e4’，再将e4’继续输入进编码层conv5得到通道数为2048的特征图e5；将特征图e5输入进空洞空间卷积池化金字塔得到e5’；子特征图e1通过卷积将通道数64变为128得到e1’；e1’～e4’分别输入至对应的边缘增强注意力机制通道中，分别得到子特征图e1”～e4”；e5’经过上采样得到m5，m5与e4”在通道维度上拼接，经过第四层解码层输出大小为m4的特征图，其再与e3”进行拼接，经过第三层解码层输出大小为m3的特征图，其与e2”进行拼接，经过第二层解码层输出大小为m2的特征图，其与e1”进行拼接，经过第一层解码层输出大小为m1的特征图，最后通过1
×
1的卷积核调整图片通道数，将通道数调整为分割目标数num_classes输出最终特征图p1。3.根据权利要求1所述的一种基于改进的unet网络的皮肤病图像分割方法，其特征在于，所述resnext包括conv1，由一次7
×
7卷积块卷积得到，conv2～conv5分别由3，4，6，3个bottleneck构成。4.根据权利要求1所述的一种基于改进的unet网络的皮肤病图像分割方法，其特征在于，步骤(2)所述swintransformer包括stage1，由一次卷积得到，stage2～stage5分别由2，2，18，2个swintransformrt block构成。5.根据权利要求1所述的一种基于改进的unet网络的皮肤病图像分割方法，其特征在于，步骤(2)所述网络特征聚合机制包括：swintransformer输入的特征图大小为h
×
w
×
c，在分别经过全局最大池化和全局平均池化之后，输出结果为两个1
×1×
c的特征图t1，t2，将它们分别输入进前置多层感知机，使通道数大小c变为c/16；再将得到两个特征图相加并输入进后置多层感知机中，将通道数大小c/16变为c，并且用sigmoid激活函数进行激活，之后与resnext输入的特征图进行相乘操作得到out1；接着对swintransformer输入的特征图
在长、宽以及通道的维度上计算全局平均池化得到avg_out1,avg_out2,avg_out3，对swintransformer输入的特征图在长、宽以及通道的维度上计算全局最大池化得到max_out1,max_out2,max_out3；将avg_out3和max_out3在通道的维度上进行拼接并且进行一次7
×
7的卷积操作；将所得结果分别直接使用sigmoid激活函数激活得到spatial_out1，取反使用sigmoid激活函数激活得到spatial_out2；将两个spatial_out1相加减去spatial_out2得到的结果用sigmoid函数激活加上spatial_out1，再乘以out1得到新的out1；将max_out1和max_out2相乘，avg_out1和avg_out2相乘，所得结果相加并用sigmoid函数激活乘以swintransformer输入的特征图得到out2；将out1，out2，swintransformer输入的特征图，resnext输入的特征图相加得到最终结果。6.根据权利要求1所述的一种基于改进的unet网络的皮肤病图像分割方法，其特征在于，步骤(2)所述边缘增强注意力机制包括：网络特征聚合机制输入的特征图大小为h
×
w
×
c，在分别经过全局最大池化和全局平均池化之后，输出结果为两个1
×1×
c的特征图；再将它们一起输入到一个共用的多层感知机将特征图先降维再升维，再将两张输出的特征图相加，经过sigmoid激活函数归一化特征图的每个通道的权重spatial_out，将归一化后的权重和输入特征图相乘得到通道注意力；对通道注意力输出的特征图进行处理，分别进行global max pooling和global average pooling，将输出的两张特征图在通道数上进行concatenate,再用1
×
1卷积调整通道数，最后经过sigmoid函数归一化权重；将归一化权重和输入特征图相乘得到空间注意力out1；将out1用sigmoid函数激活，将所得结果分别直接使用最大池化将特征图缩小一倍，取反使用最大池化将特征图缩小一倍，将两者结果进行相加得到out2；将out1用sigmoid函数激活，将所得结果分别直接使用最大池化将特征图缩小一倍，取反使用平均池化将特征图缩小一倍，将两者结果进行相加得到out3；将out1用sigmoid函数激活，将所得结果直接使用最大池化将特征图缩小一倍得到out4；将out2，out3，out4相加得到新的out2；将out2用双线性插值使特征图放大一倍，加上spatial_out后用sigmoid函数激活，最后和网络特征聚合机制输入的特征图进行相乘操作得到结果。7.一种采用如权利要求1至6任一所述方法的基于改进的unet网络的皮肤病图像分割系统，其特征在于，包括：图像获取模块，预先有关皮肤病的医学图像，并对图像中待分割区域进行标记，将其作为标签，形成数据集；图像分割模块，包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；所述编码器由resnext作为主干特征提取网络，swintransformer作为辅助特征提取网络；图像分割训练模块，对图像分割模型进行训练，将训练集的图像输入模型中，生成模型预测的标签图，再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化，保存结果最好的一次权值，生成权值文件；图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割。8.根据权利要求7所述的一种基于改进的unet网络的皮肤病图像分割系统，其特征在于，所述swintransformer一共由五层编码层组成，通过swintransformer对待分割图片进行编码，得到通道数分别为48，128，256，512，1024的子特征图f1～f5。9.根据权利要求7所述的一种基于改进的unet网络的皮肤病图像分割系统，其特征在于，所述resnext一共由五层编码层组成，通过resnext对待分割图片进行编码，得到通道数
分别为64，256的特征图e1和e2。10.根据权利要求7所述的一种基于改进的unet网络的皮肤病图像分割系统，其特征在于，所述皮肤病图像分割系统还包括结果显示模块，多形式展示皮肤病图像分割后的结果。

技术总结
本发明公开了一种基于改进的Unet网络的皮肤病图像分割方法及系统，预先有关皮肤病的医学图像，构建基于改进的Unet网络的图像分割模型，包括编码器、解码器、网络特征聚合机制以及边缘增强注意力机制；所述编码器由ResNext作为主干特征提取网络，SwinTransformer作为辅助特征提取网络；对图像分割模型进行训练，生成标签图；再将训练集图像的对应标签图和生成模型预测的标签图进行差别计算得到loss，采用优化器进行优化，保存结果最好的一次权值，生成权值文件；图像分割模型加载保存的权值文件，将需要分割的图片输入进模型中实现皮肤病图像的分割。本发明拥有更高的分割精度，提高对于皮肤病分割的准确度，可以更准确的辅助医生进行诊断。生进行诊断。生进行诊断。


技术研发人员：王浩然 于坤 高宋宇衡 李强强 管乾钧 高市洪
受保护的技术使用者：淮阴工学院
技术研发日：2023.08.23
技术公布日：2023/10/20