一种基于边界引导Transformer的黑色素瘤皮肤病检测方法及系统

一种基于边界引导transformer的黑色素瘤皮肤病检测方法及系统
技术领域
1.本发明涉及皮肤病检测技术领域，特别是一种基于边界引导transformer的黑色素瘤皮肤病检测方法。


背景技术：

2.黑色素瘤皮肤病是致死率最高的皮肤癌之一。据统计，处于早期皮肤癌的患者生存率高达95％，而到达晚期后生存率已低至15％。黑色素瘤会导致病变皮肤表面色素沉着，尽管医生可以通过肉眼检查色素沉着区域，但病变的复杂性和肿瘤的不同特征，导致即使是经验丰富的医生也很难准确的诊断出黑色素瘤。所以，在临床实践中，应用皮肤镜技术筛查病变皮肤并尽早实施干预，可有效提高患者的生存率。然而，不同的病变大小、不同的皮肤颜色和不规则的病变边界，都极大的增加了从皮肤镜图像中发现黑色素瘤的难度。
3.传统的黑色素瘤皮肤病检测方法主要是基于阈值、边缘、区域等轮廓模型或聚类、监督学习，虽然这类方法能检测出病变的主要位置，但当出现皮肤镜图像不均匀或病变边界模糊等极端情况时，往往出现误检和漏检的情况，检测精度低。随着深度学习的发展，也出现了基于卷积神经网络的黑色素瘤皮肤病检测模型，但这类模型全局建模能力弱，对于病变边界的检测仍然不够准确。
4.虽然上述方法在黑色素瘤皮肤病的自动检测上取得了一定的进展，但想要真正应用于临床实践中，检测准确性和检测精确性仍然需要进一步提高。这主要受限于三个原因：一是病变的大小、颜色和形状不固定，二是病变区域的边界隐藏在复杂背景中，三是毛发的存在使病变区域存在遮挡。所以，目前的黑色素瘤皮肤病自动检测技术仍然存在一定的局限性。


技术实现要素：

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
6.鉴于上述和/或现有的黑色素瘤皮肤病自动检测技术中存在的问题，提出了本发明。
7.因此，本发明所要解决的问题在于如何提供一种基于边界引导transformer的黑色素瘤皮肤病检测方法。
8.为解决上述技术问题，本发明提供如下技术方案：一种基于边界引导transformer的黑色素瘤皮肤病检测方法，其包括，获取待检测的皮肤镜图像数据集；构建黑色素瘤皮肤病检测方法；模型训练，将训练数据集中的数据输入检测模型中，得到区域预测图，并进行迭代训练；将模型训练中得到的区域预测图进行模型检测，并输出检测结果图。
9.作为本发明所述基于边界引导transformer的黑色素瘤皮肤病检测方法，其中：所
述构建黑色素瘤皮肤病检测方法包括以下步骤：利用基于transformer的pvtv2作为模型的骨干网络对需要检测的皮肤镜图像进行编码，得到骨干网络的layer1-layer4的侧输出特征；将得到的侧输出特征别送入卷积层进行压缩得到融合特征。
10.作为本发明所述基于边界引导transformer的黑色素瘤皮肤病检测方法，其中：所述模型训练为将区域预测图上传并进行迭代训练，深度监督预测图与真实标注间的误差，并更新网络参数。
11.作为本发明所述基于边界引导transformer的黑色素瘤皮肤病检测方法，其中：所述模型检测为将区域预测图通过激活函数归一化，并输出皮肤病检测结果图。
12.本发明的另一个目的是提供一种基于边界引导transformer的黑色素瘤皮肤病检测系统，解决黑色素瘤皮肤病自动检测问题，其包括：边界引导特征增强模块，其包括边界引导特征增强模块1、边界引导特征增强模块2和边界引导特征增强模块3，用于增强模块挖掘隐藏的病变边界来引导区域预测的学习；互补融合模块，其包括互补融合模块1、互补融合模块2和互补融合模块3，用于滤除背景噪声并逐层融合特征；多尺度全局感知模块，用于在网络顶层扩大感受野，推断病变的初始位置；细节细化模块，用于提取到的特征补充空间细节信息，细化特征。
13.作为本发明所述基于边界引导transformer的黑色素瘤皮肤病检测系统的一种优选方案，其中：所述边界引导特征增强模块包括以下步骤：
14.将深层特征f
i+1
上采样至与本层特征fi′
大小一致，具体计算公式为：
[0015][0016]
其中，为上采样特征，f
i+1
为深层特征，i＝{1,2,3}，up(a,b)表示双线性插值上采样操作，将a上采样至b相同大小。
[0017]
将通过反向注意力来突出背景特征f
ibg
，并加权到fi′
上，利用直接加权fi′
以突出前景特征f
ifg
，并分别通过一个卷积层，所述卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，具体公式为：
[0018][0019][0020]
其中，f
ibg
为背景特征，f
ifg
为前景特征，卷积参数为{3
×
3，64，64}，ra(
·
)表示反向注意力，δ表示sigmoid激活函数。
[0021]
将前景特征f
ifg
与背景特征f
ibg
沿通道维度拼接，具体计算公式为：
[0022]fifbg
＝cat(f
ibg
,f
ifg
)
[0023]
其中，cat(fa,fb)表示concatenate操作，将fa和fb沿通道维度拼接。
[0024]
沿通道维度计算统计数据，分别求通道维度空间信息的平均值和最大值，得到特征f
imean
和f
imax
，具体计算公式为：
[0025]fimean
＝mean(f
ifbg
)
[0026]fimax
＝max(f
ifbg
)
[0027]
其中，i＝{1,2,3}，mean(
·
)表示沿通道维度求平均值，max(
·
)表示沿通道维度求最大值。
[0028]
将特征f
imean
和f
imax
沿通道维度拼接，得到空间特征f
ispace
，具体计算公式为：
[0029]fispace
＝cat(f
imean
+f
imax
)
[0030]
其中，cat(
·
)表示concatenate操作，f
ispace
为空间特征。
[0031]
将空间特征f
ispace
通过反向注意力对f
ifbg
进行加权，得到提取的边界特征f
ib
，具体计算公式为：
[0032]fib
＝ra(f
ifbg
,f
ispace
)
[0033]
其中，i＝{1,2,3}，ra(
·
)表示反向注意力。
[0034]
将边界特征f
ib
通过一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到边界预测图bi，具体计算公式为：
[0035]bi
＝conv3×3(f
ib
)
[0036]
其中，i＝{1,2,3}，conv3×3(
·
)表示3
×
3卷积层。
[0037]
将提取到的边界特征f
ib
分别与背景特征f
ibg
和前景特征f
ifg
沿通道维度拼接，再通过一个卷积层，所述卷积参数为{3
×
3，128，64}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，具体计算公式为：
[0038][0039][0040]
其中，分别为引导特征，i＝{1,2,3}，cat(
·
)表示concatenate操作，conv3×3(
·
)表示3
×
3卷积层。
[0041]
将特征和特征相加得到边界引导特征增强模块的输出特征，具体计算公式为：
[0042][0043]
其中，i＝{1,2,3}，fi为输出的特征。
[0044]
将特征fi通过一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到边界引导特征增强模块的区域预测图ri，具体计算公式为：
[0045]ri
＝conv3×3(fi)
[0046]
其中，ri为区域预测图，i＝{1,2,3}，conv3×3(
·
)表示3
×
3卷积层。
[0047]
作为本发明所述基于边界引导transformer的黑色素瘤皮肤病检测系统的一种优选方案，其中：所述反向注意力包括以下内容：将特征输入一个sigmoid激活函数，并归一化得到反向权重图将特征fi′
，沿通道维度与反向权重图相乘，得到加权特征f
ira
。
[0048]
作为本发明所述基于边界引导transformer的黑色素瘤皮肤病检测系统的一种优选方案，其中：所述多尺度全局感知模块包括以下步骤：
[0049]
将骨干网络侧输出特征f
′4作为输入特征分别送入三组不同膨胀率的膨胀卷积中，扩大感受野来关注不同尺度的区域，具体计算公式为：
[0050]
[0051][0052][0053]
其中，表示核大小为3，膨胀率为d的膨胀卷积，f
1d
、f
2d
和f
3d
为不同尺度的病变特征，f
′4为骨干网络侧输出特征。
[0054]
将提取到的不同尺度的病变特征f
1d
、f
2d
和f
3d
合并，得到多尺度特征具体计算公式为：
[0055][0056]
其中，为多尺度特征。
[0057]
将多尺度特征送入级联在三组膨胀卷积之后的自注意力，得到加权自注意力特征f
sa
，具体计算公式为：
[0058][0059]
其中，sa(
·
)为自注意力。
[0060]
将加权自注意力特征f
sa
与输入特征f
′4相加，得到语义增强特征f4，具体计算公式为：
[0061]
f4＝f
′4+f
sa
[0062]
其中，f4为语义增强特征。
[0063]
将语义增强特征f4通过一个卷积层，卷积参数为{3
×
3，64，1}，卷积层后都带有一个批归一化层batchnorm和一个非线性激活层prelu，得到区域预测图r4，具体计算公式为：
[0064]
r4＝conv3×3(f4)
[0065]
其中，conv3×3(
·
)表示3
×
3卷积层。
[0066]
作为本发明所述基于边界引导transformer的黑色素瘤皮肤病检测系统的一种优选方案，其中：所述细节细化模块的具体步骤为，
[0067]
将骨干网络的最底层特征f1′
分别送入通道注意力和空间注意力，进行通道和空间级的特征压缩，得到通道注意力特征f
cam
和空间注意力特征f
sam
，具体计算公式为：
[0068]fcam
＝cam(f1′
)
[0069]fsam
＝sam(f1′
)
[0070]
其中，cam(
·
)和sam(
·
)分别表示通道注意力和空间注意力。
[0071]
将通道注意力特征f
cam
和空间注意力特征f
sam
分别与f1′
的对应像素加权并相加，得到带有丰富底层信息的特征和具体计算公式为：
[0072][0073][0074]
其中，和分别为带有丰富底层信息的通道注意力特征和空间注意力特征。
[0075]
将融合后的区域特征fi′
,i＝{1,2,3,4}相加，特征与相加，并将两者相乘得到特征f
ref
，其中f
′4＝f4，具体计算公式为：
[0076][0077]
其中，f
ref
为两者相乘得到特征。
[0078]
将特征f
ref
送入自适应平均池化层，具体计算公式为：
[0079]favg
＝adaptiveavgpool(f
ref
)
[0080]
其中，adaptiveavgpool(
·
)表示自适应平均池化操作。
[0081]
将特征f
avg
分别送入两个并行的全连接层fc1(
·
)和fc2(
·
)，得到特征和具体计算公式为：
[0082][0083][0084]
其中，fc1(
·
)和fc2(
·
)表示全连接层。
[0085]
将特征通过一个sigmoid激活函数，并与特征f
ref
相乘，与相加，送入一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到细节细化后的预测图r
res
，具体计算公式为：
[0086][0087]
其中，δ表示sigmoid激活函数，r
res
表细节细化模块的输出，conv3×3(
·
)表示3
×
3卷积层。
[0088]
本发明有益效果为：本发明设计了四种模块，包括多尺度全局感知模块，该模块能扩大感受野、聚合多尺度上下文信息来提取不同大小的病变特征，准确推断病变的初始位置；边界引导特征增强模块，利用深层特征的前景和背景来突出边界信息，并用边界引导浅级区域特征学习，从而增强特征表示能力；以及互补融合模块，利用深层特征帮助浅层特征滤除背景噪声，排除背景干扰，实现更好的特征融合；最后通过细节细化模块，利用骨干网络最底层特征对提取到的病变特征进行空间细节的补充，提高检测准确性。
附图说明
[0089]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0090]
图1为实施例1中基于边界引导transformer的黑色素瘤皮肤病检测方法的原理框图。
[0091]
图2为实施例1中基于边界引导transformer的黑色素瘤皮肤病检测系统的多尺度全局感知模块结构图。
[0092]
图3为实施例1中基于边界引导transformer的黑色素瘤皮肤病检测系统的边界引导特征增强模块结构图。
[0093]
图4为实施例1中基于边界引导transformer的黑色素瘤皮肤病检测系统的互补融合模块结构图。
[0094]
图5为实施例1中基于边界引导transformer的黑色素瘤皮肤病检测系统的细节细化模块结构图。
[0095]
图6为实施例2中基于边界引导transformer的黑色素瘤皮肤病检测系统的各模块的输出结果图。
具体实施方式
[0096]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
[0097]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0098]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0099]
实施例1
[0100]
参照图1～图5，为本发明第一个实施例，该实施例提供了一种基于边界引导transformer的黑色素瘤皮肤病检测方法，包括：
[0101]
s1:获取待检测的皮肤镜图像数据集，本模型使用的数据集来自广泛使用的公开皮肤病数据集isbi2017和ph2，这两个数据集中包含了不同病变大小、不同皮肤颜色和不同病变类型的皮肤镜图像。
[0102]
s2:构建一种基于边界引导transformer的黑色素瘤皮肤病检测方法。
[0103]
具体的，利用基于transformer的pvtv2作为模型的骨干网络对需要检测的图像进行编码，得到骨干网络的layer1-layer4的侧输出特征fi,i＝{1,2,3,4}，i表示transformer骨干网络的侧输出级数，将fi,i＝{1,2,3,4}分别送入四个卷积层压缩通道数至64，得到侧输出特征fi′
,i＝{1,2,3,4}。
[0104]
进一步的，卷积层参数分别为{1
×
1，512，64}、{1
×
1，320，64}、{1
×
1，128，64}和{1
×
1，64，64}，其中，卷积层参数表示为{kernel_size
×
kernel_size,in_channel,out_channel},其中kernel_size表示卷积核大小，in_channel表示输入通道数，out_channel表示输出通道数，每个卷积层后都带有一个批归一化层batchnorm和一个非线性激活层prelu。然后将fi′
,i＝{1,2,3}分别送入边界引导特征增强模块1-3,输出特征fi,i＝{1,2,3}，f
′4送入多尺度全局感知模块，输出特征f4。接着将相邻两层特征fi和f
′
i+1
,i＝{1,2,3}，其中f
′4＝f4，分别送入互补融合模块1-3，得到融合特征f
′i,i＝{1,2,3}。
[0105]
更进一步的，将骨干网络底层特征f1′
与融合特征f
′i,i＝{1,2,3,4}一起送入细节细化模块。
[0106]
s3.模型训练，将训练数据集中的皮肤镜图像输入构建好的黑色素瘤皮肤病检测模型中，得到多尺度全局感知模块的区域预测图r4和细节细化模块的区域预测图r
res
，以及三个边界引导特征增强模块的区域预测图ri,i＝{1,2,3}和边界预测图bi,i＝{1,2,3}。
[0107]
进一步的，将获取的所有区域预测图上采样至与原图像相同大小后，即
和采用adamw优化器进行迭代训练，并选用加权交并比损失函数和加权二进制交叉熵损失函数作为联合损失函数，深度监督五个区域预测图和三个边界预测图与其真实标注间的误差，并将误差反向传播以更新网络参数。
[0108]
s4.模型检测，将需要检测的皮肤镜图像输入训练好的模型中，得到细节细化模块的输出区域预测图r
res
，再将r
res
通过一个sigmoid(
·
)激活函数归一化至(0,1)后，上采样至与原图像相同大小，即为模型最终输出的黑色素瘤皮肤病检测结果图。
[0109]
进一步的，在模型检测阶段，将需要检测的皮肤镜图像输入训练好的模型中，得到细节细化模块的输出区域预测图r
res
，再将r
res
通过一个sigmoid(
·
)激活函数归一化至(0,1)后，上采样至与原图像相同大小，即为模型最终输出的黑色素瘤皮肤病检测结果图。
[0110]
进一步的，本实施例还提供一种基于边界引导transformer的黑色素瘤皮肤病检测系统，包括：边界引导特征增强模块，其包括边界引导特征增强模块1、边界引导特征增强模块2和边界引导特征增强模块3，用于增强模块挖掘隐藏的病变边界来引导区域预测的学习。
[0111]
进一步的，边界引导特征增强模块包括以下步骤：
[0112]
将深层特征f
i+1
上采样至与本层特征fi′
大小一致，具体计算公式为：
[0113][0114]
其中，为上采样特征，f
i+1
为深层特征，i＝{1,2,3}，up(a,b)表示双线性插值上采样操作，将a上采样至b相同大小；
[0115]
进一步的，将通过反向注意力来突出背景特征f
ibg
，并加权到fi′
上，利用直接加权fi′
以突出前景特征f
ifg
，并分别通过一个卷积层，所述卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，具体公式为：
[0116][0117][0118]
其中，f
ibg
为背景特征，f
ifg
为前景特征，卷积参数为{3
×
3，64，64}，ra(
·
)表示反向注意力，δ表示sigmoid激活函数；
[0119]
将前景特征f
ifg
与背景特征f
ibg
沿通道维度拼接，具体计算公式为：
[0120]fifbg
＝cat(f
ibg
,f
ifg
)
[0121]
其中，cat(fa,fb)表示concatenate操作，将fa和fb沿通道维度拼接；
[0122]
沿通道维度计算统计数据，分别求通道维度空间信息的平均值和最大值，得到特征f
imean
和f
imax
，具体计算公式为：
[0123]fimean
＝mean(f
ifbg
)
[0124]fimax
＝max(f
ifbg
)
[0125]
其中，i＝{1,2,3}，mean(
·
)表示沿通道维度求平均值，max(
·
)表示沿通道维度求最大值；
[0126]
进一步的，将特征f
imean
和f
imax
沿通道维度拼接，得到空间特征f
ispace
，具体计算公式为：
[0127]fispace
＝cat(f
imean
+f
imax
)
[0128]
其中，cat(
·
)表示concatenate操作，f
ispace
为空间特征；
[0129]
将空间特征f
ispace
通过反向注意力对f
ifbg
进行加权，得到提取的边界特征f
ib
，具体计算公式为：
[0130]fib
＝ra(f
ifbg
,f
ispace
)
[0131]
其中，i＝{1,2,3}，ra(
·
)表示反向注意力；
[0132]
将边界特征f
ib
通过一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到边界预测图bi，具体计算公式为：
[0133]bi
＝conv3×3(f
ib
)
[0134]
其中，i＝{1,2,3}，conv3×3(
·
)表示3
×
3卷积层；
[0135]
进一步的，将提取到的边界特征f
ib
分别与背景特征f
ibg
和前景特征f
ifg
沿通道维度拼接，再通过一个卷积层，所述卷积参数为{3
×
3，128，64}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，具体计算公式为：
[0136][0137][0138]
其中，分别为引导特征，i＝{1,2,3}，cat(
·
)表示concatenate操作，conv3×3(
·
)表示3
×
3卷积层；
[0139]
进一步的，将特征和特征相加得到边界引导特征增强模块的输出特征，具体计算公式为：
[0140][0141]
其中，i＝{1,2,3}，fi为输出的特征；
[0142]
进一步的，将特征fi通过一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到边界引导特征增强模块的区域预测图ri，具体计算公式为：
[0143]ri
＝conv3×3(fi)
[0144]
其中，ri为区域预测图，i＝{1,2,3}，conv3×3(
·
)表示3
×
3卷积层。
[0145]
互补融合模块，其包括互补融合模块1、互补融合模块2和互补融合模块3，用于滤除背景噪声并逐层融合特征；
[0146]
进一步的，互补融合模块包括以下步骤：
[0147]
在相邻两层间，上采样深层特征f
′
i+1
至与本层特征fi相同大小，具体计算公式为：
[0148][0149]
其中，i＝{1,2,3}，为上采样特征，up(a,b)表示上采样操作。
[0150]
进一步的，将深层特征通过反向注意力对本层特征fi进行加权，得到加权后的特征f
ira
，具体计算公式为：
[0151][0152]
其中，i＝{1,2,3}，ra(
·
)表示反向注意力。
[0153]
进一步的，将f
ira
与浅层特征fi沿通道维度拼接，通过一个卷积层，所述卷积参数
为{3
×
3，128，64}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到融合后的区域特征fi′
，具体计算公式为：
[0154]fi
′
＝conv3×3(cat(f
ira
,fi))
[0155]
其中，fi′
为区域特征，i＝{1,2,3}，conv3×3(
·
)表示3
×
3卷积层。
[0156]
多尺度全局感知模块，用于在网络顶层扩大感受野，推断病变的初始位置。
[0157]
进一步的，多尺度全局感知模块由三组膨胀卷积后级联一个自注意力模块组成。
[0158]
具体的，多尺度全局感知模块包括以下步骤：
[0159]
将骨干网络侧输出特征f
′4作为输入特征分别送入三组不同膨胀率的膨胀卷积中，扩大感受野来关注不同尺度的区域，具体计算公式为：
[0160][0161][0162][0163]
其中，表示核大小为3，膨胀率为d的膨胀卷积，f
1d
、f
2d
和f
3d
为不同尺度的病变特征，f
′4为骨干网络侧输出特征；
[0164]
将提取到的不同尺度的病变特征f
1d
、f
2d
和f
3d
合并，得到多尺度特征具体计算公式为：
[0165][0166]
其中，为多尺度特征；
[0167]
进一步的，将多尺度特征送入级联在三组膨胀卷积之后的自注意力，得到加权自注意力特征f
sa
，具体计算公式为：
[0168][0169]
其中，sa(
·
)为自注意力。
[0170]
将加权自注意力特征f
sa
与输入特征f
′4相加，得到语义增强特征f4，具体计算公式为：
[0171]
f4＝f
′4+f
sa
[0172]
其中，f4为语义增强特征。
[0173]
将语义增强特征f4通过一个卷积层，卷积参数为{3
×
3，64，1}，卷积层后都带有一个批归一化层batchnorm和一个非线性激活层prelu，得到区域预测图r4，具体计算公式为：
[0174]
r4＝conv3×3(f4)
[0175]
其中，conv3×3(
·
)表示3
×
3卷积层。
[0176]
细节细化模块，用于提取到的特征补充空间细节信息，细化特征。
[0177]
进一步的，细节细化模块的具体步骤为：
[0178]
将骨干网络的最底层特征f1′
分别送入通道注意力和空间注意力，进行通道和空间级的特征压缩，得到通道注意力特征f
cam
和空间注意力特征f
sam
，具体计算公式为：
[0179]fcam
＝cam(f1′
)
[0180]fsam
＝sam(f1′
)
[0181]
其中，cam(
·
)和sam(
·
)分别表示通道注意力和空间注意力。
[0182]
将通道注意力特征f
cam
和空间注意力特征f
sam
分别与f1′
的对应像素加权并相加，得到带有丰富底层信息的特征和具体计算公式为：
[0183][0184][0185]
其中，和分别为带有丰富底层信息的通道注意力特征和空间注意力特征。
[0186]
进一步的，将融合后的区域特征fi′
,i＝{1,2,3,4}相加，特征与相加，并将两者相乘得到特征f
ref
，其中f
′4＝f4，具体计算公式为：
[0187][0188]
其中，f
ref
为两者相乘得到特征。
[0189]
将特征f
ref
送入自适应平均池化层，具体计算公式为：
[0190]favg
＝adaptiveavgpool(f
ref
)
[0191]
其中，adaptiveavgpool(
·
)表示自适应平均池化操作。
[0192]
更进一步的，将特征f
avg
分别送入两个并行的全连接层fc1(
·
)和fc2(
·
)，得到特征和具体计算公式为：
[0193][0194][0195]
其中，fc1(
·
)和fc2(
·
)表示全连接层。
[0196]
更进一步的，将特征通过一个sigmoid激活函数，并与特征f
ref
相乘，与相加，送入一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到细节细化后的预测图r
res
，具体计算公式为：
[0197][0198]
其中，δ表示sigmoid激活函数，r
res
表细节细化模块的输出，conv3×3(
·
)表示3
×
3卷积层。
[0199]
实施例2
[0200]
参照图6和表1，为本发明第二个实施例，在第一个实施例的基础之上，为了验证其有益效果，提供了与传统方案的对比说明。
[0201]
如图6所示的基于边界引导transformer的黑色素瘤皮肤病检测系统的各模块的输出结果图，其中，a-输入皮肤镜图像，b-多尺度全局感知模块区域预测图，c-边界引导特征增强模块3区域预测图和边界预测图，d-边界引导特征增强模块2区域预测图和边界预测图，e-边界引导特征增强模块1区域预测图和边界预测图，f-模型输出的检测结果图，g-输入皮肤镜图像的真实标注。
[0202]
进一步的，在表1中，第一列为近几年提出的方法模型；第一行表示数据集名称，即
isbi2017和ph2，其中isbi2017有2750张图片，其中包含2000张训练集，600张测试集和150张验证集，ph2是小数据集，仅包含200张图片；第二行表示性能指标，其中箭头向上的表示该性能指标越大越好，如mdice
↑
miou
↑
msen
↑
mspe
↑
，
“‑”
表示该方法没有提供该数据集的结果，计算相似度的公式如下：
[0203][0204]
其中，mdice是一种集合相似度度量函数，用于计算预测图r
res
和真实标注gt间的相似度。
[0205]
衡量分割精度的公式如下：
[0206][0207]
其中，miou用于计算预测图r
res
和真实标注gt间的交并比；
[0208]
预测图r
res
中正确预测为病变部分占真实标注gt的百分比公式为：
[0209][0210]
其中，msen表示对象类被准确分类为对象类像素的百分比；
[0211]
预测图r
res
中的非病变部分占真实标注gt的非病变部分的百分比：
[0212][0213]
其中，mspe表示背景类被准确分类为背景类像素的百分；一般来说，mdice、miou、msen、mspe越高表示性能越好。
[0214]
表1本发明与现有技术对比结果
[0215][0216]
表1中，标记为灰色背景的为最佳的性能指标，标记为下划线的为性能排列第二的。从表1的结果可以直观的看出，两个数据集上的最佳性能几乎都由本方法取得，在四项指标的全面评估下，可以验证本方法能够在极端环境下检测病变区域，同时检测的边界也更为准确，有效引导了病变区域的预测，提高检测准确性。
[0217]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发
明的权利要求范围当中。

技术特征：
1.一种基于边界引导transformer的黑色素瘤皮肤病检测方法，其特征在于：包括，获取待检测的皮肤镜图像数据集；构建黑色素瘤皮肤病检测方法；模型训练，将训练数据集中的数据输入检测模型中，得到区域预测图，并进行迭代训练；将模型训练中得到的区域预测图进行模型检测，并输出检测结果图。2.如权利要求1所述的基于边界引导transformer的黑色素瘤皮肤病检测方法，其特征在于：所述构建黑色素瘤皮肤病检测方法包括以下步骤：利用基于transformer的pvtv2作为模型的骨干网络对需要检测的皮肤镜图像进行编码，得到骨干网络的layer1-layer4的侧输出特征；将得到的侧输出特征别送入卷积层进行压缩得到融合特征。3.如权利要求1所述的基于边界引导transformer的黑色素瘤皮肤病检测方法，其特征在于：所述模型训练为将区域预测图上传并进行迭代训练，深度监督预测图与真实标注间的误差，并更新网络参数。4.如权利要求1所述的基于边界引导transformer的黑色素瘤皮肤病检测方法，其特征在于：所述模型检测为将区域预测图通过激活函数归一化，并输出皮肤病检测结果图。5.一种基于边界引导transformer的黑色素瘤皮肤病检测系统，其特征在于：包括权利要求1～4任一所述的基于边界引导transformer的黑色素瘤皮肤病检测方法；以及，边界引导特征增强模块，其包括边界引导特征增强模块1、边界引导特征增强模块2和边界引导特征增强模块3，用于增强模块挖掘隐藏的病变边界来引导区域预测的学习；互补融合模块，其包括互补融合模块1、互补融合模块2和互补融合模块3，用于滤除背景噪声并逐层融合特征；多尺度全局感知模块，用于在网络顶层扩大感受野，推断病变的初始位置；细节细化模块，用于提取到的特征补充空间细节信息，细化特征。6.如权利要求5所述的基于边界引导transformer的黑色素瘤皮肤病检测系统，其特征在于：所述边界引导特征增强模块包括以下步骤：将深层特征f
i+1
上采样至与本层特征f
i
′
大小一致，具体计算公式为：其中，为上采样特征，f
i+1
为深层特征，i＝{1,2,3}，up(a,b)表示双线性插值上采样操作，将a上采样至b相同大小；将通过反向注意力来突出背景特征f
ibg
，并加权到f
i
′
上，利用直接加权f
i
′
以突出前景特征f
ifg
，并分别通过一个卷积层，所述卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，具体公式为：一个非线性激活层prelu，具体公式为：其中，f
ibg
为背景特征，f
ifg
为前景特征，卷积参数为{3
×
3，64，64}，ra(
·
)表示反向注意力，δ表示sigmoid激活函数；
将前景特征f
ifg
与背景特征f
ibg
沿通道维度拼接，具体计算公式为：f
ifbg
＝cat(f
ibg
,f
ifg
)其中，cat(f
a
,f
b
)表示concatenate操作，将f
a
和f
b
沿通道维度拼接；沿通道维度计算统计数据，分别求通道维度空间信息的平均值和最大值，得到特征f
imean
和f
imax
，具体计算公式为：f
imean
＝mean(f
ifbg
)f
imax
＝max(f
ifbg
)其中，i＝{1,2,3}，mean(
·
)表示沿通道维度求平均值，max(
·
)表示沿通道维度求最大值；将特征f
imean
和f
imax
沿通道维度拼接，得到空间特征f
ispace
，具体计算公式为：f
ispace
＝cat(f
imean
+f
imax
)其中，cat(
·
)表示concatenate操作，f
ispace
为空间特征；将空间特征f
ispace
通过反向注意力对f
ifbg
进行加权，得到提取的边界特征f
ib
，具体计算公式为：f
ib
＝ra(f
ifbg
,f
ispace
)其中，i＝{1,2,3}，ra(
·
)表示反向注意力；将边界特征f
ib
通过一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到边界预测图b
i
，具体计算公式为：b
i
＝conv3×3(f
ib
)其中，i＝{1,2,3}，conv3×3(
·
)表示3
×
3卷积层；将提取到的边界特征f
ib
分别与背景特征f
ibg
和前景特征f
ifg
沿通道维度拼接，再通过一个卷积层，所述卷积参数为{3
×
3，128，64}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，具体计算公式为：个非线性激活层prelu，具体计算公式为：其中，分别为引导特征，i＝{1,2,3}，cat(
·
)表示concatenate操作，conv3×3(
·
)表示3
×
3卷积层；将特征和特征相加得到边界引导特征增强模块的输出特征，具体计算公式为：其中，i＝{1,2,3}，f
i
为输出的特征；将特征f
i
通过一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到边界引导特征增强模块的区域预测图r
i
，具体计算公式为：r
i
＝conv3×3(f
i
)其中，r
i
为区域预测图，i＝{1,2,3}，conv3×3(
·
)表示3
×
3卷积层。7.如权利要求5所述的基于边界引导transformer的黑色素瘤皮肤病检测系统，其特征在于：所述互补融合模块包括以下步骤：
在相邻两层间，上采样深层特征f
i
′
+1
至与本层特征f
i
相同大小，具体计算公式为：其中，i＝{1,2,3}，为上采样特征，up(a,b)表示上采样操作；将深层特征通过反向注意力对本层特征f
i
进行加权，得到加权后的特征f
ira
，具体计算公式为：其中，i＝{1,2,3}，ra(
·
)表示反向注意力；将f
ira
与浅层特征f
i
沿通道维度拼接，通过一个卷积层，所述卷积参数为{3
×
3，128，64}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到融合后的区域特征f
i
′
，具体计算公式为：f
i
′
＝conv3×3(cat(f
ira
,f
i
))其中，f
i
′
为区域特征，i＝{1,2,3}，conv3×3(
·
)表示3
×
3卷积层。8.如权利要求7所述的基于边界引导transformer的黑色素瘤皮肤病检测系统，其特征在于：所述反向注意力包括以下内容：将特征输入一个sigmoid激活函数，并归一化得到反向权重图将特征f
i
′
，沿通道维度与反向权重图相乘，得到加权特征f
ira
。9.如权利要求5所述的基于边界引导transformer的黑色素瘤皮肤病检测系统，其特征在于：所述多尺度全局感知模块包括以下步骤：将骨干网络侧输出特征f4′
作为输入特征分别送入三组不同膨胀率的膨胀卷积中，扩大感受野来关注不同尺度的区域，具体计算公式为：感受野来关注不同尺度的区域，具体计算公式为：感受野来关注不同尺度的区域，具体计算公式为：其中，表示核大小为3，膨胀率为d的膨胀卷积，f
1d
、和为不同尺度的病变特征，f4′
为骨干网络侧输出特征；将提取到的不同尺度的病变特征f
1d
、和合并，得到多尺度特征具体计算公式为：其中，为多尺度特征；将多尺度特征送入级联在三组膨胀卷积之后的自注意力，得到加权自注意力特征f
sa
，具体计算公式为：其中，sa(
·
)为自注意力；将加权自注意力特征f
sa
与输入特征f
′4相加，得到语义增强特征f4，具体计算公式为：
f4＝f
′4+f
sa
其中，f4为语义增强特征；将语义增强特征f4通过一个卷积层，卷积参数为{3
×
3，64，1}，卷积层后都带有一个批归一化层batchnorm和一个非线性激活层prelu，得到区域预测图r4，具体计算公式为：r4＝conv3×3(f4)其中，conv3×3(
·
)表示3
×
3卷积层。10.如权利要求5所述的基于边界引导transformer的黑色素瘤皮肤病检测系统，其特征在于：所述细节细化模块的具体步骤为，将骨干网络的最底层特征f1′
分别送入通道注意力和空间注意力，进行通道和空间级的特征压缩，得到通道注意力特征f
cam
和空间注意力特征f
sam
，具体计算公式为：f
cam
＝cam(f1′
)f
sam
＝sam(f1′
)其中，cam(
·
)和sam(
·
)分别表示通道注意力和空间注意力；将通道注意力特征f
cam
和空间注意力特征f
sam
分别与f1′
的对应像素加权并相加，得到带有丰富底层信息的特征和具体计算公式为：具体计算公式为：其中，和分别为带有丰富底层信息的通道注意力特征和空间注意力特征；将融合后的区域特征f
i
′
,i＝{1,2,3,4}相加，特征与相加，并将两者相乘得到特征f
ref
，其中f
′4＝f4，具体计算公式为：其中，f
ref
为两者相乘得到特征；将特征f
ref
送入自适应平均池化层，具体计算公式为：f
avg
＝adaptiveavgpool(f
ref
)其中，adaptiveavgpool(
·
)表示自适应平均池化操作；将特征f
avg
分别送入两个并行的全连接层fc1(
·
)和fc2(
·
)，得到特征和具体计算公式为：体计算公式为：其中，fc1(
·
)和fc2(
·
)表示全连接层；将特征通过一个sigmoid激活函数，并与特征f
ref
相乘，与相加，送入一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层batchnorm和一个非线性激活层prelu，得到细节细化后的预测图r
res
，具体计算公式为：其中，δ表示sigmoid激活函数，r
res
表细节细化模块的输出，conv3×3(
·
)表示3
×
3卷积层。

技术总结
本发明公开了一种基于边界引导Transformer的黑色素瘤皮肤病检测方法及系统，包括获取待检测的皮肤镜图像数据集；构建黑色素瘤皮肤病检测方法；模型训练，将训练数据集中的数据输入检测模型中，得到区域预测图，并进行迭代训练；将模型训练中得到的区域预测图进行模型检测，并输出检测结果图。并设计了一个边界引导特征增强模块，利用边界信息引导浅级区域特征学习，增强特征表示能力；及一个互补融合模块，利用深层特征滤除浅层特征中的背景噪声，并逐层融合得到更清晰的预测；及一个细节细化模块，利用骨干网络最底层的特征来补充空间细节信息，细化预测结果。该模型检测精度高，实时性强，具有很好的临床应用价值。值。值。


技术研发人员：陈舒涵 陆露 徐祥桢 汤浩楠 俞锦豪 陈泽宇
受保护的技术使用者：扬州大学
技术研发日：2023.03.29
技术公布日：2023/7/31