一种基于SCUNet++神经网络的肺栓塞CT图像识别分割方法

一种基于scunet++神经网络的肺栓塞ct图像识别分割方法
技术领域
1.本发明涉及计算机视觉深度学习和医学图像处理技术领域，具体指一种基于scunet++神经网络的肺栓塞ct图像识别分割方法。


背景技术：

2.肺栓塞(pulmonary embolism,pe)是一种十分严重的致死性疾病，由于体循环的各种栓子脱落阻塞肺动脉及其分支导致肺动脉部分完全阻塞，引起肺循环障碍。如果不积极治疗，肺栓塞的死亡率接近30％。但是，如果及时、正确地策略来采取措施，这一比率可以降低到2％至11％。目前pe诊断的主要手段是ct肺血管造影(ctpa)，放射科医生需要仔细地追踪动脉的每一个分支来对肺栓塞进行筛查。在肺血管造影ct图像中，由于造影剂溶解在血液内，血管显得非常明亮，但是栓子不吸收这种物质，因此肺栓塞在ct中表现为肺动脉的暗区，体素值通常在-50hu～100hu范围内(其中hu表征图像的亮暗程度)。
3.在使用肺动脉造影技术(ctpa)进行检查的情况下，为了准确的给患者的病变程度进行定级并做出危险度的评估，医生往往要在ctpa影像中手动的去分割肺栓塞，在实际场景中，非常的耗费时间和精力，并且由于其临床症状和体征通常不具备特异性，较多数的患者容易遇到误诊，漏诊，而得不到理想的治疗方案。同时，由于ctpa由数百张图像组成，每张图像代表肺的一个切片，临床准确度高的pe鉴别起来既费时又困难。因此pe的诊断是一项复杂的任务，许多原因可能导致错误诊断，例如产生高假阳性结果。同时，一些成像问题，例如呼吸运动、血流、部分容积和阶梯伪影、淋巴结和血管分叉也可能会影响诊断结果。
4.因此，医学界目前十分需要一种精确的自动或半自动肺栓塞识别分割方法来帮助放射科医师准确检测和诊断pe并减少ctpa读取时间以提高检测效率。


技术实现要素：

5.本发明针对现有技术的不足，提出一种基于scunet++神经网络的肺栓塞ct图像识别分割方法，能够实现自动、智能的肺栓塞ct图像识别分割功能，具有较高的分割准确率和效率。
6.为了解决上述技术问题，本发明的技术方案为：
7.一种基于scunet++神经网络的肺栓塞ct图像识别分割方法，所述方法包括以下步骤：
8.步骤a、构建用于识别分割肺栓塞ct图像的scunet++神经网络模型，所述scunet++神经网络模型由编码器模块、瓶颈网络模块、解码器模块、多融合密集跳跃连接模块组成。所述scunet++神经网络模型由swin transformer模块、编码器模块、瓶颈网络模块、解码器模块、多融合密集跳跃连接模块组成，能够实现自动、智能的肺栓塞ct图像识别分割功能，具有较高的分割准确率和效率。
9.所述swin transformer模块由两个连续的swin transformer block组成，每个swin transformer block由ln层、多头自注意力模块、残差连接和具有gelu的二层非线性
的mlp组成，其中第一个swin transformer block的多头自注意力模块为基于窗口的多头自注意力模块(w-msa)，第二个swin transformer block的多头自注意力模块为基于移位窗口的多头自注意力模块(sw-msa)。
10.所述编码器模块由一个线性嵌入层、三个patch合并层、三个swin transformer模块组成。
11.所述瓶颈网络模块由卷积模块组成，所述卷积模块采用1
×
1conv-3
×
3conv-1
×
1conv的结构，在每个conv之前使用bn-relu函数。由于只使用swin transformer模块来构建瓶颈网络模块对图像局部空间特征的提取会有所欠缺，因此我们使用卷积模块来构建学习深层特征表示的bottleneck，来弥补网络对象对图像局部空间特征提取的不足。
12.所述解码器模块由三个swin transformer模块、四个patch扩展层组成。
13.所述多融合密集跳跃连接模块设计了多个相似的多融合密集跳跃连接以实现解码器子网络上聚合语义尺度不同的特征，产生高度灵活的特征来进行融合，编码器中的多尺度特征得以与上采样特征相融合。scunet++神经网络设计的多个多融合密集跳跃连接可以实现解码器子网络上聚合语义尺度不同的特征，从而有效地提取肺栓塞图像局部空间特征与整体全局特征，并结合深浅层语义信息，准确地进行分割。模型通过引入嵌套的和密集的多融合密集跳跃连接方式加强连接，最终设计成稠密连接，同时具有长连接和短连接，并将模型中间空心的位置进行填满。经过这种结构，可以有效减少编码器和解码器之间的语义差距，同时可以抓取不同层次的特征和不同大小的感受野，获取到更加丰富的多尺度信息。因此，scunet++网络模型能够有效地提取肺栓塞图像局部空间特征与整体全局特征，结合深浅层语义信息并进行拼接处理，以减少下采样造成的空间信息损失。
14.步骤b、建立肺栓塞ct图像数据集，分为训练集和测试集。
15.步骤c、使用训练集对scunet++神经网络模型进行训练，结合肺栓塞ct图像特点，对scunet++神经网络模型参数调优，使识别分割效果达到最佳。
16.步骤d、使用测试集测试评估得到的网络模型，最终实现自动、智能的肺栓塞ct图像识别分割功能，如未患有肺栓塞疾病即输出正常的ct图像，如有肺栓塞疾病即输出肺栓塞ct图像识别分割结果。
17.作为优选，步骤a中所述。swin transformer模块转化为公式表达如下：
[0018][0019][0020][0021][0022]
其中z
′
l
表示第l个多头自注意力模块的输出，z
l
表示第l个多层感知机的输出。
[0023]
作为优选，步骤a中所述scunet++神经网络模型的编码器模块由一个线性嵌入层、三个patch合并层、三个swin transformer模块组成。编码器首先将输入的肺栓塞ct图像转化为序列嵌入，然后通过线性嵌入层将特征维度投影到c维度后，在编码器模块中一共进行三次特征表示学习和下采样，每次先经过一个swin transformer模块进行特征表示学习，
然后通过patch合并层将进行两倍下采样以减少表征数，并将特征维数提高到原来的两倍。
[0024]
所述patch合并层将输入补丁被分为四部分，通过补丁合并层连接在一起。这样的处理会使特征分辨率下降两倍。并且，由于拼接操作的结果是特征维数增加了四倍，因此在拼接的特征上加一个线性层，得到将特征维数统一为原始维数的两倍深度特征。
[0025]
作为优选，步骤a中所述scunet++神经网络模型的解码器模块由三个swin transformer模块、四个patch扩展层组成。与编码器相对应，对称解码器是基于swin transformer模块所构建的。与编码器中使用的patch合并层相反，在解码器中使用patch扩展层对提取到的深度特征进行上采样的到特征图。patch扩展层通过两倍上采样将相邻维度的特征图重塑为更高分辨率的特征图，并相应地将特征维数降至原始维数的一半。
[0026]
所述patch扩展层对输入更高分辨率的特征图使用线性层将特征维数增加到原来的2倍。然后，然后通过rearrange操作将输入特征的分辨率扩展到输入特征分辨率的2倍，并将特征维数降低到输入特征维数的四分之一。
[0027]
作为优选，数据集共包含8100张肺栓塞ct图像，图片的像素统一为512*512。其中7000张作为训练集，1100张作为测试集，其中训练集包含2000张正常样本和5000张肺栓塞样本，测试集包括550张正常样本和550张肺栓塞样本。
[0028]
作为优选，使用训练集对scunet++神经网络模型进行训练，结合肺栓塞ct图像特点，对scunet++神经网络模型参数调优，使识别分割效果达到最佳。我们使用pytorch框架来构建scunet++网络模型，使用nvidiageforce rtx 3090gpu来进行训练。在训练过程中，batchsize大小为12，使用的梯度优化算法为adam，学习率为0.0001。epoch的数量是150，训练时间为23小时。
[0029]
作为优选，所述步骤d、使用测试集测试评估得到的网络模型，最终实现自动、智能的肺栓塞ct图像识别分割功能。
[0030]
为了评估模型对图像的分割表现，我们使用dice相似系数为了验证分割的性能，我们使用图像分割最为常用的dice相似系数(dsc)和95％豪斯多夫距离(hausdorff95，hd95)作为评价指标。
[0031]
hd95最后的值乘以0.95，目的是排除一些离群点不合理的距离，保持整体距离稳定性，hd95值代表了两张样本边界值相对距离大小，距离值越小，代表预测图与分割图边界越接近、分割越精确。
[0032]
dsc表示分割结果与标签的重合度，hd95表示网络预测区域与标签之间的最大距离，因此，dsc越高，hd95越低，语义分割模型的性能越好。dsc对分割区域的内部和真实区域比较敏感，而hd95主要关注分割结果的边界，因此，结合这两个指标，我们可以客观地定量评价模型的分割性能，将测试集上分割性能最好的训练结果作为最终的网络模型，最终只需输入肺栓塞ct图像即可实现自动、智能的肺栓塞ct图像识别分割效果。
[0033]
本发明具有以下的特点和有益效果：
[0034]
在传统医学图像分割方法中，主要是依靠计算机图形学和机器学习技术来进行分割，其中较为成熟的方法包括以下几种：基于医学图像阈值分割，利用相似区域特征的区域图像分割，利用边缘检测算子的边界分割，基于曲线演化的轮廓分割。但由于传统的医学图像分割方式多基于低阶视觉特征或依赖于图像像素的特征，由于器官的形状、轮廓千差万别，在实际运用过程中随着被分割物的复杂程度升高，分割结果评价值会出现波动甚至下
降，此时图像分割准确性就难以得到充分保证。但随着深度学习和卷积神经网络相关理论研究的不断突破，目前基于卷积神经网络的图像分割模型在近年来一直持续发展，积累下来众多先进的研究成果，效果与传统医学图像分割方法相比提升巨大，医学图像分割任务逐渐转向为利用卷积神经网络的图像分割方法。但截至目前，国内外对于肺动脉栓塞的诊断研究多为是否患病的二分类或者肺动脉栓塞的检测，仍旧缺少对于肺动脉栓塞自动分割的研究方法。
[0035]
因此在发明中，围绕模式识别和医学图像处理的理论，结合肺动脉栓塞ct影像数据的实际特点和影像科医生诊断肺动脉栓塞实际过程与诊断方式，开展对肺动脉栓塞分割算法针对性的研究，最终提出由swin transformer模块、编码器模块、瓶颈网络模块、解码器模块、多融合密集跳跃连接模块组成的一种适用于肺栓塞ct图像的识别分割神经网络模型(scunet++)。核心的swin transformer模块拥有更高效的计算，swin transformer模块通过对输入数据进行划分和局部感知，可以减少计算复杂度和内存占用，从而更加高效地训练和推断。
[0036]
更长的上下文，传统的transformer模块受到序列长度的限制，无法处理超过一定长度的序列，而swin transformer模块通过使用局部感知窗口和交叉分组注意力，可以处理更长的序列。更好的可扩展性，swin transformer模块可以通过增加模块数和通道数来扩展模型规模，而不会对模型性能产生负面影响。更强的泛化能力，swin transformer模块通过使用跨层连接和深度跨网络连接，可以提高模型的泛化能力，从而更好地适应各种任务和数据集
[0037]
本发明提出的自动分割肺栓塞ct图像识别分割方法(scunet++)，只需要输入肺栓塞ct图像，即可实现自动、智能的肺栓塞ct图像识别分割功能，如未患有肺栓塞疾病即输出正常的ct图像，如有肺栓塞疾病即输出肺栓塞ct图像识别分割结果。本发明使得建立肺栓塞精准医学辅助判断模型并协助医生诊断治疗成为可能，在实际应用中具有重要的意义。
附图说明
[0038]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1为本发明scunet++神经网络模型整体结构图。
[0040]
图2为本发明swin transformer模块示意图。
[0041]
图3为本发明多融合密集跳跃连接模块示意图。
[0042]
图4为本发明肺栓塞ct图像数据集示意图。
[0043]
图5为本发明肺栓塞ct图像识别分割结果示意图。
具体实施方式
[0044]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0045]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0046]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
[0047]
本发明提供了基于scunet++神经网络的肺栓塞ct图像识别分割方法，所述方法包括以下步骤：
[0048]
步骤a、构建用于识别分割肺栓塞ct图像的scunet++神经网络模型，如图1所示，所述scunet++神经网络模型由编码器模块、瓶颈网络模块、解码器模块、多融合密集跳跃连接模块组成。能够实现自动、智能的肺栓塞ct图像识别分割功能，具有较高的分割准确率和效率。
[0049]
具体的，如图2所示，所述swin transformer模块由两个连续的swin transformer block组成，每个swin transformer block由ln层、多头自注意力模块、残差连接和具有gelu的二层非线性的mlp组成，其中第一个swin transformer block的多头自注意力模块为基于窗口的多头自注意力模块(w-msa)，第二个swin transformer block的多头自注意力模块为基于移位窗口的多头自注意力模块(sw-msa)。swin transformer模块转化为公式表达如下：
[0050][0051][0052][0053][0054]
其中z
′
l
表示第l个多头自注意力模块的输出，z
l
表示第l个多层感知机的输。
[0055]
进一步的，所述编码器模块由一个线性嵌入层、三个patch合并层、三个swin transformer模块组成。编码器首先将输入的肺栓塞ct图像转化为序列嵌入，然后通过线性嵌入层将特征维度投影到c维度后，在编码器模块中一共进行三次特征表示学习和下采样，每次先经过一个swin transformer模块进行特征表示学习，然后通过patch合并层将进行两倍下采样以减少表征数，并将特征维数提高到原来的两倍。所述patch合并层将输入补丁被分为四部分，通过补丁合并层连接在一起。这样的处理会使特征分辨率下降两倍。并且，由于拼接操作的结果是特征维数增加了四倍，因此在拼接的特征上加一个线性层，将特征
维数统一为原始维数的两倍。
[0056]
进一步的，所述瓶颈网络模块由卷积模块组成，所述卷积模块采用1
×
1conv-3
×
3conv-1
×
1conv的结构，在每个conv之前使用bn-relu函数。由于只使用swin transformer模块来构建瓶颈网络模块对图像局部空间特征的提取会有所欠缺，因此我们使用卷积模块来构建学习深层特征表示的bottleneck，来弥补网络对象对图像局部空间特征提取的不足。
[0057]
进一步的，所述解码器模块由三个swin transformer模块、四个patch扩展层组成。与编码器相对应，对称解码器是基于swin transformer模块所构建的。与编码器中使用的patch合并层相反，在解码器中使用patch扩展层对提取到的深度特征进行上采样。patch扩展层通过两倍上采样将相邻维度的特征图重塑为更高分辨率的特征图，并相应地将特征维数降至原始维数的一半。所述patch扩展层对输入特征使用线性层将特征维数增加到原来的两倍。然后，然后通过rearrange操作将输入特征的分辨率扩展到输入特征分辨率的两倍，并将特征维数降低到输入特征维数的四分之一。
[0058]
进一步的，所述多融合密集跳跃连接模块，如图3所示，设计了多个相似的多融合密集跳跃连接以实现解码器子网络上聚合语义尺度不同的特征，产生高度灵活的特征来进行融合，编码器中的多尺度特征得以与上采样特征相融合。scunet++神经网络设计的多个多融合密集跳跃连接可以实现解码器子网络上聚合语义尺度不同的特征，从而有效地提取肺栓塞图像局部空间特征与整体全局特征，并结合深浅层语义信息，准确地进行分割。模型通过引入嵌套的和密集的多融合密集跳跃连接方式加强连接，最终设计成稠密连接，同时具有长连接和短连接，并将模型中间空心的位置进行填满。经过这种结构，可以有效减少编码器和解码器之间的语义差距，同时可以抓取不同层次的特征和不同大小的感受野，获取到更加丰富的多尺度信息。因此，scunet++网络模型能够有效地提取肺栓塞图像局部空间特征与整体全局特征，结合深浅层语义信息并进行拼接处理，以减少下采样造成的空间信息损失。
[0059]
步骤b、建立如图4所示肺栓塞ct图像数据集，分为训练集和测试集。本实施例中，所述肺栓塞ct图像数据集，由35名不同患者的肺栓塞的计算机断层血管造影图像组成，标签由两名放射科专家完成。数据集共包含8100张肺栓塞ct图像，图片的像素统一为512*512。其中7000张作为训练集，1100张作为测试集，其中训练集包含2000张正常样本和5000张肺栓塞样本，测试集包括550张正常样本和550张肺栓塞样本。
[0060]
步骤c、使用训练集对scunet++神经网络模型进行训练，结合肺栓塞ct图像特点，对scunet++神经网络模型参数调优，使识别分割效果达到最佳。我们使用pytorch框架来构建scunet++网络模型，使用nvidiageforce rtx 3090gpu来进行训练。在训练过程中，batchsize大小为12，使用的梯度优化算法为adam，学习率为0.0001。epoch的数量是150，训练时间为23小时。
[0061]
步骤d、使用测试集测试评估得到的网络模型，最终实现自动、智能的肺栓塞ct图像识别分割功能。为了评估模型对图像的分割表现，本实施例中，使用dice相似系数为了验证分割的性能，使用图像分割最为常用的dice相似系数(dsc)和95％豪斯多夫距离(hausdorff95，hd95)作为评价指标。
[0062]
具体的，预测的分割掩码表示为x，将ground-truth标签表示为y，dsc的计算公式
即为：
[0063][0064]
其中x、y分别表示分割像素值和标签像素值，|x|和|y|是分割结果与标签的面积，|x∩y|是x和y的交集，即分割结果与标签重合部分面积。
[0065]
dsc的计算公式为：
[0066][0067]
其中x、y分别表示分割像素值和标签像素值，d(x，y)表示像素值x、y之间的欧氏距离，dh(x，y)表示95％豪斯多夫距离的值。
[0068]
hd95最后的值乘以0.95，目的是排除一些离群点不合理的距离，保持整体距离稳定性，hd95值代表了两张样本边界值相对距离大小，距离值越小，代表预测图与分割图边界越接近、分割越精确。
[0069]
dsc表示分割结果与标签的重合度，hd95表示网络预测区域与标签之间的最大距离，因此，dsc越高，hd95越低，语义分割模型的性能越好。dsc对分割区域的内部和真实区域比较敏感，而hd95主要关注分割结果的边界，因此，结合这两个指标，我们可以客观地定量评价模型的分割性能，将测试集上分割性能最好的训练结果作为最终的网络模型，最终只需输入肺栓塞ct图像，如未患有肺栓塞疾病即输出正常的ct图像，如有肺栓塞疾病即输出肺栓塞ct图像识别分割结果，最终实现自动、智能的肺栓塞ct图像识别分割功能。
[0070]
在发明中，围绕模式识别和医学图像处理的理论，结合肺动脉栓塞ct影像数据的实际特点和影像科医生诊断肺动脉栓塞实际过程与诊断方式，开展对肺动脉栓塞分割算法针对性的研究，最终提出由swin transformer模块、编码器模块、瓶颈网络模块、解码器模块、多融合密集跳跃连接模块组成的一种适用于肺栓塞ct图像的识别分割神经网络模型(scunet++)。核心的swin transformer模块拥有更高效的计算，swin transformer模块通过对输入数据进行划分和局部感知，可以减少计算复杂度和内存占用，从而更加高效地训练和推断。更长的上下文，传统的transformer模块受到序列长度的限制，无法处理超过一定长度的序列，而swin transformer模块通过使用局部感知窗口和交叉分组注意力，可以处理更长的序列。更好的可扩展性，swin transformer模块可以通过增加模块数和通道数来扩展模型规模，而不会对模型性能产生负面影响。更强的泛化能力，swin transformer模块通过使用跨层连接和深度跨网络连接，可以提高模型的泛化能力，从而更好地适应各种任务和数据集。
[0071]
此外通过实验中我们将scunet++与已有的图像分割模型进行对比，实验中scunet++神经网络模型在对肺栓塞图像的分割精度为80.61，hd95为7.10，分割效果最好，这是因为transformer基于注意力机制有着一步到位的全局联系捕捉，与此同时关注了元素的局部联系，因此相比只使用卷积的分割模型，scunet++的dsc从71.47提升到了80.61，hd95从7.69下降到了7.10。同时，相比swin-unet，我们提出的scunet++在肺栓塞数据集上的dsc从58.30提升到了80.61，hd95从20.00下降到了7.10，因为scunet++加深的网络结构的同时在每个swin-transformer模块中增加了一个多尺度特征融合模块将多个尺度的特征进行融合从而提升了分割性能。
[0072]
本发明提出的自动分割肺栓塞ct图像识别分割方法(scunet++)，只需要输入肺栓塞ct图像，即可实现自动、智能的肺栓塞ct图像识别分割功能，如未患有肺栓塞疾病即输出正常的ct图像，如有肺栓塞疾病即输出如图5所示肺栓塞ct图像识别分割结果，且实际分割效果要优于目前现有的分割模型。本发明使得建立肺栓塞精准医学辅助判断模型并协助医生诊断治疗成为可能，在实际应用中具有重要的意义。
[0073]
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

技术特征：
1.一种基于scunet++神经网络的肺栓塞ct图像识别分割方法，其特征在于，包括如下步骤：s1、构建用于识别分割肺栓塞ct图像的scunet++神经网络模型，所述scunet++神经网络模型包括由编码器模块、瓶颈网络模块、解码器模块、多融合密集跳跃连接模块；所述编码器模块由一个线性嵌入层、三个patch合并层、三个swin transformer模块组成；所述瓶颈网络模块由卷积模块组成；所述解码器模块由三个swin transformer模块、四个patch扩展层组成；所述多融合密集跳跃连接模块由三个swin transformer模块、三个patch扩展层组成，使用嵌套的、密集的多融合密集跳跃连接方式加强连接，最终设计成稠密连接，同时具有长连接和短连接，将模型中间空心的位置进行填满；s2、建立肺栓塞ct图像数据集，并划分为训练集和测试集；s3、使用训练集对scunet++神经网络模型进行训练，结合肺栓塞ct图像特点，对scunet++神经网络模型参数调优，得到最终分割网络模型；s4、使用测试集测试评估得到的最终分割网络模型，通过最终分割网络模型实现自动、智能的肺栓塞ct图像识别分割功能。2.根据权利要求1所述的基于scunet++神经网络的肺栓塞ct图像识别分割方法，其特征在于，所述swin transformer模块由两个连续的swin transformer block组成，每个swin transformer block由ln层、多头自注意力模块、残差连接和具有gelu的二层非线性的mlp组成，其中第一个swin transformer block的多头自注意力模块为基于窗口的多头自注意力模块，第二个swin transformer block的多头自注意力模块为基于移位窗口的多头自注意力模块。3.根据权利要求2所述的基于scunet++神经网络的肺栓塞ct图像识别分割方法，其特征在于，所述swin transformer模块转化为公式表达如下：transformer模块转化为公式表达如下：transformer模块转化为公式表达如下：transformer模块转化为公式表达如下：其中z
′
l
表示第l个多头自注意力模块的输出，z
l
表示第l个多层感知机的输出。4.根据权利要求1所述的基于scunet++神经网络的肺栓塞ct图像识别分割方法，其特征在于，组成所述瓶颈网络模块的卷积模块，采用1
×
1conv-3
×
3conv-1
×
1conv的结构，并且在每个conv之前使用bn-relu函数。5.根据权利要求3所述的基于scunet++神经网络的肺栓塞ct图像识别分割方法，其特征在于，所述步骤s1中，通过编码器模块提取深度特征的方法如下：
首先将输入的肺栓塞ct图像转化为序列嵌入，然后通过线性嵌入层将特征维度投影到c维度后，在编码器模块中一共进行三次特征表示学习和下采样，每次先经过一个swin transformer模块进行特征表示学习，然后通过patch合并层将进行两倍下采样以减少表征数，并将特征维数提高到原来的两倍，所述patch合并层将输入补丁分为四部分，通过补丁合并层连接在一起，从而使特征分辨率下降两倍，由于拼接操作的结果使特征维数增加了四倍，因此在拼接的特征上加一个线性层，将特征维数统一为原始维数的两倍的深度特征。6.根据权利要求5所述的基于scunet++神经网络的肺栓塞ct图像识别分割方法，其特征在于，所述步骤s1中，解码器模块与编码器模块相对应，使用patch扩展层对提取到的深度特征进行上采样得到特征图，patch扩展层通过两倍上采样将相邻维度的特征图重塑为更高分辨率的特征图，并相应地将特征维数降至原始维数的一半；所述patch扩展层对更高分辨率的特征图使用线性层将特征维数增加到原来的2倍，然后通过rearrange操作将输入特征的分辨率扩展到输入特征分辨率的2倍，并将特征维数降低到输入特征维数的四分之一。7.根据权利要求1所述的基于scunet++神经网络的肺栓塞ct图像识别分割方法，其特征在于，所述数据集包含8100张肺栓塞ct图像，图片的像素统一为512*512，其中7000张作为训练集，1100张作为测试集，其中训练集包含2000张正常样本和5000张肺栓塞样本，测试集包括550张正常样本和550张肺栓塞样本。8.根据权利要求1所述的基于scunet++神经网络的肺栓塞ct图像识别分割方法，其特征在于，所述步骤s3中，使用nvidiageforce rtx 3090gpu来进行训练，在训练过程中，batchsize大小为12，使用的梯度优化算法为adam，学习率为0.0001，epoch的数量是150，训练时间为23小时。9.根据权利要求1所述的基于scunet++神经网络的肺栓塞ct图像识别分割方法，其特征在于，所述步骤s4中，使用dice相似系数验证分割的性能，使用dice相似系数和95％豪斯多夫距离作为评价指标。

技术总结
本发明公开了一种基于SCUnet++神经网络的肺栓塞CT图像识别分割方法，包括如下步骤：S1、构建用于识别分割肺栓塞CT图像的SCUnet++神经网络模型；S2、建立肺栓塞CT图像数据集，并划分为训练集和测试集；S3、使用训练集对SCUnet++神经网络模型进行训练，结合肺栓塞CT图像特点，对SCUnet++神经网络模型参数调优，得到最终分割网络模型；S4、使用测试集测试评估得到的最终分割网络模型，通过最终分割网络模型实现自动、智能的肺栓塞CT图像识别分割功能。该方法能够实现自动、智能的肺栓塞CT图像识别分割功能，具有较高的分割准确率和效率。具有较高的分割准确率和效率。具有较高的分割准确率和效率。


技术研发人员：邹槟峰 陈一飞 柯怡帆 吴越 秦飞巍
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.04.11
技术公布日：2023/9/22