一种乳腺超声断层图像分割模型建立方法及分割方法

1.本发明属于医学图像分割领域，更具体地，涉及一种乳腺超声断层图像分割模型建立方法及分割方法。


背景技术：

2.乳腺癌是女性中仅次于肺癌的第二大致命癌症，而定期的乳腺筛查能够有效降低乳腺癌死亡率。超声断层成像技术相比传统超声具有高灵敏度和标准化操作的优点，其诊断结果不受医生经验的影响，在乳腺肿瘤的筛查方面具有广阔的应用前景。超声断层成像技术可以分为两种模态，分别是反射模态和透射模态，其中反射模态图像相比传统超声图像分辨率更高。透射图像可以提供病灶的功能信息，从而进一步辅助医生的诊断，因此，在针对乳腺成像时，往往使用透射模态。超声断层成像系统采用步进式扫描获得乳腺组织不同断层的图像，进而重建出乳腺组织的三维图像，使得病灶显示更为直观。
3.超声断层成像系统使用的探头频率通常为2-3mhz，相比传统超声探头使用的大于10mhz频率低很多，导致图像分辨力较低，因此辨认乳腺超声断层图像中的病灶是一件具有挑战性且耗时的任务。目前计算机辅助诊断在医学中应用广泛，主要用于辅助医生进行诊断以及制定后续治疗方案，提高医生诊断的特异性和敏感性。在计算机辅助乳腺的诊断中，自动医学图像分割是提高诊断效率和准确率最关键的一个步骤。通过将病灶从超声断层图像中分割出来，有利于医生确定病灶的体积大小和病变程度，重建直观的三维形状，便于医生做出正确的诊断，准确地制定治疗方案。
4.unet模型在医学图像分割应用中具有良好的效果，因此，也广泛应用于乳腺超声断层图像分割中。unet是一种典型的编码-解码结构，其结构如图1所示，左边卷积网络部分为编码结构，负责完成特征提取，主要由卷积层和下采样层构成，可以看到特征图尺寸不断减小；右边为解码结构，对应的是上采样过程，通过与不同卷积层的信息进行长跳跃连接(concat方式)，恢复到和原图接近的大小。为了进一步提高乳腺超声断层图像的分割效果，研究人员对传统unet模型进行改进，提出了一些改进的模型，例如attention-unet模型、unet++模型、resunet模型。
5.以上模型在训练完成后，能够有效分割出乳腺超声断层图像中的病灶区域，但是，不同于其他医学图像，乳腺超声断层图像的背景复杂且病灶与其他组织的对比度较低，而上述模型在解码阶段，上采样操作会损失大量信息，导致在实际应用中仍然面临着误分割的问题。此外，由于乳腺超声断层图像中，病灶往往较小，现有的模型也不能很好地将小病灶区域精确地分割出来。总体而言，现有的乳腺超声断层图像分割方法的分割精度有待进一步提高。


技术实现要素：

6.针对现有技术的缺陷和改进需求，本发明提供了一种乳腺超声断层图像分割模型建立方法及分割方法，其目的在于，提高乳腺超声断层图像的分割精度。
7.为实现上述目的，按照本发明的一个方面，提供了一种乳腺超声断层图像分割模型建立方法，包括：
8.构建训练集；训练集中，每一条训练数据为已标注出病灶区域的乳腺超声断层图像；
9.基于unet模型构建初始的乳腺超声断层图像分割模型，用于从乳腺超声断层图像中分割出病灶区域；
10.以l
total
＝le+αl
contrast
+βl
uncer
为训练损失函数，利用训练集训练初始的乳腺超声断层图像分割模型，完成乳腺超声断层图像分割模型的建立；
11.其中，l
total
表示总体损失；le表示乳腺超声断层图像分割模型的分割误差；l
contrast
表示乳腺超声断层图像分割模型中解码结构输出的中间结果与标注结果之间的对比损失函数，α表示其权重系数；l
uncer
为不确定性损失函数，用于表示乳腺超声断层图像分割模型中解码结构输出的中间结果与标注结果间的差异，β表示其权重系数；α≥0，β≥0，且α、β不同时为0。
12.进一步地，
[0013][0014][0015][0016]
其中，j表示模型的中间输出的数量；l
ce
()表示交叉熵损失；l表示标注结果；pj表示乳腺超声断层图像分割模型中解码结构输出的中间结果，表示中间结果pj的第i个通道；d
kl
表示kl散度，c表示类别数，表示分配给第j个中间结果中的像素p的权重。
[0017]
进一步地，
[0018][0019]
其中，l表示像素之间的相似度；so表示中间结果中的特征，s
l
表示标注结果中的特征；m和n表示特征类别；表示同一类别的特征，表示不同类别的特征；τ表示温度系数。
[0020]
进一步地，乳腺超声断层图像分割模型还包括：插入在unet模型中编码结构的最后一层与解码结构之间的crossformer模块。
[0021]
进一步地，乳腺超声断层图像分割模型还包括：插入在unet模型中编码结构与解码结构间长跳跃连接中的多尺度注意力模块；
[0022]
多尺度注意力模块包括：空洞空间卷积池化金字塔和特征增强模块；
[0023]
空洞卷积池化金字塔用于对编码结构中对应层输出的特征进行多尺度特征提取，
得到多尺度特征；
[0024]
特征增强模块，以多尺度特征和解码结构中对应层输出的解码特征为输入，用于增强与任务相关的特征并抑制与特征不相关的特征。
[0025]
进一步地，特征增强模块包括第一卷积层、第二卷积层、第三卷积层、relu激活层、sigmoid激活层、像素相加层以及像素相乘层；
[0026]
第一卷积层用于输入多尺度特征，并进行卷积操作；
[0027]
第二卷积层用于输入解码特征，并进行卷积操作；
[0028]
像素相加层用于对第一卷积层和第二卷积层输出的结果进行逐像素相加；
[0029]
relu激活层用于对像素相加层输出的结果进行激活处理；
[0030]
第三卷积层用于对relu激活层输出的结果进行卷积操作；
[0031]
sigmoid激活层用于对第三卷积层输出的结果进行激活处理；
[0032]
像素相乘层用于对sigmoid激活层输出的结果以及多尺度特征进行逐像素相乘。
[0033]
进一步地，构建训练集，包括：
[0034]
获得由乳腺超声断层图像构成的原始数据集，并标注其中的每一张乳腺超声断层图像中的病灶区域，得到对应的病灶区域掩码图像；
[0035]
将连续的n张乳腺超声断层图像在通道维度上拼接，由拼接后的乳腺超声断层图像和对应的病灶区域掩码图像构成训练集；
[0036]
其中，n为大于1的正整数。
[0037]
进一步地，n＝3；
[0038]
并且，将连续的3张乳腺超声断层图像在通道维度上拼接，包括：
[0039]
从每张乳腺超声断层图像中提取一个通道的信息，得到三个通道的信息；
[0040]
将三个通道的信息在通道维度上拼接。
[0041]
按照本发明的另一个方面，提供了一种乳腺超声断层图像分割方法，包括：
[0042]
将待分割的乳腺超声断层图像输入至乳腺超声断层图像分割模型，得到病灶区域分割结果；
[0043]
其中，乳腺超声断层图像分割模型由本发明提供的乳腺超声断层图像分割模型建立方法所建立。
[0044]
按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的上述乳腺超声断层图像分割模型建立方法，和/或，本发明提供的上述乳腺超声断层图像分割方法。
[0045]
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
[0046]
(1)本发明在对所建立的乳腺超声断层图像分割模型进行训练时，在训练损失函数中引入了解码结构输出的中间结果与标注结果间对比损失函数和不确定性损失函数中的至少一项；对比损失函数的引入，使模型具备区分属于不同类别(即病灶区域或背景)像素的能力，更准确地对边界附近的像素进行分类，从而缓解乳腺超声断层图像对比度低对于分割精度的影响；不确定性损失函数的引入，使得解码结构输出的中间结果与标注结果之间的差异最小化，使得网络能够在早期学习到更多具有辨别性和可靠的知识，并有效减少解码阶段上采样操作导致的细节信息的损失，使得模型在对比度低的情况下，也能准确
分割出病灶区域。总体而言，本发明通过对模型训练损失函数进行改进，能够有效提高乳腺超声断层图像的分割精度。
[0047]
(2)模型输出与标签之间的差异通常使用交叉熵损失和dice损失进行衡量，但在乳腺超声断层图像分割中，仅基于交叉熵损失构建不确定性损失函数，对于上采样导致的细节信息损失的缓解效果有限；在本发明的优选方案中，所设计的不确定性损失函数，在交叉熵损失的基础上，引入了基于kl散度的正则项，可以最大程度上减少解码阶段上采样操作导致的细节信息的损失，进一步提高模型的分割精度。
[0048]
(3)在本发明的优选方案中，所设计的对比损失函数使得中间输出与标注结果中，属于相同类别的像素相似性最大化，并且属于不同类别的相似性最小化，能够进一步提高模型区分不同类别像素的能力。
[0049]
(4)乳腺超声断层图像分割任务属于密集预测任务，局部特征和全局特征对于该类任务都非常重要；在本发明的优选方案中，在unet模型中编码结构的最后一层与解码结构之间插入了crossformer模块，在编码结构中的卷积层和池化层提取丰富的局部信息的基础上，由crossformer模块提取全局信息，并通过编码全局信息和局部信息之间的依赖关系，能使得小病灶的分割更加精确。
[0050]
(5)在本发明的优选方案中，在unet模型的长跳跃连接中插入了多尺度注意力模块，该模块具体由空洞空间卷积池化金字塔和特征增强模块构成，其中的空洞空间卷积池化金字塔使得网络在增大感受野和捕捉多尺度信息的同时尽可能地保留局部细节信息，特征增强模块则对空洞空间卷积池化金字塔提取的多尺度特征做进一步的处理，增强与任务相关的特征并抑制与特征不相关的特征，最终使得模型对于小病灶也具有较高的分割精度。
[0051]
(6)在超声断层成像过程中，对于同一个对象会生成多张图像；在本发明的优选方案中，在构建用于模型训练的数据集时，将连续的多张图像在通道维度上拼接后作为模型输入，能够有效利用超声断层图像的层间信息，进一步提高分割精度。在进一步优选的方案中，具体选取连续的三张图像分别提取一个通道拼接后作为模型输入，一方面可以避免拼接后的图像包含过多的背景区域特征，另一方面，拼接后的图像维度与原始图像维度一致，简化了后续分割过程中模型输入的处理。
附图说明
[0052]
图1为现有的unet模型结构示意图；
[0053]
图2为本发明实施例提供的乳腺超声断层图像及其对应的掩码图像；其中，(a)为乳腺超声断层图像，(b)为掩码图像；
[0054]
图3为本发明实施例提供的乳腺超声断层图像分割模型示意图；
[0055]
图4为现有的crossformer模块示意图；
[0056]
图5为本发明实施例提供的多尺度注意力模块示意图；
[0057]
图6为发明实施例提供的分割方法与其他基于unet模型的分割方法的分割结果；其中，(a)为乳腺超声断层图像的病灶区域标签，(b)为unet模型的分割结果，(c)为attention-unet模型分割结果，(d)为unet++模型分割结果，(e)为resunet模型分割结果，(f)为transunet模型分割结果，(g)本实施例的分割结果。
具体实施方式
[0058]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0059]
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0060]
为了提高乳腺超声断层图像分割的精度，本发明提供了一种乳腺超声断层图像分割模型建立方法及分割方法，其整体思路在于：通过对模型训练过程的损失函数进行优化，使模型具备区分不同类别像素的能力，和/或，在早期学习到更多具有辨别性和可靠的知识，并减少由于上采样操作导致的细节信息的损失，使模型能够从对比度较低的乳腺超声断层图像中准确分割出病灶区域。在此基础上，进一步对模型的结构进行改进，使模型更好地利用图像中全局信息和局部的细节信息，进一步提高分割精度。
[0061]
以下为实施例。
[0062]
实施例1：
[0063]
一种乳腺超声断层图像分割模型建立方法，包括：
[0064]
构建训练集；训练集中，每一条训练数据为已标注出病灶区域的乳腺超声断层图像；图2所示为训练数据的一个示例，图2中的(a)为采集到的乳腺超声断层图像，(b)为标注出病灶区域的掩码图像。
[0065]
可选地，本实施例中，构建训练集的具体包括如下步骤：
[0066]
(1)使用2-3mhz的超声断层成像系统采集乳腺超声断层图像，共采集到372张图像，并将其按7:1:2的比例划分为训练集、验证集和测试集；
[0067]
(2)对采集到的372张图像采用专业、同样的方式标注出病灶区域，得到对应的掩码图像，作为模型训练时的标签；
[0068]
(3)对训练集中的乳腺超声断层图像和对应的标签通过图像翻转、旋转、缩放等操作进行数据增强，扩充训练集至原始训练集的8倍，共计2088张；
[0069]
通过数据增强，能够提高模型的鲁棒性以及避免过拟合；
[0070]
(4)将数据增强后的训练图像尺寸统一归一化到512
×
512，以适应模型对于输入图像尺寸的要求，之后将连续的三张图像在通道维度上进行拼接，具体拼接方式为：从每张图像中提取一个通道的信息，然后将提取的三个通道的信息在通道维度上拼接，得到的三通道图像作为分割模型的输入，即输入图像尺寸为512
×
512
×
3；
[0071]
在超声断层成像过程中，对于同一个对象会生成多张(通常为30张)图像，本实施例将连续的多张图像拼接后作为模型输入，能够有效利用层间信息；乳腺超声断层图像中的病灶往往较小，不同层的图像之间往往具有一定的层间距，此外，原始的乳腺超声断层图像为三通道图像，每个通道的信号相同，本实施例具体从连续的三张超声图像中分别提取一个通道后再拼接为三通道图像作为模型输入，在利用层间信息的基础上，既避免了避免拼接后的图像包含过多的背景区域特征，又能够保持拼接后的图像维度与原始图像维度一致，使得实际分割过程中，原始的乳腺超声断层图像的通道维度与模型输入要求一致，简化了后续分割过程中模型输入的处理。
[0072]
需要说明的是，以上训练集的构建方式，仅为本发明优选的实施方式，不应理解为对本发明的唯一限定，其他由标注了病灶区域的乳腺超声断层图像的数据集均可用于本发明；容易理解的是，上述步骤中，图像数量、图像尺寸等参数仅为示例性描述，不应理解为对本发明的唯一限定，在实际应用中可按需调整。
[0073]
本实施例进一步包括：基于unet模型构建初始的乳腺超声断层图像分割模型，用于从乳腺超声断层图像中分割出病灶区域。
[0074]
考虑到原始的unet模型及基于unet模型改进得到的模型，由于在解码阶段的上采样过程中会损失细节信息，无法较好地分割出乳腺超声断层图像中的小病灶，本实施例在unet模型的基础上改进得到了一种新的乳腺超声断层图像分割模型，所选用的unet模型具体为图1所示的模型，相关的改进包括：在unet模型中编码结构的最后一层与解码结构之间插入crossformer模块，以及，在unet模型的长跳跃连接中插入多尺度注意力模块(mfemodule)。
[0075]
改进后的分割模型结构如图3所示，可分为十二层：第一层由两个卷积层构成，第二层至第四层均是由一个2
×
2池化层和两个卷积层组成的模块，卷积层由一个3
×
3卷积、一个批量归一化模块以及一个relu激活函数所构成；第一层的输出特征图大小为512
×
512
×
64(512表示特征图的宽高为512，64表示特征图的通道数)，第二层至第四层输出特征图的通道数是上一层输出特征图的两倍，宽高是上一层的1/2，第四层的输出特征图大小为64
×
64
×
512，第五层由一个池化层和一个卷积层构成，第五层输出特征图的通道数与第四层相同，但宽高仍然减半，即第五层输出特征图大小为32
×
32
×
512。
[0076]
参阅图3，乳腺超声断层图像分割模型中，第六层为插入的crossformer模块；crossformer模块由两个连续的crossformerblock构成，如图4所示。其中一个crossformerblock包含一个跨尺度嵌入层(cel)、两个层归一化(layer norm)、一个相对位置编码层(rpb)、一个短距离注意力层(sda)和一个多层感知机层(mlp)。另一个crossformerblock包含两个层归一化(layer norm)、一个相对位置编码层(rpb)、一个长距离注意力层(lda)和一个多层感知机层(mlp)。第六层的输出特征图尺寸与第五层的相同，即仍为32
×
32
×
512。第七层由一个卷积层和一个上采样层构成，第七层输出特征图的通道数与第六层相同，宽高是第六层的2倍，即第七层输出特征图大小为64
×
64
×
512。
[0077]
本实施例在unet模型中编码结构的最后一层与解码结构之间插入了crossformer模块，在编码结构中的卷积层和池化层提取丰富的局部信息的基础上，由crossformer模块提取全局信息，并通过编码全局信息和局部信息之间的依赖关系，能使得小病灶的分割更加精确。
[0078]
参阅图3，乳腺超声断层图像分割模型中，第八层至第十层均由两个卷积层和一个上采样层构成，每一层输出特征图的通道数变为输入特征图通道数的1/2，宽高变为输入特征图宽高的两倍。第十层输出特征图的宽高恢复到输入图像的大小，为512
×
512。第十一层由两个卷积层构成，第十二层由一个1
×
1卷积层构成，输出通道数为种类数，输出特征图大小为512
×
512
×
2。
[0079]
以crossformer模块为区分，左侧结构对应编码结构，右侧结构对应解码结构。
[0080]
参阅图3，乳腺超声断层图像分割模型中，编码结构中的第一、二、三、四层输出经过插入的多尺度注意力模块(mfemodule)与解码结构中的第十、九、八、七层输出使用一个
长跳跃连接拼接起来。第一层与第十层输出特征图的大小均为512
×
512
×
64，第二层与第九层输出特征图的大小均为256
×
256
×
128，第三层与第八层输出特征图的大小均为128
×
128
×
256，第四层与第七层输出特征图的大小均为64
×
64
×
512。即：第一层和第十层的输出特征图拼接起来为512
×
512
×
128后再进行卷积操作，第二层和第九层的输出特征图拼接起来为256
×
256
×
256后再进行卷积操作，第三层和第八层的输出特征图拼接起来为128
×
128
×
512后再进行卷积操作，第四层和第七层的输出特征图拼接起来为64
×
64
×
1024后再进行卷积操作。
[0081]
本实施例中，多尺度注意力模块(mfemodule)的结构如图5所示，包含两个分支，其中一个分支是一个空洞空间卷积池化金字塔(asppmodule)，用于对编码结构中对应层输出的特征进行多尺度特征提取，得到多尺度特征；asppmodule包含一个1
×
1的卷积、三个膨胀系数分别为6、12和18的3
×
3空洞空间卷积和一个1
×
1的池化层，aspp的结构使得网络在增大感受野和捕捉多尺度信息的同时尽可能地保留局部细节信息；另一个分支是一个特征增强模块，包含三个1
×
1的卷积(即第一卷积层、第二卷积层和第三卷积层)、一个relu激活层、一个sigmoid激活层、一个像素相加层以及像素相乘层，如图5所示：
[0082]
第一卷积层用于输入多尺度特征，并进行卷积操作；
[0083]
第二卷积层用于输入解码特征，并进行卷积操作；
[0084]
像素相加层用于对第一卷积层和第二卷积层输出的结果进行逐像素相加；
[0085]
relu激活层用于对像素相加层输出的结果进行激活处理；
[0086]
第三卷积层用于对relu激活层输出的结果进行卷积操作；
[0087]
sigmoid激活层用于对第三卷积层输出的结果进行激活处理；
[0088]
像素相乘层用于对sigmoid激活层输出的结果以及多尺度特征进行逐像素相乘；相乘后的结果作为下一层的输入。
[0089]
通过该特征增强模块对aspp提取的多尺度特征做进一步的处理，能够增强与任务相关的特征并抑制与特征不相关的特征；需要说明的是，此处关于特征增强模块的结构描述，为优选方案，不应理解为对本发明的唯一限定，其他基于注意力机制实现的能够增强与任务相关的特征并抑制与特征不相关的特征的模块，也可用于本发明。
[0090]
总体而言，本实施例通过在unet模型的长跳跃连接中插入上述特征增强模块，能够使得模型对于小病灶也具有较高的分割精度。
[0091]
需要说明的是，上述模型仅为本发明优选的模型，不应理解为对本发明的唯一限定；在本发明其他的实施例中，在分割精度满足应用需求的情况下，可以仅在unet模型中相应位置插入crossformer模块，也可以仅插入多尺度注意力模块，也可以直接使用现有的unet模型或者attention-unet模型、unet++模型、resunet模型等改进模型。
[0092]
容易理解的是，当选用的unet模型结构发生变化时，改进后的乳腺超声断层图像分割模型的层数、每一层中的参数也可能相应发生变化，以上关于模型参数的说明，仅为一种示例性的描述，不应理解为对本发明的唯一限定。
[0093]
上述初始的乳腺超声断层图像分割模型需要经过训练之后，才能完成实际的分割任务；模型输出与标签之间的差异通常使用交叉熵损失和dice损失进行衡量，但是，由于乳腺超声断层图像中病灶区域和背景之间的对比度较低，而unet模型及其改进模型中，在解码阶段，上采样操作会损失大量信息，现有的训练方法训练所得模型仍会面临误分割的问
题，针对该问题，本实施例在模型的训练损失函数进中引入了解码结构输出的中间结果(即图3中的o2，o3，o4)与标注结果间的对比损失函数和不确定性损失函数，改进后的损失函数为：
[0094]
l
total
＝le+αl
contrast
+βl
uncer
[0095]
其中，l
total
表示总体损失；le表示乳腺超声断层图像分割模型的分割误差；l
contrast
表示乳腺超声断层图像分割模型中解码结构输出的中间结果与标注结果之间的对比损失函数，α表示其权重系数；l
uncer
为不确定性损失函数，用于表示乳腺超声断层图像分割模型中解码结构输出的中间结果与标注结果间的差异，β表示其权重系数；α≥0，β≥0，且α、β不同时为0；α、β的具体取值可根据实际的分割效果灵活调整，可选地，本实施例中，α、β分别设置为0.2和0.3。
[0096]
本实施例所设计的上述损失函数中，通过引入不确定性损失函数，使得解码结构输出的中间结果与标注结果之间的差异最小化，使得网络能够在早期学习到更多具有辨别性和可靠的知识，并有效减少解码阶段上采样操作导致的细节信息的损失，使得模型在对比度低的情况下，也能准确分割出病灶区域。实验发现，仅基于交叉熵损失构建不确定性损失函数，对于上采样导致的细节信息损失的缓解效果有限，为了最大程度上减少解码阶段上采样操作导致的细节信息的损失，本实施例在交叉熵损失的基础上，引入了基于kl散度的正则项，最终，不确定性损失函数的表达式具体为：
[0097][0098][0099][0100]
其中，j表示模型的中间输出的数量；l
ce
()表示交叉熵损失；l表示标注结果；pj表示乳腺超声断层图像分割模型中解码结构输出的中间结果，表示中间结果pj的第i个通道；d
kl
表示kl散度，c表示类别数，表示分配给第j个中间结果中的像素p的权重。
[0101]
对比损失函数的引入，使模型具备区分属于不同类别(即病灶区域或背景)像素的能力，更准确地对边界附近的像素进行分类，从而缓解乳腺超声断层图像对比度低对于分割精度的影响；本实施例中，对比损失函数的表达式为具体：
[0102][0103]
其中，l表示像素之间的相似度；so表示中间结果中的特征，s
l
表示标注结果中的特征；m和n表示特征类别，表示标注结果中的第m类特征，和分别表示中间结果so中的第m、n类特征；表示同一类别的特征，表示不同类别的特征；τ表示温度系数，可选地，本实施例中，其值为2；
[0104]
可选地，可选地，本实施例中，具体采用余弦相似度进行衡量，相应的表达式为
[0105][0106]
应当说明的是，余弦相似度仅为可选的特征相似度衡量方式，不应理解为对本发明的唯一限定，其他衡量方式，如皮尔逊相关系数、马氏距离、欧式距离等，也可以用于本发明。
[0107]
基于该对比损失函数，使得中间输出与标注结果中，属于相同类别的像素相似性最大化，并且属于不同类别的相似性最小化，能够进一步提高模型区分不同类别像素的能力。
[0108]
可选地，在上述损失函数中，乳腺超声断层图像分割模型的分割误差le，即病灶区域分割结果o1和标签之间的误差，仍使用交叉熵损失函数l
ce
和dice损失函数l
dice
表示。
[0109]
最终，总体损失函数表达式如下：
[0110][0111]
l
ce
＝-[ylogl+(1-y)log(1-l)]
[0112][0113]
其中，y表示乳腺超声断层图像分割模型输出的分割结果，l表示标注结果；
[0114]
基于以上分析，本实施例在数据集和初始的乳腺超声断层图像分割模型构建之后，进一步包括：
[0115]
以l
total
＝le+αl
contrast
+βl
uncer
为训练损失函数，利用训练集训练初始的乳腺超声断层图像分割模型，完成乳腺超声断层图像分割模型的建立。
[0116]
需要说明的是，在本发明其他的一些实施例中，超参数，α、β中的一项可以为0。
[0117]
容易理解的是，在模型训练完成之后，为了确保分割结果满足要求，进一步会利用测试集和验证集对训练后的模型进行测试和验证，测试过程中，可使用dice系数和iou作为评价指标对分割结果进行评价。
[0118]
实施例2：
[0119]
一种乳腺超声断层图像分割方法，包括：
[0120]
将待分割的乳腺超声断层图像输入至乳腺超声断层图像分割模型，得到病灶区域分割结果；
[0121]
其中，乳腺超声断层图像分割模型由本发明提供的乳腺超声断层图像分割模型建立方法所建立。
[0122]
实施例3：
[0123]
一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的上述乳腺超声断层图像分割模型建立方法，和/或，本发明提供的上述乳腺超声断层图像分割方法。
[0124]
以下结合不同模型的分割效果对本发明所能取得的有益效果做进一步的分析说明。
[0125]
对于图3所示的乳腺超声断层图像分割模型，使用pytorch作为深度学习框架，实
验环境nvidia geforce rtx 2080ti(11gb)gpu，采用上述实施例1提供的unet网络结构(即图3所示的乳腺超声断层图像分割模型)作为分割模型，模型中的c0＝2，c1＝64，c2＝128,c3＝256,c4＝512。输入的图像尺寸为512
×
512
×
3。采用随机梯度下降算法(weight decay＝0.0001,momentum＝0.9)作为优化器，初始学习率设置为0.01，每经过100个epoch学习率降低至原始值的0.1倍，共训练300个epoch，batch size设置为4。使用的数据集共327张，按照7:1:2的比例划分数据集为训练集、验证集和测试集，将训练集扩充至原始的8倍。损失函数使用交叉熵函数、dice损失函数、对比损失函数及不确定损失函数，dice系数和交并比(iou)作为评价指标。
[0126]
以现有的unet模型、attention-unet模型、unet++模型以及resunet模型、transunet模型作为的对比模型，对乳腺超声断层图像使用不同模型进行分割，其结果如图6所示。图6中，(a)为多张乳腺超声断层图像的病灶区域标签，(b)为unet模型的分割结果，(c)为attention-unet模型分割结果，(d)为unet++模型分割结果，(e)为resunet模型分割结果，(f)为transunet模型分割结果(g)本实施例的分割结果。根据附图6所示结果可以看出，基于本发明所建立的乳腺超声断层图像分割模型分割出来的边界更接近真实的边界，错误分割的情况也相对更少。为便于描述，以下将上述实施例1所建立的模型简记为“mfe-dscrossunet”，各模型分割结果的dice系数和iou系数如表1所示。
[0127]
表1不同模型分割结果的dice系数和iou系数
[0128][0129]
根据表1所示评价指标可以看出，本发明分割的结果dice系数达到了0.8883，iou系数达到了0.7990。与unet的分割结果相比，dice系数提高了3.68％，iou系数提高了5.76％。充分证明了本发明中所建立的乳腺超声断层图像分割模型的有效性和优越性。
[0130]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种乳腺超声断层图像分割模型建立方法，其特征在于，包括：构建训练集；所述训练集中，每一条训练数据为已标注出病灶区域的乳腺超声断层图像；基于unet模型构建初始的乳腺超声断层图像分割模型，用于从乳腺超声断层图像中分割出病灶区域；以l
total
＝l
e
+αl
contrast
+βl
uncer
为训练损失函数，利用所述训练集训练初始的乳腺超声断层图像分割模型，完成所述乳腺超声断层图像分割模型的建立；其中，l
total
表示总体损失；l
e
表示乳腺超声断层图像分割模型的分割误差；l
contrast
表示乳腺超声断层图像分割模型中解码结构输出的中间结果与标注结果之间的对比损失函数，α表示其权重系数；l
uncer
为不确定性损失函数，用于表示乳腺超声断层图像分割模型中解码结构输出的中间结果与标注结果间的差异，β表示其权重系数；α≥0，β≥0，且α、β不同时为0。2.如权利要求1所述的乳腺超声断层图像分割模型建立方法，其特征在于，2.如权利要求1所述的乳腺超声断层图像分割模型建立方法，其特征在于，2.如权利要求1所述的乳腺超声断层图像分割模型建立方法，其特征在于，其中，j表示模型的中间输出的数量；l
ce
()表示交叉熵损失；l表示标注结果；p
j
表示乳腺超声断层图像分割模型中解码结构输出的中间结果，表示中间结果p
j
的第i个通道；d
kl
表示kl散度，c表示类别数，表示分配给第j个中间结果中的像素p的权重。3.如权利要求1或2所述的乳腺超声断层图像分割模型建立方法，其特征在于，其中，l表示像素之间的相似度；s
o
表示中间结果中的特征，s
l
表示标注结果中的特征；m和n表示特征类别，表示同一类别的特征，表示不同类别的特征；τ表示温度系数。4.如权利要求1所述的乳腺超声断层图像分割模型建立方法，其特征在于，所述乳腺超声断层图像分割模型还包括：插入在unet模型中编码结构的最后一层与解码结构之间的crossformer模块。5.如权利要求1或4所述的乳腺超声断层图像分割模型建立方法，其特征在于，所述乳腺超声断层图像分割模型还包括：插入在unet模型中编码结构与解码结构间长跳跃连接中的多尺度注意力模块；
所述多尺度注意力模块包括：空洞空间卷积池化金字塔和特征增强模块；所述空洞卷积池化金字塔用于对编码结构中对应层输出的特征进行多尺度特征提取，得到多尺度特征；所述特征增强模块，以所述多尺度特征和解码结构中对应层输出的解码特征为输入，用于增强与任务相关的特征并抑制与特征不相关的特征。6.如权利要求5所述的乳腺超声断层图像分割模型建立方法，其特征在于，所述特征增强模块包括第一卷积层、第二卷积层、第三卷积层、relu激活层、sigmoid激活层、像素相加层以及像素相乘层；所述第一卷积层用于输入所述多尺度特征，并进行卷积操作；所述第二卷积层用于输入所述解码特征，并进行卷积操作；所述像素相加层用于对所述第一卷积层和所述第二卷积层输出的结果进行逐像素相加；所述relu激活层用于对所述像素相加层输出的结果进行激活处理；所述第三卷积层用于对所述relu激活层输出的结果进行卷积操作；所述sigmoid激活层用于对所述第三卷积层输出的结果进行激活处理；所述像素相乘层用于对所述sigmoid激活层输出的结果以及所述多尺度特征进行逐像素相乘。7.如权利要求1所述的乳腺超声断层图像分割模型建立方法，其特征在于，构建训练集，包括：获得由乳腺超声断层图像构成的原始数据集，并标注其中的每一张乳腺超声断层图像中的病灶区域，得到对应的病灶区域掩码图像；将连续的n张乳腺超声断层图像在通道维度上拼接，由拼接后的乳腺超声断层图像和对应的病灶区域掩码图像构成所述训练集；其中，n为大于1的正整数。8.如权利要求7所述的乳腺超声断层图像分割模型建立方法，其特征在于，n＝3；并且，将连续的3张乳腺超声断层图像在通道维度上拼接，包括：从每张乳腺超声断层图像中提取一个通道的信息，得到三个通道的信息；将三个通道的信息在通道维度上拼接。9.一种乳腺超声断层图像分割方法，其特征在于，包括：将待分割的乳腺超声断层图像输入至乳腺超声断层图像分割模型，得到病灶区域分割结果；其中，所述乳腺超声断层图像分割模型由权利要求1～8任一项所述的乳腺超声断层图像分割模型建立方法所建立。10.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1～8任一项所述的乳腺超声断层图像分割模型建立方法，和/或，权利要求9所述的乳腺超声断层图像分割方法。

技术总结
本发明公开了一种乳腺超声断层图像分割模型建立方法及分割方法，属于医学图像分割领域，包括：构建由已标注出病灶区域的乳腺超声断层图像构成的训练集；基于UNet模型构建初始的乳腺超声断层图像分割模型；以L


技术研发人员：丁明跃 蔡梦媛 周亮
受保护的技术使用者：华中科技大学
技术研发日：2023.02.22
技术公布日：2023/7/19