一种基于阴影去除并补齐的前列腺超声分割方法

1.本发明涉及图像处理技术领域，具体涉及一种基于阴影去除并补齐的前列腺超声分割方法。


背景技术：

2.随着医学影像质量变得日趋复杂，对前列腺超声精确切割的需求也日益增长。前列腺在超声图像中的切割是许多前列腺相关诊疗操作的关键基础，但图像质量较低以及阴影和伪影的问题使得这一挑战长期存在。早期的前列腺切割技术主要采用手工操作，但这种传统方法在时间和人力成本上较高，同时在不同操作者之间差异较大。因此，在实际应用中，前列腺超声自动切割具有重要的临床价值。
3.关于医学图像分割问题，传统方法有基于阈值、边缘检测和聚类的分割算法等。这些技术主要包括特征提取和分类器两部分。然而，特征提取算法的复杂性、应用局限性、稳定性以及配合特定分类器的多样性限制了图像处理技术的进步。随后，机器学习的出现使图像分割取得了一定的发展，但仍面临拟合问题、数据敏感度和数据不平衡等挑战。后来，神经网络的出现使端到端的图像处理成为可能。当网络的隐藏层发展到多层时，就称之为深度学习。然而，深度学习需要逐层初始化技术来解决深层网络训练的难度。卷积神经网络(cnn)是深度学习与图像处理技术相结合的经典模型，其网络实例在特定的图像处理问题上取得了显著成果。


技术实现要素：

4.为解决上述问题，设计并实现一个鲁棒且泛化性较强的深度学习模型，本发明包括两个网络，一个用于对阴影部位进行去除和补齐，另一个用于对补齐后的图像进行前列腺区域分割。
5.首先将增广后的图像送入补齐网络模型中进行训练，利用经过改良的gan网络mask-completegan进行学习训练，得到输入图片的补齐目标，再将补齐的目标放入分割网络u-net进行学习训练，得到分割结果。对所选的两个深度学习模型进行配置，包括网络结构、损失函数、优化器、学习率等，使用多个不同的损失函数同时进行训练，进而得到输入图片的去除阴影目标和分割目标。
6.因为阴影补齐的效果会对分割造成影响，所以将分割损失与阴影补齐损失，进行加权递归，起到互相促进作用。
7.由于风格迁移学习会对不需要阴影去除并补齐的部位造成失真影响，所以我们引入前列腺区域掩膜，只对超声图像的前列腺区域进行gan网络学习去阴影补齐，再将已处理部位与未处理部位进行泊松融合，得到对前列腺的阴影去除并补齐的图像。
8.本发明研究与传统方法相比具有如下优点：其一，增强对前列腺阴影部位的预测，提高分割准确率；其二，补齐的同时对图像进行分割操作，使补齐目标提高分割准确率的同时，让分割的损失促进图像补齐的准确性，引入联合损失，进行联合训练。其三，我们提出的
mask-completegan网络引入了自动学习从输入的阴影图像中生成阴影蒙版，然后通过重新制定的循环一致性约束，使用蒙版指导阴影生成，避免阴影去除之后的图像失真。
附图说明
9.图1为本发明所提供的前列腺超声阴影去除补齐并分割的流程图；
10.图2-1和图2-2为本发明实施例中的mask-completegan网络示意图。
11.图3为本发明实施例中的分割u-net网络示意图。
具体实施方式
12.下面将结合本发明实施例中的附图1，在本发明实施例的技术方案中，进行明确和全面的阐述。显然，这里所介绍的实施例只是本发明众多实施例中的一部分，并非全部。在不涉及创造性劳动的前提下，基于本发明的实施例，对于本领域的普通技术人员所获得的所有其他实施例，同样属于本发明保护范围之内。
13.实施例：
14.请参照图1所示，本发明提供了一种基于阴影去除并补齐的前列腺超声分割方法，包括以下步骤：
15.(1)数据集收集：首先利用超声设备获得前列腺超声图像，进行人工标注，标注出目标超声图像的前列腺区域的掩膜图像，将图像分类数据集按一定比例进行分类。首先利用超声设备获得前列腺超声图像，将图像分类数据集按照7∶2∶1的比例分构建训练集、验证集和测试集。
16.(2)数据增广：训练图像进行图像增广，包括随机裁剪，旋转，水平翻转，中心裁剪和归一化。
17.此外，数据增强是对分割后的图像数据进行翻转、旋转、缩放、加噪处理和亮度调节中的一种或多种操作。
18.在本步骤中，翻转方法包括随机的水平翻转操作，而旋转主要采用直角旋转手法。图像的缩放是通过增大或缩小尺寸来实现的，高斯噪声则用于模拟不同的超声噪声环境。
19.通过上述的数据增强操作，可以进一步扩充样本的数量，一是可以使得训练出来的模型更加精确，二是通过数据增强后的模型的鲁棒性更强。
20.(3)模型训练：请参照图2-1、图2-2所示，增广后的图像送入网络模型中进行训练，首先利用改良的gan网络mask-completegan进行特征提取，使用多个l1损失函数同时进行训练，进而得到输出图片。从真实阴影图像is开始，我们首先使用生成器网络gf将其转换为无阴影补齐图像if。然后，我们使用对抗性鉴别器df来区分是否是真正的无阴影图像：
[0021][0022]
同时对生成器及其鉴别器优化如下目标函数：
[0023][0024]
为了保持生成的阴影图像与原始图像之间的一致性，我们使用阴影遮罩m
l
作为指示阴影区域的指导，并将阴影遮罩m
l
与生成的无阴影图像连接起来，作为生成器gs的输入，
生成阴影图像，公式如下：
[0025][0026]
其中阴影遮罩m
l
是真实阴影图像is通过水平集方法生成。
[0027]
另阴影遮罩m
′
l
是真实阴影图像is与生成的无阴影图像if之间的差值。
[0028]
制定一致性损失函数：
[0029][0030]
该发明还制定了以下阴影循环一致性损失，以促使重建图像与原始输入的真实阴影图像is相似，并优化了中的映射函数gs和gf的循环一致性约束：
[0031][0032]
再进一步使用全为零的掩模mn和真实阴影图像is作为gs的输入，生成不包含新添加阴影的图像
[0033][0034]
然后利用阴影恒等损失将输出正则化到接近输入的阴影图像：
[0035][0036]
注意，以上a表示第网络框架中的第一部分，从阴影图像中学习去阴影补齐。则表示遍历输入数据。
[0037]
同理，相同的损失函数用在从无阴影图像中学习去阴影补齐部分。
[0038]
最后将两个部分的对抗性损失、循环一致性损失和一致性损失进行加权，得到最终损失函数。
[0039]
训练过程中，首先将输入图片统一到200
×
200尺寸，然后送入gan网络mask-completegan中，进行特征提取。本方法采用了一个新的深度框架，它自动学习从输入的阴影图像中生成阴影蒙版，然后通过重新制定的循环一致性约束，使用蒙版指导阴影生成。特别是，框架同时学习产生阴影蒙版和学习去除阴影并补齐，以最大限度地提高整体性能。生成器网络包括3个卷积操作，然后是9个残差块，其中包含两次卷积和两次反卷积，用于特征映射上采样。在该网络中，每次卷积和反卷积操作后都使用实例归一化。生成器gf以通道号为3的阴影图像作为输入，而生成器gs采用无阴影图像与阴影掩模的拼接作为输入，总共有4个通道。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
[0040]
因为风格迁移学习会对不需要阴影去除的部位造成失真影响，所以我们引入前列腺区域掩膜，只对超声图像的前列腺区域进行gan网络学习去阴影补齐，再将风格迁移学习后的前列腺部位与原图非前列腺部位进行泊松融合，达到只进行局部风格迁移的效果，得到了对前列腺的遮挡的局部阴影去除并补齐之后的超声图像，我们需要保持融合图像中源图像roi所覆盖的目标区域ω的纹理，并使目标区域和目标图像的边界的像素值与目标图像的像素值相同。即需要最小化公式(8)的泊松函数，公式的前部分使ω区域梯度尽可能小，满足roi内容平滑；公式的后部分，f表示融合图像在ω内的像素值表示函数(待求解)，f*表示在ω外的像素值表示函数，满足边界过渡平滑则需要两者相等。
[0041]
泊松融合公式如下：
[0042]
[0043][0044]
在完成上一步之后，将去阴影补齐后的图像放入新的分割网络unet，见附图3，unet网络是个u型结构，左边是encoder，右边为decoder，左边是下采样的过程，通过减少图像size，增加图像channel来提取特征。右边是还原图像的过程，上采样将逐步还原图像的size，这里上采样的输入特征图不仅仅是上一步的输出，还包含了左边对应特征信息。通过unet网络得到分割结果，将分割网络的loss和mask-completegan的loss进行加权递归，使得阴影补齐和前列腺分割起到相互促进的作用。利用loss总和进行反向梯度传播，更新特征提取网络的参数，直至loss达到最小值，模型收敛，将最终得到的模型保存至下一步使用。
[0045]
本发明本可以精确地识分割前列腺超声图像中的前列腺部位，在上千种不同的前列腺超声图像上进行了测试，分割的平均准确率相较于传统的卷积神经网络精度有所提升，弥补了传统卷积神经网络模型鲁棒性和泛化性不足的问题，且不需要有额外的训练参数。
[0046]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于阴影去除并补齐的前列腺超声分割方法，用于处理前列腺超声图像的阴影去除和补全，并对补齐后的前列腺进行分割，为了达到理想的分割效果，通过使用改良的gan网络和unet网络，并进行两个网络的损失加权，来对补齐和分割达到互相促进的效果，另外，通过泊松融合和前列腺分割标注掩膜的引导，达到对超声图像只进行前列腺部位的迁移学习，避免其他部位失真。所述方法包括以下步骤：步骤一：标签制作：将前列腺超声图像进行数据清洗，并制作前列腺分割标注掩膜标签；步骤二：阴影去除和补齐：将图像送入gan网络模块中，通过风格迁移学习，来对前列腺阴影部位进行阴影去除和补齐；步骤三：图像融合：将风格迁移学习后的前列腺部位与原图非前列腺部位进行泊松融合，达到只进行局部风格迁移的效果；步骤四：图像分割：将融合后的图像放入分割网络进行分割，获得分割结果。2.根据权力要求1所述的一种基于阴影去除并补齐的前列腺超声分割方法，其特征在于，步骤一中所述标签制作方法包括以下步骤：步骤一：首先利用超声装备获取前列腺超声图像，并保留进入步骤二；步骤二：然后超声中的前列腺区域进行人工标注，得到目标区域的分割掩膜，进入步骤三；步骤三：将图像分类数据集按照7∶2∶1的比例分为训练集、验证集和测试集。3.根据权力要求1所述的一种基于阴影去除并补齐的前列腺超声分割方法，其特征在于，步骤二所述的阴影去除和补齐包括以下步骤：步骤一：增广后的图像送入网络模型中进行训练，首先利用改良的gan网络mask-completegan进行特征提取，使用多个l1损失函数同时进行训练，进而得到输出图片。从真实阴影图像i
s
开始，我们首先使用生成器网络g
f
将其转换为无阴影补齐图像i
f
。然后，我们使用对抗性鉴别器df来区分是否是真正的无阴影图像：同时对生成器及其鉴别器优化如下目标函数：步骤二：为了保持生成的阴影图像与原始图像之间的一致性，我们使用阴影遮罩m
l
作为指示阴影区域的指导，并将阴影遮罩m
l
与生成的无阴影图像连接起来，作为生成器g
s
的输入，生成阴影图像，公式如下：其中阴影遮罩m
l
是真实阴影图像i
s
通过水平集方法生成。另阴影遮罩m
′
l
是真实阴影图像i
s
与生成的无阴影图像i
f
之间的差值。制定阴影遮罩一致性损失函数：步骤三：该发明还制定了以下阴影循环一致性损失，以促使重建图像与原始输入的真实阴影图像i
s
相似，并优化了中的映射函数g
s
和g
f
的循环一致性约束：
再进一步使用全为零的掩模m
n
和真实阴影图像i
s
作为g
s
的输入，生成不包含新添加阴影的图像影的图像然后利用阴影恒等损失将输出正则化到接近输入的阴影图像：注意，以上a表示第网络框架中的第一部分，从阴影图像中学习去阴影补齐。则表示遍历输入数据。同理，相同的损失函数用在从无阴影图像中学习去阴影补齐部分。最后将两个部分的对抗性损失、循环一致性损失和一致性损失进行加权，得到最终损失函数。4.根据权力要求1所述的一种基于阴影去除并补齐的前列腺超声分割方法，其特征在于，步骤三所述的图像融合包括以下步骤：因为风格迁移学习会对不需要阴影去除的部位造成失真影响，所以我们引入前列腺区域掩膜，只对超声图像的前列腺区域进行gan网络学习去阴影补齐，再将已处理部位与未处理部位进行泊松融合，得到对前列腺的阴影去除并补齐的图像，需要保持融合图像中源图像roi所覆盖的目标区域ω的纹理，并使目标区域和目标图像的边界的像素值与目标图像的像素值相同。即需要最小化公式(8)的泊松函数，公式的前部分使ω区域梯度尽可能小，满足roi内容平滑；公式的后部分，f表示融合图像在ω内的像素值表示函数(待求解)，f*表示在ω外的像素值表示函数，满足边界过渡平滑则需要两者相等。泊松融合公式如下：泊松融合公式如下：5.根据权力要求1所述的一种基于阴影去除并补齐的前列腺超声分割方法，其特征在于，步骤四所述的图像分割包括以下步骤：将去阴影补齐后的图像放入新的分割网络unet，见说明书附图3，unet网络是个u型结构，左边是encoder，右边为decoder，左边是下采样的过程，通过减少图像size，增加图像channel来提取特征。右边是还原图像的过程，上采样将逐步还原图像的size，这里上采样的输入特征图不仅仅是上一步的输出，还包含了左边对应特征信息。通过unet网络得到分割结果，将分割网络的loss和mask-completegan的loss进行加权递归，使得阴影补齐和前列腺分割起到相互促进的作用。利用loss总和进行反向梯度传播，更新特征提取网络的参数，直至loss达到最小值，模型收敛，将最终得到的模型保存至下一步使用。

技术总结
本发明涉及图像处理技术领域，具体涉及一种基于阴影去除并补齐的前列腺超声分割方法，所提供的识别发方法包括：数据集收集、数据增广、模型训练以及对超声图像阴影的去除和补齐，前列腺目标区域分割步骤。在上千种不同的前列腺超声图像上进行了测试，分割的平均准确率相较于传统的卷积神经网络精度有所提升，弥补了传统卷积神经网络模型鲁棒性和泛化性不足的问题，且不需要有额外的训练参数。且不需要有额外的训练参数。且不需要有额外的训练参数。


技术研发人员：吴梦麟 冒丁钰 程勇
受保护的技术使用者：南京工业大学
技术研发日：2023.06.26
技术公布日：2023/9/23