一种基于SRGAN模型的多尺度超声图像去噪方法

一种基于srgan模型的多尺度超声图像去噪方法
技术领域
1.本发明属于图像处理技术领域，具体涉及一种基于srgan模型的多尺度超声图像去噪方法。


背景技术：

2.医学图像承载着心脏、大脑、神经等信息，对获取人体内部信息起着至关重要的作用。但是由于医学图像自身成像原理的局限性，容易受到噪声和伪影的影响，使得图像不清晰，对比度不明显，并可能妨碍医生对患者病理特征的识别和分析。因此，医学图像去噪是医学图像进一步处理阶段的一项必不可少的预处理技术。
3.图像去噪的主要目的是为了增强目标图像的质量，改善视觉效果，这个过程可以看作是一个从含噪图像中找寻原始清晰图像的过程。和常规图像不同的是，医学图像的对比度较低并且大多数医学图像存在与信号相关的噪声，因此利用传统的自然图像去噪技术很难去除这些噪声。对于医学图像本身所包含的特征信息必须要予以保留，所以在研究医学图像去噪方法时需要使得这些方法在图像去噪的功能的基础上还能保留图像纹理边缘等细节信息，提高医学图像的质量，改善视觉效果。同时研究医学图像去噪算法可以促进医学图像自动化诊断技术的发展，降低辅助诊断的风险，具有不可估量的价值。


技术实现要素：

4.针对现有技术中的上述不足，本发明提供的基于srgan模型的多尺度超声图像去噪方法解决了现有的图像去噪方法难以对医学图像进行准确降噪的问题。
5.为了达到上述发明目的，本发明采用的技术方案为：一种基于srgan模型的多尺度超声图像去噪方法，包括以下步骤：
6.s1、采集超声图像，并构建超声图像数据集；
7.s2、利用超声图像数据集构建并训练srgan模型；
8.s3、基于训练好的srgan模型对待处理超声图像进行多尺度去噪，获得去噪后的超声图像。
9.进一步地，所述步骤s2中，所述srgan模型的训练数据为介于低分辨率和高分辨率之间的放大因子为2倍的超声图像。
10.进一步地，所述srgan模型包括生成器和判别器；
11.所述srgan模型的损失函数为感知损失，其表达式为：
[0012][0013]
式中，l
sr
为感知损失，为对抗损失，为内容损失；其中，对抗损失是判别器正确判断重建后的图像的损失，内容损失为重建图像与参考图像i
hr
的特征表示之间的欧氏距离其表达式为：
[0014][0015]
式中，φ
i,j
(
·
)为vgg19网络中第i个maxpooling层之前的第j个卷积得到的特征图，w
i,j
和h
i,j
分别为vgg19网络中相应特征图的宽度和高度，x和y分别为vgg19网络中相应特征图宽度和高度的计数值。
[0016]
进一步地，所述步骤s3中，所述多尺度去噪模型对待处理超声图像进行多尺度去噪的方法具体为：
[0017]
s31、对待处理超声图像进行高斯高斯滤波后进行下采样处理分别得到第一～第三高斯金字塔图像g1,g2,g3；
[0018]
s32、对第三和第二高斯金字塔图像g3,g2分别进行上采样处理，对应得到第二预测图g'2和第一预测图g'1；
[0019]
s33、对第二高斯金字塔图像g2和第二预测图g'2，以及第一高斯金字塔图像g1和第一预测图g'1之间分别进行差分运算，对应得到第二残差图像d2和第一残差图d1；
[0020]
s34、通过降噪模型对第三高斯金字塔图像g3进行降噪处理，获得第三降噪图像r3；
[0021]
s35、利用训练好的srgan模型使用2倍放大因子对第三降噪图像r3进行重建，获得第二重建图像s2；
[0022]
s36、根据第二重建图像s2的同质区域和边界区域，计算第二权重
[0023]
s37、根据将第二重建图像s2和第二残差图像d2相加后通过降噪模型进行降噪处理，获得第二降噪图像r2；
[0024]
s38、利用训练好的srgan模型使用2倍放大因子对第二降噪图像r2进行重建，获得第一重建图像s1；
[0025]
s39、根据第一重建图像s1的同质区域和边界区域，计算第一权重
[0026]
s310、根据将第一重建图像s1和第一残差图像d1相加后通过降噪模型进行降噪处理，获得第一降噪图像r1，作为多尺度去噪模型输出的去噪后的超声图像。
[0027]
进一步地，所述降噪模型的扩散系数为；
[0028][0029]
λ2＝α
[0030]
式中，λ1和λ2分别表示沿着切线方向和轮廓方向的扩散系数，α为决定扩散量，β为边缘增强数量决定量，(μ
1-μ2)2测量的是局部相干性，s2是停止水平，μ1和μ2分别为沿着梯度和轮廓方向的对比度，exp(
·
)为指数函数。
[0031]
进一步地，所述第二权重和第一权重的计算公式为：
[0032]
[0033]
式中，为重建图像sn的权重，其下标n＝1,2，当n＝1时，为第一重建图像s1对应的第一权重，当n＝2时，为第一重建图像s1对应的第二权重，softplus(
·
)表示将f(|max-min|)值限制在[0-1]范围之间，f(|max-min|)为重建图像中3
×
3领域中最大像素值和最小像素值之差，其取绝对值将范围限制在[0,255]之间，(p,q)为重建图像中的像素值。
[0034]
进一步地，将第一/第二重建图像和第一/第二残差图像相加的表达式为：
[0035][0036]
式中，rn'(p,q)为重建图像sn和残差图像dn相加后的图像的像素值，dn(p,q)为残差图像dn的像素值，sn(p,q)为重建图像sn的像素值，n＝1,2，当n＝1时，sn为第一重建图像，dn为第一残差图像，当n＝2时，sn为第二重建图像，dn为第二残差图像，(p,q)为像素值。
[0037]
本发明的有益效果为：
[0038]
(1)本发明方法和传统的图像降噪方法相比，在结构、边缘保护和噪声抑制方面均更加优异；
[0039]
(2)本发明方法获得的去噪图像保留了更加细微的特征，在抑制图像斑点噪声的同时增强对比度，特别是在重度噪声的情况下更具有稳定性；
[0040]
(3)从视觉效果来看，本发明方法相较于传统方法取得了更好的去噪效果，对比度更强，结构细节更加明显，更有利于医生分析超声图像内容。
附图说明
[0041]
图1为本发明提供的基于srgan模型的多尺度超声图像去噪方法流程图。
具体实施方式
[0042]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0043]
本发明实施例提供了一种基于srgan模型的多尺度超声图像去噪方法，如图1所示，包括以下步骤：
[0044]
s1、采集超声图像，并构建超声图像数据集；
[0045]
s2、利用超声图像数据集构建并训练srgan模型；
[0046]
s3、基于训练好的srgan模型对待处理超声图像进行多尺度去噪，获得去噪后的超声图像。
[0047]
在本发明实施例的步骤s1中，使用超声诊断仪采集的真实超声图像，采用resize将超声图像预处理为512
×
512尺寸大小的图像，进而构建出超声图像数据集。
[0048]
在本发明实施例的步骤s2中，由于原拉普拉斯金字塔模型中下采样和上采样均采用的是2倍缩放因子，故本实施例的srgan模型的训练数据采用介于低分辨率和高分辨率之间的放大因子为2倍的超声图像，这样才能保证在经过去噪算法处理之后恢复到输入图像大小。
[0049]
具体地，本发明实施例中的srgan模型包括生成器和判别器；其中，生成器负责合成高分辨率图像，判别器用于判断给定的图像是来自生成器还是真实样本，通过一个博弈的对抗过程，使得生成器能够将给定的低分辨率图像重建为高分辨率图像。
[0050]
本实施例中的生成器采用了深度的resnet体系结构(deep resnet,srresnet)，其中的深度残差模块实现了高效的特征提取，在一定程度上可以抑制图像噪点，同时使用训练过的亚像素卷积层来提高输入图像的分辨率，除了深度残差模块和亚像素卷积层以外，在整个生成器的输入和输出部分添加一个卷积模块用于实现数据的调整和增强。
[0051]
本实施例中的判别器使用leakyrelu激活并避免了整个网络的最大池化问题，中间部分使用了多个卷积模块进行特征提取，最终输出是一个1维的张量。
[0052]
在本实施中，为了防止重建的图像过于平衡，本实施例中定义srgan模型的损失函数为感知损失，其表达式为：
[0053][0054]
式中，l
sr
为感知损失，为对抗损失，为内容损失；其中，对抗损失是判别器正确判断重建后的图像的损失，内容损失为重建图像与参考图像i
hr
的特征表示之间的欧氏距离
[0055]
在本实施例中，在确定内容损失的过程中：
[0056]
假设为重建图像为自然hr图像的概率，判别器对所有训练样本的概率定义：
[0057][0058]
基于此，内容损失则是通过srresnet重建出高分辨率图像sr后，分别用vgg19网络提取参考图像和重建图像的特征映射，再用特征映射之间的欧氏距离构造一个损失函数。假设φ
i,j
表示vgg19网络中第i个maxpooling层之前的第j个卷积得到的特征图，w
i,j
和h
i,j
分别为vgg19网络中相应特征图的维度，基于此本实施例中，将重建图像与参考图像i
hr
的特征表示之间的欧氏距离定义为内容损失，其表达式为：
[0059][0060]
式中，φ
i,j
(
·
)为vgg19网络中第i个maxpooling层之前的第j个卷积得到的特征图，w
i,j
和h
i,j
分别为vgg19网络中相应特征图的宽度和高度，x和y分别为vgg19网络中相应特征图宽度和高度的计数值。
[0061]
在本发明实施例中的步骤s3中，所述多尺度去噪模型对待处理超声图像进行多尺度去噪的方法具体为：
[0062]
s31、对待处理超声图像进行高斯高斯滤波后进行下采样处理分别得到第一～第三高斯金字塔图像g1,g2,g3；
[0063]
s32、对第三和第二高斯金字塔图像g3,g2分别进行上采样处理，对应得到第二预测图g'2和第一预测图g'1；
[0064]
s33、对第二高斯金字塔图像g2和第二预测图g'2，以及第一高斯金字塔图像g1和第一预测图g'1之间分别进行差分运算，对应得到第二残差图像d2和第一残差图d1；
[0065]
s34、通过降噪模型对第三高斯金字塔图像g3进行降噪处理，获得第三降噪图像r3；
[0066]
s35、利用训练好的srgan模型使用2倍放大因子对第三降噪图像r3进行重建，获得第二重建图像s2；
[0067]
s36、根据第二重建图像s2的同质区域和边界区域，计算第二权重
[0068]
s37、根据将第二重建图像s2和第二残差图像d2相加后通过降噪模型进行降噪处理，获得第二降噪图像r2；
[0069]
s38、利用训练好的srgan模型使用2倍放大因子对第二降噪图像r2进行重建，获得第一重建图像s1；
[0070]
s39、根据第一重建图像s1的同质区域和边界区域，计算第一权重
[0071]
s310、根据将第一重建图像s1和第一残差图像d1相加后通过降噪模型进行降噪处理，获得第一降噪图像r1，作为多尺度去噪模型输出的去噪后的超声图像。
[0072]
在本实施例的步骤s34、s37以及s37中，对图像进行降噪处理的降噪模型的扩散系数为；
[0073][0074]
λ2＝α
[0075]
式中，λ1和λ2分别表示沿着切线方向和轮廓方向的扩散系数，α为决定扩散量，β为边缘增强数量决定量，(μ
1-μ2)2测量的是局部相干性，s2是停止水平，μ1和μ2分别为沿着梯度和轮廓方向的对比度，exp(
·
)为指数函数。
[0076]
其中，λ1和λ2确定了结构涨了的每个特征向量的扩散量，β通常设置为1，是一个腐蚀，其绝对值决定边缘增强的数量；在(μ
1-μ2)2很小的同质区域，由于λ1≈λ2＝α扩散变为各向同性。对应于(μ
1-μ2)2》s2的完全镜面区域仅与轮廓方向上的扩散相关，在这种情况下，扩散系数为负，边缘在切线方向上增强。假设μ1≥μ2，降噪模型中一致性度量定义为(μ
1-μ2)2，以提供关于结构的相干性的有用信息。
[0077]
在本实施例的步骤s36和s39中，第二权重和第一权重weight
s1
(p,q)的计算公式为：
[0078][0079]
式中，为重建图像sn的权重，其下标n＝1,2，当n＝1时，为第一重建图像s1对应的第一权重，当n＝2时，为第一重建图像s1对应的第二权重，softplus(
·
)表示将f(|max-min|)值限制在[0-1]范围之间，f(|max-min|)为重建图
像中3
×
3领域中最大像素值和最小像素值之差，其取绝对值将范围限制在[0,255]之间，(p,q)为像素值。
[0080]
本实施例中，通过计算上述权重，在重建图像和残差图像相加时，对残差图像中同质区域和边界区域赋予不同的权值，从而有效的去除噪声的同时增强边界细节。
[0081]
在本实施例的步骤s37和s310中，将第一/第二重建图像和第一/第二残差图像相加的表达式为：
[0082][0083]
式中，rn'(p,q)为重建图像sn和残差图像dn相加后的图像的像素值，dn(p,q)为残差图像dn的像素值，sn(p,q)为重建图像sn的像素值，n＝1,2，当n＝1时，sn为第一重建图像，dn为第一残差图像，当n＝2时，sn为第二重建图像，dn为第二残差图像，(p,q)为像素值。
[0084]
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
[0085]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

技术特征：
1.一种基于srgan模型的多尺度超声图像去噪方法，其特征在于，包括以下步骤：s1、采集超声图像，并构建超声图像数据集；s2、利用超声图像数据集构建并训练srgan模型；s3、基于训练好的srgan模型对待处理超声图像进行多尺度去噪，获得去噪后的超声图像。2.根据权利要求1所述的基于srgan模型的多尺度超声图像去噪方法，其特征在于，所述步骤s2中，所述srgan模型的训练数据为介于低分辨率和高分辨率之间的放大因子为2倍的超声图像。3.根据权利要求1所述的基于srgan模型的多尺度超声图像去噪方法，其特征在于，所述srgan模型包括生成器和判别器；所述srgan模型的损失函数为感知损失，其表达式为：式中，l
sr
为感知损失，为对抗损失，为内容损失；其中，对抗损失是判别器正确判断重建后的图像的损失，内容损失为重建图像与参考图像i
hr
的特征表示之间的欧氏距离其表达式为：式中，φ
i,j
(
·
)为vgg19网络中第i个maxpooling层之前的第j个卷积得到的特征图，w
i,j
和h
i,j
分别为vgg19网络中相应特征图的宽度和高度，x和y分别为vgg19网络中相应特征图宽度和高度的计数值。4.根据权利要求2所述的基于srgan模型的多尺度超声图像去噪方法，其特征在于，所述步骤s3中，所述多尺度去噪模型对待处理超声图像进行多尺度去噪的方法具体为：s31、对待处理超声图像进行高斯高斯滤波后进行下采样处理分别得到第一～第三高斯金字塔图像g1,g2,g3；s32、对第三和第二高斯金字塔图像g3,g2分别进行上采样处理，对应得到第二预测图g'2和第一预测图g'1；s33、对第二高斯金字塔图像g2和第二预测图g'2，以及第一高斯金字塔图像g1和第一预测图g'1之间分别进行差分运算，对应得到第二残差图像d2和第一残差图d1；s34、通过降噪模型对第三高斯金字塔图像g3进行降噪处理，获得第三降噪图像r3；s35、利用训练好的srgan模型使用2倍放大因子对第三降噪图像r3进行重建，获得第二重建图像s2；s36、根据第二重建图像s2的同质区域和边界区域，计算第二权重s37、根据将第二重建图像s2和第二残差图像d2相加后通过降噪模型进行降噪处理，获得第二降噪图像r2；s38、利用训练好的srgan模型使用2倍放大因子对第二降噪图像r2进行重建，获得第一
重建图像s1；s39、根据第一重建图像s1的同质区域和边界区域，计算第一权重s310、根据将第一重建图像s1和第一残差图像d1相加后通过降噪模型进行降噪处理，获得第一降噪图像r1，作为多尺度去噪模型输出的去噪后的超声图像。5.根据权利要求4所述的基于srgan模型的多尺度超声图像去噪方法，其特征在于，所述降噪模型的扩散系数为；λ2＝α式中，λ1和λ2分别表示沿着切线方向和轮廓方向的扩散系数，α为决定扩散量，β为边缘增强数量决定量，(μ
1-μ2)2测量的是局部相干性，s2是停止水平，μ1和μ2分别为沿着梯度和轮廓方向的对比度，exp(
·
)为指数函数。6.根据权利要求4所述的基于srgan模型的多尺度超声图像去噪方法，其特征在于，所述第二权重和第一权重的计算公式为：式中，为重建图像s
n
的权重，其下标n＝1,2，当n＝1时，为第一重建图像s1对应的第一权重，当n＝2时，为第一重建图像s1对应的第二权重，softplus(
·
)表示将f(|max-min|)值限制在[0-1]范围之间，f(|max-min|)为重建图像中3
×
3领域中最大像素值和最小像素值之差，其取绝对值将范围限制在[0,255]之间，(p,q)为像素值。7.根据权利要求6所述的基于srgan模型的多尺度超声图像去噪方法，其特征在于，将第一/第二重建图像和第一/第二残差图像相加的表达式为：式中，r
n
'(p,q)为重建图像s
n
和残差图像d
n
相加后的图像的像素值，d
n
(p,q)为残差图像d
n
的像素值，s
n
(p,q)为重建图像s
n
的像素值，n＝1,2，当n＝1时，s
n
为第一重建图像，d
n
为第一残差图像，当n＝2时，s
n
为第二重建图像，d
n
为第二残差图像，(p,q)为像素值。

技术总结
本发明公开了一种基于SRGAN模型的多尺度超声图像去噪方法，属于图像处理技术领域，包括步骤：S1、采集超声图像，并构建超声图像数据集；S2、利用超声图像数据集构建并训练SRGAN模型；S3、基于训练好的SRGAN模型对待处理超声图像进行多尺度去噪，获得去噪后的超声图像。本发明方法获得的去噪图像保留了更加细微的特征，在抑制图像斑点噪声的同时增强对比度，特别是在重度噪声的情况下更具有稳定性；相较于传统方法取得了更好的去噪效果，对比度更强，结构细节更加明显，更有利于医生分析超声图像内容。内容。内容。


技术研发人员：甘建红 王莉萍
受保护的技术使用者：成都信息工程大学
技术研发日：2023.06.29
技术公布日：2023/9/20