基于多模态MRI心脏图像的多阶段分割方法

基于多模态mri心脏图像的多阶段分割方法
技术领域
1.本发明属于图像处理技术领域，更进一步涉及医学图像分割技术，具体为一种多模态核磁共振影像mri(magnatic resonance imaging)心脏图像的多阶段分割方法，可用于医学图像处理。


背景技术：

2.多功能模态核磁共振影像mri是一种先进的影像学技术，通过使用多种不同的成像模式，提供更丰富的组织信息，如核磁共振t1w是突出组织横向弛豫的差异，核磁共振t2w突出组织纵向弛豫的差异。核磁共振影像学专家通常通过肉眼观测待分割目标与背景间的差异，从而手动分割出目标，结合多功能模态mri信息进行组织分析，但是这种方法不但耗时耗力，而且需要非常专业的影像学知识。深度学习方法大大缓解了这一困难的处境，其通过搭建神经网络模型并训练一定数量的mri数据样本，从而在输入待预测mri数据后，能够快速准确地获得分割结果。现有的mri分割技术在涉及到多功能模态时，通常只采用待分割目标轮廓最清晰的模态进行目标分割，对mri心脏图像分别分割出心肌、左心室、右心室时，往往只能使用图像质量最优的功能模态图，而mri功能模态丰富，由于现有的分割技术无法有效处理各个模态之间的高度非线性关系，因此无法有效利用所有mri模态数据，造成图像信息利用不足；而且，一旦多模态mri分割涉及到多类别分割，情况就更复杂了。
3.西北工业大学在其申请的名称为“一种基于聚类融合算法的双模态脑肿瘤mri分割方法”(申请号201811414799.3，申请公布号cn 109685767a)的专利文献中公开了一种基于聚类融合算法的双模态脑肿瘤mri分割方法，通过输入肿瘤患者的不同模态图像，提取其像素点及特征，然后综合三种距离k均值聚类算法得到聚类结果，最后使用提取最大连通区域，输出最终结果。该方法存在的不足之处在于所使用的聚类算法只通过距离公式对各模态建立联系，无法有效融合跨模态之间的特征，且该方法提取最大连通区域作为最终的预测结果，消除的游离区域可能存在较多的非正确预测，影响精度。
4.电子科技大学在其申请的名称为“一种心脏mri分割方法及系统”(申请号202111394636.5，申请公布号cn 113902738 a)的专利文献中公开了一种心脏mri分割方法。通过构建心脏mri左右心室中心点监测模型并训练，提取心脏mri数据中的左右心室中心点位置信息，并根据该位置信息提取感兴趣区域与中心点距离图，然后构建心脏mri分割模型并利用距离图进行训练，将两种模型进行串联构建心脏mri自动分割模型，得到最终分割结果。该方法虽然在一定程度上提升了分割性能，但并未利用到多功能模态的优势，仅仅只是在单模态数据集上建立模型，对于模态的利用程度非常低，且在医学领域上可解释性差。


技术实现要素：

5.本发明的目的是针对上述现有技术的不足，提出一种基于多模态mri心脏图像的多阶段分割方法，用于解决现有技术应用场景单一，不适用于多模态以及无法有效融合跨
模态之间特征的问题，同时克服深度学习在医学图像处理领域可解释性差的问题。本发明通过一种二阶段多模态mri分割的深度学习方法，结合多种模态数据提高目标分割精度，解决了核磁共振mri多模态情况下分割精度不足的问题。
6.实现本发明的思路是：首先，根据原始数据生成心脏轮廓标注数据集，利用该数据集训练出融合三种模态数据的深度学习模型，以此分割出整个心脏轮廓，得到一阶段分割结果；然后，通过原始数据与一阶段的分割结果矩阵相乘，进行通道堆叠后生成去除了背景的数据集，再搭建心室-心肌分割模型并利用该数据集进行训练，最后通过前向模型推理得到二阶段分割结果，即最终分割结果。
7.为了实现上述目的，本发明的技术方案包括：
8.(1)将原始三维核磁共振影像mri数据及其对应的三维标注数据均拆分为二维图像数据；其中原始三维核磁共振影像mri数据拆分后生成数据集该数据集中包含n个样本，其中第i个样本包含三种mri模态，分别对应bssfp、lge、t2；三维标注数据拆分后得到二阶段标注数据集gt2；
9.(2)在数据集d1中标注数据的三类区域值分别为1、2、3，背景值为0，所述三类区域分别为左心室、右心室和心肌；将数据对应标签中所有值大于0的像素值置为1，得到心脏轮廓的标注数据，令数据集d1中第i个样本对应的标注数据为yi，获取数据集d1中所有样本在对应的标注数据，构成一阶段标注数据集gt1；
10.(3)对数据集d1中样本的每个像素值进行归一化处理，得到归一化后的数据样本；
11.(4)构建心脏mri轮廓分割模型：
12.(4.1)对unet模型进行改进，搭建具有一个主干编码器和一个解码器的ms-unet网络结构；所述的主干编码器包含五次下采样，每次下采样前通过两次卷积操作，每次卷积操作后使用relu函数作为激活层，下采样通过最大池化层实现；所述解码器包含五次上采样，每次上采样前通过两次卷积操作，每次卷积操作后使用relu函数作为激活层，上采样采用近邻插值算法实现；在每次下采样之前，在编码路径中得到的特征图通过跳跃连接经过两个多尺度特征提取模块，提取心脏mri的多尺度特征，随后与解码路径中相同分辨率的特征图串联，恢复编码器中因下采样而丢失的影像信息；
13.(4.2)由三个并行的ms-unet网络结构，后接两个卷积层，得到心脏mri轮廓分割模型；
14.(5)将同一受试者的mri图像作为步骤(4)所构建模型的输入数据，经过前向传播后得到一阶段预测结果pred1，将其与一阶段标注数据集gt1中的样本进行损失计算，并采用adam算法优化器优化损失函数，获取训练后的心脏mri轮廓分割模型；
15.(6)利用训练后的心脏mri轮廓分割模型，对同一受试者的待测mri进行预测，得到预测的心脏轮廓，即一阶段分割结果pred1；
16.(7)生成二阶段训练的mri数据集d2：
17.将mri的三种模态图像分别与pred1进行乘法运算，相乘后的结果中三种模态mri数据仅心脏部分可见，将三种模态数据进行通道维度上的堆叠，生成数据集d2＝[x1,x2,...,xi,...,xn]；
[0018]
(8)搭建心室-心肌分割模型，并利用数据集d2对其进行训练：
[0019]
使用一个ms-unet网络结构形成心室-心肌分割模型；将数据集d2作为模型输入，经过前向传播后得到二阶段预测结果pred2，将其与二阶段标注数据集gt2中的样本进行损失计算，并采用adam算法优化器优化损失函数，获取训练后的心室-心肌分割模型；
[0020]
(9)将待测数据输入训练后的心室-心肌分割模型，经过前向推理，输出最终分割结果。
[0021]
与现有的技术相比本发明具有以下优点：
[0022]
第一，由于本发明采用基于残差多池化模块和多尺度卷积模块的u-net模型，从而能够有效提取不同尺度的图像特征，且在模型的编码器与解码器之间的残差连接能防止梯度爆炸，确保了算法的鲁棒性和泛化能力；
[0023]
第二，由于本发明利用层级融合策略，结合多种mri模态进行图像分割，从而克服了现有技术mri在多模态情况下，最大程度消除模态冗余的缺陷，使得本发明在提高mri模态的利用率的同时，可获得多模态下一致、鲁棒性高的分割结果；
[0024]
第三，由于本发明采用了多阶段的分割方法，首先在第一阶段分割出整个心脏的轮廓，第二阶段在此基础之上进一步对心脏区域进行左心室、右心室、心肌的分割，不仅提高了分割精度，而且在医学角度来说，从简至繁处理多类别目标的分割，在一定程度上解决了深度学习黑箱在医学领域可解释性差的窘境。
附图说明
[0025]
图1是本发明的实现流程图；
[0026]
图2是本发明中的多阶段分割框架结构图；
[0027]
图3是本发明中的编码解码分割模型示意图。
具体实施方式
[0028]
下面结合附图和实施例对本发明作进一步的描述。
[0029]
实施例一：参照图1，本发明提出的基于多模态mri心脏图像的多阶段分割方法，具体包括如下步骤：
[0030]
步骤1.将原始三维核磁共振影像mri数据及其对应的三维标注数据均拆分为二维图像数据；其中原始三维核磁共振影像mri数据拆分后生成数据集该数据集中包含n个样本，其中第i个样本包含三种mri模态，分别对应bssfp、lge、t2；三维标注数据拆分后得到二阶段标注数据集gt2；
[0031]
步骤2.在数据集d1中标注数据的三类区域值分别为1、2、3，背景值为0，所述三类区域分别为左心室、右心室和心肌；将数据对应标签中所有值大于0的像素值置为1，得到心脏轮廓的标注数据，令数据集d1中第i个样本对应的标注数据为yi，获取数据集d1中所有样本在对应的标注数据，构成一阶段标注数据集gt1；
[0032]
步骤3.对数据集d1中样本的每个像素值进行归一化处理，得到归一化后的数据样本，实现如下：
[0033][0034]
其中，yk表示输入影像中第k个像素归一化后的像素值，xk表示输入影像中第k个像素的像素值，x
min
表示输入影像中的最小像素值，x
max
表示输入影像中的最大像素值。
[0035]
步骤4.构建心脏mri轮廓分割模型：
[0036]
(4.1)对unet模型进行改进，搭建具有一个主干编码器和一个解码器的ms-unet网络结构；所述的主干编码器包含五次下采样，每次下采样前通过两次卷积操作，每次卷积操作后使用relu函数作为激活层，下采样通过最大池化层实现；所述解码器包含五次上采样，每次上采样前通过两次卷积操作，每次卷积操作后使用relu函数作为激活层，上采样采用近邻插值算法实现；在每次下采样之前，在编码路径中得到的特征图通过跳跃连接经过两个多尺度特征提取模块，提取心脏mri的多尺度特征，随后与解码路径中相同分辨率的特征图串联，恢复编码器中因下采样而丢失的影像信息。本实施例在该步骤的每次卷积操作中，卷积核大小均设置为3*3。
[0037]
上述两个多尺度特征提取模块，具体为残差多池化模块和多尺度卷积模型，前者由多个并行的池化操作组成，通过多个有效视野来检测不同大小的对象而不需要额外的参数计算，后者由多个不同尺寸的空洞卷积组成，采用不同感受野来拓宽结构，并结合残差连接机制来避免梯度爆炸和消失。
[0038]
(4.2)由三个并行的ms-unet网络结构，后接两个卷积层，得到心脏mri轮廓分割模型；本实施例中采用的两个卷积层的卷积核尺寸均为1*1。
[0039]
步骤5.将同一受试者的mri图像作为步骤(4)所构建模型的输入数据，经过前向传播后得到一阶段预测结果pred1，将其与一阶段标注数据集gt1中的样本进行损失计算，并采用adam算法优化器优化损失函数，获取训练后的心脏mri轮廓分割模型；
[0040]
所述损失计算，具体是利用dice损失函数和交叉熵损失函数之和作为心脏mri轮廓分割损失函数值l：
[0041][0042]
其中，x是模型的预测值，y是gt1标注图，n表示预测结果的像素数，yc表示标签值，即0或1，pc表示softmax函数后的预测概率。
[0043]
所述采用adam算法优化器优化损失函数，其中优化器的学习率均采取如下调整策略：
[0044][0045]
其中，令模型的训练次数为e，本实施例取e＝[200,300]，获取新学习率的训练周期为step_size，将step_size初始化为1，模型在每次训练中投放1个样本进行训练；epoch
p
表示第p次的训练，p＝1,2，...，e；new_lr表示每经过step_size的训练后得到的新学习率，initial_lr表示初始学习率，γ表示初始值为0.9的更新因子。
[0046]
步骤6.利用训练后的心脏mri轮廓分割模型，对同一受试者的待测mri进行预测，得到预测的心脏轮廓，即一阶段分割结果pred1；
[0047]
步骤7.生成二阶段训练的mri数据集d2：
unet(multi-scale unet,多尺度unet)，如图3所示，ms-unet网络结构具有一个主干编码器和一个解码器，采用vgg16分类器网络作为mp-unet的编码器。在每次下采样之前，在编码路径中得到的特征图通过跳跃连接经过两个多尺度特征提取模块，提取心脏mri的多尺度特征，随后与解码路径中相同分辨率的特征图串联，以此来恢复编码器中因下采样而丢失的影像信息。
[0065]
所述的编码器包含五次下采样，每次下采样前通过两次卷积操作，每个卷积核大小设置为3*3，每次卷积操作后使用relu函数作为激活层，下采样通过最大池化层实现。
[0066]
所述解码器包含五次上采样，每次上采样前通过两次卷积操作，每个卷积核大小设置为3*3，每次卷积操作后使用relu函数作为激活层，上采样采用近邻插值算法实现。
[0067]
所述两个多尺度特征提取模块：残差多池化模块和多尺度卷积模型，前者由多个并行的池化操作组成，通过多个有效视野来检测不同大小的对象而不需要额外的参数计算，后者由多个不同尺寸的空洞卷积组成，采用不同感受野来拓宽结构，并结合残差连接机制来避免梯度爆炸和消失；
[0068]
心脏mri的三种模态bssfp、lge、t2分别传入三个ms-unet模型，在模型的末端，输出的特征图通过concat操作后进入两个卷积层，输出最后的分割结果；
[0069]
步骤1.5).训练心脏mri轮廓分割模型。
[0070]
在训练过程中，所述心脏mri轮廓分割模型分别输入同一受试者的三种不同模态mri图像，经过前向传播后得到预测结果pred1与标签数据gt1进行损失计算，模型利用dice损失函数和交叉熵损失函数之和作为心脏mri轮廓分割损失函数。模型训练采用adam算法优化器损失，优化器中的学习率采取了下式的调整策略：
[0071][0072]
其中，令模型的训练次数为300，获取新学习率的训练周期为step_size，将step_size初始化为1，模型在每次训练中投放1个样本进行训练；epoch
p
表示第p次的训练，p＝1,2，...，e；new_lr表示每经过step_size的训练后得到的新学习率，每轮训练new_lr会产生新值，学习率动态变化；initial_lr表示初始学习率，γ表示初始值为0.9的更新因子。
[0073]
第二阶段：在阶段一的基础上，根据所述心脏mri轮廓分割模型所预测的心脏轮廓，进一步分割，获取完整的心肌、左心室、右心室。
[0074]
步骤2.1).生成二阶段训练的mri数据集。
[0075]
在第一阶段中，心脏mri轮廓分割模型分割出了受试者心脏轮廓，得到预测结果pred1,本发明将mri的三种模态图像分别与pred1进行乘法运算，这样便去除了原数据中背景的干扰，因为pred1除整个心脏部分标签值为1，背景标签值都为0，pred1与原数据相乘后的结果中，三种模态mri数据只有心脏部分是可见的，随后将三种模态数据进行通道维度上的堆叠，输入二阶段的分割模型ms-unet。
[0076]
为提高二阶段的分割准确率，需要重新生成新的数据集d2＝[x1,x2,...,xn]，其中第i个样本通过下式计算得出：
[0077][0078]
其中分别为数据集d1中第i个样本的三种模态数据，concat表示对数据进行通道维度上的堆叠；
[0079]
步骤2.2).搭建心室-心肌分割模型。
[0080]
由于整颗心脏中左心室、右心室、心肌边界较为分明，经过所述一阶段心脏mri轮廓分割模型的预测，已将心脏轮廓识别出，背景的干扰较小，所以二阶段的分割任务相较一阶段简单，只需一个ms-unet即可；
[0081]
步骤2.3).训练心室-心肌分割模型。
[0082]
在训练过程中，所述心室-心肌分割模型输入d2数据集样本，经过前向传播后得到预测结果pred2与标签数据gt2进行损失计算，模型的损失函数与训练策略与一阶段类似，此处不再赘述；
[0083]
模型训练完成后，对于新样本(包含三种模态)的预测，首先经过图像归一化，输入模型后经过前向推理获得分割结果。
[0084]
本发明未详细说明部分属于本领域技术人员公知常识。
[0085]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

技术特征：
1.一种基于多模态mri心脏图像的多阶段分割方法，其特征在于，构建多个具有多尺度特征提取能力的模型，并采用层间融合策略对其提取的多模态特征进行融合，此外，采用多阶段分割方式得到最终分割结果；实现步骤包括如下：(1)将原始三维核磁共振影像mri数据及其对应的三维标注数据均拆分为二维图像数据；其中原始三维核磁共振影像mri数据拆分后生成数据集该数据集中包含n个样本，其中第i个样本包含三种mri模态，分别对应bssfp、lge、t2；三维标注数据拆分后得到二阶段标注数据集gt2；(2)在数据集d1中标注数据的三类区域值分别为1、2、3，背景值为0，所述三类区域分别为左心室、右心室和心肌；将数据对应标签中所有值大于0的像素值置为1，得到心脏轮廓的标注数据，令数据集d1中第i个样本对应的标注数据为y
i
，获取数据集d1中所有样本在对应的标注数据，构成一阶段标注数据集gt1；(3)对数据集d1中样本的每个像素值进行归一化处理，得到归一化后的数据样本；(4)构建心脏mri轮廓分割模型：(4.1)对unet模型进行改进，搭建具有一个主干编码器和一个解码器的ms-unet网络结构；所述的主干编码器包含五次下采样，每次下采样前通过两次卷积操作，每次卷积操作后使用relu函数作为激活层，下采样通过最大池化层实现；所述解码器包含五次上采样，每次上采样前通过两次卷积操作，每次卷积操作后使用relu函数作为激活层，上采样采用近邻插值算法实现；在每次下采样之前，在编码路径中得到的特征图通过跳跃连接经过两个多尺度特征提取模块，提取心脏mri的多尺度特征，随后与解码路径中相同分辨率的特征图串联，恢复编码器中因下采样而丢失的影像信息；(4.2)由三个并行的ms-unet网络结构，后接两个卷积层，得到心脏mri轮廓分割模型；(5)将同一受试者的mri图像作为步骤(4)所构建模型的输入数据，经过前向传播后得到一阶段预测结果pred1，将其与一阶段标注数据集gt1中的样本进行损失计算，并采用adam算法优化器优化损失函数，获取训练后的心脏mri轮廓分割模型；(6)利用训练后的心脏mri轮廓分割模型，对同一受试者的待测mri进行预测，得到预测的心脏轮廓，即一阶段分割结果pred1；(7)生成二阶段训练的mri数据集d2：将mri的三种模态图像分别与pred1进行乘法运算，相乘后的结果中三种模态mri数据仅心脏部分可见，将三种模态数据进行通道维度上的堆叠，生成数据集d2＝[x1,x2,...,x
i
,...,x
n
]；(8)搭建心室-心肌分割模型，并利用数据集d2对其进行训练：使用一个ms-unet网络结构形成心室-心肌分割模型；将数据集d2作为模型输入，经过前向传播后得到二阶段预测结果pred2，将其与二阶段标注数据集gt2中的样本进行损失计算，并采用adam算法优化器优化损失函数，获取训练后的心室-心肌分割模型；(9)将待测数据输入训练后的心室-心肌分割模型，经过前向推理，输出最终分割结果。2.根据权利要求1所述的方法，其特征在于：步骤(3)中对数据集d1中样本的每个像素值进行归一化处理，实现如下：
其中，y
k
表示输入影像中第k个像素归一化后的像素值，x
k
表示输入影像中第k个像素的像素值，x
min
表示输入影像中的最小像素值，x
max
表示输入影像中的最大像素值。3.根据权利要求1所述的方法，其特征在于：步骤(4.1)中所述卷积操作，每个卷积核大小设置为3*3；步骤(4.2)中所述两个卷积层的卷积核尺寸均为1*1。4.根据权利要求1所述的方法，其特征在于：步骤(4.1)中所述两个多尺度特征提取模块，具体为残差多池化模块和多尺度卷积模型，前者由多个并行的池化操作组成，通过多个有效视野来检测不同大小的对象而不需要额外的参数计算，后者由多个不同尺寸的空洞卷积组成，采用不同感受野来拓宽结构，并结合残差连接机制来避免梯度爆炸和消失。5.根据权利要求1所述的方法，其特征在于：步骤(5)和(8)中所述损失计算，具体是利用dice损失函数和交叉熵损失函数之和作为心脏mri轮廓分割损失函数值l：其中，x是模型的预测值，y是gt1标注图，n表示预测结果的像素数，y
c
表示标签值，即0或1，p
c
表示softmax函数后的预测概率。6.根据权利要求5所述的方法，其特征在于：步骤(5)和(8)中采用adam算法优化器优化损失函数，其中优化器的学习率均采取如下调整策略：其中，令模型的训练次数为e，获取新学习率的训练周期为step_size，将step_size初始化为1，模型在每次训练中投放1个样本进行训练；epoch
p
表示第p次的训练，p＝1,2，...，e；new_lr表示每经过step_size的训练后得到的新学习率，initial_lr表示初始学习率，γ表示初始值为0.9的更新因子。7.根据权利要求1所述的方法，其特征在于：步骤(7)中所述生成数据集d2＝[x1,x2,...,x
i
,...,x
n
]，其中第i个样本x
i
通过下式计算得到：其中，concat表示对数据进行通道维度上的堆叠操作。

技术总结
本发明公开了一种基于多模态MRI心脏图像的多阶段分割方法，主要解决现有技术不适用于多模态以及无法有效融合跨模态之间特征的问题。包括：1)根据原始MRI数据生成心脏轮廓标注数据集，并进行归一化；2)构建心脏MRI轮廓分割模型，并利用归一化后数据集训练得到融合三种模态数据的深度学习模型，获取一阶段分割结果；3)将原始数据与一阶段分割结果矩阵相乘，进行通道堆叠后生成二阶段数据集；4)搭建心室-心肌分割模型并利用二阶段数据集进行训练；5)通过前向模型推理得到二阶段分割结果，即最终分割结果。本发明能够有效利用多模态优势，提高分割精度，且在一定程度上解决了深度学习黑箱在医学领域可解释性差的窘境。学习黑箱在医学领域可解释性差的窘境。学习黑箱在医学领域可解释性差的窘境。


技术研发人员：余航 谢子川 周绥平 刘志恒 解立志
受保护的技术使用者：西安电子科技大学
技术研发日：2023.07.11
技术公布日：2023/9/23