基于改进的EfficientNetV2网络的脑肿瘤分类方法

基于改进的efficientnetv2网络的脑肿瘤分类方法
技术领域
1.本发明提出一种基于改进的efficientnetv2网络的脑肿瘤分类算法，应用于脑肿瘤核磁共振图像分类，在基础的efficientnetv2网络模型中添加注意力机制以及残差结构，利用注意力机制对关键区域进行关注，使模型学会关注有效信息，并筛选出有用信息，利用残差结构提取并融合浅层和深层的特征信息，提升分类精度。


背景技术：

2.大脑是最复杂的器官，在我们的日常活动中发挥着显著的作用，大脑内组织不受控制的不规则生长被称为脑瘤，是一种非常严重的疾病,它可以是最不具侵略性的良性肿瘤，也可以是威胁生命的恶性肿瘤，如果不及时治疗，它可能是致命的,由于生长位置和外观形态相似，使得放射科医生和其他临床医生难以识别脑肿瘤的类型。采用人工分类脑肿瘤，不仅需要专业的先验知识，也需要医生拥有丰富的经验，肉眼辨别耗时耗力，还很容易判断错误，延误治疗。因此对脑肿瘤准确分类仍然是医学图像分析中具有挑战性的任务之一。
3.深度学习在近些年显示出快速发展的趋势，被广泛应用于图像分类。vgg-19、googlenet、resnet网络堆叠卷积层和池化层,在脑肿瘤分类任务中取得了很好的效果,针对深度学习在脑肿瘤分类中的应用，本文深入探讨了相关技术，并提出了基于改进的efficientnetv2网络的脑肿瘤分类模型。


技术实现要素：

4.本发明提出了一种基于改进的efficientnetv2网络和注意力机制的脑肿瘤图像分类方法，通过改进efficientnetv2的网络结构，更加高效的提取图像的特征信息来提升分类精度。
5.为了实现上述目的，本发明的技术方案如下：一种改进的efficientnetv2网络和注意力机制的脑肿瘤图像分类方法，包括以下步骤：步骤一：数据预处理，将脑肿瘤核磁共振图像构成的数据集根据需求改为网络可训练的大小；步骤二：构建改进的efficientnetv2网络模型，改进卷积层结构，在模型中应用残差结构和注意力机制；步骤三：使用改进的efficientnetv2网络模型进行训练，获取脑肿瘤图像分类结果。
6.所述步骤一中的具体过程如下：（1）脑肿瘤图像数据有3种类型，包括胶质瘤,垂体瘤和脑膜瘤，原始图像的尺寸为512x512 像素。训练时对脑肿瘤数据进行处理之后尺寸为300x300；测试时对脑肿瘤数据进行处理之后尺寸为380x380；
（2）对脑肿瘤核磁共振图像数据进行裁剪，通过剪裁将输入图像调整至合适尺度，因背景在整幅图像中占的比例较大，并且背景区域不是分类目标区域，可认定为无效区域，从而对其进行剪裁，并不会减少目标区域；（3）数据增强，采用随机裁剪和随机旋转、缩放、平移以及错切等仿射变换方法，对脑肿瘤图像进行数据增强。
7.所述步骤二中的具体情况如下：搭建改进efficientnetv2网络模型并引入eca注意力模块；在stage1到stage3的shortcut中加入cbam注意力机制；主干网络采用efficientnetv2网络，在stage1模块后添加一个残差结构，搭建三层3x3的卷积层，每一层卷积层后执行一次归一化（batchnorm,bn）和一次swish激活操作，然后经过eca注意力模块，在众多特征信息中聚焦于对当前任务更有用的信息，提升分类精度，在eca注意力模块后加入一层卷积核大小为1x1的卷积层，同样执行一次归一化（batchnorm,bn）和一次swish激活操作，将输出结果与经过最后一层mbconv模块的结果相加。在保证网络深度的同时更好的提取浅层与深层的特征信息，进行特征融合，提升网络性能。
8.所述步骤三中的具体过程如下：（1）在训练过程中，为了减少类别不平衡问题对分类准确率的影响,训练采用交叉熵损失函数(cross entropy loss function)，计算二分类的交叉熵的具体过程：
9.p为样本的标签，正确为1，错误为0，t为预测正确的概率；本文是对脑膜瘤、垂体瘤、胶质瘤进行分类，因此采用多分类交叉熵损失函数，计算多分类的交叉熵的具体过程：
10.l为交叉熵损失函数的值，yi为真实标签，pi为模型对第i类样本的预测概率；
11.（2）将预处理的图片输入到网络中，更新网络参数权重，将提取到的特征进行softmax分类，得到最优的网络分类结果。
12.与现有技术相比，本发明技术方案的有益效果是：本发明基于卷积神经网络，将efficientnetv2网络模型和残差模块进行结合，提取浅层和深层的特征信息进行特征融合，并且为模型融入注意力机制，使网络更好的将注意力集中于目标区域，提高分类精度。
附图说明
13.图1为本发明的方法流程图。
14.图2为本发明的cbam注意力机制模块。
15.图3为本发明的eca注意力机制模块。
16.图4为改进的efficientnetv2 fused_mbconv模块。
17.图5为本发明所改进的efficientnetv2的网络模型。
具体实施方式
18.对于本领域的技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
19.本发明提供了一种基于efficientnetv2网络模型改进的脑肿瘤分类算法，该发明方法将浅层与深层信息融合，充分利用特征信息，提升对脑肿瘤图像的分类精度。
20.图1为本发明的方法流程图，首先是对脑肿瘤核磁共振图像预处理，将ce-mri数据集中3064张脑肿瘤图像变为网络所需的输入，然后构建改进的efficientnetv2网络模型，并用它对数据进行训练，保存效果最好的网络权值，实现分类任务。
21.具体的实现步骤为：step1.1 将输入的脑肿瘤核磁共振图像数据进行预处理，训练时，将输入图像从512x512剪裁为300x300，测试时，输入图像剪裁成380x380；step1.2数据增强，采用随机裁剪和随机旋转、缩放、平移以及错切等仿射变换方法，对脑肿瘤图像进行数据增强。
22.step2.1 在efficientnetv2网络应用残差模块和注意力机制；step2.2 在stage1到stage3的shortcut分支上加入cbam注意力模块同时执行一次归一化操作（batchnorm,bn）和一次relu激活操作，关注对于分类任务更关键的特征信息，提高分类效率；step2.3 在stage1模块后添加一个残差结构，添加三层3x3的卷积层，每一层后面执行一次bn和swish激活操作，经过eca注意力机制，再添加一层1x1的卷积层，与主干网络最后一个mbconv模块的输出结果相加，融合浅层和深层的特征信息，更好的利用图片的特征信息，提升分类准确率。
23.step3.1 在训练过程中，为了减少类别不平衡问题对分类准确率的影响,训练采用交叉熵损失函数(cross entropy loss function)，计算二分类的交叉熵的具体过程：
24.p为样本的标签正确为1，错误为0，t为预测正确的概率；本文是对脑膜瘤、垂体瘤、胶质瘤进行分类，因此采用多分类交叉熵损失函数：计算多分类的交叉熵的具体过程：
25.l为交叉熵损失函数的值，yi为真实标签，pi为模型对第i类样本的预测概率；使用多分类的交叉熵损失函数，提高网络模型的性能，减小了预测结果与真实结果之间的误差，提高了分类的精度；step3.2使用改进的efficientnetv2网络模型进行训练，提取脑肿瘤图像特征信息，再将结果进行softmax分类，得到分类结果。

技术特征：
1.基于改进的efficientnetv2网络和注意力机制的脑肿瘤图像分类方法，其特征在于，包括以下步骤：step 1：数据预处理；step 2：构建改进的改进的efficientnetv2网络模型，改进卷积层框架结构；step3：网络经过训练后输入测试集进行测试，检验网络效果。2.根据权利要求1所述的基于改进的efficientnetv2网络和注意力机制的脑肿瘤图像分类方法，其特征在于，所述step 1中的具体过程如下：step1.1 ce-mri数据集有3种类型，包括胶质瘤,垂体瘤和脑膜瘤，原始图像的尺寸为512x512像素；step1.2 mri图像脑部区域为灰色，黑色则为背景，整幅图像中背景信息的占比较大，而且背景对于分类没有任何帮助，因此需要去除背景信息是必要的，训练时对脑肿瘤数据进行处理之后尺寸为300x300；测试时对脑肿瘤数据进行处理之后尺寸为380x380。3.根据权利要求1所述的基于改进的efficientnetv2网络和注意力机制的脑肿瘤图像分类方法，其特征在于，所述step 2中的具体过程如下：step2.1搭建改进基于改进的efficientnetv2网络和注意力机制的脑肿瘤图像分类方法，在残差结构中引入注意力机制；step2.2构建的网络模型使用基础的efficientnetv2网络，在前三层fused-mbconv模块的捷径分支中使用cbam注意力机制模块，然后执行一次归一化(batchnorm,bn)和一次relu激活操作，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，提高任务处理的效率和准确性；step2.3在上面的网络模型的第一层卷积后，加入一个残差结构，构建三层3x3的卷积层，后再加入一层eca注意力机制，防止网络过深导致信息丢失和网络退化，同时再加入一层1x1 的卷积层，使通道数变为256，使输出与主干网络最后一层mbconv输出的通道数相同并在通道维度相加。4.step2.4 将上面网络输出的结果输入最后一层卷积，池化，经过softmax分类，得到分类结果。5.根据权利要求1所述的一种基于改进的efficientnetv2网络和注意力机制的脑肿瘤图像分类方法，其特征在于，所述step 3中的具体过程如下：step3.1训练采用了交叉熵损失函数，计算二分类的交叉熵的具体过程：6.p为样本的标签，正确为1，错误为0，t为预测正确的概率；本文是对脑膜瘤、垂体瘤、胶质瘤进行分类，因此采用多分类交叉熵损失函数：计算多分类的交叉熵的具体过程：7.l为交叉熵损失函数的值，y
i
为真实标签，p
i
为模型对第i类样本的预测概率；step3.2使用改进的efficientnetv2网络模型进行训练，提取脑肿瘤图像特征信息，再将结果进行softmax分类，得到分类结果。

技术总结
本发明提出了一种基于改进的EfficientNetV2网络和注意力机制的脑肿瘤图像分类方法，采用一种基于EfficientNetV2网络模型改进的脑肿瘤图像分类方法，在基础的EfficientNetV2网络结构的第一层3x3卷积层后加入残差结构，通过在残差结构中加入三层3x3的卷积层，一层ECA注意力机制，一层1x1卷积层，提取特征信息。同时在前三层的Fused-MBConv模块的shortcut连接中加入CMAB注意力机制，使网络更加关注浅层网络中的关键信息，最后将残差结构的输出结果和主干网络最后一层的MBConv模块的输出结果相加，在保证网络深度的同时更好的提取浅层与深层的特征信息，进行特征融合，提升分类网络性能。提升分类网络性能。提升分类网络性能。


技术研发人员：侯阿临 洪怡 马甜甜 贾兆年 任子航 石双 操文 炎梦雪 张俊鹏 徐民俊 孙佳宇
受保护的技术使用者：长春工业大学
技术研发日：2023.05.17
技术公布日：2023/8/1