一种基于高频分量特征提取的乳腺组织OCT图像分类方法

一种基于高频分量特征提取的乳腺组织oct图像分类方法
技术领域
1.本发明属于图像识别领域，具体涉及一种基于高频分量特征提取的乳腺组织oct图像分类方法。


背景技术：

2.乳腺癌已经成为发病率最高的肿瘤，严重影响着女性的生理健康。保乳手术是早期(i或ii)乳腺癌的主要治疗方法之一，乳腺组织切片病理图像诊断技术是目前的主流的切缘诊断方法，但难以摆脱人为主观性，容易产生误诊。因此，研究人员尝试利用计算机辅助诊断技术(cad)识别分类切片病理图像。
3.中国专利申请号为cn202110367206.8提出了一种基于迁移学习的乳腺组织分类识别方法，通过优化迁移学习乳腺组织分类模型对乳腺组织切片病理图像进行分类，该专利优势是适用于数据集较小的应用环境，但由于切片病理图像定位取材以及制片困难，难以做到术中实时切缘诊断，因此光学相干层析术(optical coherence tomography,oct)以其无损伤、非侵入且快速成像的优势被应用于乳腺组织成像。ankitbutola等人在2020年发表的名为“deep learning architecture
‘
lightoct’for diagnostic decision support using optical coherence tomography images ofbiological samples”一文中提出了一种新型卷积网络模型“lightoct”，整体网络中只有两个卷积层和一个全连接层，模型在分类超过100000幅图像的大型公共oct图像数据集时，达到了96％的测试准确度。但是该模型在特征提取时对于高低频分量没有侧重，导致模型可能提取较多的低频分量，造成信息冗余，对于在整体结构上具有高相似性的乳腺组织oct图像，模型无法做到高精度分类识别。


技术实现要素：

4.本发明的目的在于提供一种基于高频分量特征提取的乳腺组织oct图像分类方法，能够分类识别多类乳腺组织oct图像并提高对于结构相似度高的乳腺组织oct图像分类的准确度。
5.实现本发明的技术解决方案为：一种基于高频分量特征提取的乳腺组织oct图像分类方法，步骤如下：
6.步骤s1、挑选a类乳腺组织样本，1《a《10，在每类乳腺组样本中选取b个感兴趣的区域进行成像，10《b《50，从每个感兴趣区域截取d张乳腺组织oct图像，10《d《50，共获得n张不同类别的乳腺组织oct图像，n＝abd，100《n《25000，对n张不同类别的乳腺组织oct图像分别进行归一化处理及数据增强后，得到像素大小为h
×
w的na张乳腺组织oct图像，1000《na《250000，将na张乳腺组织oct图像中每类样本按照18:1:1比例划分为训练样本集、验证样本集和测试样本集，并对训练样本集中的样本图像添加标签，转入步骤s2。
7.步骤s2、构建双重过滤残差模型，以获取乳腺组织oct样本形状特征的多值标签信息，转入步骤s3。
8.步骤s3、将带标签的训练样本集输入双重过滤残差模型对其进行训练，乳腺组织
oct图像依次经过初步过滤单元、深度过滤单元、图像分类单元后，最终得到预训练双重过滤残差网络模型，转入步骤s4。
9.步骤s4、将不带标签的验证样本集输入预训练双重过滤残差网络模型，利用乳腺组织oct图像验证样本集对预训练双重过滤残差网络模型性能进行验证，得到双重过滤残差网络模型，转入步骤s5。
10.步骤s5、将不带标签的测试样本集输入双重过滤残差网络模型，利用测试样本集对双重过滤残差网络模型的泛化能力进行测试。
11.本发明与现有技术相比，其显著优点在于：
12.(1)本发明使用八度卷积块替换传统卷积层，使得双重过滤残差模型在提取图像特征时能够调整高低频分量的占比，减少信息冗余。
13.(2)本发明在三个级联的第一卷积层和最后一层卷积层之后加入cbam进一步过滤特征信息，与八度卷积块协同工作，达到双重过滤特征信息的效果，进一步减少了低频特征在空间维度上的信息冗余。
14.(3)本发明创新性提出融合双维度注意力机制、八度卷积和残差单元的双重过滤残差模型，对比与其结构层深度相同的传统卷积神经网络模型，本发明提供的双重过滤残差模型结构复杂度低，且不会发生梯度爆炸或梯度消失现象；
15.(4)本发明不仅具有更好的有效性、高效性和泛化能力，对于结构近似的乳腺组织oct图像表现出优秀的识别性能。
附图说明
16.图1为本发明的双重过滤残差模型原理图；其中，“3
×
3conv*3”代表3个卷积核大小为3
×
3的卷积层，“cbam”代表双维度注意力机制，“channel attention module”代表通道注意力机制，“spatial attention module”代表空间注意力机制，“bn”代表批量归一化层，“relu”代表激活函数，“octaveconv”代表八度卷积层，“octave bn”代表八度卷积层中的批量归一化层，“residual structure”代表残差结构，“dense 512gap”代表全局平均池化层和具有512个节点的全连接(dense)层，“softmax”代表柔性最大传递函数。
17.图2为本发明提供的基于高频分量特征提取的乳腺组织oct图像识别分类方法的流程示意图。
18.图3为本发明提供的三种预处理后的乳腺组织oct图像，其中(a)图为纤维脂肪图像，(b)图为基质图像，(c)图为肿瘤图像。
19.图4为resnet-28与oct_resnet-28两种模型性能训练曲线图，其中(a)图为resnet-28模型性能训练曲线图，(b)图为oct_resnet-28模型性能训练曲线图。
20.通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
21.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
22.结合图1和图2，一种基于高频分量特征提取的乳腺组织oct图像分类方法，包括如下步骤：
23.步骤s1、挑选a类乳腺组织样本，1《a《10，在每类乳腺组样本中选取b个感兴趣的区域进行成像，10《b《50，从每个感兴趣区域截取d张乳腺组织oct图像，10《d《50，共获得n张不同类别的乳腺组织oct图像，n＝abd，100《n《25000，对n张不同类别的乳腺组织oct图像分别进行归一化处理及数据增强后，得到像素大小为h
×
w的na张乳腺组织oct图像，1000《na《250000，将na张乳腺组织oct图像中每类样本按照18:1:1比例划分为训练样本集、验证样本集和测试样本集，并对训练样本集中的样本图像添加标签。
24.转入步骤s2。
25.步骤s2、构建双重过滤残差模型，以获取乳腺组织oct样本形状特征的多值标签信息，具体如下：
26.双重过滤残差模型包括初步过滤单元、深度过滤单元、图像分类单元。
27.初步过滤单元包括依次连接的三个级联的第一卷积层和双维度注意力机制，第一卷积层的卷积核大小为3
×
3，其作用是在保证感受野不变的情况下，减少参数计算量并起到隐式正则化的作用，在其之后连接批量归一化层(batch normalization,bn)和非线性激活函数，非线性激活函数为relu激活函数，双维度注意力机制包括通道注意力机制和空间注意力机制。
28.深度过滤单元包括顺次连接的8组具有残差结构的八度卷积块和双维度注意力机制；八度卷积块包括2层八度卷积层和bn层，且相邻的2组八度卷积块之间构成残差结构，防止网络模型结构层过深出现梯度消失或梯度爆炸现象。
29.图像分类单元包括全局平均池化(global average pooling，gap)层、全连接(dense)层和softmax层。
30.转入步骤s3。
31.步骤s3、将带标签的训练样本集输入双重过滤残差模型对其进行训练，乳腺组织oct图像依次经过初步过滤单元、深度过滤单元、图像分类单元后，最终得到预训练双重过滤残差网络模型，具体过程如下：
32.s3.1，乳腺组织oct图像依次经初步过滤单元中三个级联的第一卷积层后得到原始特征图，原始特征图经通道和空间两个独立维度的计算，得到一个与原始特征图大小相同的注意力权重矩阵，将权重矩阵与原始特征图相乘以进行自适应特征细化，生成初步过滤后的图像特征信息。
33.对于初步过滤单元中的通道注意力机制来说，输入一张维度为c
×h×
w的原始特征图f后，经全局最大池化和全局平均池化，对应得到两组维度为c
×1×
1的特征图权重向量，即全局最大池化特征图权重向量f
max
和全局平均池化特征图权重向量f
avg
：
34.f
max
＝globalmaxpool(f)＝1/w
×h×
max(f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
35.f
avg
＝globalavgpool(f)＝1/w
×h×
σ(f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
36.其中，f代表输入的原始特征图，f∈rc×h×w，r代表实数，c代表通道数，h代表高度，w代表宽度，max(f)代表对原始特征图f中所有元素求最大值，σ(f)代表对原始特征图f中所有元素求和。
37.接着，再将得到的全局最大池化特征图权重向量f
max
和全局平均池化特征图权重
向量f
avg
分别送入一个两层的神经网络(mlp)映射成每个通道的权重，将映射的权重相加后接sigmoid输出，得到维度为c
×1×
1的通道注意力机制权重mc(f
′
)，最后将其与维度为c
×h×
w的原始特征图f按通道相乘，得到经过通道注意力机制权重修正后的特征图f
′
：
[0038][0039]
其中，
⊙
代表点乘操作，σ代表sigmoid函数，w0代表经过第一层mlp映射后的权重，w1代表经过第二层mlp映射后的权重。
[0040]
对于初步过滤单元中的空间注意力机制来说，经过通道注意力机制权重修正后的特征图f
′
按通道进行最大池化和平均池化，形成两个维度为1
×h×
w的特征向量，对两者进行堆叠后，得到维度为2
×h×
w的特征图空间权重。接着，经过卷积层，将映射后的权重相加后接sigmoid输出，得到维度为1
×h×
w的空间注意力机制权重ms(f
″
)，最后将其与原始特征图f相乘，使特征图上每一点都赋予权重，得到经过双维度注意力机制权重修正后的特征图f
″
：
[0041][0042]
其中，f7×7代表大小为7
×
7的卷积核，f
′
max
代表特征图f
′
按通道进行最大池化得到的特征向量，f
′
avg
代表特征图f
′
按通道进行平均池化得到的特征向量。
[0043]
s3.2，深度过滤单元根据初步过滤后的图像特征的关联性，在特征提取时调整高低频分量特征的占比，对初步过滤后的图像特征信息进行多次过滤，生成深度过滤后的图像特征信息。
[0044]
对于深度过滤单元中的八度卷积块来说，经过双维度注意力机制权重修正后的特征图f
″
可以分为高频部分xh和低频部分x
l
，这两部分顺次经过8组具有残差结构的八度卷积块，每组八度卷积块包括2层八度卷积层和bn层，八度卷积层的卷积核对应特征图中的高低频分量分成四个部分：高频到高频的卷积核wh→h，高频到低频的卷积核wh→
l
，低频到高频的卷积核w
l
→h，低频到低频的卷积核w
l
→
l
，其中α代表低频维度占比，取值在[0-1]之间，并且应为0.125的整数倍。
[0045]
具体的，经过双维度注意力机制权重修正后的特征图f
″
中的高频部分xh经过高频到高频的卷积核wh→h卷积后得到高频到高频的输出yh→h，低频部分x
l
经过低频到高频的卷积核w
l
→h卷积后再进行上采样操作将分辨率扩大四倍(与高频分辨率一致)得到低频到高频的输出y
l
→h，yh→h和y
l
→h通过点加操作得到最终的高频输出特征图yh：
[0046]
[0047][0048]
其中，nk代表一个集合，k为奇数，a，b均为集合nk中的实数，p代表特征图矩阵中的横坐标位置，q代表特征图矩阵中的纵坐标位置，(2
⊙
p+0.5+a),(2
⊙
q+0.5+b)代表上采样操作，t表示转置。
[0049]
类似的，经过双维度注意力机制权重修正后的特征图f
″
中的高频部分xh经过高频到低频的卷积核wh→
l
卷积后再进行池化操作降低分辨率(与低频分辨率一致)得到高频到低频的输出yh→
l
，低频部分x
l
经过低频到低频的卷积核w
l
→
l
卷积后得到低频到低频的输出y
l
→
l
，yh→
l
和y
l
→
l
通过点加操作得到最终的低频输出特征图y
l
：
[0050][0051]
其中，代表池化操作。
[0052]
将高频输出特征图yh和低频输出特征图y
l
相加，得到经八度卷积特征提取后的特征图y：
[0053][0054]
在8组八度卷积块之后再次连接双维度注意力机制，具体过程与s3.1相同，这里不再赘述，最终得到深度过滤后的图像特征信息，即双重过滤后的特征图y
′
。
[0055]
s3.3，gap层用于将深度过滤单元提取到的深度过滤后的图像特征信息映射到样本标记空间，在其之后连接一个包含512个节点的dense层，dense层将gap层的输出特征转化为1维向量，获取的图像特征的高层含义，再经softmax层将1维向量转化成概率分布，得到乳腺组织oct样本形状特征的多值标签信息。
[0056]
对于图像分类单元来说，双重过滤后的特征图y
′
经过gap层后，被映射到样本空间；接着，通过一个具有512个节点的dense层，将gap层的输出特征转化成一个维度为ng×
1的的一维向量；其次，接softmax层，将维度为ng×
1的一维向量转化成概率分布，得到乳腺组织oct样本形状特征的多值标签信息。
[0057]
s3.4，将上述softmax层转化的概率分布代入损失函数中，利用损失函数计算乳腺组织oct样本形状特征的多值标签信息与预定义类别的相似度，并通过链式法则，计算损失对于模型参数的梯度，从而更新双重过滤残差模型的整体参数，经过多次拟合更新，最终得到预训练双重过滤残差网络模型。
[0058]
通过交叉熵损失函数loss计算乳腺组织oct样本形状特征的多值标签信息与预定义类别的相似度：
[0059][0060]
其中，p
nc
表示乳腺组织oct图像训练样本集数据n预测为类别c类的概率，y
nc
表示训练样本集数据n是否为真实类别c，若是则为1，若不是则为0；n
train
表示训练样本集数据的数量。
[0061]
根据链式法则，计算当前层输出对于前一层输出的梯度，然后通过该梯度与前一层输出对于前一层参数的梯度的乘积，得到当前层输出对于前一层参数的梯度。这样逐层向前计算梯度，计算每个参数的局部梯度，直到反向传递到第一卷积层，更新模型整体参数，经过多次拟合更新，最终得到预训练双重过滤残差网络模型。
[0062]
转入步骤s4。
[0063]
步骤s4、将不带标签的验证样本集输入预训练双重过滤残差网络模型，利用乳腺组织oct图像验证样本集对预训练双重过滤残差网络模型性能进行验证，得到双重过滤残差网络模型。
[0064]
具体的，在双重过滤残差模型的训练过程中，每经过ne个周期就将验证样本集代入预训练双重过滤残差网络模型中验证并保存模型参数，1《ne《51，若本次验证样本集的分类准确度高于上一次，便保存本次模型的参数；若低于上一次，便舍弃，这样可以有效防止模型因训练样本集数量过少而导致的过拟合现象，最终得到双重过滤残差网络模型。
[0065]
转入步骤s5。
[0066]
步骤s5、将不带标签的测试样本集输入双重过滤残差网络模型，利用测试样本集对双重过滤残差网络模型的泛化能力进行测试。
[0067]
接下来通过3个实施例进一步证明本发明的双重过滤残差模型的有效性和稳定性。
[0068]
以下实施例中的图像数据来源于接受了保乳术、缩乳术或者乳房全切术的受试者。所有受试者在术前均签署了知情同意书，允许对其组织进行研究使用。术中切除的组织样本浸泡在生理盐水中，并放置于低温保温箱内保存，在术后24小时内完成对其成像。利用墨水对已经成像完全的样本的成像区域进行标记，然后浸泡在10％福尔马林溶液中并固定72小时以上。固定完成后，由专业人员按组织学检验标准流程对样本进行切片以及h&e染色。对获得的组织切片图像与oct层析图以组织切片的病理检验结果作为黄金标准进行相关性检验。
[0069]
实施例1
[0070]
通过该实施例，测试模型中八度卷积块对于模型整体性能的影响，具体如下：
[0071]
制作乳腺组织oct图像样本集。挑选3类成像效果较好的样本，每类样本选取20个主要包含纤维脂肪、基质和肿瘤的感兴趣区域进行成像，从每个感兴趣区域截取16张乳腺组织oct图像，共获得960张三种类别的乳腺组织oct图像。对960张三种类别的乳腺组织oct图像分别进行归一化处理及数据增强后，得到像素大小为224
×
224的9600张乳腺组织oct图像，作为乳腺组织oct图像样本集，最后将乳腺组织oct图像样本集中每类样本图像按照18:1:1的比例划分为训练样本集、验证样本集和测试样本集。参照表1所示的乳腺组织oct图像样本集的类别名称、训练样本、测试样本、验证样本和每个类别的样本数量。
[0072]
表1：乳腺组织oct图像数据集的类别名称、训练样本、验证样本、测试样本和每个
类别的样本数量
[0073][0074]
具体的，通过数据增强，扩充初始乳腺组织oct图像样本集。对上述960张三种类别的乳腺组织oct图像随机截取尺寸大小为224
×
224的区域作为目标乳腺组织数据集中的一幅新图像；接着，对新图像添加高斯噪声和椒盐噪声；另外，随机改变图像亮度，对比度和饱和度；最后重复上述步骤10次扩充目标数据集，扩充后的目标数据集共有9600张待识别的乳腺组织oct图像，作为新的乳腺组织oct图像样本集。具体参照图3所示的多类乳腺组织oct图像，(a)图为纤维脂肪图像，(b)图为基质图像，(c)图为肿瘤图像。
[0075]
构建残差模型(resnet-28)和八度残差模型(oct_resnet-28)，验证八度卷积块对于模型整体性能的影响。上述resnet-28是由经典的resnet-34删减掉6层后得到的，oct_resnet-28参考图1中的双重过滤残差网络(df-resnet)结构，不同点是没有在级联的第一卷积层和最后一层卷积层之后加入双维度的注意力机制。
[0076]
在两种对比模型训练之前，需要设定评估参数和实验环境参数。
[0077]
具体的，定义评估参数。对于训练得到的df-resnet，在乳腺组织oct图像的相关测量评估参数上，本实施例选取了5种参数来进行分类性能的评估：敏感度(sen)、特异度(spe)、阳性预测值(ppv)、阴性预测值(npv)、总体分类精度(acc)。
[0078]
其中，敏感度表示在黄金标准判断阳性样本中，检测出真阳性的概率，衡量对阳性样本的识别能力，满足下述公式：
[0079][0080]
特异度表示在黄金标准判断阴性样本中，检测出真阴性的概率，衡量对阴性样本的识别能力，满足下述公式：
[0081][0082]
阳性预测值表示在黄金标准判断阳性样本中，真正是阳性的样本比例，满足下述公式：
[0083][0084]
阴性预测值表示在黄金标准判断阴性样本中，真正是阴性的样本比例，满足下述公式：
[0085][0086]
总体分类精度表示分类正确的乳腺组织oct图像占总乳腺组织oct图像的百分比，满足下述公式：
[0087]
[0088]
上述公式中tp表示为被正确分类为阳性的样本个数；tn表示为被正确分类为阴性的样本个数；fp表示为被错误分类为阳性的样本个数；fn表示为被错误分类为阴性的样本个数；n
t
表示为总分类正确的乳腺组织oct图像个数；nf表示为总分类错误的乳腺组织oct图像个数。
[0089]
设置实验环境参数。模型的训练、验证和测试均在pytorch环境下进行，具体实验环境参考表2所示的系统详细参数。
[0090]
表2：系统详细参数
[0091][0092]
利用乳腺组织oct图像训练样本集和测试样本集对resnet-28和oct_resnet-28进行训练及验证，并将resnet-28和oct_resnet-28的识别结果进行比对。
[0093]
具体的，关于resnet-28和oct_resnet-28的训练，本发明采用带动量的随机梯度下降算法(stochastic gradient descent,sgd)作为优化器，定义批量大小为16，定义学习率为0.01，且设定在乳腺组织oct图像训练集上训练历时为100个周期。在训练过程中每经过5个周期就将乳腺组织oct图像验证样本集代入初步预训练的resnet-28和oct_resnet-28中验证并保存模型参数，若本次验证样本集的分类准确度高于上一次，便保存本次双重过滤残差模型的参数；若低于上一次，便舍弃。
[0094]
实验结果分析与讨论。图4为resnet-28与oct_resnet-28两种模型性能训练曲线，利用双纵坐标表示两种模型的损失函数值(loss)和分类精度(acc)，其中，上三角曲线代表损失值，下三角曲线代表模型分类精度，通过比对两种模型的训练曲线可以得出以下结论：oct_resnet-28模型初始的损失值较大，但两种模型损失值几乎都在训练了30个周期后趋向于收敛，波动幅度相似。说明在残差网络中利用八度卷积代替普通卷积核这一操作不会影响整体模型的收敛速度，只是初始损失值较大，原因是八度卷积工作时会先将低频信息的分辨率降低至原来的二分之一，导致模型训练初期识别单个训练样本与真实值之间的误差较大。
[0095]
实施例2
[0096]
通过该实施例，验证本发明df-resnet中双重过滤结构的有效性，具体如下：
[0097]
制作乳腺组织oct图像样本集，具体步骤和实施例1相同。
[0098]
构建df-resnet，上述模型包括初步过滤单元、深度过滤单元、图像分类单元，并选择实施例1中的resnet-28和oct_resnet-28作为对比模型。
[0099]
具体的，初步过滤单元包括依次连接的三个级联的第一卷积层和双维度注意力机制，第一卷积层的核大小为3
×
3，其作用是在保证感受野不变的情况下，减少参数计算量并起到隐式正则化的作用，在其之后连接批量归一化层(batch normalization,bn)和非线性激活函数，非线性激活函数为relu激活函数，双维度注意力机制包括通道注意力机制和空间注意力机制。
[0100]
深度过滤单元包括顺次连接的8组具有残差结构的八度卷积块和双维度注意力机制；八度卷积块包括2层八度卷积层和bn层，且相邻的2组八度卷积块之间构成残差结构，防止网络模型结构层过深出现梯度消失或梯度爆炸现象。
[0101]
图像分类单元包括全局平均池化(global average pooling，gap)层、全连接(dense)层和softmax层。
[0102]
在df-resnet和对比模型训练之前，评估参数和实验环境参数的设定与实施例1中相同。
[0103]
进行对比实验，验证本发明df-resnet中双重过滤结构的有效性。分别利用乳腺组织oct图像训练样本集，验证样本集对df-resnet和对比模型进行训练、验证。
[0104]
具体的，设定合适的学习率。学习率是一个重要的超参数，它影响了模型的拟合。在本发明df-resnet的训练、验证和测试过程中，设定学习率为0.1、0.05、0.01、0.005，0.003和0.001，采用带动量的sgd作为优化器，定义批量大小为16，训练周期为100，依次使用设定的学习率对df-resnet进行训练，在训练过程中每经过5个周期就将验证样本集代入初步预训练的df-resnet中验证并保存模型参数，若本次验证样本集的分类准确度高于上一次，便保存本次df-resnet的参数；若低于上一次，便舍弃。最终在实际测试过程中，设定学习率为0.003时df-resnet性能最佳。因此，在本实施例中，定义df-resnet的最佳学习率为0.003。同时，定义对比模型resnet-28和oct_resnet-28的最佳学习率以及训练和验证方法与df-resnet一致。
[0105]
模型性能评估。利用测试样本集对训练完成的df-resnet以及对比模型性能进行测试，最终的分类结果通过敏感度sen、特异度spe、阳性预测值ppv、阴性预测值npv和总体分类精度acc体现。
[0106]
具体的，使用评估参数分析，参照下表3所展示的df-resnet和其他对比网络在乳腺组织oct图像数据集上的分类结果，表3强调了每个网络模型对应的最佳结果。表中f代表纤维脂肪(fibroadipose)，s代表基质(stroma)，t代表肿瘤(tumor)。
[0107]
表3：df-resnet和对比模型在乳腺组织oct测试样本集上的分类结果
[0108][0109]
实验结果分析与讨论。通过表1和表3可以得知：本发明的df-resnet取得了最高的acc值，acc值为96.88％；并且不仅对于具有“蜂窝状”独特结构的纤维脂肪图像取得了最高的sen值和npv值，对于结构近似的基质和肿瘤图像同样也取得了最高的sen值和npv值。oct_resnet-28的分类结果次优于df-resnet，而resnet-28的分类结果最差。
[0110]
具体的，通过对比oct_resnet-28和resnet-28的分类结果，oct_resnet-28的总体分类精确度达到了95.42％，相比resnet-28总体分类性能提升了1.57％，其识别纤维脂肪图像的能力与resnet-28相当，对于基质和肿瘤图像的分类识别能力明显优于resnet-28。分析原因，resnet-28在提取图像特征时没有侧重，特别是对于结构十分相似的基质与肿瘤图像，容易产生信息冗余，这些冗余信息会干扰resnet-28最终对图像的识别分类；而oct_resnet-28在特征提取时会侧重含有丰富结构信息的高频分量，这对于模型最终分类结构近似的图像将起到关键作用。表明利用八度卷积替换部分卷积层这一操作的确能够使oct_resnet-28在提取图像特征时侧重于高频分量，增强oct_resnet-28对于结构近似的图像分类识别能力，提高整体的分类精度。
[0111]
进一步的，通过对比df-resnet和oct_resnet-28的分类结果，df-resnet的总体分类精确度达到了96.88％，相较于oct_resnet-28总体分类性能提升了1.46％，不仅在结构近似的基质和肿瘤图像分类实验中表现出更优异的识别能力，而且对于纤维脂肪的分类精度也高于前两种对比模型。表明df-resnet在首层和末层加入双维度的注意力机制并结合八度卷积的“双重过滤”结构能够进一步过滤低频信息，提升df-resnet对于高频特征的提取能力，减少信息冗余，提高分类精度。
[0112]
实施例3：
[0113]
通过该实施例，对比本发明df-resnet与目前经典的卷积神经网络性能差异，具体如下：
[0114]
制作乳腺组织oct图像样本集，具体步骤和实施例1相同。
[0115]
选择本领域的经典神经网络模型：密集连接网络(densenet-169)，视觉几何组网络(vgg-19)，高效网络(efficientnet)以及实施例2中的resnet-28和oct_resnet-28作为对比模型
[0116]
在本实施例的对比实验中，选择总体分类精度acc和模型整体参数pq作为模型评估参数，实验环境参数的设定与实施例1中相同。
[0117]
进行对比实验，对比本发明df-resnet与目前经典的卷积神经网络性能差异。分别利用乳腺组织oct图像训练样本集，验证样本集对densenet-169、vgg-19和efficientnet进行训练、验证，其中训练方法及验证方法和实施例2中相同。
[0118]
模型性能评估，利用测试样本集对densenet-169、vgg-19和efficientnet性能进行测试，最终的分类结果通过总体分类精度acc和模型整体参数pq体现。
[0119]
具体的，使用评估参数分析，参照下表4所展示的df-resnet和其他经典的神经网络模型在乳腺组织oct图像测试样本集上的分类结果，表4强调了每个网络模型对应的最佳结果。
[0120]
表4：df-resnet和经典的神经网络模型在乳腺组织oct图像测试样本集上的分类结果
[0121][0122]
实验结果分析与讨论，通过表1和表4可知，模型最终的准确率梯度为：df-resnet(96.88％)》densenet-169(95.72％)》oct_resnet-28(95.42％)》resnet-28(93.85％)》efficientnet(91.67％)》vgg-19(79.39％)。
[0123]
模型整体的参数计算量梯度为：vgg-19(143.67mib)》resnet-28(19.14mib)》df-resnet(16.52mib)》oct_resnet-28(15.99mib)》densenet-169(14.15mib)》efficientnet(5.29mib)。
[0124]
具体的，efficientnet的参数计算量最少，但是对于乳腺组织oct图像的分类识别能力较差。其中，df-resnet对于乳腺组织oct图像的分类精度远高于本领域的经典网络模型，另外，df-resnet和resnet-28结构层深度相同，但是df-resnet整体的参数计算量比resnet-28少2.62mib，且分类精度远高于resnet-28。说明利用双重过滤结构改进模型不仅能减少整体参数计算量，还能够提高模型对近似结构图像的分类识别能力，使得模型分类精度得到明显的提升。
[0125]
综上所述，本发明提供了一种基于高频分量特征提取的乳腺组织oct图像分类方法。所述方法创新性提出融合双维度注意力机制、八度卷积、和残差单元的df-resnet，在提取图像特征时能够调整高低频分量特征的占比，通过适当增加高频分量占比，减少了特征图在空间维度上的信息冗余。本发明的实施例1验证了利用八度卷积代替普通卷积核这一操作不会影响整体模型的收敛速度，实施例2和实施例3在乳腺组织oct图像数据集上进行了严格的比较实验，实验结果表明，与现有的方法相比，所提出的df-resnet达到了96.88％的最高总体分类精度，且对于结构相似度高的乳腺组织oct图像具有优秀的分类结果和鲁棒性。相比现有技术，本发明能够显著的提高乳腺组织oct图像分类的准确度和稳定性。

技术特征：
1.一种基于高频分量特征提取的乳腺组织oct图像分类方法，其特征在于，步骤如下：步骤s1、挑选a类乳腺组织样本，1<a<10，在每类乳腺组样本中选取b个感兴趣的区域进行成像，10<b<50，从每个感兴趣区域截取d张乳腺组织oct图像，10<d<50，共获得n张不同类别的乳腺组织oct图像，n＝abd，100<n<25000，对n张不同类别的乳腺组织oct图像分别进行归一化处理及数据增强后，得到像素大小为h
×
w的n
a
张乳腺组织oct图像，1000<n
a
<250000，将n
a
张乳腺组织oct图像中每类样本按照18:1:1比例划分为训练样本集、验证样本集和测试样本集，并对训练样本集中的样本图像添加标签，转入步骤s2；步骤s2、构建双重过滤残差模型，以获取乳腺组织oct样本形状特征的多值标签信息，转入步骤s3；步骤s3、将带标签的训练样本集输入双重过滤残差模型对其进行训练，乳腺组织oct图像依次经过初步过滤单元、深度过滤单元、图像分类单元后，最终得到预训练双重过滤残差网络模型，转入步骤s4；步骤s4、将不带标签的验证样本集输入预训练双重过滤残差网络模型，利用乳腺组织oct图像验证样本集对预训练双重过滤残差网络模型性能进行验证，得到双重过滤残差网络模型，转入步骤s5；步骤s5、将不带标签的测试样本集输入双重过滤残差网络模型，利用测试样本集对双重过滤残差网络模型的泛化能力进行测试。2.根据权利要求1所述的基于高频分量特征提取的乳腺组织oct图像分类方法，其特征在于，步骤s2中，构建双重过滤残差模型，以获取乳腺组织oct样本形状特征的多值标签信息，具体如下：双重过滤残差模型包括初步过滤单元、深度过滤单元、图像分类单元；初步过滤单元包括依次连接的三个级联的第一卷积层和双维度注意力机制，第一卷积层的卷积核大小为3
×
3，在其之后连接批量归一化层和非线性激活函数，非线性激活函数为relu激活函数，双维度注意力机制包括通道注意力机制和空间注意力机制；深度过滤单元包括顺次连接的8组具有残差结构的八度卷积块和双维度注意力机制；八度卷积块包括2层八度卷积层和bn层，且相邻的2组八度卷积块之间构成残差结构；图像分类单元包括全局平均池化层、全连接层和softmax层。3.根据权利要求1所述的基于高频分量特征提取的乳腺组织oct图像分类方法，其特征在于，步骤s3、将带标签的训练样本集输入双重过滤残差模型对其进行训练，乳腺组织oct图像依次经过初步过滤单元、深度过滤单元、图像分类单元后，最终得到预训练双重过滤残差网络模型，具体如下：s3.1，乳腺组织oct图像依次经初步过滤单元中三个级联的第一卷积层后得到原始特征图，原始特征图经通道和空间两个独立维度的计算，得到一个与原始特征图大小相同的注意力权重矩阵，将权重矩阵与原始特征图相乘以进行自适应特征细化，生成初步过滤后的图像特征信息；s3.2，深度过滤单元根据初步过滤后的图像特征的关联性，在特征提取时调整高低频分量特征的占比，对初步过滤后的图像特征信息进行多次过滤，生成深度过滤后的图像特征信息；s3.3，gap层用于将深度过滤单元提取到的深度过滤后的图像特征信息映射到样本标
记空间，在其之后连接一个包含512个节点的dense层，dense层将gap层的输出特征转化为1维向量，获取的图像特征的高层含义，再经softmax层将1维向量转化成概率分布，得到乳腺组织oct样本形状特征的多值标签信息；s3.4，将softmax层转化的概率分布代入损失函数中，利用损失函数计算乳腺组织oct样本形状特征的多值标签信息与预定义类别的相似度，并通过链式法则，计算损失对于模型参数的梯度，从而更新双重过滤残差模型的整体参数，经过多次拟合更新，最终得到预训练双重过滤残差网络模型。4.根据权利要求3所述的基于高频分量特征提取的乳腺组织oct图像分类方法，其特征在于，s3.1中，乳腺组织oct图像依次经初步过滤单元中三个级联的第一卷积层后得到原始特征图，原始特征图经通道和空间两个独立维度的计算，得到一个与原始特征图大小相同的注意力权重矩阵，将权重矩阵与原始特征图相乘以进行自适应特征细化，生成初步过滤后的图像特征信息，具体如下：对于初步过滤单元中的通道注意力机制来说，输入一张维度为c
×
h
×
w的原始特征图f后，经全局最大池化和全局平均池化，对应得到两组维度为c
×1×
1的特征图权重向量，即全局最大池化特征图权重向量f
max
和全局平均池化特征图权重向量f
avg
：f
max
＝globalmaxpool(f)＝1/w
×
h
×
max(f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)f
avg
＝globalavgpool(f)＝1/w
×
h
×
σ(f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，f代表输入的原始特征图，f∈r
c
×
h
×
w
，r代表实数，c代表通道数，h代表高度，w代表宽度，max(f)代表对原始特征图f中所有元素求最大值，σ(f)代表对原始特征图f中所有元素求和；再将得到的全局最大池化特征图权重向量f
max
和全局平均池化特征图权重向量f
avg
分别送入一个两层的mlp网络映射成每个通道的权重，将映射的权重相加后接sigmoid输出，得到维度为c
×1×
1的通道注意力机制权重m
c
(f
′
)，最后将其与维度为c
×
h
×
w的原始特征图f按通道相乘，得到经过通道注意力机制权重修正后的特征图f
′
：其中，
⊙
代表点乘操作，σ代表sigmoid函数，w0代表经过第一层mlp映射后的权重，w1代表经过第二层mlp映射后的权重；对于初步过滤单元中的空间注意力机制来说，经过通道注意力机制权重修正后的特征图f
′
按通道进行最大池化和平均池化，形成两个维度为1
×
h
×
w的特征向量，对两者进行堆叠后，得到维度为2
×
h
×
w的特征图空间权重；再经过卷积层，将映射后的权重相加后接sigmoid输出，得到维度为1
×
h
×
w的空间注意力机制权重m
s
(f
″
)，最后将其与原始特征图f相乘，使特征图上每一点都赋予权重，得到经过双维度注意力机制权重修正后的特征图f
″
：其中，f7×7代表大小为7
×
7的卷积核，f
′
max
代表特征图f
′
按通道进行最大池化得到的特征向量，f
′
avg
代表特征图f
′
按通道进行平均池化得到的特征向量。
5.根据权利要求4所述的基于高频分量特征提取的乳腺组织oct图像分类方法，其特征在于，s3.2中，深度过滤单元根据初步过滤后的图像特征的关联性，在特征提取时调整高低频分量特征的占比，对初步过滤后的图像特征信息进行多次过滤，生成深度过滤后的图像特征信息，具体如下：对于深度过滤单元中的八度卷积块来说，经过双维度注意力机制权重修正后的特征图f
″
分为高频部分x
h
和低频部分x
l
，这两部分顺次经过8组具有残差结构的八度卷积块，每组八度卷积块包括2层八度卷积层和bn层，八度卷积层的卷积核对应特征图中的高低频分量分成四个部分：高频到高频的卷积核w
h
→
h
，高频到低频的卷积核w
h
→
l
，低频到高频的卷积核w
l
→
h
，低频到低频的卷积核w
l
→
l
，其中α代表低频维度占比，取值在[0-1]之间，并且应为0.125的整数倍。6.根据权利要求5所述的基于高频分量特征提取的乳腺组织oct图像分类方法，其特征在于，经过双维度注意力机制权重修正后的特征图f
″
中的高频部分x
h
经过高频到高频的卷积核w
h
→
h
卷积后得到高频到高频的输出y
h
→
h
，低频部分x
l
经过低频到高频的卷积核w
l
→
h
卷积后再进行上采样操作将分辨率扩大四倍得到低频到高频的输出y
l
→
h
，y
h
→
h
和y
l
→
h
通过点加操作得到最终的高频输出特征图y
h
：：其中，n
k
代表一个集合，k为奇数，a，b均为集合n
k
中的实数，p代表特征图矩阵中的横坐标位置，q代表特征图矩阵中的纵坐标位置，(2
⊙
p+0.5+a),(2
⊙
q+0.5+b)代表上采样操作，t表示转置；经过双维度注意力机制权重修正后的特征图f
″
中的高频部分x
h
经过高频到低频的卷积核w
h
→
l
卷积后再进行池化操作降低分辨率得到高频到低频的输出y
h
→
l
，低频部分x
l
经过低频到低频的卷积核w
l
→
l
卷积后得到低频到低频的输出y
l
→
l
，y
h
→
l
和y
l
→
l
通过点加操作得到最终的低频输出特征图y
l
：其中，代表池化操作；将高频输出特征图y
h
和低频输出特征图y
l
相加，得到经八度卷积特征提取后的特征图y：
在8组八度卷积块之后再次连接双维度注意力机制，具体过程与s3.1相同，，最终得到深度过滤后的图像特征信息，即双重过滤后的特征图y
′
。7.根据权利要求6所述的基于高频分量特征提取的乳腺组织oct图像分类方法，其特征在于，s3.3中，gap层用于将深度过滤单元提取到的深度过滤后的图像特征信息映射到样本标记空间，在其之后连接一个包含512个节点的dense层，dense层将gap层的输出特征转化为1维向量，获取的图像特征的高层含义，再经softmax层将1维向量转化成概率分布，得到乳腺组织oct样本形状特征的多值标签信息，具体如下：对于图像分类单元来说，双重过滤后的特征图y
′
经过gap层后，被映射到样本空间；接着，通过一个具有512个节点的dense层，将gap层的输出特征转化成一个维度为n
g
×
1的的一维向量；其次，接softmax层，将维度为n
g
×
1的一维向量转化成概率分布，得到乳腺组织oct样本形状特征的多值标签信息。8.根据权利要求7所述的基于高频分量特征提取的乳腺组织oct图像分类方法，其特征在于，s3.4中，将softmax层转化的概率分布代入损失函数中，利用损失函数计算乳腺组织oct样本形状特征的多值标签信息与预定义类别的相似度，并通过链式法则，计算损失对于模型参数的梯度，从而更新双重过滤残差模型的整体参数，经过多次拟合更新，最终得到预训练双重过滤残差网络模型，具体如下：通过交叉熵损失函数loss计算乳腺组织oct样本形状特征的多值标签信息与预定义类别的相似度：其中，p
nc
表示乳腺组织oct图像训练样本集数据n预测为类别c类的概率，y
nc
表示训练样本集数据n是否为真实类别c，若是则为1，若不是则为0；n
train
表示训练样本集数据的数量；根据链式法则，计算当前层输出对于前一层输出的梯度，然后通过该梯度与前一层输出对于前一层参数的梯度的乘积，得到当前层输出对于前一层参数的梯度。这样逐层向前计算梯度，计算每个参数的局部梯度，直到反向传递到第一卷积层，更新模型整体参数，经过多次拟合更新，最终得到预训练双重过滤残差网络模型。9.根据权利要求8所述的基于高频分量特征提取的乳腺组织oct图像分类方法，其特征在于，步骤s4、将不带标签的验证样本集输入预训练双重过滤残差网络模型，利用乳腺组织oct图像验证样本集对预训练双重过滤残差网络模型性能进行验证，得到双重过滤残差网络模型，具体如下：在双重过滤残差模型的训练过程中，每经过n
e
个周期就将验证样本集代入预训练双重过滤残差网络模型中验证并保存模型参数，1<n
e
<51，若本次验证样本集的分类准确度高于上一次，便保存本次模型的参数；若低于上一次，便舍弃，这样可以有效防止模型因训练样本集数量过少而导致的过拟合现象，最终得到双重过滤残差网络模型。

技术总结
本发明公开了一种基于高频分量特征提取的乳腺组织OCT图像分类方法，步骤如下：采集并预处理乳腺组织OCT图像，得到待识别的乳腺组织OCT图像数据集，利用训练好的双重过滤残差网络模型对乳腺组织OCT图像进行目标识别，得到分类结果。本发明结合双维度注意力机制、八度卷积、和残差单元构建“双重过滤”残差网络模型，模型在提取图像特征时能调整高低频分量特征的占比，通过适当增加高频分量占比，减少低频特征在空间维度上的信息冗余，显著提高乳腺组织OCT图像分类的准确度和稳定性，对于结构相似度高的乳腺组织OCT图像表现出优异的分类精度和鲁棒性。精度和鲁棒性。精度和鲁棒性。


技术研发人员：朱丹 丁李昊 高志山 袁群 郭珍艳 马燚岑
受保护的技术使用者：南京理工大学
技术研发日：2023.07.21
技术公布日：2023/9/20