一种感染性肾结石的网络评估方法

1.本发明涉及一种利用人工智能的预测方法，具体地说是一种感染性肾结石的网络评估方法。


背景技术：

2.感染性肾结石又称为鸟粪石，是指由可产生脲酶的微生物感染所引起的结石，该结石主要由磷酸镁铵和碳酸磷灰石组成，约占尿路结石总体的15％。感染性肾结石具有生长速度极快，复发率较高的特点，如果不积极治疗，还易发展为慢性肾盂肾炎，严重者会导致肾功能衰竭和尿源性败血症。目前，对感染性肾结石的各种治疗方案普遍存在的问题是，无法预防术后感染，病情严重者甚至会出现感染性休克。因此，在制定治疗方案时，需要对结石是否具有感染性进行预判，从而根据病情和患者意愿选择相应的治疗方案。
3.由于针对肾结石的医学检查图像比较复杂，对比度较低，医生需要经过长期的知识培训和多年的经验积累，才可能做出较为准确的观察和诊断。近年来，深度学习cnn技术已在图像处理方面显示出较大的优势，但由于肾结石的体积较小，特征反映不是十分明显，因此，即使借助深度学习cnn技术，也难以在术前对感染性肾结石做出很好的评估和预判。


技术实现要素：

4.本发明的目的就是提供一种感染性肾结石的网络评估方法，以解决深度学习cnn技术对于感染性肾结石在术前不能做出很好的评估和预判的问题。
5.本发明的目的是这样实现的：
6.一种感染性肾结石的网络评估方法，包括以下步骤：
7.s1.构建结石数据集：采集肾结石和感染性肾结石的petct样本图像数据，对样本图像数据进行包括匿名化、数据清洗、数据集标注和数据增强在内的预处理操作，经预处理操作后即构建成结石数据集；
8.s2.构建网络模型：所述网络模型是以一个能够输出多尺度特征图且带有fpn的retinanet网络为基础，带有一个用于分类的检测头和一个用于回归的检测头；在retinanet网络中引入querydet方法和ca注意力机制，并在small object query查询头中添加ca注意力机制；
9.s3.训练优化网络模型：采用迁移学习加载深度学习模型，在预训练权重后，对网络模型进行迭代训练，相应的网络参数包括：迭代周期为200个，mini-batch size为16，初始化学习率为0.01，并每隔30个迭代周期衰减为原来的1/10，损失函数采用focalloss，优化器采用随机梯度下降法；如此得到改进后的网络模型；
10.s4.评估模型：在测试集上对改进后的网络模型的性能进行内部评估及优化，在测试集上对改进后的网络模型使用包括精确率p、召回率r、平均精确率ap和平均精度均值map在内的指标对模型性能进行评估，并对网络参数进行优化调整。
11.进一步地，步骤s2中的在retinanet网络中引入querydet方法的具体方式包括以
下子步骤：
12.s2-11在网络模型中添加一个与分类和回归头并行的查询头，将步幅为2
l
的特征图p
l
输入该查询头，查询头输出一个热图用以表示网格(i,j)包含一个小目标的概率；
13.s2-12训练期间，每个级别上的小目标设定为规模小于预定义阈值s
l
设置为p
l
上的最小锚定尺度；
14.s2-13对于一个小目标o，通过计算其中心位置(xo,yo)与特征图上每个位置之间的距离来编码query head的目标图，并将距离小于预定义阈值s
l
的位置设置为1，否则，设为0；
15.s2-14使用focalloss对查询头进行训练，在训练过程中，选择预测分数大于阈值σ的位置作为查询，然后，l层针对小目标o的查询头将被映射到其在特征金字塔l-1层p
l-1
上的四个最近邻，作为关键位置
[0016][0017]
其中，(x,y)为l层针对小目标o的位置坐标；
[0018]
s2-15收集特征金字塔l-1层p
l-1
上的所有关键位置以形成关键位置集{k
l-1
}；
[0019]
s2-16随后三个头将只处理这些位置，以检测目标并计算下一层的查询，即使用关键位置集{k
1-1
}作为索引，从特征金字塔l-1层p
l-1
中提取特征，以构建值特征value features的稀疏张量
[0020]
s2-17使用4-conv dense heads的权重，构建稀疏卷积(spconv)内核，以计算特征金字塔l-1层p
l-1
的结果。
[0021]
进一步地，步骤s2中在retinanet网络中引入ca注意力机制的具体方式包括以下子步骤：
[0022]
s2-21对输入特征图从宽度(w)和高度(h)两个方向上分别进行全局平均池化，以获得宽度方向的特征图zw和高度方向的特征图zh；
[0023]
s2-22将宽度方向的特征图zw和高度方向的特征图zh拼接(concat)在一起，送入1
×
1卷积核进行卷积处理，以将其维度降低为原来的c/r，形成批量归一化处理的特征图f1；
[0024]
s2-23将批量归一化处理后的特征图f1送入sigmoid激活函数，得到形如1
×
(w+h)
×
c/r的特征图f，将特征图f按照原来的宽度(w)和高度(h)送入1
×
1卷积核进行卷积处理，得到通道数与原来一样的特征图fw、fh；
[0025]
s2-24在特征图fh、fw经过sigmoid激活函数处理后，即得到特征图在高度(h)方向上的注意力权重gh以及在宽度(w)方向的注意力权重gw：
[0026]gh
＝σ(fh(fh))
[0027]gw
＝σ(fw(fw))
[0028]
s2-25在原始特征图上通过乘法加权计算，得到最终在宽度和高度方向上均带有注意力权重的特征图：
[0029][0030]
其中，网络中的任意中间特征张量：x＝[x1,x2,
…
,xc]∈rh×w×c，在进行转化变化后
输出同样尺寸的张量：y＝[y1,y2,
…
,yc]∈rh×w×c；gh为输入特征图在高度方向的注意力权重，gw为输入特征图在宽度方向的注意力权重。
[0031]
进一步地，步骤s4对模型的评估，是使用如下目标检测通用评估指标分析网络模型的性能：
[0032]
精确率p：
[0033]
召回率r：
[0034]
平均精确率ap：以及
[0035]
平均精度均值map；
[0036]
其中，tp为iou大于设定阈值的检测框数量；fp为iou小于等于设定阈值的检测框；fn表示没有检测到真实框的数目；map为多个类别的平均精确率ap的平均精度均值。
[0037]
本发明通过对retinanet网络进行改进，克服了原始retinanet网络针对小目标预测准确度较低的问题。通过在改进的retinanet网络中使用querydet方法以及引进ca注意力机制，可先在低分辨率特征上预测小目标的粗略位置，然后利用由这些粗略位置稀疏引导的高分辨率特征计算，增强了网络对小目标的感知能力；通过引入ca注意力机制可以加强特征提取能力，进一步提高了主干网络的感受野，加强了对小目标的预测。本发明有利于对感染性肾结石在术前做出预判，帮助青年医生更好地做出判断。
附图说明
[0038]
图1是retinanet网络的结构示意图。
[0039]
图2是se注意力机制和cbam注意力机制的示意图。
[0040]
图3是ca注意力机制的示意图。
[0041]
图4是querydet方法图。
[0042]
图5是本发明网络模型的结构示意图。
具体实施方式
[0043]
下面结合附图及实施例对本发明做进一步详述。
[0044]
如图1所示，本发明选用retinanet网络，其结构主要包括：backbone，neck和head。本发明选用resnet50作为backbone。neck模块为fpn网络结构，fpn模块接收c3，c4，c5三个特征图，输出p
2-p7五个分支，即五个特征图，通道数都是256，stride为(8，16，32，64，128)，其中，大stride用于检测大物体，小stride用于检测小物体。head为预测头网络，head模块包括分类和位置检测两个分支，每个分支都包括有4个卷积层。
[0045]
一、引入ca注意力机制
[0046]
注意力机制原理是通过权重大小控制检测图片信息的侧重点，有效的提高了模型的性能，并且一定程度上降低了计算量。如图2所示，bam和cbam作为一种空间与通道相结合的注意力机制模块，试图通过减少输入张量的通道维数，然后使用卷积计算空间注意力，来利用位置信息，然而，卷积只能捕获局部关系，但无法建模对视觉任务至关重要的长期依赖关系。
[0047]
ca模块沿着水平和垂直的空间方向编码特征图的通道信息，既能获取到空间方向
的长期依赖关系，还能保存精确的位置信息，同时扩大网络的全局感受野。
[0048]
如图3所示，ca注意力机制的实现过程是，利用两个1d全局池操作，分别将沿垂直和水平方向的输入特征聚合为两个单独的方向性特征图，然后将这两个具有嵌入的方向特定信息的特征图分别编码为两个关注图，每个关注图用于捕获输入特征图沿一个空间方向的长距离相关性。因此，位置信息可以被保存在生成的注意力图中，然后通过乘法将两个注意力图应用于输入特征图，以强调感兴趣的表示。
[0049]
引入ca注意力机制的具体方式是：先将输入特征图分为宽度(w)和高度(h)两个方向沿着x轴和y轴进行全局平均池化，分别获得在宽度和高度两个方向的特征图zh、zw，接着将这两个特征图拼接(concat)在一起，之后将它们送入conv2d的卷积模块，将其维度降低为原来的c/r，然后将经过批量归一化处理的特征图f1送入sigmoid激活函数，得到形如1
×
(w+h)
×
c/r的特征图f，接着将特征图f按照原来的高度(h)和宽度(w)进行卷积核为conv2d的卷积，分别得到通特征图fh和fw，在经过sigmoid激活函数后，分别得到特征图在高度(h)方向上的注意力权重gh，以及在宽度(w)方向的注意力权重gw。最后，在原始特征图上通过乘法加权计算，将得到最终在宽度方向和高度方向上带有注意力权重的特征图，进而加强了特征图的表示能力。
[0050]
二、使用querydet方法训练
[0051]
如图4所示，使用querydet方法的网络首先在低分辨率特征上预测小目标的粗略位置，然后使用由这些粗略位置稀疏引导的高分辨率特征，计算准确的检测结果。这样，不仅可以收获高分辨率特征图的好处，还可以避免对背景区域进行无用的计算。
[0052]
本发明感染性肾结石的网络评估方法的具体的实现方式包括构建结石数据集、构建网络模型、训练优化网络模型以及评估模型这四个步骤。
[0053]
1、构建结石数据集：先是采集肾结石和感染性肾结石petct样本图像数据，对样本图像数据进行包括匿名化、数据清洗、数据集标注和数据增强在内的预处理操作，经预处理操作后即构建成结石数据集。
[0054]
(1)数据收集：回顾性收集来自医院感染性结石和非感染性结石数据。
[0055]
纳入标准：患者术前已签署知情同意书。
[0056]
匿名化：对所有影像进行图像信息匿名化处理。
[0057]
(2)数据清洗：为了提高模型的特征提取能力和识别结果，清洗掉包含模糊、体积过小等的ct影像。
[0058]
(3)数据集标注：由经验丰富的医师对经数据清洗后的样本数据，将结石成分区分并将结石区域标出。
[0059]
(4)数据集划分：将标注后的结石数据集按照7︰1︰2的比例，分为训练集、验证集和测试集。
[0060]
(5)数据增强：为提高模型的泛化能力，采用旋转、裁切、放缩、动态模糊等技术对训练集进行数据增强。
[0061]
2、构建网络模型：
[0062]
如图5所示，搭建的网络模型是以一个能够输出多尺度特征图且带有fpn的retinanet网络为基础，带有一个用于分类的检测头和一个用于回归的检测头。在retinanet网络中引入querydet方法和ca注意力机制，即在small object query查询头添
加ca注意力机制。即将ca注意力机制模块添加至级联稀疏查询头，以加强特征提取能力，提高增强主干网络的感受野，更好地检测小目标结石。
[0063]
在retinanet网络中引入querydet方法的具体方式包括以下子步骤：
[0064]
(1)在网络模型中添加一个与分类和回归头并行的查询头，将步幅为2
l
的特征图p
l
输入该查询头，查询头输出一个热图用以表示网格(i,j)中包含一个小目标的概率。
[0065]
(2)在训练期间，每个级别上的小目标设定为规模小于预定义阈值s
l
设置为p
l
上的最小锚定尺度，对于无锚定检测器，它设置为p
l
上的最小回归范围。
[0066]
(3)对于一个小目标o，通过计算其中心位置(xo,yo)与特征图上每个位置之间的距离来编码query head的目标图，并将距离小于预定义阈值s
l
的位置设置为1，否则，设为0。
[0067]
(4)使用focalloss对查询头进行训练，在训练过程中，选择预测分数大于阈值σ的位置作为查询，然后，l层针对小目标o的查询头将被映射到其在特征金字塔l-1层p
l-1
上的四个最近邻，作为关键位置
[0068][0069]
其中，(x,y)为l层针对小目标o的位置坐标。
[0070]
(5)收集特征金字塔l-1层p
l-1
上的所有关键位置以形成关键位置集{k
l-1
}。
[0071]
(6)随后三个头将只处理这些位置以检测目标并计算下一层的查询，具体来说，使用关键位置集{k
l-1
}作为索引，从特征金字塔l-1层p
l-1
中提取特征，以构建值特征value features的稀疏张量
[0072]
(7)使用4-conv dense heads的权重，构建稀疏卷积(spconv)内核，以计算特征金字塔l-1层p
l-1
的结果。
[0073]
在retinanet网络中引入ca注意力机制的具体方式包括以下子步骤：
[0074]
(1)对输入特征图从宽度(w)和高度(h)两个方向上分别进行全局平均池化，以获得宽度方向的特征图zw和高度方向的特征图zh：
[0075][0076][0077]
(2)将宽度方向的特征图zw和高度方向的特征图zh拼接(concat)在一起，送入1
×
1卷积核进行卷积处理，以将其维度降低为原来的c/r，形成批量归一化处理的特征图f1。
[0078]
(3)将批量归一化处理后的特征图f1送入sigmoid激活函数，得到形如1
×
(w+h)
×
c/r的特征图f：
[0079]
f＝δ(f1([zh,zw]))
[0080]
将特征图f按照原来的宽度(w)和高度(h)送入1
×
1卷积核进行卷积处理，得到通道数与原来一样的特征图fw、fh。
[0081]
(4)在特征图fh、fw经过sigmoid激活函数处理后，即得到特征图在高度(h)方向上的注意力权重gh以及在宽度(w)方向的注意力权重gw：
[0082]gh
＝σ(fh(fh))
[0083]gw
＝σ(fw(fw))
[0084]
经过上述计算后将会得到输入特征图在高度方向的注意力权重gh和在宽度方向的注意力权重gw。
[0085]
(5)在原始特征图上通过乘法加权计算，得到最终在宽度和高度方向上均带有注意力权重的特征图：
[0086][0087]
其中，网络中的任意中间特征张量：x＝[x1,x2,
…
,xc]∈rh×w×c，在进行转化变化后输出同样尺寸的张量：y＝[y1,y2,
…
,yc]∈rh×w×c；gh为输入特征图在高度方向的注意力权重，gw为输入特征图在宽度方向的注意力权重。
[0088]
3、训练优化网络模型：以验证优化参数，提高识别效果。
[0089]
其具体步骤是：采用迁移学习加载深度学习模型，预训练权重后，对网络模型进行迭代训练，相应的网络参数如下：迭代周期为200个，mini-batch size为16，初始化学习率为0.01，并每隔30迭代周期衰减为原来的1/10，损失函数采用focalloss，优化器采用随机梯度下降法。经训练优化后，即得到改进后的网络模型。
[0090]
4、评估模型：在测试集上对改进后的网络模型使用包括精确率p、召回率r、平均精确率ap和平均精度均值map在内的指标对模型性能进行评估，并对网络参数进行优化调整。
[0091]
具体是使用目标检测通用评估指标来分析改进的retinanet模型的性能，分别为精确率p、召回率r、平均精确率ap、平均精度均值map几项性能指标评判算法的性能：
[0092]
精确率p：
[0093]
召回率r：
[0094]
平均精确率ap：
[0095]
平均精度均值map；
[0096]
其中，tp为iou大于设定阈值的检测框数量；fp为iou小于等于设定阈值的检测框；fn表示没有检测到真实框的数目；map为多个类别的平均精确率ap的平均精度均值。

技术特征：
1.一种感染性肾结石的网络评估方法，其特征是，包括以下步骤：s1.构建结石数据集：采集肾结石和感染性肾结石的petct样本图像数据，对样本图像数据进行包括匿名化、数据清洗、数据集标注和数据增强在内的预处理操作，经预处理操作后即构建成结石数据集；s2.构建网络模型：所述网络模型是以一个能够输出多尺度特征图且带有fpn的retinanet网络为基础，带有一个用于分类的检测头和一个用于回归的检测头；在retinanet网络中引入querydet方法和ca注意力机制，并在small object query查询头中添加ca注意力机制；s3.训练优化网络模型：采用迁移学习加载深度学习模型，在预训练权重后，对网络模型进行迭代训练，相应的网络参数包括：迭代周期为200个，mini-batch size为16，初始化学习率为0.01，并每隔30个迭代周期衰减为原来的1/10，损失函数采用focalloss，优化器采用随机梯度下降法；如此得到改进后的网络模型；s4.评估模型：在测试集上对改进后的网络模型使用包括精确率p、召回率r、平均精确率ap和平均精度均值map在内的指标对模型性能进行评估，并对网络参数进行优化调整。2.根据权利要求1所述的感染性肾结石的网络评估方法，其特征是，步骤s2中的在retinanet网络中引入querydet方法的具体方式包括以下子步骤：s2-11在网络模型中添加一个与分类和回归头并行的查询头，将步幅为2
l
的特征图p
l
输入该查询头，查询头输出一个热图用以表示网格(i,j)中包含一个小目标的概率；s2-12在训练期间，每个级别上的小目标设定为规模小于预定义阈值s
l
设置为p
l
上的最小锚定尺度；s2-13对于一个小目标o，通过计算其中心位置(x
o
,y
o
)与特征图上每个位置之间的距离来编码query head的目标图，并将距离小于预定义阈值s
l
的位置设置为1，否则，设为0；s2-14使用focalloss对查询头进行训练，在训练过程中，选择预测分数大于阈值σ的位置作为查询，然后，l层针对小目标o的查询头将被映射到其在特征金字塔l-1层p
l-1
上的四个最近邻，作为关键位置近邻，作为关键位置其中，(x,y)为l层针对小目标o的位置坐标；s2-15收集特征金字塔l-1层p
l-1
上的所有关键位置以形成关键位置集{k
l-1
}；s2-16使用关键位置集{k
l-1
}作为索引，从特征金字塔l-1层p
l-1
中提取特征，以构建值特征value features的稀疏张量s2-17使用4-conv dense heads的权重，构建稀疏卷积(spconv)内核，以计算特征金字塔1-1层p
l-1
的结果。3.根据权利要求1所述的感染性肾结石的网络评估方法，其特征是，步骤s2中在retinanet网络中引入ca注意力机制的具体方式包括以下子步骤：s2-21对输入特征图从宽度(w)和高度(h)两个方向上分别进行全局平均池化，以获得宽度方向的特征图z
w
和高度方向的特征图z
h
；s2-22将宽度方向的特征图z
w
和高度方向的特征图z
h
拼接(concat)在一起，送入1
×
1卷
积核进行卷积处理，以将其维度降低为原来的c/r，形成批量归一化处理的特征图f1；s2-23将批量归一化处理后的特征图f1送入sigmoid激活函数，得到形如1
×
(w+h)
×
c/r的特征图f，将特征图f按照原来的宽度(w)和高度(h)送入1
×
1卷积核进行卷积处理，得到通道数与原来一样的特征图f
w
、f
h
；s2-24在特征图f
h
、f
w
经过sigmoid激活函数处理后，即得到特征图在高度(h)方向上的注意力权重g
h
以及在宽度(w)方向的注意力权重g
w
：g
h
＝σ(f
h
(f
h
))g
w
＝σ(f
w
(f
w
))s2-25在原始特征图上通过乘法加权计算，得到最终在宽度和高度方向上均带有注意力权重的特征图：其中，网络中的任意中间特征张量：x＝[x1，x2，...，x
c
]∈r
h
×
w
×
c
，在进行转化变化后输出同样尺寸的张量：y＝[y1，y2，...，y
c
]∈r
h
×
w
×
c
；g
h
为输入特征图在高度方向的注意力权重，g
w
为输入特征图在宽度方向的注意力权重。4.根据权利要求1所述的感染性肾结石的网络评估方法，其特征是，步骤s4对模型的评估，是使用如下目标检测通用评估指标分析网络模型的性能：精确率p：召回率r：平均精确率ap：以及平均精度均值map；其中，tp为iou大于设定阈值的检测框数量；fp为iou小于等于设定阈值的检测框；fn表示没有检测到真实框的数目；map为多个类别的平均精确率ap的平均精度均值。

技术总结
本发明涉及一种感染性肾结石的网络评估方法，包括以下步骤：S1.构建结石数据集；S2.构建网络模型；S3.训练优化网络模型；S4.评估模型。本发明通过对retinanet网络进行改进，克服了原始retinanet网络针对小目标预测准确度较低的问题。通过在改进的retinanet网络中使用QueryDet方法以及引进CA注意力机制，可先在低分辨率特征上预测小目标的粗略位置，然后利用由这些粗略位置稀疏引导的高分辨率特征计算，增强了网络对小目标的感知能力；通过引入CA注意力机制可以加强特征提取能力，进一步提高了主干网络的感受野，加强了对小目标的预测。本发明有利于对感染性肾结石在术前做出预判，帮助青年医生更好地做出判断。助青年医生更好地做出判断。助青年医生更好地做出判断。


技术研发人员：杨昆 魏韵珂 刘琨 刘爽 薛林雁 李乐华 于海韵
受保护的技术使用者：河北大学
技术研发日：2023.06.28
技术公布日：2023/9/25