一种基于边界监督和时序关联的内窥镜息肉分割方法与流程

1.本发明涉及医学图像分割处理技术领域，特别涉及一种基于边界监督和时序关联的内窥镜息肉分割方法。


背景技术：

2.结直肠癌发病率多年来位居癌症发病率的世界第三，已严重危害人民生命健康。当前预防结直肠癌最有效的方式就是定期进行内窥镜检查并及时进行息肉切除手术。计算机辅助检测系统可以实时地在内窥镜视频中显示息肉的位置，辅助内窥镜医生进行诊断，从而可以减少息肉被漏诊或误诊的概率。近年来，利用深度学习进行医学图像分割和语义分割任务取得很大进展，可以很大程度上提高息肉分割的准确性。
3.对于不同的息肉，形状、大小、颜色和纹理也各不相同，医生需要根据不同形状、大小的息肉来判断病人的病变情况，就需要对息肉进行准确分割，从而可以对息肉的形状和大小以及息肉所在的位置进行直观的观察，从而能够更好地对病人进行疾病诊断，并且能够更好地进行息肉切除手术。
4.然而针对内窥镜下的息肉分割模型，目前还面临以下挑战：一是由于部分息肉的颜色和质地与周围环境组织非常相似，对比度低，显示不明显，导致息肉在边界部分的分割性能下降，对息肉边界的准确分割造成了挑战；二是许多现有的分割方法忽略了内窥镜检查过程中有价值的时间线索，导致分割模型无法充分利用时间信息，对息肉的准确分割造成了挑战。


技术实现要素：

5.本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于边界监督和时序关联的内窥镜息肉分割方法，以解决上述背景技术中提出的问题。
6.一种基于边界监督和时序关联的内窥镜息肉分割方法，包括以下步骤：
7.步骤s1、获取历史的内窥镜息肉视频数据，并对包含息肉部分的视频数据进行数据标注，得到息肉分割的真实mask标签，并生成相应的边界mask标签，同时形成数据集；
8.步骤s2、基于边界监督和时序关联构建内窥镜息肉分割模型，所述内窥镜息肉分割模型包括边界监督模块，以及时序关联模块；
9.步骤s3、将标注后得到的数据集输入内窥镜息肉分割模型进行训练并得到预测分割结果，再根据获得息肉分割的真实mask标签和生成的边界mask标签计算损失函数，同时利用adamw优化器优化模型参数，进行多轮迭代优化后得到最优的内窥镜息肉分割模型；
10.步骤s4、将得到的最优的内窥镜息肉分割模型进行模型部署；
11.步骤s5、实时获取内窥镜息肉图像数据，并输入部署完成的内窥镜息肉分割模型中，得到内窥镜息肉分割结果，确定息肉位置辅助诊断。
12.作为本发明的进一步的方案：所述步骤s1中的具体步骤包括：
13.步骤s11、采集医院各类历史的内窥镜息肉视频数据；
14.步骤s12、利用交互式分割标注工具对获取包含息肉部分的内窥镜息肉视频数据进行数据标注，得到息肉部分的二值化分割mask标签；
15.步骤s13、再利用得到的息肉二值化分割mask标签生成相应的边界mask标签；
16.步骤s14、将内窥镜息肉视频数据进行视频分帧成图像形式的息肉图像数据，并对分帧后的图像缩放至预设大小，再进行随机角度旋转，随机水平或垂直翻转，随机亮度、饱和度、对比度调整，对息肉图像进行数据增强，得到数据集；
17.步骤s15、再依据预设比例4:1对数据集进行划分，得到训练集和验证集。
18.作为本发明的进一步的方案：所述步骤s2中的具体步骤包括：
19.s21、构建边界监督模块，将输入的浅层特征图首先利用快速傅里叶变换和高通滤波器来提取特征图当中的边界高频信息得到高频边界特征图，具体公式为：
[0020][0021]
其中，x为输入边界监督模块的特征图，fft(
·
)和fft-1
(
·
)分别表示快速傅里叶变换和其逆变换，表示高通滤波器，xh为输出的只保留边界信息的高频边界特征图；
[0022]
然后将该高频边界特征图分别通过1
×
1，膨胀系数为1的卷积，3
×
3，膨胀系数为1的卷积，3
×
3，膨胀系数为3的卷积，3
×
3，膨胀系数为5的卷积，利用这四路卷积来提取不同尺度的有用的边界信息从而消除高频边界特征图中的背景噪声；
[0023]
之后通过1
×
1的卷积调整通道数得到精细边界mask标签，并将该精细边界mask标签和输入模块的特征图融合得到增强边界后的边界强化特征图；
[0024]
s22、构建时序关联模块，每帧息肉图像经过模型后都会产生其对应的息肉预测二值化mask标签，记为a∈r1×h×w，将输入该模块的特征图记为f∈rc×h×w，也就是每帧息肉经过backbone所得到的最后一层特征图，其中c为输入特征图的通道数，h
×
w为特征图的大小，利用a和f可以分别生成息肉原型和背景原型，分别记为p和b，具体公式为：
[0025]
p＝mean(a
×
f)；
[0026]
b＝mean((1-a)
×
f)；
[0027]
其中，
×
为两个矩阵的逐像素相乘，mean(
·
)为对每个通道的矩阵中所有的矩阵元素取平均值；
[0028]
将得到的p和b一起存入内存中，除第一帧息肉以外，之后的每帧息肉都会利用交叉注意力机制将对应的f结合内存中所存储的所有原型来辅助当前帧的息肉分割，首先将f分别做两个1
×
1的卷积，并将h
×
w拉直为hw得到两个特征向量qk∈rc×
hw
和qv∈rc×
hw
，将内存中的每个原型也分别做卷积得到对应的特征向量mk∈rn×c和mv∈rn×c，其中n为内存中原型的数量，之后就是将qk和所有原型中的mk进行相似度计算，并使用softmax归一化：
[0029][0030]
其中，代表矩阵乘法，s∈rn×
hw
代表相似度矩阵，之后将转置后的mv和相似度矩阵相乘得到特征图，并和qv相加得到该模块最终输出的特征图：
[0031][0032]
其中，t代表转置，表示将c
×
hw维度还原回c
×h×
w,f
′
∈rc×h×w表示最终的输出特征图。
[0033]
作为本发明的进一步的方案：所述步骤s3中的具体步骤包括：
[0034]
s31、将得到的数据集的训练集输入至内窥镜息肉分割模型中进行训练，并计算损失函数，利用adamw优化器对网络参数进行优化，其中损失函数l设置为：
[0035]
l＝l
edge
+l
mask
；
[0036]
其中，l
edge
代表边界监督的损失，通过计算边界监督模块所得到的精细边界mask标签与之前所生成的真实边界mask标签的bce loss得到：
[0037][0038]
其中，n为整个图像的像素点个数，i表示每一个像素，mi表示真实边界mask标签，表示边界监督模块所得到的精细边界mask标签，l
mask
代表预测息肉二值化mask的损失，公式为：
[0039]
l
mask
＝l
bce
+l
iou
+l
dice
；
[0040]
其中，l
bce
为模型预测的mask标签和之前标注的真实mask标签直接的二值交叉熵损失，l
iou
为iou损失，l
dice
为dice损失，具体计算分别如下：
[0041][0042][0043][0044]
其中，n为整个图像的像素点个数，i表示每一个像素，yi表示真实息肉二值化mask标签，表示模型预测输出的息肉mask标签；
[0045]
s32、利用数据集的验证集测试训练完成后的内窥镜息肉分割模型的分割性能，并筛选出最优模型，模型每训练一个epoch后都会将参数保存至相应的模型文件中；
[0046]
在测试的过程中，从对应的模型文件中加载参数至模型中，并将验证集数据输入至模型中得到模型预测输出的息肉mask标签，并与真实的二值化mask标签计算dice和iou，计算公式分别如下：
[0047][0048][0049]
其中，tp为预测准确的区域，fp为预测为true实际为false的区域，即假阳性区域，fn为预测为false实际为true的区域，即假阴性区域；
[0050]
最后选取最高的dice和iou所对应的模型参数文件作为最优的内窥镜息肉分割模型输出。
[0051]
作为本发明的进一步的方案：所述步骤s4中的具体步骤包括：
[0052]
步骤s41、将得到的最优内窥镜息肉分割模型转移至对应型号的开发板中，并利用torch2trt工具在开发板中将模型转化为fp16精度的tensorrt模型；
[0053]
步骤s42、在开发板中基于qt框架编写tensorrt模型的部署和推理代码，用于对输入的实时息肉图像进行正确图像分割。
[0054]
作为本发明的进一步的方案：所述步骤s5中的具体步骤包括：
[0055]
步骤s51、将部署好内窥镜息肉分割模型的开发板设置于内窥镜设备系统；
[0056]
步骤s52、实时获取内窥镜息肉图像数据，并输入部署好的内窥镜息肉分割模型中，并实时输出包含息肉图像的内窥镜息肉分割结果；
[0057]
步骤s53、根据得到的内窥镜息肉分割结果确定息肉的形状、大小，以及所在的位置，辅助医生对患者病情进行诊断。
[0058]
与现有技术相比，本发明存在以下技术效果：
[0059]
采用上述的技术方案，通过基于边界监督和时序关联构建内窥镜息肉分割模型，通过两个模块，利用边界监督模块，通过快速傅里叶变换和高通滤波器提取浅层特征图中的高频边界信息，并利用不同尺度的四路卷积来去除高频边界信息中的背景噪声信息，最终得到精细化的边界mask来对息肉的边界分割进行额外监督，从而更好地帮助模型完成对息肉边界处的分割。利用时序关联模块，将之前帧的息肉分割结果分别以息肉原型和背景原型保存至内存中，在之后的息肉分割的过程中会结合内存中所有的原型来利用之前帧的分割信息辅助当前帧的息肉分割，利用时序信息更好地提升视频息肉分割的性能。
[0060]
从而得到最优的内窥镜息肉分割模型，解决了现有技术中导致息肉在边界部分的分割性能下降，对息肉边界的分割不准确，以及导致分割模型无法充分利用时间信息的问题。实现了实时识别分割内窥镜息肉图像数据，辅助医生对患者进行准确诊断。
附图说明
[0061]
下面结合附图，对本发明的具体实施方式进行详细描述：
[0062]
图1为本技术公开实施例的内窥镜息肉分割方法的步骤示意图；
[0063]
图2为本技术公开实施例的基于边界监督和时序关联的内窥镜息肉分割方法整体网络结构图；
[0064]
图3为本技术公开实施例的边界监督模块结构图；
[0065]
图4为本技术公开实施例的时序关联模块结构图；
[0066]
图5为本技术公开实施例的时序关联模块中交叉注意力机制计算图；
[0067]
图6为本技术公开实施例的息肉分割模型对息肉分割的结果图。
具体实施方式
[0068]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0069]
请参考图1，本发明实施例中，一种基于边界监督和时序关联的内窥镜息肉分割方法，包括以下步骤：
[0070]
步骤s1、获取历史的内窥镜息肉视频数据，并对包含息肉部分的视频数据进行数据标注，得到息肉分割的真实mask标签，并生成相应的边界mask标签，同时形成数据集，具体步骤包括：
[0071]
步骤s11、可从不同医院采集各类历史的内窥镜息肉视频数据；
[0072]
步骤s12、利用交互式分割标注工具mivos对获取包含息肉部分的内窥镜息肉视频
数据进行数据标注，得到息肉部分的二值化分割mask标签；
[0073]
步骤s13、再利用得到的息肉二值化分割mask标签生成相应的边界mask标签；
[0074]
步骤s14、将内窥镜息肉视频数据进行视频分帧成图像形式的息肉图像数据，并对分帧后的图像，通过线性插值方法，缩放至320
×
320大小，再进行随机角度旋转，随机水平或垂直翻转，随机亮度、饱和度、对比度调整等方法，对息肉图像进行数据增强，得到数据集；
[0075]
步骤s15、再依据预设比例4:1对数据集中的图像进行划分，得到训练集和验证集。
[0076]
步骤s2、基于边界监督和时序关联构建内窥镜息肉分割模型，所述内窥镜息肉分割模型包括边界监督模块，以及时序关联模块；
[0077]
如图2所示，使用segnext中的多尺度卷积注意网络mscan作为特征提取主干网络，会生成一系列的特征图，将最浅层的特征图输入至边界监督模块，并利用快速傅里叶变换和高通滤波器提取特征图中的边界高频信息得到高频边界特征图，之后将高频边界特征图通过四路卷积来进行多尺度层级融合去除背景噪声，并最终通过一层1
×
1卷积来得到去噪后的精细化边界mask，并利用这个mask来约束模型的分割边界，从而来提升息肉边界分割性能，之后还需将该边界mask与原特征图相加得到增强边界后的特征图并继续往之后的网络传递。在每帧息肉分割得到最终的mask之后，分别用主干网络提取得到的最后一层特征图结合息肉和背景的mask分别生成息肉原型和背景原型保存至内存中，除了第一帧进行正常的息肉图像分割外，之后的息肉分割都将利用交叉注意力机制结合内存中的原型来辅助当前帧的息肉分割，得到时序关联后的特征图，最后将该特征图通过decoder层得到最终的息肉分割结果。
[0078]
边界监督模块，以及时序关联模块的具体构建步骤包括：
[0079]
s21、构建边界监督模块，如图3所示，图示为边界监督模块结构图，将输入的浅层特征图首先利用快速傅里叶变换和高通滤波器来提取特征图当中的边界高频信息得到高频边界特征图，具体公式为：
[0080][0081]
其中，x为输入边界监督模块的特征图，fft(
·
)和fft-1
(
·
)分别表示快速傅里叶变换和其逆变换，表示高通滤波器，xh为输出的只保留边界信息的高频边界特征图；
[0082]
然后将该高频边界特征图分别通过1
×
1，膨胀系数为1的卷积，3
×
3，膨胀系数为1的卷积，3
×
3，膨胀系数为3的卷积，3
×
3，膨胀系数为5的卷积，利用这四路卷积来提取不同尺度的有用的边界信息从而消除高频边界特征图中的背景噪声；
[0083]
之后通过1
×
1的卷积调整通道数得到精细边界mask标签，并将该精细边界mask标签和输入模块的特征图融合得到增强边界后的边界强化特征图；
[0084]
s22、构建时序关联模块，如图4所示，图示为时序关联模块结构图，每帧息肉图像经过模型后都会产生其对应的息肉预测二值化mask标签，记为a∈r1×h×w，将输入该模块的特征图记为f∈rc×h×w，也就是每帧息肉经过backbone所得到的最后一层特征图，其中c为输入特征图的通道数，h
×
w为特征图的大小，利用a和f可以分别生成息肉原型和背景原型，分别记为p和b，具体公式为：
[0085]
p＝mean(a
×
f)；
[0086]
b＝mean((1-a)
×
f)；
[0087]
其中，
×
为两个矩阵的逐像素相乘，mean(
·
)为对每个通道的矩阵中所有的矩阵元素取平均值；
[0088]
将得到的p和b一起存入内存中，除第一帧息肉以外，之后的每帧息肉都会利用交叉注意力机制将对应的f结合内存中所存储的所有原型来辅助当前帧的息肉分割；
[0089]
本实施例中，如图5所示，图示为时序关联模块中交叉注意力机制计算图，首先将f分别做两个1
×
1的卷积，并将h
×
w拉直为hw得到两个特征向量qk∈qc×
hw
和qv∈qc×
hw
，将内存中的每个原型也分别做卷积得到对应的特征向量mk∈qn×c和mv∈rn×c，其中n为内存中原型的数量，之后就是将qk和所有原型中的mk进行相似度计算，并使用softmax归一化：
[0090][0091]
其中，代表矩阵乘法，s∈rn×
hw
代表相似度矩阵，之后将转置后的mv和相似度矩阵相乘得到特征图，并和qv相加得到该模块最终输出的特征图：
[0092][0093]
其中，t代表转置，表示将c
×
hw维度还原回c
×h×
w,f
′
∈rc×h×w表示最终的输出特征图。
[0094]
步骤s3、将标注后得到的数据集输入内窥镜息肉分割模型进行训练并得到预测分割结果，再根据获得息肉分割的真实mask标签和生成的边界mask标签计算损失函数，包括mask loss和edge loss，同时利用adamw优化器优化模型参数，进行多轮迭代优化后得到最优的内窥镜息肉分割模型，具体步骤包括：
[0095]
s31、将得到的数据集的训练集输入至内窥镜息肉分割模型中进行训练，并计算损失函数，利用adamw优化器对网络参数进行优化，其中损失函数l设置为：
[0096]
l＝l
edge
+l
mask
；
[0097]
其中，l
edge
代表边界监督的损失，通过计算边界监督模块所得到的精细边界mask标签与之前所生成的真实边界mask标签的bce loss得到：
[0098][0099]
其中，n为整个图像的像素点个数，i表示每一个像素，mi表示真实边界mask标签，表示边界监督模块所得到的精细边界mask标签，l
mask
代表预测息肉二值化mask的损失，公式为：
[0100]
l
mask
＝l
bce
+l
iou
+l
dice
；
[0101]
其中，l
bce
为模型预测的mask标签和之前标注的真实mask标签直接的二值交叉熵损失，l
iou
为iou损失，l
dice
为dice损失，具体计算分别如下：
[0102][0103][0104][0105]
其中，n为整个图像的像素点个数，i表示每一个像素，yi表示真实息肉二值化mask
标签，表示模型预测输出的息肉mask标签；
[0106]
s32、利用数据集的验证集测试训练完成后的内窥镜息肉分割模型的分割性能，并筛选出最优模型，模型每训练一个epoch后都会将参数保存至相应的模型文件中；
[0107]
在测试的过程中，从对应的模型文件中加载参数至模型中，并将验证集数据输入至模型中得到模型预测输出的息肉mask标签，并与真实的二值化mask标签计算dice和iou，计算公式分别如下：
[0108][0109][0110]
其中，tp为预测准确的区域，fp为预测为true实际为false的区域，即假阳性区域，fn为预测为false实际为true的区域，即假阴性区域；
[0111]
最后选取最高的dice和iou所对应的模型参数文件作为最优的内窥镜息肉分割模型输出。
[0112]
步骤s4、将得到的最优的内窥镜息肉分割模型进行模型部署，具体步骤包括：
[0113]
步骤s41、将得到的最优内窥镜息肉分割模型转移至对应jetson xavier nx型号的开发板中，同时在开发板中配置好相应的python环境，并利用torch2trt工具在开发板中将模型转化为fp16精度的tensorrt模型；
[0114]
步骤s42、本实施例中，在开发板中基于c++语言的qt框架编写tensorrt模型的部署和推理代码，确保输入的息肉图像或视频经过tensorrt模型后能够正常得到息肉分割结果并展示在图形化界面中。
[0115]
步骤s5、实时获取内窥镜息肉图像数据，并输入部署完成的内窥镜息肉分割模型中，得到内窥镜息肉分割结果，确定息肉位置辅助诊断，具体步骤包括：
[0116]
步骤s51、将部署好内窥镜息肉分割模型的开发板设置于内窥镜设备系统中，确保能够走通从输入内窥镜图像到显示息肉分割结果这一完整流程；
[0117]
步骤s52、实时获取内窥镜息肉图像数据，并输入部署好的内窥镜息肉分割模型中，并实时输出包含息肉图像的内窥镜息肉分割结果；
[0118]
步骤s53、医生可根据得到的内窥镜息肉分割结果确定息肉的形状、大小，以及所在的位置，辅助医生对患者病情进行病情诊断。
[0119]
具体实验例：
[0120]
(1)选取实验数据
[0121]
实验中选择的数据集来自大型息肉开源数据集sun-seg数据集，训练集和测试集在开源数据集中就已经划分好了，在我们的实验中也使用这样的方式去划分训练集和测试集。
[0122]
(2)实验结果
[0123]
按照上述基于边界监督和时序关联的内窥镜息肉分割方法步骤训练模型，构造完模型后，对所有生成的模型文件都进行测试，并计算dice和iou，选出指标最高所对应的模型作为最终模型，并利用最终模型对息肉进行分割，得到分割结果。如图6所示，图示为部分息肉分割结果。
[0124]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于边界监督和时序关联的内窥镜息肉分割方法，其特征在于，包括以下步骤：步骤s1、获取历史的内窥镜息肉视频数据，并对包含息肉部分的视频数据进行数据标注，得到息肉分割的真实mask标签，并生成相应的边界mask标签，同时形成数据集；步骤s2、基于边界监督和时序关联构建内窥镜息肉分割模型，所述内窥镜息肉分割模型包括边界监督模块，以及时序关联模块；步骤s3、将标注后得到的数据集输入内窥镜息肉分割模型进行训练并得到预测分割结果，再根据获得息肉分割的真实mask标签和生成的边界mask标签计算损失函数，同时利用adamw优化器优化模型参数，进行多轮迭代优化后得到最优的内窥镜息肉分割模型；步骤s4、将得到的最优的内窥镜息肉分割模型进行模型部署；步骤s5、实时获取内窥镜息肉图像数据，并输入部署完成的内窥镜息肉分割模型中，得到内窥镜息肉分割结果，确定息肉位置辅助诊断。2.根据权利要求1所述一种基于边界监督和时序关联的内窥镜息肉分割方法，其特征在于，所述步骤s1中的具体步骤包括：步骤s11、采集医院各类历史的内窥镜息肉视频数据；步骤s12、利用交互式分割标注工具对获取包含息肉部分的内窥镜息肉视频数据进行数据标注，得到息肉部分的二值化分割mask标签；步骤s13、再利用得到的息肉二值化分割mask标签生成相应的边界mask标签；步骤s14、将内窥镜息肉视频数据进行视频分帧成图像形式的息肉图像数据，并对分帧后的图像缩放至预设大小，再进行随机角度旋转，随机水平或垂直翻转，随机亮度、饱和度、对比度调整，对息肉图像进行数据增强，得到数据集；步骤s15、再依据预设比例4:1对数据集进行划分，得到训练集和验证集。3.根据权利要求1所述一种基于边界监督和时序关联的内窥镜息肉分割方法，其特征在于，所述步骤s2中的具体步骤包括：s21、构建边界监督模块，将输入的浅层特征图首先利用快速傅里叶变换和高通滤波器来提取特征图当中的边界高频信息得到高频边界特征图，具体公式为：x
h
＝fft-1
(f
rh
(fft(x)))；其中，x为输入边界监督模块的特征图，fft(
·
)和fft-1
(
·
)分别表示快速傅里叶变换和其逆变换，f
rh
(
·
)表示高通滤波器，x
h
为输出的只保留边界信息的高频边界特征图；然后将该高频边界特征图分别通过1
×
1，膨胀系数为1的卷积，3
×
3，膨胀系数为1的卷积，3
×
3，膨胀系数为3的卷积，3
×
3，膨胀系数为5的卷积，利用这四路卷积来提取不同尺度的有用的边界信息从而消除高频边界特征图中的背景噪声；之后通过1
×
1的卷积调整通道数得到精细边界mask标签，并将该精细边界mask标签和输入模块的特征图融合得到增强边界后的边界强化特征图；s22、构建时序关联模块，每帧息肉图像经过模型后都会产生其对应的息肉预测二值化mask标签，记为a∈r1×
h
×
w
，将输入该模块的特征图记为f∈r
c
×
h
×
w
，也就是每帧息肉经过backbone所得到的最后一层特征图，其中c为输入特征图的通道数，h
×
w为特征图的大小，利用a和f可以分别生成息肉原型和背景原型，分别记为p和b，具体公式为：p＝mean(a
×
f)；b＝mean((1-a)
×
f)；
其中，
×
为两个矩阵的逐像素相乘，mean(
·
)为对每个通道的矩阵中所有的矩阵元素取平均值；将得到的p和b一起存入内存中，除第一帧息肉以外，之后的每帧息肉都会利用交叉注意力机制将对应的f结合内存中所存储的所有原型来辅助当前帧的息肉分割，首先将f分别做两个1
×
1的卷积，并将h
×
w拉直为hw得到两个特征向量q
k
∈r
c
×
hw
和q
v
∈r
c
×
hw
，将内存中的每个原型也分别做卷积得到对应的特征向量m
k
∈r
n
×
c
和m
v
∈r
n
×
c
，其中n为内存中原型的数量，之后就是将q
k
和所有原型中的m
k
进行相似度计算，并使用softmax归一化：其中，代表矩阵乘法，s∈r
n
×
hw
代表相似度矩阵，之后将转置后的m
v
和相似度矩阵相乘得到特征图，并和q
v
相加得到该模块最终输出的特征图：其中，t代表转置，表示将c
×
hw维度还原回c
×
h
×
w,f
′
∈r
c
×
h
×
w
表示最终的输出特征图。4.根据权利要求1所述一种基于边界监督和时序关联的内窥镜息肉分割方法，其特征在于，所述步骤s3中的具体步骤包括：s31、将得到的数据集的训练集输入至内窥镜息肉分割模型中进行训练，并计算损失函数，利用adamw优化器对网络参数进行优化，其中损失函数l设置为：l＝l
edge
+l
mask
；其中，l
edge
代表边界监督的损失，通过计算边界监督模块所得到的精细边界mask标签与之前所生成的真实边界mask标签的bce loss得到：其中，n为整个图像的像素点个数，i表示每一个像素，m
i
表示真实边界mask标签，表示边界监督模块所得到的精细边界mask标签，l
mask
代表预测息肉二值化mask的损失，公式为：l
mask
＝l
bce
+l
iou
+l
dice
；其中，l
bce
为模型预测的mask标签和之前标注的真实mask标签直接的二值交叉熵损失，l
iou
为iou损失，l
dice
为dice损失，具体计算分别如下：为dice损失，具体计算分别如下：为dice损失，具体计算分别如下：其中，n为整个图像的像素点个数，i表示每一个像素，y
i
表示真实息肉二值化mask标签，表示模型预测输出的息肉mask标签；s32、利用数据集的验证集测试训练完成后的内窥镜息肉分割模型的分割性能，并筛选出最优模型，模型每训练一个epoch后都会将参数保存至相应的模型文件中；
在测试的过程中，从对应的模型文件中加载参数至模型中，并将验证集数据输入至模型中得到模型预测输出的息肉mask标签，并与真实的二值化mask标签计算dice和iou，计算公式分别如下：公式分别如下：其中，tp为预测准确的区域，fp为预测为true实际为false的区域，即假阳性区域，fn为预测为false实际为true的区域，即假阴性区域；最后选取最高的dice和iou所对应的模型参数文件作为最优的内窥镜息肉分割模型输出。5.根据权利要求1所述一种基于边界监督和时序关联的内窥镜息肉分割方法，其特征在于，所述步骤s4中的具体步骤包括：步骤s41、将得到的最优内窥镜息肉分割模型转移至对应型号的开发板中，并利用torch2trt工具在开发板中将模型转化为fp16精度的tensorrt模型；步骤s42、在开发板中基于qt框架编写tensorrt模型的部署和推理代码，用于对输入的实时息肉图像进行正确图像分割。6.根据权利要求1所述一种基于边界监督和时序关联的内窥镜息肉分割方法，其特征在于，所述步骤s5中的具体步骤包括：步骤s51、将部署好内窥镜息肉分割模型的开发板设置于内窥镜设备系统；步骤s52、实时获取内窥镜息肉图像数据，并输入部署好的内窥镜息肉分割模型中，并实时输出包含息肉图像的内窥镜息肉分割结果；步骤s53、根据得到的内窥镜息肉分割结果确定息肉的形状、大小，以及所在的位置，辅助医生对患者病情进行诊断。

技术总结
本发明公开了一种基于边界监督和时序关联的内窥镜息肉分割方法，包括获取内窥镜息肉视频数据生成mask标签，同时形成数据集；构建内窥镜息肉分割模型；将数据集输入内窥镜息肉分割模型进行训练并得到预测分割结果，再根据mask标签计算损失函数，同时利用AdamW优化器优化模型参数，进行优化后得到内窥镜息肉分割模型，并进行模型部署；实时获取内窥镜息肉图像数据，并输入模型中，得到内窥镜息肉分割结果，确定息肉位置辅助诊断。本发明通过边界监督模块来约束息肉边界部分的分割，可以有效改善模型在息肉边界处分割的性能，通过时序关联模块关联视频息肉分割任务中的时序信息，利用之前的分割信息来辅助当前帧的息肉分割，提升了视频息肉分割的性能。了视频息肉分割的性能。了视频息肉分割的性能。


技术研发人员：韩军伟 史航飞 杨乐 张鼎文 韩龙飞 黄培亮
受保护的技术使用者：合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）
技术研发日：2023.06.14
技术公布日：2023/10/5