目标分割模型训练方法及目标分割方法

1.本发明涉及图像处理技术领域，尤其涉及一种目标分割模型训练方法及目标分割方法。


背景技术：

2.微创外科手术一般也称为介入式手术，通过视觉显示系统的图像引导，将手术器械通过体表切口伸入体内进行治疗或诊断。因此，基于内窥镜图像的手术器械分割对于机器人辅助微创手术至关重要。
3.目前，大多数手术器械分割方法均采用卷积神经网络进行分割，需要有标注的数据集对卷积神经网络进行训练。然而，卷积神经网络未能利用上下文信息，而且真实的手术场景比较复杂，真实场景下的临床数据集鲜有标签数据，导致对手术器械分割的精度较低。


技术实现要素：

4.本发明提供一种目标分割模型训练方法及目标分割方法，用以解决现有技术中对手术器械分割的精度较低的问题。
5.本发明提供一种目标分割模型训练方法，包括：
6.获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；
7.基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据；
8.基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；
9.基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；
10.基于最终更新后的第一学生网络模型的参数，确定目标分割模型。
11.根据本发明提供的一种目标分割模型训练方法，所述基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集，包括：
12.基于所述有标注训练数据集和所述无标注训练数据集，确定至少一组样本图像；每组样本图像包括所述第一样本图像和所述第二样本图像；
13.基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据。
14.根据本发明提供的一种目标分割模型训练方法，所述基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集，包括：
15.将每组样本图像中的所述第一样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第一分割图像；
16.将每组样本图像中的所述第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第二分割图像；
17.随机选择所述第一分割图像中目标数量的像素点对应的第一标签数据；
18.基于所述目标数量的像素点对应的第一标签数据，生成二进制掩码；
19.基于所述二进制掩码，分别将所述第一样本图像和所述第二样本图像、以及所述第一分割图像和所述第二分割图像进行混合，得到第三样本图像和所述第三样本图像的第二标签数据；
20.基于所述第三样本图像和所述第二标签数据，确定混合训练数据集。
21.根据本发明提供的一种目标分割模型训练方法，所述基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和初始教师网络模型，对初始学生网络模型进行训练，得到第一学生网络模型，包括：
22.基于所述第一分割图像和所述第二标签数据，计算第一分类交叉熵损失函数；
23.将所述混合训练数据集中的第三样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第三分割图像；
24.基于所述第三分割图像对应的至少一个像素块的像素值和所述第三样本图像对应的二进制掩码，计算结构相似性损失函数；
25.基于所述第一分类交叉熵损失函数、所述结构性损失函数、所述无标注训练数据集和所述初始教师网络模型，确定所述第一学生网络模型。
26.根据本发明提供的一种目标分割模型训练方法，所述基于所述第一分类交叉熵损失函数、所述第二分类交叉熵损失函数、所述第一结构性损失函数、所述无标注训练数据集和所述初始教师网络模型，确定所述第一学生网络模型，包括：
27.将所述无标注训练数据集中的第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第四分割图像；
28.基于所述第四分割图像，确定第一概率和伪标签数据；
29.基于第四分割图像、所述第一概率和所述伪标签数据，计算第二分类交叉熵损失函数和第二结构相似性损失函数；
30.基于所述第一分类交叉熵损失函数、所述结构相似性损失函数和所述第二分类交叉熵损失函数，确定目标损失函数；
31.基于所述目标损失函数，确定所述第一学生网络模型。
32.根据本发明提供的一种目标分割模型训练方法，所述基于所述目标损失函数，确定所述第一学生网络模型，包括：
33.在所述目标损失函数不满足预设条件的情况下，重复执行上述训练过程中确定目标损失函数的步骤；
34.在所述目标损失函数满足预设条件的情况下，将所述初始学生网络模型确定为所述第一学生网络模型。
35.根据本发明提供的一种目标分割模型训练方法，所述初始学生网络模型和所述初始教师网络模型的结构相同；所述初始学生网络模型包括至少一个转换transformer模块、
多层感知机和解码器；所述transformer模块用于提取图像的特征信息；所述多层感知机用于对各所述transformer模块提取的所述特征信息进行融合；所述解码器用于对融合之后的特征信息进行解码。
36.本发明还提供一种目标分割方法，包括：
37.获取待分割目标对象的目标图像；
38.将所述目标图像输入至目标分割模型，得到所述目标分割模型输出的分割结果；所述目标分割模型是基于上述任一种方式中所述的目标分割模型训练方法训练得到的。
39.根据本发明提供的一种目标分割方法，所述方法还包括：
40.基于所述分割结果，确定所述分割结果对应的投影三维形状和关键点信息；
41.对所述投影三维形状和所述分割结果进行对齐；
42.基于所述关键点信息和所述目标图像的历史信息，确定所述目标图像对应的追踪信息；
43.基于所述追踪信息和对齐后的信息，确定所述目标对象的位姿。
44.本发明还提供一种目标分割模型训练装置，包括：
45.第一获取模块，用于获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；
46.第一确定模块，用于基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据；
47.训练模块，用于基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和初始教师网络模型，对初始学生网络模型进行训练，得到第一学生网络模型；
48.更新模块，用于基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数；
49.第二确定模块，用于基于更新后的初始教师网络模型的参数，确定目标分割模型。
50.本发明还提供一种目标分割装置，包括：
51.第二获取模块，用于获取待分割目标对象的目标图像；
52.分割模块，用于将所述目标图像输入至目标分割模型，得到所述目标分割模型输出的分割结果；所述目标分割模型是基于上述任一种方式中所述的目标分割模型训练方法训练得到的。
53.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标分割模型训练方法，或者实现如上述任一种所述的目标分割方法。
54.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标分割模型训练方法，或者实现如上述任一种所述的目标分割方法。
55.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标分割模型训练方法，或者实现如上述任一种所述的目标分割方法。
56.本发明提供的目标分割模型训练方法及目标分割方法，通过获取的有标注训练数据集和无标注训练数据集，确定混合训练数据集；其中，有标注训练数据集包括多个第一样本图像和各第一样本图像的第一标签数据；无标注数据集包括多个第二样本图像；混合训练数据集包括多个第三样本图像和各第三样本图像的第二标签数据；再根据有标注训练数据集、混合训练数据集、无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；再根据训练得到的第一学生网络模型的参数更新初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；再根据最终更新后的第一学生网络模型的参数，确定目标分割模型。由于采用了有标注训练数据集、混合训练数据集和无标注训练数据集，增加了训练样本的多样性，因此，在对初始学生网络模型进行训练时，可以加快目标分割模型训练的速度，同时提升目标分割模型对手术器械分割的精度。
附图说明
57.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
58.图1是本发明提供的目标分割模型训练方法的流程示意图之一；
59.图2是本发明提供的数据增强方法的示意图；
60.图3是本发明提供的目标分割模型训练方法的流程示意图之二；
61.图4是本发明提供的目标分割方法的流程示意图；
62.图5是本发明提供的目标对象的位姿估计的流程示意图；
63.图6是本发明提供的目标分割模型训练装置的结构示意图；
64.图7是本发明提供的目标分割装置的结构示意图；
65.图8是本发明提供的电子设备的结构示意图。
具体实施方式
66.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
67.下面结合图1-图5描述本发明的目标分割模型训练方法及目标分割方法。
68.图1是本发明提供的目标分割模型训练方法的流程示意图，如图1所示，该方法包括步骤101-步骤105；其中，
69.步骤101，获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像。
70.需要说明的是，本发明提供的目标分割模型训练方法适用于目标对象的分割场景中，例如，对手术器械的分割，该方法的执行主体可以为目标分割模型训练装置，例如电子
设备、或者该目标分割模型训练装置中的用于执行目标分割模型训练方法的控制模块。
71.步骤102，基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据。
72.具体地，根据获取的有标注训练数据集和无标注训练数据集，采用数据增强方法确定混合训练数据集，即通过混合有标注训练数据集和无标注训练数据集，生成混合训练数据以及相应的第二标签数据(伪标签)，增加了训练样本的多样性，提高了手术器械语义分割和位姿估计的准确度。
73.步骤103，基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型。
74.可选地，所述初始学生网络模型和所述初始教师网络模型的结构相同；所述初始学生网络模型包括至少一个转换transformer模块、多层感知机和解码器；所述transformer模块用于提取图像的特征信息；所述多层感知机用于对各所述transformer模块提取的所述特征信息进行融合；所述解码器用于对融合之后的特征信息进行解码。
75.具体地，预先构建了初始教师网络模型和初始学生网络模型，其中，初始教师网络模型和初始学生网络模型的结构相同，具体结构包括至少一个转换transformer模块、多层感知机和解码器；其中，transformer模块用于提取图像的特征信息；多层感知机用于对各transformer模块提取的特征信息进行融合；解码器用于对融合之后的特征信息进行解码。
76.实际中，基于半监督transformer的网络框架ssformer，根据有标注训练数据集、混合训练数据集、无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型。在ssformer网络框架下，第一学生网络模型从无标注训练数据集中的无标注数据中学习知识，进而根据第一学生网络模型的参数更新初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型对第一学生网络模型进行训练，更新第一学生网络模型的参数，最后根据最终更新后的第一学生网络模型的参数最终确定目标分割模型，目标分割模型能够实现良好的分割性能。
77.进一步地，对于transformer而言，需要一个强大的网络框架。由于学习能力可以从域不变特性中提升，鲁棒性对于实现良好的分割性能至关重要。transformer在半监督学习实现了具有竞争力的性能。transformer的权重计算方式与卷积神经网络不同。在自注意力机制中，根据每对抽头之间的相似性来动态计算权重。由于自相似性运算比卷积运算更具有普遍和适应性，因此对transformer进行自相似性运算。
78.步骤104，基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型。
79.具体地，由于教师网络模型与学生网络模型的结构一样，但更新参数的方式不同。教师网络模型f
φ
的参数会根据学生网络模型f
θ
的参数进行更新。通常，在模型训练的过程中，教师网络模型f
φ
的权值被设置为第t次迭代训练后学生网络模型f
θ
的权值的指数移动平均值(exponential moving average，ema)，以增加预测的稳定性。
80.实际中，根据训练得到的第一学生网络模型的参数，采用公式(1)更新初始教师网络模型的参数；其中，
81.φ
t+1
←
αφ
t
+(1-α)θ
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
82.其中，φ
t+1
表示第t+1次迭代训练时初始教师网络模型的参数，α表示ema的调节系数，φ
t
表示第t次迭代训练时初始教师网络模型的参数，θ
t
表示第t次迭代训练时初始学生网络模型的参数。
83.学生网络模型f
θ
训练增强目标数据，教师网络模型f
φ
使用非增强目标数据半监督学习生成伪标签，这种方法在手术器械分割中非常有效。
84.在迭代训练的过程中，将更新后的教师网络模型作为新的初始教师网络模型，即将新的初始教师网络模型作为下一次迭代训练的初始教师网络模型，对第一学生网络模型进行训练。
85.步骤105，基于最终更新后的第一学生网络模型的参数，确定目标分割模型。
86.具体地，在训练结束时，将最终更新后的第一学生网络模型的参数确定为目标分割模型的参数，从而得到目标分割模型。
87.本发明提供的目标分割模型训练方法，通过获取的有标注训练数据集和无标注训练数据集，确定混合训练数据集；其中，有标注训练数据集包括多个第一样本图像和各第一样本图像的第一标签数据；无标注数据集包括多个第二样本图像；混合训练数据集包括多个第三样本图像和各第三样本图像的第二标签数据；再根据有标注训练数据集、混合训练数据集、无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；再根据训练得到的第一学生网络模型的参数更新初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；再根据最终更新后的第一学生网络模型的参数，确定目标分割模型。由于采用了有标注训练数据集、混合训练数据集和无标注训练数据集，增加了训练样本的多样性，因此，在对初始学生网络模型进行训练时，可以加快目标分割模型训练的速度，同时提升目标分割模型对手术器械分割的精度。
88.可选地，上述步骤102的具体实现方式包括：
89.1)基于所述有标注训练数据集和所述无标注训练数据集，确定至少一组样本图像；每组样本图像包括所述第一样本图像和所述第二样本图像。
90.具体地，根据有标注训练数据集和无标注训练数据集，分别从有标注训练数据集和无标注训练数据集中随机抽取出一个第一样本图像和第二样本图像，经过多次随机抽取，从而得到至少一组样本图像；每组样本图像包括第一样本图像和第二样本图像。
91.2)基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据。
92.具体地，根据至少一组样本图像、初始学生网络模型和初始教师网络模型，可以进一步确定混合训练数据集；其中，混合训练数据集包括多个第三样本图像和各第三样本图像的第二标签数据(伪标签)。
93.可选地，所述基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集，包括：
94.a)将每组样本图像中的所述第一样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第一分割图像。
95.具体地，在对模型训练的过程中，首先将每组样本图像中的第一样本图像输入至初始学生网络模型，可以得到初始学生网络模型输出的第一分割图像sa。
96.b)将每组样本图像中的所述第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第二分割图像。
97.具体地，再将每组样本图像中的第二样本图像输入至初始教师网络模型，可以得到初始教师网络模型输出的第二分割图像sb。
98.c)随机选择所述第一分割图像中目标数量的像素点对应的第一标签数据。
99.具体地，随机选择第一分割图像sa中目标数量的像素点对应的第一标签数据，其中，目标数量可以为第一分割图像sa中所有像素点数量的一半。
100.d)基于所述目标数量的像素点对应的第一标签数据，生成二进制掩码。
101.具体地，根据目标数量的像素点对应的第一标签数据，采用最大值自变量点集(argmax)函数预测生成二进制掩码m，将目标数量的像素点的像素值设置为1，其他像素点的像素值设置为0。
102.e)基于所述二进制掩码，分别将所述第一样本图像和所述第二样本图像、以及所述第一分割图像和所述第二分割图像进行混合，得到混合样本图像和所述混合样本图像的第二标签数据。
103.具体地，根据二进制掩码，将第一样本图像和第二样本图像混合成混合样本图像xa(增强图像)，其中，混合样本图像xa的像素来源于第一样本图像a中掩码值为1的部分，以及第二样本图像b。同理，根据二进制掩码，将第一分割图像sa和第二分割图像sb进行混合，生成第二标签数据ya。由于混合策略，可能会出现伪影，随着训练过程的推进，伪影的影响将逐渐减弱。
104.f)对所述混合样本图像进行增强，得到第三样本图像。
105.具体地，采用旋转、噪声、仿射、弹性形变或者裁剪等的方式对混合样本图像进行增强，可以得到第三样本图像，即增强之后的混合图像。
106.g)基于所述第三样本图像和所述第二标签数据，确定混合训练数据集。
107.具体地，根据第三样本图像和第三样本图像的第二标签数据，可以确定出混合训练数据集。
108.图2是本发明提供的数据增强方法的示意图，如图2所示，分别从有标注训练数据集和无标注训练数据集中随机抽取出一个第一样本图像a和第二样本图像b，经过多次随机抽取，从而得到至少一组样本图像；每组样本图像包括第一样本图像和第二样本图像。将每组样本图像中的第一样本图像输入至初始学生网络模型，得到初始学生网络模型输出的第一分割图像sa；将每组样本图像中的第二样本图像输入至初始教师网络模型，得到初始教师网络模型输出的第二分割图像sb；随机选择第一分割图像sa中目标数量的像素点对应的第一标签数据，其中，目标数量可以为第一分割图像sa中所有像素点数量的一半；采用最大值自变量点集(argmax)函数预测生成二进制掩码m，将目标数量的像素点的像素值设置为1，其他像素点的像素值设置为0；根据二进制掩码，将第一样本图像和第二样本图像混合成混合样本图像xa，再对混合样本图像进行增强，得到第三样本图像；将第一分割图像sa和第二分割图像sb进行混合，生成第二标签数据ya；根据第三样本图像和第三样本图像的第二标签数据确定混合训练数据集。
109.本发明提供的目标分割模型训练方法，通过有标注训练数据集和无标注训练数据集确定至少一组样本图像；每组样本图像包括第一样本图像和第二样本图像；将每组样本图像中的第一样本图像输入至初始学生网络模型，得到初始学生网络模型输出的第一分割图像；再将每组样本图像中的第二样本图像输入至初始教师网络模型，得到初始教师网络模型输出的第二分割图像；随机选择第一分割图像中目标数量的像素点对应的第一标签数据；基于目标数量的像素点对应的第一标签数据，生成二进制掩码；再根据二进制掩码分别将第一样本图像和第二样本图像、以及第一分割图像和第二分割图像进行混合，得到混合样本图像和混合样本图像的第二标签数据；对混合样本图像进行增强，得到第三样本图像；最后，基于第三样本图像和第二标签数据确定出混合训练数据集。通过将第一样本图像一半像素值粘贴到第二样本图像上，以及将第一分割图像一半的语义类粘贴到第二分割图像上，得到混合生成的混合样本图像和第二标签数据，使得得到的混合样本图像和第二标签数据具有多样性和新颖性，在对初始学生网络模型进行训练时，可以加快目标分割模型训练的速度，同时提升目标分割模型对手术器械分割的精度。
110.可选地，上述步骤103的具体实现方式包括：
111.1)基于所述第一分割图像和所述第一标签数据，计算第一分类交叉熵损失函数。
112.具体地，在半监督学习对模型训练的过程中，为了实现初始学生网络模型良好的性能，对于无标注训练数据集中的第二样本图像其中，nu表示无标注训练数据集中的第二样本图像的总数量，表示第i个第二样本图像，即第二样本图像的标签不可用时，采用有标注训练数据集和混合训练数据集对初始学生网络模型进行训练，训练使用有标注训练数据集中的独热编码(one-hot)标签(第一标签数据)和有标注训练数据集中第一样本图像其中，n
l
表示有标注训练数据集中第一样本图像的总数量，表示第i个第一样本图像，表示有标注训练数据集中第i个第一样本图像的第一标签数据。
113.为了手术器械分割的边界更加清晰，提出一个混合损失函数训练学生网络f
θ
，其中，混合损失函数采用公式(2)表示：
[0114][0115]
其中，表示第一分类交叉熵损失函数，表示第二分类交叉熵损失函数，表示第一结构相似性损失函数。
[0116]
分类交叉熵损失函数已广泛应用于语义分割中，在迭代训练的过程中，根据初始学生网络模型输出的第一分割图像和第一样本图像的第一标签数据，计算第一分类交叉熵损失函数，第一分类交叉熵损失函数采用公式(3)表示：
[0117][0118]
其中，c表示第一标签数据总的类别数，c表示第c个类别，h表示第一样本图像的高
度，w表示第一样本图像的宽度。
[0119]
进一步地，将无标注训练数据集中的第二样本输入至初始教师网络模型，可以得到初始教师网络模型生成的伪标签数据。
[0120]
2)将所述混合训练数据集中的第三样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第三分割图像。
[0121]
具体地，将混合训练数据集中的第三样本图像输入至初始学生网络模型，可以得到初始学生网络模型输出的第三分割图像。
[0122]
3)基于所述第三分割图像和所述第二标签数据，计算第二分类交叉熵损失函数。
[0123]
具体地，根据第三分割图像和第二标签数据，可以采用上述公式(3)计算第二分类交叉熵损失函数
[0124]
4)基于所述第三分割图像对应的至少一个像素块的像素值和所述第三样本图像对应的二进制掩码，计算第一结构相似性损失函数。
[0125]
需要说明的是，利用结构相似性损失函数从真值标签数据中抓取图像的结构特征，进而提取图像的结构信息。因此，训练的损失函数包含结构相似性损失函数。
[0126]
具体地，将第三分割图像划分成至少一个像素块，根据第三分割图像对应的至少一个像素块的像素值和第三样本图像对应的二进制掩码，采用公式(4)计算第一结构相似性损失函数；设v＝{vj:j＝1,...,h
×
w}是从预测第三分割图像裁剪出两个图像块对应的像素值，b＝{bj:j＝1,...,h
×
w}是第三样本图像对应的二进制掩码，其中图像块大小为h
×
w。因此，公式(4)表示为：
[0127][0128]
其中，σ
vb
表示v和b的协方差；σv和σb分别表示v和b的标准差；μv和μb分别表示v和b的平均差；a1设为0.012，a2设为0.032，避免出现除以零的情况。
[0129]
4)基于所述第一分类交叉熵损失函数、所述第二分类交叉熵损失函数、所述第一结构性损失函数、所述无标注训练数据集和所述初始教师网络模型，确定所述第一学生网络模型。
[0130]
具体地，根据第一分类交叉熵损失函数、第二分类交叉熵损失函数、第一结构性损失函数、无标注训练数据集和初始教师网络模型，可以进一步确定第一学生网络模型。
[0131]
可选地，所述基于所述第一分类交叉熵损失函数、所述第二分类交叉熵损失函数、所述第一结构性损失函数、所述无标注训练数据集和所述初始教师网络模型，确定所述第一学生网络模型，包括：
[0132]
1)将所述无标注训练数据集中的第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第四分割图像。
[0133]
具体地，在每一次迭代训练的过程中，将无标注训练数据集中的第二样本图像输入至初始教师网络模型，可以得到初始教师网络模型输出的第四分割图像。
[0134]
2)基于所述第四分割图像，确定第一概率和伪标签数据。
[0135]
具体地，根据第四分割图像确定伪标签数据和第一概率，其中，将第四分割图像中像素值大于阈值τ的最大归一化(softmax)概率为第一概率，采用公式(5)表示：
[0136][0137]
其中，表示第一概率，c
′
表示伪标签数据的类别数。
[0138]
伪标签数据采用公式(6)表示：
[0139][0140]
其中，[
·
]表示艾弗森括号。此外，置信度估计还用于生成了伪标签。
[0141]
3)基于第四分割图像、所述第一概率和所述伪标签数据，计算第二分类交叉熵损失函数和第二结构相似性损失函数。
[0142]
具体地，伪标签、质量估计和结构相似性信息被用于在无标注数据集上采用另外一个混合损失函数训练网络f
θ
，其中，该混合损失函数采用公式(7)表示：
[0143][0144]
其中，表示第二分类交叉熵损失函数，表示第二结构相似性损失函数。
[0145]
进一步地，根据第四分割图像、第一概率和伪标签数据，采用公式(8)和公式(9)计算第二分类交叉熵损失函数和第二结构相似性损失函数，其中，
[0146][0147][0148]
其中，v＝{vj:j＝1,...,h
×
w}是从第四分割图像预测结果裁剪出图像块对应的像素值，b
′
＝{b
′j:j＝1,...,h
×
w}是第四分割图像对应的伪标签。
[0149]
当学生网络训练增强的混合数据时，教师网络使用非增强的混合数据半监督学习生成伪标签。
[0150]
4)基于所述第一分类交叉熵损失函数、所述第一结构相似性损失函数、所述第二分类交叉熵损失函数和所述第二结构相似性损失函数，确定目标损失函数。
[0151]
具体地，根据第一分类交叉熵损失函数、第一结构相似性损失函数、第二分类交叉熵损失函数和第二结构相似性损失函数，采用公式(10)计算得到目标损失函数公式(10)表示为：
[0152][0153]
5)基于所述目标损失函数，确定所述第一学生网络模型。
[0154]
具体地，根据计算的目标损失函数，可以确定第一学生网络模型。
[0155]
可选地，所述基于所述目标损失函数，确定所述第一学生网络模型，包括：
[0156]
在所述目标损失函数不满足预设条件的情况下，重复执行上述训练过程中确定目标损失函数的步骤；在所述目标损失函数满足预设条件的情况下，将所述初始学生网络模型确定为所述第一学生网络模型。
[0157]
具体地，判断目标损失函数是否满足预设条件，在目标损失函数不满足预设条件
的情况下，重复执行上述训练过程中确定目标损失函数的步骤，直至目标损失函数满足预设条件；在目标损失函数满足预设条件的情况下，训练结束，此时将最后一次训练时初始学生网络模型确定为第一学生网络模型。
[0158]
图3是本发明提供的目标分割模型训练方法的流程示意图之二，图3所示，根据有标注训练数据集和无标注训练数据集确定混合训练数据集；使用有标注训练数据集和混合训练数据集，对初始学生网络模型进行训练，初始学生网络模型包括transformer模块1、transformer模块2、transformer模块3、transformer模块4、多层感知机和解码器；将有标注训练数据集中的第一样本图像和混合训练数据集中的第三样本图像分别输入至初始学生网络模型中的transformer模块1，transformer模块1将第一样本图像和第三样本图像划分为4
×
4的图像块，得到transformer模块1输出的对应的第一特征图f1，第一特征图的大小为通道数为c1，从而保留手术器械分割的细节；将第一特征图输入至transformer模块2，得到transformer模块2输出的第二特征图f2，第二特征图的大小为通道数为c2；将第二特征图输入至transformer模块3，得到transformer模块3输出的第三特征图f3，第三特征图的大小为通道数为c3；将第三特征图输入至transformer模块4，得到transformer模块4输出的第四特征图f4，第四特征图的大小为通道数为c4。为了处理高级特征分辨率，在自注意力块中采用了缩减序列的方式。多级特征图由transformer编码器生成。下采样是通过重叠的图像块实现的，从而保持局部连续性。将第一特征图、第二特征图、第三特征图和第四特征图输入至多层感知机，多层感知机对多个特征图进行融合，得到多层感知机输出的第五特征图，第五特征图的大小为在特征融合之前，每个特征图fi被嵌入到相同数量的通道ce中，并进行1
×
1卷积，并对每个特征图fi进行双线性上采样至第一特征图f1大小并对所有上采样之后的特征图进行拼接；将拼接之后得到的第五特征图输入至解码器，解码器输出最终的第一分割图像和第三分割图像。
[0159]
需要说明的是，在现有结果中，用于语义分割的transformer的解码器只利用了局部信息。由于额外的上下文信息可以促进语义分割的鲁棒性，解码器使用了这些上下文信息。在ssformer网络框架中，利用了不同的编码器层级的跨特征上下文信息。
[0160]
进一步地，将无标注训练数据集中的第二样本图像输入至初始教师网络模型，得到初始教师网络模型输出的第四分割图像(伪标签)；基于第一分割图像和第一标签数据，计算第一分类交叉熵损失函数；基于第三分割图像和第二标签数据，计算第二分类交叉熵损失函数；根据第四分割图像对应的至少一个像素块的像素值和第三样本图像对应的二进制掩码，计算第一结构相似性损失函数；根据第四分割图像，确定第一概率和伪标签数据；根据第四分割图像、第一概率和伪标签数据，计算第二分类交叉熵损失函数和第二结构相似性损失函数；再根据第一分类交叉熵损失函数、第一结构相似性损失函数、第二分类交叉熵损失函数和第二结构相似性损失函数，确定目标损失函数；判定目标损失函数是否满足
预设条件，在目标损失函数满足预设条件的情况下，将最终一次训练时的初始学生网络模型确定为更新后的第一学生网络模型，将最终更新后的第一学生网络模型确定为目标分割模型。
[0161]
图4是本发明提供的目标分割方法的流程示意图，如图4所示，该方法包括步骤401-步骤402；其中，
[0162]
步骤401，获取待分割目标对象的目标图像。
[0163]
具体地，目标对象可以为手术器械，也可以为其他待分割的对象。
[0164]
步骤402，将所述目标图像输入至目标分割模型，得到所述目标分割模型输出的分割结果；所述目标分割模型是基于上述任一种方式中所述的目标分割模型训练方法训练得到的。
[0165]
具体地，将目标图像输入至目标分割模型，可以得到目标分割模型输出的分割结果；其中，分割结果为包括目标对象的分割图像。
[0166]
本发明提供的目标分割方法，通过将获取的待分割目标对象的目标图像输入至目标分割模型，可以得到目标分割模型输出的分割结果，实现了待分割目标对象的目标图像中目标对象的分割，提升了分割的精度和分割效率。
[0167]
可选地，在得到分割结果之后，所述方法还包括：
[0168]
基于所述分割结果，确定所述分割结果对应的投影三维形状和关键点信息；对所述投影三维形状和所述分割结果进行对齐；基于所述关键点信息和所述目标图像的历史信息，确定所述目标图像对应的追踪信息；基于所述追踪信息和对齐后的信息，确定所述目标对象的位姿。
[0169]
具体地，针对在医疗场景中手术器械的位姿估计准确性不高的问题，提出位姿估计算法，根据分割结果对应的区域图像，进行相机坐标系和手术器械中心点三维坐标的相互转换，确定分割结果对应的投影三维形状，同时提取分割结果对应的区域图像中目标对象(手术器械)的关键点信息；对投影三维形状和分割结果进行对齐；进一步地，根据提取的关键点信息和目标图像的历史信息，对目标对象进行逐帧追踪，确定目标图像中目标对象的追踪信息，提升算法对手术器械的检测性能，使得位姿估计的准确率得到进一步提高；再根据追踪信息和对齐后配准的区域图像信息，进一步确定目标对象在目标图像中的具体位姿，能准确、快速以及鲁棒地对目标图像进行估计手术器械的位姿。
[0170]
图5是本发明提供的目标对象的位姿估计的流程示意图，如图5所示，获取待分割目标对象的目标图像，将所述目标图像输入至目标分割模型，得到目标分割模型输出的分割结果(区域图像)；确定分割结果对应的投影三维形状；提取分割结果对应的关键点信息；对投影三维形状和分割结果进行对齐；根据关键点信息和目标图像的历史信息，确定目标图像对应的追踪信息；根据追踪信息和对齐后的信息，确定目标对象的位姿。
[0171]
下面对本发明提供的目标分割模型训练装置及目标分割装置进行描述，下文描述的目标分割模型训练装置与上文描述的目标分割模型训练方法可相互对应参照，下文描述的目标分割装置与上文描述的目标分割方法可相互对应参照。
[0172]
图6是本发明提供的目标分割模型训练装置的结构示意图，如图6所示，目标分割模型训练装置600包括：第一获取模块601、第一确定模块602、训练模块603、更新模块604和第二确定模块605；其中，
[0173]
第一获取模块601，用于获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；
[0174]
第一确定模块602，用于基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据；
[0175]
训练模块603，用于基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和初始教师网络模型，对初始学生网络模型进行训练，得到第一学生网络模型；
[0176]
更新模块604，用于基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；
[0177]
第二确定模块605，用于基于最终更新后的第一学生网络模型的参数，确定目标分割模型。
[0178]
本发明提供的目标分割模型训练装置，通过获取的有标注训练数据集和无标注训练数据集，确定混合训练数据集；其中，有标注训练数据集包括多个第一样本图像和各第一样本图像的第一标签数据；无标注数据集包括多个第二样本图像；混合训练数据集包括多个第三样本图像和各第三样本图像的第二标签数据；再根据有标注训练数据集、混合训练数据集、无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；再根据训练得到的第一学生网络模型的参数更新初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；再根据最终更新后的第一学生网络模型的参数，确定目标分割模型。由于采用了有标注训练数据集、混合训练数据集和无标注训练数据集，增加了训练样本的多样性，因此，在对初始学生网络模型进行训练时，可以加快目标分割模型训练的速度，同时提升目标分割模型对手术器械分割的精度。
[0179]
可选地，所述第一确定模块602，具体用于：
[0180]
基于所述有标注训练数据集和所述无标注训练数据集，确定至少一组样本图像；每组样本图像包括所述第一样本图像和所述第二样本图像；
[0181]
基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据。
[0182]
可选地，所述第一确定模块602，具体用于：
[0183]
将每组样本图像中的所述第一样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第一分割图像；
[0184]
将每组样本图像中的所述第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第二分割图像；
[0185]
随机选择所述第一分割图像中目标数量的像素点对应的第一标签数据；
[0186]
基于所述目标数量的像素点对应的第一标签数据，生成二进制掩码；
[0187]
基于所述二进制掩码，分别将所述第一样本图像和所述第二样本图像、以及所述第一分割图像和所述第二分割图像进行混合，得到混合样本图像和所述混合样本图像的第
二标签数据；
[0188]
对所述混合样本图像进行增强，得到第三样本图像；
[0189]
基于所述第三样本图像和所述第二标签数据，确定混合训练数据集。
[0190]
可选地，所述训练模块603，具体用于：
[0191]
基于所述第一分割图像和所述第一标签数据，计算第一分类交叉熵损失函数；
[0192]
将所述混合训练数据集中的第三样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第三分割图像；
[0193]
基于所述第三分割图像和所述第二标签数据，计算第二分类交叉熵损失函数；
[0194]
基于所述第三分割图像对应的至少一个像素块的像素值和所述第三样本图像对应的二进制掩码，计算第一结构相似性损失函数；
[0195]
基于所述第一分类交叉熵损失函数、所述第二分类交叉熵损失函数、所述第一结构性损失函数、所述无标注训练数据集和所述初始教师网络模型，确定所述第一学生网络模型。
[0196]
可选地，所述所述训练模块603，具体用于：
[0197]
将所述无标注训练数据集中的第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第四分割图像；
[0198]
基于所述第四分割图像，确定第一概率和伪标签数据；
[0199]
基于第四分割图像、所述第一概率和所述伪标签数据，计算第二分类交叉熵损失函数和第二结构相似性损失函数；
[0200]
基于所述第一分类交叉熵损失函数、所述第一结构相似性损失函数、所述第二分类交叉熵损失函数和所述第二结构相似性损失函数，确定目标损失函数；
[0201]
基于所述目标损失函数，确定所述第一学生网络模型。
[0202]
可选地，所述所述训练模块603，具体用于：
[0203]
在所述目标损失函数不满足预设条件的情况下，重复执行上述训练过程中确定目标损失函数的步骤；
[0204]
在所述目标损失函数满足预设条件的情况下，将所述初始学生网络模型确定为所述第一学生网络模型。
[0205]
可选地，所述初始学生网络模型和所述初始教师网络模型的结构相同；所述初始学生网络模型包括至少一个转换transformer模块、多层感知机和解码器；所述transformer模块用于提取图像的特征信息；所述多层感知机用于对各所述transformer模块提取的所述特征信息进行融合；所述解码器用于对融合之后的特征信息进行解码。
[0206]
图7是本发明提供的目标分割装置的结构示意图，如图7所示，目标分割装置700包括：第二获取模块701和分割模块702；其中，
[0207]
第二获取模块701，用于获取待分割目标对象的目标图像；
[0208]
分割模块702，用于将所述目标图像输入至目标分割模型，得到所述目标分割模型输出的分割结果；所述目标分割模型是基于上述任一种方式中所述的目标分割模型训练方法训练得到的。
[0209]
本发明提供的目标分割装置，通过将获取的待分割目标对象的目标图像输入至目标分割模型，可以得到目标分割模型输出的分割结果，实现了待分割目标对象的目标图像
中目标对象的分割，提升了分割的精度和分割效率。
[0210]
可选地，所述目标分割装置700还包括：
[0211]
第三确定模块，用于基于所述分割结果，确定所述分割结果对应的投影三维形状和关键点信息；
[0212]
对齐模块，用于对所述投影三维形状和所述分割结果进行对齐；
[0213]
第四确定模块，用于基于所述关键点信息和所述目标图像的历史信息，确定所述目标图像对应的追踪信息；
[0214]
第五确定模块，用于基于所述追踪信息和对齐后的信息，确定所述目标对象的位姿。
[0215]
图8是本发明提供的一种电子设备的实体结构示意图，如图8所示，该电子设备800可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行目标分割模型训练方法，该方法包括：获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据；基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；基于最终更新后的第一学生网络模型的参数，确定目标分割模型。
[0216]
处理器810可以调用存储器830中的逻辑指令，以执行目标分割方法，该方法包括：获取待分割目标对象的目标图像；将所述目标图像输入至目标分割模型，得到所述目标分割模型输出的分割结果；所述目标分割模型是基于前述任一实施例中所述的目标分割模型训练方法训练得到的。
[0217]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0218]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标分割模型训练方法，该方法包括：获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；基于所述有标
注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据；基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；基于最终更新后的第一学生网络模型的参数，确定目标分割模型。
[0219]
所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标分割方法，该方法包括：获取待分割目标对象的目标图像；将所述目标图像输入至目标分割模型，得到所述目标分割模型输出的分割结果；所述目标分割模型是基于前述任一实施例中所述的目标分割模型训练方法训练得到的。
[0220]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标分割模型训练方法，该方法包括：获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据；基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；基于最终更新后的第一学生网络模型的参数，确定目标分割模型。
[0221]
该计算机程序被处理器执行时实现以执行上述各方法提供的目标分割方法，该方法包括：获取待分割目标对象的目标图像；将所述目标图像输入至目标分割模型，得到所述目标分割模型输出的分割结果；所述目标分割模型是基于前述任一实施例中所述的目标分割模型训练方法训练得到的。
[0222]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0223]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0224]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种目标分割模型训练方法，其特征在于，包括：获取有标注训练数据集和无标注训练数据集；所述有标注训练数据集包括多个第一样本图像和各所述第一样本图像的第一标签数据；所述无标注数据集包括多个第二样本图像；基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据；基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，得到第一学生网络模型；基于所述第一学生网络模型的参数，更新所述初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；基于最终更新后的第一学生网络模型的参数，确定目标分割模型。2.根据权利要求1所述的目标分割模型训练方法，其特征在于，所述基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集，包括：基于所述有标注训练数据集和所述无标注训练数据集，确定至少一组样本图像；每组样本图像包括所述第一样本图像和所述第二样本图像；基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集；所述混合训练数据集包括多个第三样本图像和各所述第三样本图像的第二标签数据。3.根据权利要求2所述的目标分割模型训练方法，其特征在于，所述基于至少一组样本图像、所述初始学生网络模型和所述初始教师网络模型，确定混合训练数据集，包括：将每组样本图像中的所述第一样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第一分割图像；将每组样本图像中的所述第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第二分割图像；随机选择所述第一分割图像中目标数量的像素点对应的第一标签数据；基于所述目标数量的像素点对应的第一标签数据，生成二进制掩码；基于所述二进制掩码，分别将所述第一样本图像和所述第二样本图像、以及所述第一分割图像和所述第二分割图像进行混合，得到混合样本图像和所述混合样本图像的第二标签数据；对所述混合样本图像进行增强，得到第三样本图像；基于所述第三样本图像和所述第二标签数据，确定混合训练数据集。4.根据权利要求3所述的目标分割模型训练方法，其特征在于，所述基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和初始教师网络模型，对初始学生网络模型进行训练，得到第一学生网络模型，包括：基于所述第一分割图像和所述第一标签数据，计算第一分类交叉熵损失函数；将所述混合训练数据集中的第三样本图像输入至所述初始学生网络模型，得到所述初始学生网络模型输出的第三分割图像；基于所述第三分割图像和所述第二标签数据，计算第二分类交叉熵损失函数；
基于所述第三分割图像对应的至少一个像素块的像素值和所述第三样本图像对应的二进制掩码，计算第一结构相似性损失函数；基于所述第一分类交叉熵损失函数、所述第二分类交叉熵损失函数、所述第一结构性损失函数、所述无标注训练数据集和所述初始教师网络模型，确定所述第一学生网络模型。5.根据权利要求4所述的目标分割模型训练方法，其特征在于，所述基于所述第一分类交叉熵损失函数、所述第二分类交叉熵损失函数、所述第一结构性损失函数、所述无标注训练数据集和所述初始教师网络模型，确定所述第一学生网络模型，包括：将所述无标注训练数据集中的第二样本图像输入至所述初始教师网络模型，得到所述初始教师网络模型输出的第四分割图像；基于所述第四分割图像，确定第一概率和伪标签数据；基于第四分割图像、所述第一概率和所述伪标签数据，计算第二分类交叉熵损失函数和第二结构相似性损失函数；基于所述第一分类交叉熵损失函数、所述第一结构相似性损失函数、所述第二分类交叉熵损失函数和所述第二结构相似性损失函数，确定目标损失函数；基于所述目标损失函数，确定所述第一学生网络模型。6.根据权利要求5所述的目标分割模型训练方法，其特征在于，所述基于所述目标损失函数，确定所述第一学生网络模型，包括：在所述目标损失函数不满足预设条件的情况下，重复执行上述训练过程中确定目标损失函数的步骤；在所述目标损失函数满足预设条件的情况下，将所述初始学生网络模型确定为所述第一学生网络模型。7.根据权利要求1-6任一项所述的目标分割模型训练方法，其特征在于，所述初始学生网络模型和所述初始教师网络模型的结构相同；所述初始学生网络模型包括至少一个转换transformer模块、多层感知机和解码器；所述transformer模块用于提取图像的特征信息；所述多层感知机用于对各所述transformer模块提取的所述特征信息进行融合；所述解码器用于对融合之后的特征信息进行解码。8.一种目标分割方法，其特征在于，包括：获取待分割目标对象的目标图像；将所述目标图像输入至目标分割模型，得到所述目标分割模型输出的分割结果；所述目标分割模型是基于权利要求1-7任一项所述的目标分割模型训练方法训练得到的。9.根据权利要求8所述的目标分割方法，其特征在于，所述方法还包括：基于所述分割结果，确定所述分割结果对应的投影三维形状和关键点信息；对所述投影三维形状和所述分割结果进行对齐；基于所述关键点信息和所述目标图像的历史信息，确定所述目标图像对应的追踪信息；基于所述追踪信息和对齐后的信息，确定所述目标对象的位姿。10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述目标分割模型训练方法，或者实现如权利要求8或9所述的目标分割方法。

技术总结
本发明提供一种目标分割模型训练方法及目标分割方法，涉及图像处理技术领域，该方法包括：获取有标注训练数据集和无标注训练数据集；基于所述有标注训练数据集和所述无标注训练数据集，确定混合训练数据集；基于所述有标注训练数据集、所述混合训练数据集、所述无标注训练数据集和预先构建的初始教师网络模型，对预先构建的初始学生网络模型进行训练，基于得到的第一学生网络模型的参数，更新初始教师网络模型的参数，并将更新后的教师网络模型作为新的初始教师网络模型；基于最终更新后的第一学生网络模型的参数，确定目标分割模型，在对学生网络模型进行训练时，可以加快目标分割模型训练的速度，同时提升目标分割模型对手术器械分割的精度。器械分割的精度。器械分割的精度。


技术研发人员：伍芷影 刘宏斌
受保护的技术使用者：中国科学院香港创新研究院人工智能与机器人创新中心有限公司
技术研发日：2023.03.16
技术公布日：2023/7/31