一种髋关节图像分割与关键点联动识别方法及装置与流程

1.本技术涉及图像处理技术领域，具体而言，涉及一种髋关节图像分割与关键点联动识别方法及装置。


背景技术：

2.在医学图像处理领域中图像分割和关键点识别是非常重要的两项技术，图像分割的过程是将医学图像中感兴趣区域提取出来，关键点识别是识别三维骨骼结构中的关键点，分割结果和关键点识别结果对于术前手术规划、术中导航、术后结果的评估都具有重要的参考价值。
3.但是现有的髋关节医学图像处理过程中，图像分割和关键点识别是分别通过相互独立的两个预训练的深度网络模型进行识别的，这种分别训练、独立使用的方式，对于当前的髋关节图像处理而言，过于繁琐。


技术实现要素：

4.本技术解决的问题是当前图像分割和关键点识别无法联动。
5.为解决上述问题，本技术第一方面提供了一种髋关节图像分割与关键点联动识别方法，包括：
6.获取待识别图像，所述待识别图像为包含髋关节的医学图像；
7.将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
8.对所述输出热力图进行图像分割和关键点点识别；
9.根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
10.其中，所述图像分割与识别模型包含多个hourglass结构。
11.本技术第二方面提供了一种髋关节图像分割与关键点联动识别装置，其包括：
12.图像获取模块，其用于获取待识别图像，所述待识别图像为包含髋关节的医学图像；
13.模型识别模块，其用于将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
14.热力图分割模块，其用于对所述输出热力图进行图像分割和关键点点识别；
15.结果确定模块，其用于根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
16.其中，所述图像分割与识别模型包含多个hourglass结构。
17.本技术第三方面提供了一种电子设备，其包括：存储器和处理器；
18.所述存储器，其用于存储程序；
19.所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
20.获取待识别图像，所述待识别图像为包含髋关节的医学图像；
21.将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
22.对所述输出热力图进行图像分割和关键点点识别；
23.根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
24.其中，所述图像分割与识别模型包含多个hourglass结构。
25.本技术第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的髋关节图像分割与关键点联动识别方法。
26.本技术中，通过设置包含多个hourglass结构的图像分割与识别模型，得到输出热力图，进而确定当前髋关节图像的图像分割结果和关键点识别结果，实现髋关节图像分割与关键点识别的联动，简化中间步骤，避免繁琐过程。
附图说明
27.图1为根据本技术实施例的髋关节图像分割与关键点联动识别方法的流程图；
28.图2为根据本技术实施例的髋关节图像分割与关键点联动识别方法的模型架构图；
29.图3为根据本技术实施例图像分割与识别模型分割前的原始图像；
30.图4为根据本技术实施例图像分割与识别模型分割后的分割结果图；
31.图5为根据本技术实施例的髋关节图像分割与关键点联动识别方法hourglass结构的架构图；
32.图6为根据本技术实施例的髋关节图像分割与关键点联动识别方法单个hourglass结构的结构图；
33.图7为根据本技术实施例的髋关节图像分割与关键点联动识别方法模型训练过程的流程图；
34.图8为根据本技术实施例的髋关节图像分割与关键点联动识别方法模型结合粗训练的流程图；
35.图9为根据本技术实施例的髋关节图像分割与关键点联动识别方法模型粗训练的具体流程图；
36.图10为根据本技术实施例的髋关节图像分割与关键点联动识别装置的结构框图；
37.图11为根据本技术实施例的电子设备的结构框图。
具体实施方式
38.为使本技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本技术的具体实施例做详细的说明。虽然附图中显示了本技术的示例性实施方式，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本技术，并且能够将本技术的范围完整的传达给本领域的技术人员。
39.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本申
请所属领域技术人员所理解的通常意义。
40.在医学图像处理领域中图像分割和关键点识别是非常重要的两项技术，图像分割的过程是将医学图像中感兴趣区域提取出来，关键点识别是识别三维骨骼结构中的关键点，分割结果和关键点识别结果对于术前手术规划、术中导航、术后结果的评估都具有重要的参考价值。
41.但是现有的髋关节医学图像处理过程中，图像分割是通过训练的图像分割网络模型进行分割的，关键点识别是通过训练的关键点识别网络模型进行识别的；图像分割网络模型和关键点识别网络模型的训练和使用是相互独立，互不影响的，这就使得若要获取髋关节医学图像的分割结果和关键点识别结果，需要分别训练和使用两个神经网络模型，较为繁琐。
42.针对上述问题，本技术提供一种新的髋关节图像分割与关键点联动识别方案，能够通过包含多个hourglass结构的网络模型，解决当前髋关节图像分割与关键点识别无法联动的问题。
43.为了便于理解，在此对下述可能使用的术语进行解释：
44.热力图(heatmap)：是通过将数据矩阵中的各个值按照一定规律映射为颜色展示，利用颜色变化来可视化数据，这种方法可以很直观地呈现多样本多个基因的全局表达量变化，同时还可以展现多样本或者多基因表达量的聚类关系。
45.本技术实施例提供了一种髋关节图像分割与关键点联动识别方法，该方法的具体方案由图1-图9所示，该方法可以由髋关节图像分割与关键点联动识别装置来执行，该髋关节图像分割与关键点联动识别装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1、图2所示，其为根据本技术一个实施例的髋关节图像分割与关键点联动识别方法的流程图；其中，所述髋关节图像分割与关键点联动识别方法，包括：
46.s301，获取待识别图像，所述待识别图像为包含髋关节的医学图像；
47.本技术中，所述待识别图像为包含髋关节的医学图像，基于该医学图像可以判断出髋关节状态/病变类别。医学图像例如包括：x线片、电子计算机断层扫描(computed tomography，ct)图像、磁共振(magnetic resonance imaging，mri)图像，或者上述多个图像的合成图像等。
48.s302，将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
49.本技术中，所述图像分割与识别模型包含多个hourglass结构，通过hourglass结构进行特征提取，获取待识别图像的深度特征(输出热力图)，通过该输出热力图可以进行图像分割和关键点识别。
50.s303，对所述输出热力图进行图像分割和关键点点识别；
51.本技术中，图像分割与识别模型包含多个hourglass结构，每个hourglass结构均输出一个热力图；在训练过程中，通过每个hourglass结构输出的热力图进行损失函数的计算，在训练完成后进行预测时，仅输出最后一个hourglass结构的热力图作为输出热力图，通过该输出热力图确定图像分割结果和关键点识别结果。
52.本技术中，图像分割即是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。
on the greater trochanter(大转子上最下面最上面的点)、aspects of the ischium(坐骨侧面)、the medial most point on the lesser trochanter(小转子的最内侧点)、the center of sacrococcygeal junction(骶尾部交界处中心)、the distal tip of the femoral stem(股骨干远端)、the superior lateral most corner of the femoral component(股骨组件最外侧上角)。
67.结合图3、图4所示，图3为输入图像分割与识别模型的原始图像，图4为分割后的具有图像分割结果和关键点识别结果的结果图。由图4中可以看出上述的图像分割结果与关键点识别结果。
68.结合图5、图6所示，在一种实施方式中，所述图像分割与识别模型包含多个hourglass结构，多个hourglass结构级联，且每个hourglass结构均由编码器和解码器组成，以提取特征和生成热力图。
69.本技术中，图像分割与识别模型对输入图片进行下采样，将其尺寸调整为预设尺寸，例如输入图片为256
×
256，下采样后尺寸为64
×
64。
70.本技术中，输入的待识别图像、第一样本图像、第二样本图像为尺寸很大的图像，由于图像本身会具有大量空间冗余，直接对待识别图像、第二样本图像进行hourglass结构处理会导致计算量大大增加，但准确度变化不大，因此通过下采样调整图像尺寸，从而降低计算资源的占用。
71.本技术中，hourglass结构的构成基础为残差模块，该残差模块为旁路相加结构，其通过卷积方式提取较高层次的特征，同时通过旁路相加的通路保留原有层次的信息。如图6所示，其中的每个长方体均为一个残差模块，不同尺寸的残差模块之间通过降采样和升采样的方式进行连接。所述残差模块在实际使用时仅改变数据深度，不改变数据尺寸，从而保留数据的原有尺寸。
72.图6中所示的hourglass结构为四阶hourglass结构，包含四次降采样与四次升采样，每次降采样之前，分出上半路保留原尺度信息；每次升采样之后，和上一个尺度的数据相加；两次降采样之间，使用三个残差模块提取特征；两次相加之间，使用一个残差模块提取特征。
73.本技术中，hourglass结构也可以为一阶、二阶或三阶hourglass结构。
74.本技术中，所述hourglass结构具有对称的结构，从中间依次扩展到两边，可以在程序中用递归的方式实现这个模块，图中的每个小块都可以看作是经过残差模块和池化或反池化后的结果，且前半部分的特征图会加到后半部分对称的位置。
75.本技术中，多个级联的hourglass结构中，后一hourglass结构的输入数据基于前一hourglass结构确定，具体地：
76.后一hourglass结构的输入包含三路：前一hourglass结构的输入数据、前一hourglass结构的输出数据，前一hourglass结构的预测结果(热力图)，该三路数据通过串联(concat)和相加进行融合。
77.该融合方式可以为：对前一hourglass结构的输出数据通过一个卷积层，对前一hourglass结构的热力图通过一个卷积层，将通过卷积层的输出数据和热力图合并前一hourglass结构的输入数据，得到后一hourglass结构的输入数据。
78.其中，所述hourglass结构的热力图，为该hourglass结构的输出经由卷积层后得
到的。
79.需要说明的是，针对同一个待识别图像、第一样本图像、第二样本图像，每个hourglass结构生成的热力图均为一组热力图，也即是图像分割与识别模型具有n个hourglass结构，则在一次训练时，一个图像(第一样本图像、第二样本图像)可以得到n组热力图，每组热力图分别与一个hourglass结构对应。
80.结合图7所示，在一种实施方式中，所述s301，获取待识别图像之前，还包括：
81.s201，获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；
82.s202，将所述第一样本图像输入图像分割与识别模型，得到多个hourglass结构输出的多个热力图；
83.s203，在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；
84.s204，在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；
85.s205，根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。
86.本技术中，在对图像分割与识别模型训练的过程中，奇数次训练时，获取多个hourglass结构输出的多个热力图，基于该多个热力图及第一样本图像标注的所述图像分割信息计算第一整体损失，并基于第一整体损失对图像分割与识别模型的参数进行迭代；然后进行偶数次训练，获取多个hourglass结构输出的多个热力图，基于该多个热力图确定预测的关键点，并基于预测的关键点及第一样本图像标注的所述关键点信息计算第二整体损失，切基于第二整体损失对图像分割与识别模型的参数进行迭代；如此奇数次训练-偶数次训练进行循环训练，直至第一整体损失和第二整体损失均收敛为止。
87.需要说明的是，实际执行时，针对输入的每个第一样本图像，图像分割与识别模型中的每个hourglass结构在一次训练中均会输出一组热力图；因此，上述所述的多个hourglass结构输出的多个热力图，其中的多个热力图实际划分为多组，每组热力图均与一个hourglass结构对应。
88.在一种实施方式中，所述第一整体损失收敛，即是基于奇数次训练获取的第一整体损失确定收敛。
89.具体地：获取训练过程中奇数次训练的第一整体损失，若2n+1次训练的第一整体损失与第2n-1次训练的第一整体损失相比收敛，则确定所述第一整体损失收敛。
90.在一种实施方式中，所述第二整体损失收敛，即是基于偶数次训练获取的第二整体损失确定收敛。
91.具体地：获取训练过程中偶数次训练的第一整体损失，若2n+2次训练的第二整体损失与第2n次训练的第二整体损失相比收敛，则确定所述第二整体损失收敛。
92.在一种实施方式中，所述第一整体损失和第二整体损失均收敛，即是在相邻的两次训练过程中分别确定第一整体损失收敛和第二整体损失收敛。
93.具体地：在2n+1次训练时确定第一整体损失收敛，且在2n次或者2n+2次训练时确定第二整体损失收敛，则确定所述第一整体损失和第二整体损失均收敛。
94.需要说明的是，若仅第一整体损失收敛或者仅第二整体损失收敛，则继续进行奇数次训练和偶数次训练，直至第一整体损失和第二整体损失均收敛为止。
95.本技术中，通过相邻的方式确定第一整体损失和第二整体损失的共同收敛，利用收敛后持续训练的扰动问题，提高整个图像分割与识别模型的识别准确性。
96.本技术中，通过将图像分割与识别模型的训练划分为奇数次和偶数次，在奇数次通过统计与标注的图像分割信息的差距将图像分割与识别模型的参数向图像分割进行逼近，在偶数次通过统计与标注的关键点信息的差距将图像分割与识别模型的参数向关键点识别进行逼近，通过循环调整图像分割与识别模型的参数的逼近方向，从而达到更准确的训练效果。
97.在一种实施方式中，所述第一整体损失的计算公式为：
[0098][0099]
其中，l1为第一整体损失，n为计算第一整体损失的热力图的总数量，intersectioni为第i个热力图与标注的图像分割信息的交集，unioni为第个i热力图与标注的图像分割信息的并集。
[0100]
本技术中，intersection表示预测结果和真实标签的交集(即预测结果与真实标签同时为正样本的像素数)，union表示预测结果和真实标签的并集(即预测结果或真实标签为正样本的像素数)。
[0101]
l1的取值范围为0到1，越接近0表示预测结果与真实标签的不相似程度越高，越接近1表示预测结果与真实标签的相似程度越高。因此，通过最小化l1可以使得预测结果与真实标签更加一致。
[0102]
在一种实施方式中，所述第二整体损失的计算公式为：
[0103][0104]
其中，l2为第二整体损失，m为计算第二整体损失的预测关键点对应热力图的总数量，α为平衡因子，γ为可调节超参数，p
ti
为对应第i个热力图的预测关键点与标注的关键点的接近程度。
[0105]
本技术中，α为平衡因子，用于调节正样本和负样本的权重。通常设置为0.25，可以根据具体情况进行调整。γ为可调节的超参数，用于调节正负样本之间的平衡程度。
[0106]
l2通过引入动态调节因子(1-p
ti
)
γ
，使得预测概率较低的样本和预测概率较高的样本在损失计算中得到不同的权重，从而减轻类别不平衡问题的影响。
[0107]
结合图8所示，在一种实施方式中，所述s201，获取第一样本图像之前，还包括：
[0108]
s110，获取第二样本图像，所述第二样本图像具有标注的图像分割信息和标注的关键点信息；
[0109]
本技术中，第二样本图像的格式与第一样本图像相同，其标注的图像分割信息与标注的关键点信息的格式也相同。
[0110]
s120，根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型。
[0111]
本技术中，通过对图像分割与识别模型进行粗训练，从而提高图像分割与识别模
型中的hourglass结构(粗训练后的参数)的(对图像分割和关键点识别)针对性，在具有针对性的基础上再次训练图像分割与识别模型时可以避免训练过程中陷入局部最优的情况。
[0112]
需要说明的是，对图像分割与识别模型进行训练过程中，由于奇数次训练和偶数次训练的损失进行单独和迭代，且图像分割需要的深度特征与关键点识别需要的深度特征对应的提取深度不同，容易出现只有单个整体损失收敛的情况，该种情况下若持续训练，则容易发生过拟合情况。
[0113]
本技术中，通过对图像分割与识别模型进行粗训练，提高了图像分割与识别模型对于图像识别和点识别的针对性，从而减少了后续训练过程中的训练时间，避免过拟合现象。
[0114]
本技术中，通过将图像分割与识别模型的训练过程拆分为粗训练和训练，从而降低了粗训练和训练过程中需要训练的内容，减少了训练时间，避免了过拟合等后果。
[0115]
在一种实施方式中，所述第一样本图像与所述第二样本图像相同。
[0116]
本技术中，通过相同的第一样本图像分别对图像分割与识别模型进行训练和粗训练，通过复用训练样本的方式，增加训练和粗训练之间的同调性和兼容性，进一步降低训练时间。
[0117]
结合图9所示，在一种实施方式中，
[0118]
所述图像分割与识别模型中的多个hourglass结构依次排列；所述s120，根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型，包括：
[0119]
s101，将所述第二样本图像输入图像分割与识别模型，得到多个hourglass结构输出的多个热力图；
[0120]
s102，根据排列在前列的预设数量的hourglass结构输出的热力图和标注的所述图像分割信息计算图像分割损失；
[0121]
s103，根据排列在后列的预设数量的hourglass结构输出的热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算点识别损失；
[0122]
本技术中，多个hourglass结构级联，沿数据的输送/处理方向对hourglass结构进行排列，前一hourglass结构的输出数据输入后一hourglass结构，根据该hourglass结构的排列，排列在前列的n个hourglass结构作为计算图像分割损失的基础，排列在后列的m个hourglass结构(共有m+n个hourglass结构)作为计算点识别损失的基础。
[0123]
需要说明的是，用于图像分割的特征信息与用于关键点识别的特征信息相比，后者需要进行深度的特征提取才能获取；因此，将前列的预设数量的hourglass结构用于图像分割，后列的hourglass结构用于关键点识别，以提高识别的准确性。
[0124]
在一种实施方式中，所述图像分割损失通过第一整体损失的计算方式进行计算。
[0125]
在一种实施方式中，所述点识别损失通过第二整体损失的计算方式进行计算。
[0126]
s104，根据所述图像分割损失和点识别损失确定第三整体损失；
[0127]
本技术中，所述第三整体损失基于所述图像分割损失和点识别损失按照预设的损失计算策略确定，该损失计算策略可以为均值计算或损失叠加计算。
[0128]
s105，根据所述第三整体损失对所述图像分割与识别模型进行迭代，直至所述第三整体损失收敛为止。
[0129]
本技术中，通过粗训练，可以将前列的预设数量的hourglass结构向图像分割方向逼近，将后列的预设数量的hourglass结构向点识别方向逼近，从而在后期训练过程中更快收敛。
[0130]
本技术实施例提供了一种髋关节图像分割与关键点联动识别装置，用于执行本技术上述内容所述的髋关节图像分割与关键点联动识别方法，以下对所述髋关节图像分割与关键点联动识别装置进行详细描述。
[0131]
如图10所示，所述髋关节图像分割与关键点联动识别装置，包括：
[0132]
图像获取模块101，其用于获取待识别图像，所述待识别图像为包含髋关节的医学图像；
[0133]
模型识别模块102，其用于将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
[0134]
热力图分割模块103，其用于对所述输出热力图进行图像分割和关键点点识别；
[0135]
结果确定模块104，其用于根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
[0136]
其中，所述图像分割与识别模型包含多个hourglass结构。
[0137]
在一种实施方式中，所述髋关节图像分割与关键点联动识别装置还包括模型训练模块，所述模型训练模块用于：
[0138]
获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；将所述第一样本图像输入图像分割与识别模型，得到多个hourglass结构输出的多个热力图；在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。
[0139]
在一种实施方式中，所述第一整体损失的计算公式为：
[0140][0141]
其中，l1为第一整体损失，n为计算第一整体损失的热力图的总数量，intersectioni为第i个热力图与标注的图像分割信息的交集，unioni为第个i热力图与标注的图像分割信息的并集。
[0142]
在一种实施方式中，所述第二整体损失的计算公式为：
[0143][0144]
其中，l2为第二整体损失，m为计算第二整体损失的预测关键点对应热力图的总数量，α为平衡因子，γ为可调节超参数，p
ti
为对应第i个热力图的预测关键点与标注的关键点的接近程度。
[0145]
在一种实施方式中，所述待识别图像的图像分割结果中至少包括：植入物股骨组件、植入物髋臼组件、植入螺钉、股骨植入头、大转子、小转子、植入侧股骨、非植入侧股骨、磁性标记。
[0146]
在一种实施方式中，所述髋关节图像分割与关键点联动识别装置还包括模型粗训
练模块，所述模型粗训练模块用于：
[0147]
获取第二样本图像，所述第二样本图像具有标注的图像分割信息和标注的关键点信息；根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型。
[0148]
在一种实施方式中，所述图像分割与识别模型中的多个hourglass结构依次排列；所述模型粗训练模块还用于：
[0149]
将所述第二样本图像输入图像分割与识别模型，得到多个hourglass结构输出的多个热力图；根据排列在前列的预设数量的hourglass结构输出的热力图和标注的所述图像分割信息计算图像分割损失；根据排列在后列的预设数量的hourglass结构输出的热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算点识别损失；根据所述图像分割损失和点识别损失确定第三整体损失；根据所述第三整体损失对所述图像分割与识别模型进行迭代，直至所述第三整体损失收敛为止。
[0150]
本技术的上述实施例提供的髋关节图像分割与关键点联动识别装置与本技术实施例提供的髋关节图像分割与关键点联动识别方法具有对应关系，因此该装置中的具体内容与髋关节图像分割与关键点联动识别方法具有对应关系，具体内容可以参照髋关节图像分割与关键点联动识别方法中的记录，本技术中对此不再赘述。
[0151]
本技术的上述实施例提供的髋关节图像分割与关键点联动识别装置与本技术实施例提供的髋关节图像分割与关键点联动识别方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0152]
以上描述了髋关节图像分割与关键点联动识别装置的内部功能和结构，如图11所示，实际中，该髋关节图像分割与关键点联动识别装置可实现为电子设备，包括：存储器301及处理器303。
[0153]
存储器301，可被配置为存储程序。
[0154]
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
[0155]
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0156]
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
[0157]
获取待识别图像，所述待识别图像为包含髋关节的医学图像；
[0158]
将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；
[0159]
对所述输出热力图进行图像分割和关键点点识别；
[0160]
根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；
[0161]
其中，所述图像分割与识别模型包含多个hourglass结构。
[0162]
在一种实施方式中，处理器303还用于：
[0163]
获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；将所述第一样本图像输入图像分割与识别模型，得到多个hourglass结构输出的多个热力图；在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。
[0164]
在一种实施方式中，所述第一整体损失的计算公式为：
[0165][0166]
其中，l1为第一整体损失，n为计算第一整体损失的热力图的总数量，intersectioni为第i个热力图与标注的图像分割信息的交集，unoioni为第个i热力图与标注的图像分割信息的并集。
[0167]
在一种实施方式中，所述第二整体损失的计算公式为：
[0168][0169]
其中，l2为第二整体损失，m为计算第二整体损失的预测关键点对应热力图的总数量，α为平衡因子，γ为可调节超参数，p
ti
为对应第i个热力图的预测关键点与标注的关键点的接近程度。
[0170]
在一种实施方式中，所述待识别图像的图像分割结果中至少包括：植入物股骨组件、植入物髋臼组件、植入螺钉、股骨植入头、大转子、小转子、植入侧股骨、非植入侧股骨、磁性标记。
[0171]
在一种实施方式中，处理器303还用于：
[0172]
获取第二样本图像，所述第二样本图像具有标注的图像分割信息和标注的关键点信息；根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型。
[0173]
在一种实施方式中，所述图像分割与识别模型中的多个hourglass结构依次排列；处理器303还用于：
[0174]
将所述第二样本图像输入图像分割与识别模型，得到多个hourglass结构输出的多个热力图；根据排列在前列的预设数量的hourglass结构输出的热力图和标注的所述图像分割信息计算图像分割损失；根据排列在后列的预设数量的hourglass结构输出的热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算点识别损失；根据所述图像分割损失和点识别损失确定第三整体损失；根据所述第三整体损失对所述图像分割与识别模型进行迭代，直至所述第三整体损失收敛为止。
[0175]
本技术中，处理器还具体用于执行上述髋关节图像分割与关键点联动识别方法的所有流程及步骤，具体内容可参照髋关节图像分割与关键点联动识别方法中的记录，本技术中对此不再赘述。
[0176]
本技术中，图11中仅示意性给出部分组件，并不意味着电子设备只包括图11所示组件。
[0177]
本实施例提供的电子设备，与本技术实施例提供的髋关节图像分割与关键点联动
识别方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0178]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0179]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0180]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0181]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0182]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0183]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0184]
本技术还提供一种与前述实施方式所提供的髋关节图像分割与关键点联动识别方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的髋关节图像分割与关键点联动识别方法。
[0185]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0186]
本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的髋关节
图像分割与关键点联动识别方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0187]
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
[0188]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0189]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种髋关节图像分割与关键点联动识别方法，其特征在于，包括：获取待识别图像，所述待识别图像为包含髋关节的医学图像；将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；对所述输出热力图进行图像分割和关键点点识别；根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；其中，所述图像分割与识别模型包含多个hourglass结构。2.根据权利要求1所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述获取待识别图像之前，还包括：获取第一样本图像，所述第一样本图像具有标注的图像分割信息和标注的关键点信息；将所述第一样本图像输入图像分割与识别模型，得到多个hourglass结构输出的多个热力图；在奇数次训练时，根据多个所述热力图和标注的所述图像分割信息计算第一整体损失；在偶数次训练时，根据多个所述热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算第二整体损失；根据所述第一整体损失或所述第二整体损失对所述图像分割与识别模型进行迭代，直至所述第一整体损失和所述第二整体损失收敛为止。3.根据权利要求2所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述第一整体损失的计算公式为：其中，l1为第一整体损失，n为计算第一整体损失的热力图的总数量，intersection
i
为第i个热力图与标注的图像分割信息的交集，union
i
为第个i热力图与标注的图像分割信息的并集。4.根据权利要求2所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述第二整体损失的计算公式为：其中，l2为第二整体损失，m为计算第二整体损失的预测关键点对应热力图的总数量，α为平衡因子，γ为可调节超参数，p
ti
为对应第i个热力图的预测关键点与标注的关键点的接近程度。5.根据权利要求1-4中任一项所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述待识别图像的图像分割结果中至少包括：植入物股骨组件、植入物髋臼组件、植入螺钉、股骨植入头、大转子、小转子、植入侧股骨、非植入侧股骨、磁性标记。6.根据权利要求2-4中任一项所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述获取第一样本图像之前，还包括：
获取第二样本图像，所述第二样本图像具有标注的图像分割信息和标注的关键点信息；根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型。7.根据权利要求6所述的髋关节图像分割与关键点联动识别方法，其特征在于，所述图像分割与识别模型中的多个hourglass结构依次排列；所述根据所述第二样本图像对所述图像分割与识别模型进行粗训练，得到粗训练后的图像分割与识别模型，包括：将所述第二样本图像输入图像分割与识别模型，得到多个hourglass结构输出的多个热力图；根据排列在前列的预设数量的hourglass结构输出的热力图和标注的所述图像分割信息计算图像分割损失；根据排列在后列的预设数量的hourglass结构输出的热力图确定预测的关键点，并基于预测的关键点和标注的关键点信息计算点识别损失；根据所述图像分割损失和点识别损失确定第三整体损失；根据所述第三整体损失对所述图像分割与识别模型进行迭代，直至所述第三整体损失收敛为止。8.一种髋关节图像分割与关键点联动识别装置，其特征在于，包括：图像获取模块，其用于获取待识别图像，所述待识别图像为包含髋关节的医学图像；模型识别模块，其用于将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；热力图分割模块，其用于对所述输出热力图进行图像分割和关键点点识别；结果确定模块，其用于根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；其中，所述图像分割与识别模型包含多个hourglass结构。9.一种电子设备，其特征在于，包括：存储器和处理器；所述存储器，其用于存储程序；所述处理器，耦合至所述存储器，用于执行所述程序，以用于：获取待识别图像，所述待识别图像为包含髋关节的医学图像；将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；对所述输出热力图进行图像分割和关键点点识别；根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；其中，所述图像分割与识别模型包含多个hourglass结构。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-7任一项所述的髋关节图像分割与关键点联动识别方法。

技术总结
本申请提供了一种髋关节图像分割与关键点联动识别方法及装置，所述方法包括：获取待识别图像，所述待识别图像为包含髋关节的医学图像；将所述待识别图像输入图像分割与识别模型，得到所述待识别图像的输出热力图；对所述输出热力图进行图像分割和关键点点识别；根据分割和识别后的所述输出热力图，确定所述待识别图像的图像分割结果和关键点识别结果；其中，所述图像分割与识别模型包含多个Hourglass结构。本申请中，通过设置包含多个Hourglass结构的图像分割与识别模型，得到输出热力图，进而确定当前髋关节图像的图像分割结果和关键点识别结果，实现髋关节图像分割与关键点识别的联动，简化中间步骤，避免繁琐过程。程。程。


技术研发人员：张逸凌 刘星宇
受保护的技术使用者：张逸凌
技术研发日：2023.07.06
技术公布日：2023/10/19