图像分割方法和装置与流程
未命名
09-24
阅读:80
评论:0
1.本技术涉及图像技术领域,特别是涉及一种图像分割方法和装置。
背景技术:
2.图像分割技术越来越多地应用在医疗领域。通过对医疗图像的分割,可以准确地获取医疗图像中的感兴趣区域。
3.相关技术中,可以是对医疗图像中器官或者病灶进行标注,利用医疗图像中器官或者病灶中的标注信息训练图像分割模型,以对医疗图像中器官或者病灶的进行分割。
4.然而,医疗图像的标注信息十分难以获得,导致训练的图像分割模型存在图像分割准确度不高的问题。
技术实现要素:
5.基于此,有必要针对上述技术问题,提供一种能够提高训练的图像分割模型的分割准确度的图像分割方法和装置。
6.第一方面,本技术提供了一种图像分割方法,该方法包括:
7.获取目标医学影像,以及,获取目标医学影像中目标结构的描述信息;
8.将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果;
9.其中,图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。
10.在其中一个实施例中,图像分割模型是通过已标注的样本医学影像对预训练的图像分割模型进行调整得到的;预训练的图像分割模型是基于多个样本医学影像和对应的样本结构描述信息进行预训练得到的。
11.在其中一个实施例中,图像分割模型中包括影像特征和描述特征之间的映射关系;
12.将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果,包括:
13.通过图像分割模型,获取目标医学影像对应的影像特征和描述信息对应的描述特征之间的相似度;
14.将相似度大于预设阈值的影像特征对应的影像区域作为目标结构的图像分割结果。
15.在其中一个实施例中,获取目标医学影像中目标结构的描述信息,包括:
16.响应于目标医学影像的分割指令,根据分割指令中携带的目标结构,从目标医学影像对应的影像报告中筛选目标结构的影像报告;
17.对目标结构的影像报告进行标准化处理,得到目标结构的描述信息。
18.在其中一个实施例中,图像分割模型的构建过程包括:
19.基于各样本医学影像和对应的样本结构描述信息,确定正样本对和负样本对;正样本对表示样本医学影像与对应的样本结构描述信息匹配成功;负样本对表示样本医学影像与对应的样本结构描述信息匹配失败;
20.基于正样本对和负样本对初始图像分割模型进行训练,得到图像分割模型。
21.在其中一个实施例中,基于各样本医学影像和对应的样本结构描述信息,确定正样本对和负样本对,包括:
22.提取各样本医学影像的样本影像特征,以及,提取各样本结构描述信息的样本描述特征;
23.将各样本影像特征与各样本描述特征进行匹配,得到正样本对和负样本对;正样本对用于确定各样本影像特征和各样本描述特征之间的映射关系。
24.在其中一个实施例中,提取各样本医学影像的样本影像特征,包括:
25.针对任意一个样本医学影像,获取样本医学影像的样本影像隐表示特征;
26.对样本医学影像进行聚类,得到样本医学影像的样本聚类中心向量;
27.根据样本影像隐表示特征、样本聚类中心向量,确定样本医学影像的样本影像特征。
28.在其中一个实施例中,基于正样本对和负样本对初始图像分割模型进行训练,得到图像分割模型;包括:
29.基于正样本对和负样本对初始图像分割模型进行预训练,得到预训练的图像分割模型;
30.通过已标注的样本医学影像对预训练的图像分割模型进行调整,获得图像分割模型。
31.在其中一个实施例中,通过已标注的样本医学影像,对预训练的图像分割模型进行调整,获得图像分割模型,获得图像分割模型,包括:
32.将已标注的样本医学影像输入至预训练的图像分割模型,得到已标注的样本医学影像的初始分割结果;
33.基于已标注的样本医学影像的样本分割结果,对初始分割结果进行特征空间转换操作,得到已标注的样本医学影像的图像分割结果;
34.若图像分割结果与样本分割结果之间满足预设的收敛条件,确定预训练的图像分割模型的调整训练完成,得到图像分割模型。
35.第二方面,本技术还提供了一种图像分割装置,该装置包括:
36.获取模块,用于获取目标医学影像,以及,获取目标医学影像中目标结构的描述信息;
37.分割模块,用于将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果;其中,图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。
38.第三方面,本技术还提供了一种计算机设备。计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面中的图像分割方法中的任意一项内容。
39.第四方面,本技术还提供了一种计算机可读存储介质。计算机可读存储介质,其上
存储有计算机程序,计算机程序被处理器执行时实现上述第一方面中的图像分割方法中的任意一项内容。
40.第五方面,本技术还提供了一种计算机程序产品。计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面中的图像分割方法中的任意一项内容。
41.上述图像分割方法和装置,获取目标医学影像,以及,获取目标医学影像中目标结构的描述信息,将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果。其中,图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。即在图像分割模型进行训练的过程中,并不需要大量的已标注的医学图像,减少了标注数据的使用数量。同时,该方法使用多个样本医学影像和对应的样本结构描述信息进行训练,样本医学影像和样本结构描述信息之间存在对应关系,训练得到的图像分割模型的准确度更高。这样,基于目标医学影像中目标结构的描述信息,利用图像分割模型可以更准确地对目标医学影像进行图像分割,得到的图像分割结果会更准确。
附图说明
42.图1为一个实施例中图像分割方法的应用环境图;
43.图2为一个实施例中图像分割方法的流程示意图;
44.图3为一个实施例中图像分割方法的流程示意图;
45.图4为一个实施例中图像分割方法的流程示意图;
46.图5为一个实施例中图像分割方法的流程示意图;
47.图6为一个实施例中图像分割方法的流程示意图;
48.图7为一个实施例中图像分割模型的应用流程图;
49.图8为一个实施例中图像分割方法的流程示意图;
50.图9为一个实施例中图像分割方法的流程示意图;
51.图10为一个实施例中图像分割方法的流程示意图;
52.图11为一个实施例中图像分割方法的流程示意图;
53.图12为一个实施例中图像分割方法的流程示意图;
54.图13为一个实施例中图像分割方法的流程示意图;
55.图14为一个实施例中图像分割方法的流程示意图;
56.图15为一个实施例中图像分割方法的流程示意图;
57.图16为一个实施例中图像分割模型的初始训练过程的流程示意图;
58.图17为一个实施例中图像分割模型的调整训练过程的流程示意图;
59.图18为一个实施例中图像分割模型的训练过程的流程示意图;
60.图19为一个实施例中图像分割装置的结构框图。
具体实施方式
61.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不
用于限定本技术。
62.本技术实施例提供的图像分割方法,可以应用于如图1所示的应用环境中。该计算机设备可以是服务器,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像分割过程中的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信,该计算机程序被处理器执行时以实现一种图像分割方法。其中,该计算机设备可以计算机设备可以用独立的计算机设备或者是多个计算机设备组成的计算机设备集群来实现。
63.在一个实施例中,如图2所示,提供了一种图像分割方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
64.s201,获取目标医学影像,以及,获取目标医学影像中目标结构的描述信息。
65.其中,目标医学影像可以是人体任何部位的医学影像,医学影像的类型可以是x线摄影、x线计算机体层成像、磁共振成像、超声检查和放射性核素显像等。目标结构的描述信息是根据医学影像对应的医学报告的确定的,例如,目标部位的描述信息可以是目标部位的位置区域、尺寸大小等。目标结构可以是目标医学影像中的全部结构,也可以是目标医学影像中的部分结构,即目标结构的数量为至少一个。
66.可选的,当目标医学影像均为历史医学影像,且历史医学影像均存储在医学影像数据库的情况下,计算机设备可以将目标医学影像的标签与医学影像数据库中的所有历史医学影像的标签进行对比,将与目标医学影像的标签相同的标签对应的历史医学影像作为目标医学影像。可选的,在目标医学影像还未拍摄的情况下,计算机设备可以向医学影像设备发送拍摄指令,医学影像设备接收到该拍摄指令后,对目标对象的目标部位进行拍摄,得到目标医学影像,并将该目标医学影像发送给计算机设备。本实施例对于获取目标医学影像的方式不做限定。
67.进一步的,历史医学影像对应的影像报告存储在影像报告数据库中,计算机设备还可以根据目标医学影像的标签,从影像报告数据库中筛选出目标医学影像对应的影像报告。或者,在目标医学影像已拍摄,但是还未得到目标医学影像的影像报告的情况下,计算机设备可以将获取的目标医学影像输入至影像分析软件中,通过影像分析软件输出目标医学影像对应的影像报告。得到目标医学影像对应的影像报告后,可以对该影像报告进行标准化处理,得到目标医学影像中目标结构的描述信息。
68.s202,将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果;其中,图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。
69.其中,样本医学影像和对应的样本结构描述信息大量存在于影像归档和通信系统(picture archiving and communication systems,pacs)中。在大量的样本数据的帮助下,可以准确地获取到样本医学影像和样本结构描述信息之间的对应关系。从而基于该对应关系对图像分割模型进行训练,使得到的图像分割模型的精度更高。
70.在本实施例中,在使用训练好的图像分割模型对目标医学图像进行分割时,将目
标医学影像和目标医学影像中目标结构的描述信息输入至图像分割模型中,图像分割模型可以按照目标结构的描述信息,对目标医学影像进行分割,将目标医学影像中的目标结构的区域分割出来,得到目标结构的图像分割结果。例如,目标结构为肾、小肠时,得到的图像分割结果为目标医学图像中的肾区域和小肠区域。
71.上述图像分割方法中,获取目标医学影像,以及,获取目标医学影像中目标结构的描述信息,将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果。其中,图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。即在图像分割模型进行训练的过程中,并不需要大量的已标注的医学图像,减少标注数据的使用数量。同时,该方法使用多个样本医学影像和对应的样本结构描述信息进行训练,样本医学影像和样本结构描述信息之间存在对应关系,训练得到的图像分割模型的准确度更高。这样,基于目标医学影像中目标结构的描述信息,利用图像分割模型可以更准确地对目标医学影像进行图像分割,得到的图像分割结果会更准确。
72.在上述实施例的基础上,对图像分割模型的训练过程的具体内容进行介绍说明。该图像分割模型的具体训练过程可以包括:图像分割模型是通过已标注的样本医学影像对预训练的图像分割模型进行调整得到的;预训练的图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。
73.其中,pacs系统中的样本医学影像中包括已标注的样本医学影像和未标注的医学影像。在大量的样本数据的帮助下,可以准确地获取到样本医学影像和样本结构描述信息之间的对应关系。从而基于该对应关系,通过样本医学影像中的已标注的样本医学影像对图像分割模型进行训练,使得到的预训练的图像分割模型的精度更高。
74.在本实施例中,在对图像分割模型进行训练时,先通过多个样本医学影像和对应的样本结构描述信息对初始分割模型进行预训练,得到预训练的图像分割模型,该预训练的图像分割模型可以对图像进行的分割,但是分割的准确度不够高。因此,再通过已标注的样本医学影像对预训练的图像分割模型进行调整训练,通过调整训练使得图像分割的准确度大大提高,得到的图像分割模型也更加准确。其中,多个样本医学影像中包括未标注的样本医学影像和已标注的样本医学影像,未标注的样本医学影像和已标注的样本医学影像的数量比例可以不做限制。例如,多个样本医学影像中的未标注的样本医学影像较多,已标注的样本医学影像的数量较少,或者,多个样本医学影像中的已标注的样本医学影像较多,未标注的样本医学影像的数量较少。
75.上述图像分割方法中,由于已标注的样本医学影像仅是用于对预训练得到的图像分割模型进行调整的过程,那么,已标注的样本医学影像的数量可以相对较少,即在图像分割模型进行预训练和调整训练的过程中,并不需要大量的已标注的医学图像,减少标注数据的使用数量。同时,该方法使用多个样本医学影像和对应的样本结构描述信息进行预训练,使得预训练的图像分割模型能够简单地对图像进行分割,再通过已标注的样本医学影像对预训练得到的图像分割模型进行调整,进一步提高图像分割模型的分割效果,使得到的图像分割模型更加准确,通过两次训练得到的图像分割模型对目标医学影像进行分割,其分割的准确度更高。
76.在上述实施例的基础上,图像分割模型中包括影像特征提取网络和描述特征提取
网络,本实施例是对图2中步骤s202“将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果”的相关内容进行介绍说明。如图3所示,上述步骤s202可以包括如下内容:
77.s301,利用影像特征提取网络提取目标医学影像中的影像特征,以及,利用描述特征提取网络提取描述信息的描述特征。
78.其中,影像特征表示目标医学影像的特征信息,例如,影像特征可以是像素值、高度信息和深度信息等。描述特征表示描述信息的特征信息,例如,描述特征可以是肾的尺寸信息、大小信息、周围部位的特征信息等。
79.在本实施例中,计算机设备可以通过训练好的图像分割模型中的影像特征提取网络对目标医学影像进行分析,以提取目标医学影像中的影像特征;同时,还可以通过图像分割模型中的描述特征提取网络对描述信息进行分析,以提取描述信息中的描述特征。
80.s302,根据影像特征和描述特征,确定目标结构的图像分割结果。
81.在本实施例中,针对任意一个部位的描述特征,则可以将描述特征与影像特征进行滑动比对,以确定影像特征中与描述特征相同的区域,得到目标结构的图像分割结果。
82.上述图像分割方法中,利用影像特征提取网络提取目标医学影像中的影像特征,以及,利用描述特征提取网络提取描述信息的描述特征,根据影像特征和描述特征,确定目标结构的图像分割结果。该方法可以利用训练好的影像特征提取网络可以准确地提取到目标医学影像中的影像特征,以及,利用训练好的描述特征提取网络可以准确地提取到描述信息的描述特征,并根据该影像特征和描述特征,可以得到更加准确的目标结构的图像分割结果。
83.在上述实施例的基础上,图像分割模型中包括影像特征和描述特征之间的映射关系,本实施例是对图2中步骤s202“将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果”的相关内容进行介绍说明。如图4所示,上述步骤s202可以包括如下内容:
84.s401,通过图像分割模型,获取目标医学影像对应的影像特征和描述信息对应的描述特征之间的相似度。
85.在本实施例中,计算机设备可以将描述特征在影像特征上进行滑动对比,在每一次滑动对比的过程中,将描述特征与滑动区域的影像特征进行滑动比较,计算描述特征与滑动区域的影像特征之间的夹角的余弦值,并根据该余弦值的大小,确定描述特征与滑动区域的影像特征之间的相似度,按照该方式,获取影像特征和描述特征之间的相似度。
86.需要说明的是,利用影像特征提取网络提取目标医学影像的特征时,提取的影像特征为一个特征矩阵。利用描述特征提取网络提取描述信息的特征时,提取的描述特征也是一个特征矩阵。影像特征对应的特征矩阵和描述特征对应的特征矩阵属于同一维度的特征,对于同一维度的特征,可以直接计算两个特征之间的相似度。
87.s402,将相似度大于预设阈值的影像特征对应的影像区域作为目标结构的图像分割结果。
88.在本实施例中,当得到影像特征与描述特征之间的多个相似度时,可以筛选出相似度大于预设阈值的滑动区域影像特征,并将该滑动区域影像特征作为目标结构的图像分割结果。若多个滑动区域的相似度均大于预设阈值时,则将多个滑动区域进行融合,并将融
合后的滑动区域影像特征作为目标结构的图像分割结果。其中,预设阈值可以是根据实际情况进行调整的,例如,最大相似度为1时,预设阈值可以是0.9,也可以是0.95。
89.上述图像分割方法中,通过图像分割模型,获取目标医学影像对应的影像特征和描述信息对应的描述特征之间的相似度,将相似度大于预设阈值的影像特征对应的影像区域作为目标结构的图像分割结果。由于图像分割模型中包括影像特征和描述特征之间的映射关系,那么,通过图像分割模型可以快速准确地获取影像特征与描述特征之间的相似度,并根据相似度进行判断,可以准确地从影像特征中筛选出与描述特征相似度最高的区域,并将该区域作为目标结构的图像分割结果。
90.在上述实施例的基础上,本实施例是对图2中步骤s201“获取目标医学影像中目标结构的描述信息”的相关内容进行介绍说明。如图5所示,上述步骤s201可以包括如下内容:
91.s501,响应于目标医学影像的分割指令,根据分割指令中携带的目标结构,从目标医学影像对应的影像报告中筛选目标结构的影像报告。
92.其中,目标医学影像的分割指令可以是用户输入的分割指令,还可以是其他计算机设备或者终端输入的对于目标医学影像的分割指令。
93.在本实施例中,目标医学影像中的分割指令中携带有需要分割的目标结构,计算机设备接收到目标医学影像的分割指令后,可以根据分割指令中携带的目标结构,从目标医学影像对应的影像报告中确定目标结构对应的报告部分,并将该目标结构对应的报告部分确定为目标结构的影像报告。例如,目标医学影像中包括肝、小肠、结肠、十二指肠等结构,需要分割的目标结构为肝时,从影像报告中筛选出肝对应的影像报告。
94.s502,对目标结构的影像报告进行标准化处理,得到目标结构的描述信息。
95.在本实施例中,由于影像报告中目标部位对应的描述内容较多,且描述方式较为多样化,因此,需要对目标结构的影像报告进行标准化处理,以使处理后的影像报告中包含的信息为所需的标准信息,并将该目标部位的标准信息确定为目标结构的描述信息。
96.上述图像分割方法中,响应于目标医学影像的分割指令,根据分割指令中携带的目标结构,从目标医学影像对应的影像报告中筛选目标结构的影像报告,对目标结构的影像报告进行标准化处理,得到目标结构的描述信息。该方法根据目标医学影像中的分割指令携带的目标结果,可以准确地从影像报告中筛选该目标结构的影像报告,并对该影像报告进行标准化处理,使得到的目标结构的描述信息更加准确。
97.在上述实施例的基础上,本实施例是对图5中步骤s502“对目标结构的影像报告进行标准化处理,得到目标结构的描述信息”的相关内容进行介绍说明。上述步骤s502可以包括如下内容:将目标结构的影像报告输入至标准描述模板中,生成目标结构的描述信息。
98.在本实施例中,计算机设备可以将目标结构的影像报告输入到标准描述模板,标准描述模板可以对目标结构的影像报告进行划分,将影像报告的内容按照标准描述模板的方式进行排列,即利用标准描述模板对目标结构的影像报告进行标准化处理,得到目标结构的描述信息。
99.上述图像分割方法中,将目标结构的影像报告输入至标准描述模板中,生成目标结构的描述信息。该方法通过将目标结构的影像报告输入至标准描述模板中,通过该标准描述模板可以将目标结构的影像报告进行标准化处理,处理后可以得到更准确的目标结构的描述信息。
100.在一个实施例中,以下对图像分割方法的应用过程进行详细介绍,如图6所示,该方法可以包括:
101.s601,获取目标部位的初始医学影像;
102.s602,滤除初始医学影像的边界区域,得到目标医学影像;
103.s603,利用影像特征提取网络提取目标医学影像中的影像特征;
104.s604,响应于目标医学影像的分割指令,根据分割指令中携带的目标结构,从目标医学影像对应的影像报告中筛选目标结构的影像报告;
105.s605,将目标结构的影像报告输入至标准描述模板中,生成目标结构的描述信息;
106.s606,获取影像特征和描述特征之间的相似度;
107.s607,将相似度大于预设阈值的影像特征对应的影像区域作为目标结构的图像分割结果。
108.图7为图像分割模型的应用流程图,在图7中,目标结构为目标医学影像中的所有部位或者部分部位,例如,目标医学影像中的部位可以包括肝、小肠、结肠、十二指肠、胰腺、左肾或者右肾等。文本编码器为图像分割模型中的描述特征提取网络,文本特征为描述特征。图像编码器为图像分割模型中的影像特征提取网络,预测样本图像特征为影像特征。
109.在使用文本编码器提取描述信息中的文本特征之前,可以将预计分割的结构名称输入至标准化文本模板中,得到各预计分割的结构对应的描述信息。并将目标结构的描述信息输入至文本编码器中,通过文本编码器提取描述信息中的文本特征(t1、t2、
……
、tn)。其中,目标结构的描述信息是指影像报告中关于目标部位的描述,例如,目标部位的描述信息可以是目标部位的位置区域、尺寸大小等。
110.在利用图像编码器对目标医学影像进行特征提取之前,使用相关的分割算法对目标医学影像中的边界区域进行分割,去除目标医学影像中的黑边或者扫描台,得到仅包含感兴趣区域的目标医学影像。例如,该分割算法可以是阈值法或者随机游走法。通过图像编码器对目标医学影像进行特征提取,得到由聚类中心扩展得到的图像分割特征图。其中,图像分割特征图是指基于各个部位的特征对目标医学影像进行分割之后得到的特征图。再对该图像分割特征图进行特征映射,得到预测样本图像特征(iy)。其中,预测样本图像特征是指基于图像分割特征图对该目标医学影像对应的文本特征进行预测,确定该目标医学影像对应的预测文本。然后将文本特征与预测样本图像特征进行对比分析,将相似度高的区域作为图像分割结果,即对应图中的图像分割预测图。该方法通过对图像分割模型进行图像分割的具体过程进行描述,通过对目标医学影像的预测样本图像特征和描述信息中的文本特征进行相似性分析,可以准确地获取两者的相似度,从而可以基于该相似度,准确地获取该目标医学影像的图像分割结果。
111.图8为图像分割方法的流程示意图,当获取到初始医学影像后,需要对初始医学影像周围的黑边或者扫描台进行剪裁,得到目标医学影像,将该目标医学影像输入至训练好的图像编码器中,得到目标医学影像的影像特征。同时,当确定需要分割的目标结构后,将目标结构对应的影像报告进行标准化处理,得到目标结构的描述信息,将该描述信息输入至文本编码器中,通过文本编码器提取描述信息中的文本特征,并将文本特征与影像特征进行匹配处理,计算文本特征与影像特征之间的相似度,根据该相似度,确定目标结构的图像分割结果。该方法在对医学图像分割之前,通过预处理的方式去除初始医学影像周围的
黑边,可以避免初始医学影像的冗余信息对图像分割过程的影响。另外,该图像分割模型在对目标医学影像进行分割的过程中,是基于该目标医学影像对应的描述信息进行分割的,通过描述信息中的文本特征与目标医学影像的影像特征之间的相似度,可以更加准确地对目标医学影像进行分割,得到更加准确的图像分割结果。
112.在上述实施例的基础上,本实施例是对上述图像分割模型的构建过程的相关内容进行介绍说明。如图9所示,上述图像分割模型的构建过程可以包括如下内容:
113.s701,基于各样本医学影像和对应的结构描述信息,确定正样本对和负样本对;正样本对表示样本医学影像与对应的样本结构描述信息匹配成功;负样本对表示样本医学影像与样本结构描述信息匹配失败。
114.在本实施例中,在训练之前,计算机设备可以获取到多个样本医学影像,以及,多个样本医学影像对应的多个样本结构描述信息,但是,每一个样本医学影像对应的样本结构描述信息却无法获取,因此,在需要先确定样本医学影像与对应的样本结构描述信息之间的对应关系。对于任意一个样本医学影像来说,计算机设备可以将样本医学影像与所有的样本结构描述信息进行匹配,若样本医学影像与所有的样本结构描述信息中的任意一个匹配成功,则将匹配成功的样本结构描述信息确定为样本医学影像对应的样本结构描述信息,并将该样本医学影像和匹配成功的样本结构描述信息作为正样本对,并将该样本医学影像和其他样本结构描述信息作为负样本对,按照该方式,确定所有的正样本对和负样本对。
115.s702,基于正样本对和负样本对初始图像分割模型进行训练,得到图像分割模型。
116.在本实施例中,计算机设备可以将正样本对和负样本对作为训练样本,通过正样本对和负样本对训练初始图像分割模型,若初始图像分割模型的分割结果满足预设条件,则确定训练完成,得到图像分割模型。
117.上述图像分割方法中,基于各样本医学影像和对应的样本结构描述信息,确定正样本对和负样本对,基于正样本对和负样本对初始图像分割模型进行训练,得到图像分割模型。其中,正样本对表示样本医学影像与对应的样本结构描述信息匹配成功;负样本对表示样本医学影像与对应的样本结构描述信息匹配失败。该方法通过将样本医学影像和对应的样本结构描述信息进行匹配,可以准确地获取到正样本对和负样本对,从而可以使用正样本对和负样本准确地对训练初始图像分割模型,可以提高训练得到的图像分割模型的分割准确度,从而使得图像分割模型的准确度更高。
118.在上述实施例的基础上,本实施例是对图9中步骤s701“基于各样本医学影像和对应的样本结构描述信息,确定正样本对和负样本对”的相关内容进行介绍说明。如图10所示,上述步骤s701可以包括如下内容:
119.s801,提取各样本医学影像的样本影像特征,以及,提取各样本结构描述信息的样本描述特征。
120.在本实施例中,在提取各样本医学影像的样本影像特征之前,需要通过图像分割算法对各样本医学影像的边界区域进行分割,以去除各样本医学影像中的黑边或者扫描台,得到仅包含感兴趣区域的样本医学影像。例如,该图像分割算法包括阈值法、随机游走法等。
121.计算机设备可以利用初始图像分割模型中的初始影像特征提取网络提取各样本
医学影像中的特征,得到各样本医学影像的样本影像特征。在获取各样本结构描述信息的样本描述特征之前,计算机设备可以从pacs系统中获取多个样本医学影像对应的影像报告,并将该影像报告转换为标准化的模板文本信息。将该模板文本信息输入至文本编码器中,得到每一个样本结构描述信息的样本描述特征。
122.s802,将各样本影像特征与各样本描述特征进行匹配,得到正样本对和负样本对;正样本对用于确定各样本影像特征和各样本描述特征之间的映射关系。
123.在本实施例中,计算机设备获取到多个样本影像特征与多个样本描述特征后,对于任意一个样本影像特征,将该样本影像特征与所有样本描述特征进行匹配,若样本影像特征与任意一个样本描述特征匹配成功,则将该样本影像特征和匹配成功的样本描述特征确定为正样本对,并将该样本影像特征和其他未匹配成功的样本描述特征确定为负样本对。按照上述方式对每一个样本影像特征与所有样本描述特征进行匹配,得到所有的正样本对和负样本对。其中,匹配成功表示样本影像特征与样本描述特征所表示的含义相同。例如,样本影像特征中包括肺内部存在a类病变,文本影像特征中包括肺内部出现病变,考虑为a类,则样本影像特征与文本影像特征所表示的意思相同,则确定意思相同的两个特征匹配成功。同时,将意思相同的样本影像特征与文本影像特征确定为一个正样本对。
124.上述图像分割方法中,提取各样本医学影像的样本影像特征,以及,提取各样本结构描述信息中的样本描述特征,将各样本影像特征与各样本描述特征进行匹配,得到正样本对和负样本对。计算机设备可以利用初始图像分割模型中的影像特征提取网络可以准确地提取到各样本医学影像中的样本影像特征,以及,利用初始图像分割模型中的描述特征提取网络可以准确地提取到各样本结构描述信息中的样本描述特征,并将各样本影像特征与各样本描述特征进行匹配,根据匹配结果,可以更加准确地获取到正样本对和负样本对。
125.在上述实施例的基础上,本实施例是对图10中步骤s801“提取各样本医学影像的样本影像特征”的相关内容进行介绍说明。如图11所示,上述步骤s801可以包括如下内容:
126.s901,针对任意一个样本医学影像,获取样本医学影像的样本影像隐表示特征。
127.其中,样本影像隐表示特征是指样本医学影像中的各个部位之间的关系,例如,各个部位之间的关系包括各个部位边界的纹理关系或者各个部位的区域关系等。通过样本医学影像的样本影像隐表示特征,可以明确样本医学影像中各个部位之间的相关关系,可以更准确地提取该样本医学影像中的样本影像特征。
128.在本实施例中,计算机设备可以同时对所有的样本医学影像进行编码特征表示,用短码表示出现概率较大的码字,用长码表示出现概率较小的码字,将得到的码字作为样本医学影像的样本影像隐表示特征。
129.s902,对样本医学影像进行聚类,得到样本医学影像的样本聚类中心向量。
130.在本实施例中,计算机设备可以利用相应的聚类算法对该样本医学影像进行聚类操作,将像素值相同的区域聚为一类,得到样本医学影像的样本聚类中心向量。相应的聚类算法可以包括基于密度的空间聚类算法(density-based spatial clustering of applications with noise,dbscan)、主成分分析算法(principal components analysis,pca)、k均值聚类算法(k-means clustering algorithm,k-means)、高斯混合模型(gaussian mixed model,gmm)、谱聚类算法等。
131.s903,根据样本影像隐表示特征、样本聚类中心向量,确定样本医学影像的样本影
像特征。
132.在本实施例中,计算机设备可以将样本影像隐表示特征和样本聚类中心向量一起通过多个编码器,并对样本影像隐表示特征和样本聚类中心向量进行融合处理,按照样本聚类中心向量对样本影像隐表示特征进行划分,得到各样本医学影像的样本影像特征,并对该样本影像特征进行映射,得到每一个样本医学影像的样本影像特征。
133.上述图像分割方法中,针对任意一个样本医学影像,获取样本医学影像的样本影像隐表示特征,对样本医学影像进行聚类,得到样本医学影像的样本聚类中心向量,根据样本影像隐表示特征、样本聚类中心向量,确定样本医学影像的样本影像特征。该方法通过提取样本医学影像的样本影像隐表示特征,对样本医学影像进行聚类,能够简单地对样本医学影像进行划分,根据样本影像隐表示特征和样本聚类中心向量,能够准确地获取到样本医学影像的样本影像特征。
134.在上述实施例的基础上,本实施例是对图11中步骤s903“根据样本影像隐表示特征、样本聚类中心向量,确定样本医学影像的样本影像特征”的相关内容进行介绍说明。如图12所示,上述步骤s903可以包括如下内容:
135.s1001,将样本影像隐表示特征和样本聚类中心向量进行融合,得到样本影像分割特征图。
136.在本实施例中,计算机设备获取到样本影像隐表示特征和样本聚类中心向量后,可以按照样本聚类中心向量对样本影像隐表示特征进行划分,将不同的隐表示特征划分为一类,即对该样本影像隐表示特征进行简单划分,得到样本影像分割特征图。
137.s1002,对样本影像分割特征图进行特征映射,得到样本医学影像的样本影像特征。
138.在本实施例中,计算机设备可以将不同的样本影像分割特征图映射至不同的样本医学影像中,即确定不同的样本影像分割特征图与多个样本医学影像之间的映射关系,可以得到多个样本医学影像的样本影像特征。
139.上述图像分割方法中,将样本影像隐表示特征和样本聚类中心向量进行融合,得到样本影像分割特征图,对样本影像分割特征图进行特征映射,得到样本医学影像的样本影像特征。该方法通过将样本影像隐表示特征和样本聚类中心向量进行融合处理,可以得到简单分割的样本影像分割特征图,并对该样本影像分割特征图进行特征映射,可以准确地获取到样本医学影像的样本影像特征。
140.在上述实施例的基础上,本实施例是对图9中步骤s702“根据样本影像隐表示特征、样本聚类中心向量,确定样本医学影像的样本影像特征”的相关内容进行介绍说明。如图13所示,上述步骤s702可以包括如下内容:
141.s1101,基于正样本对和负样本对初始图像分割模型进行预训练,得到预训练的图像分割模型。
142.在本实施例中,计算机设备可以将正样本对和负样本对作为第一次训练的训练样本,通过正样本对和负样本对训练初始图像分割模型,若初始图像分割模型的分割结果满足预设条件,则确定第一次训练完成,得到预训练的图像分割模型。
143.s1102,通过已标注的样本医学影像,对预训练的图像分割模型进行调整,获得图像分割模型。
144.在本实施例中,计算机设备可以利用已标注的样本医学影像对预训练的图像分割模型进行调整,以使预训练的图像分割模型能够准确地对图像进行分割,当预训练的图像分割模型的分割结果与医学影像中的标注结果满足预设条件时,则确定第二次训练完成,得到图像分割模型。
145.上述图像分割方法中,基于正样本对和负样本对初始图像分割模型进行预训练,得到预训练的图像分割模型;通过已标注的样本医学影像,对预训练的图像分割模型进行调整,获得图像分割模型。该方法使用正样本对和负样本对训练初始图像分割模型,得到的预训练的图像分割模型可以对图像进行一次的分割,再通过已标注的样本医学影像对预训练的图像分割模型进行调整训练,可以提高预训练的图像分割模型的分割准确度,从而使得调整后得到的图像分割模型的准确度更高。
146.在上述实施例的基础上,本实施例是对图9中步骤s702“通过已标注的样本医学影像,对预训练的图像分割模型进行调整,获得图像分割模型”的相关内容进行介绍说明。如图14所示,上述步骤s702可以包括如下内容:
147.s1201,将已标注的样本医学影像输入至预训练的图像分割模型,得到已标注的样本医学影像的初始分割结果。
148.在本实施例中,计算机设备可以将已标注的样本医学影像作为输入信号,输入至预训练的图像分割模型中,通过预训练的图像分割模型对已标注的样本医学影像进行简单分割,该预训练的图像分割模型在分割过程中,由于分割精度不够,因此,得到的分割结果较为简单,并将该简单分割结果作为已标注的样本医学影像的初始分割结果。
149.s1202,基于已标注的样本医学影像的样本分割结果,对初始分割结果进行特征空间转换操作,得到已标注的样本医学影像的图像分割结果。
150.在本实施例中,计算机设备获取到已标注的样本医学影像的样本分割结果后,可以按照已标注的样本医学影像的标注信息,对初始分割结果进行空间转换操作,即对初始分割结果进行精细地划分,使得到的已标注的样本医学影像的图像分割结果与标注信息是相互对应的。例如,已标注的样本医学影像的肺区域的标注信息为1,对初始分割结果进行特征空间转换操作后,已标注的样本医学影像的肺的图像分割结果为标注信息1对应的区域。
151.s1203,若图像分割结果与样本分割结果之间满足预设的收敛条件,确定预训练的图像分割模型的调整训练完成,得到图像分割模型。
152.在本实施例中,计算机设备获取到图像分割结果后,可以通过判断图像分割结果与样本分割结果之间是否满足预设的收敛条件,来确定预训练的图像分割模型的调整训练过程是否完成,若满足,则确定预训练的图像分割模型的调整训练过程完成,得到准确的图像分割结果;若不满足,则确定预训练的图像分割模型的调整训练过程还未完成,还需要进一步地进行调整训练,直至图像分割结果与样本分割结果之间满足预设的收敛条件,则调整训练过程完成。其中,预设的收敛条件可以是损失函数的收敛条件,该损失函数可以是dice loss损失函数或者二分类交叉熵(binary crossentropy loss,bce)损失函数等。
153.上述图像分割方法中,将已标注的样本医学影像输入至预训练的图像分割模型,得到已标注的样本医学影像的初始分割结果,基于已标注的样本医学影像的样本分割结果,对初始分割结果进行特征空间转换操作,得到已标注的样本医学影像的图像分割结果,
若图像分割结果与样本分割结果之间满足预设的收敛条件,确定预训练的图像分割模型的调整训练完成,得到图像分割模型。该方法通过预训练的图像分割模型对已标注的样本医学影像进行简单的分割处理,按照已标注的样本医学影像上的标注信息对该分割结果进行空间转换,即是对该分割结果进行进一步的分割,得到更加精确的分割结果,并在图像分割结果与样本分割结果满足预设收敛条件时,调整训练过程完成,得到更加准确的图像分割模型。
154.在一个实施例中,以下对图像分割模型的构建过程进行详细介绍,如图15所示,该方法可以包括:
155.s1301,针对任意一个样本医学影像,获取样本医学影像的样本影像隐表示特征;
156.s1302,对样本医学影像进行聚类,得到样本医学影像的样本聚类中心向量;
157.s1303,将样本影像隐表示特征和样本聚类中心向量进行融合,得到样本影像分割特征图;
158.s1304,对样本影像分割特征图进行特征映射,得到样本医学影像的样本影像特征;
159.s1305,提取各样本医学影像中的结构描述信息中的样本描述特征;
160.s1306,将匹配成功的样本影像特征与样本描述特征作为正样本对,将匹配失败的样本影像特征与样本描述特征作为负样本对;
161.s1307,基于正样本对和负样本对初始图像分割模型进行预训练,得到预训练的图像分割模型;
162.s1308,将已标注的样本医学影像输入至预训练的图像分割模型,得到已标注的样本医学影像的初始分割结果;
163.s1309,基于已标注的样本医学影像的样本分割结果,对初始分割结果进行特征空间转换操作,得到已标注的样本医学影像的图像分割结果;
164.s1310,若图像分割结果与样本分割结果之间满足预设的收敛条件,确定预训练的图像分割模型的调整训练完成,得到图像分割模型。
165.图16为图像分割模型的初始训练过程的流程示意图,图16中的影像为样本医学影像,在利用图像编码器对样本医学影像进行特征提取之前,同样,使用相关的分割算法对样本医学影像中的边界区域进行分割,去除样本医学影像中的黑边或者扫描台,得到仅包含感兴趣区域的样本医学影像。例如,该分割算法可以是阈值法或者随机游走法。在进行特征提取的过程中,对样本医学影像进行编码表示,得到样本医学影像对应的图像隐表示特征,并对样本医学影像进行聚类,得到聚类中心向量,将图像隐表示特征和聚类中心向量同时输入至多个编码器中,并对编码后的图像隐表示特征和聚类中心向量进行融合,得到图像分割特征图,并对该图像分割特征图进行特征映射,得到多个样本医学影像对应的图像特征(i1、i2、
……
、in)。并对样本医学影像的影像报告进行标准化处理,得到样本医学影像中的目标结构的描述信息。通过文本编码器提取描述信息中的特征信息,对该特征信息进行特征映射,得到多个报告对应的文本特征(t1、t2、
……
、tn),并将多个图像特征与多个文本特征进行匹配,确定正样本对和负样本对,利用正样本对和负样本进行对比学习损失函数(contrastive loss)训练初始图像分割模型,得到预训练的图像分割模型。预训练后的图像编码器和文本编码器,使得图像分割模型达到最优,对预训练得到的图像分割模型中的
图像编码器和文本编码器的权重进行固定,便于后续通过已标注的样本医学影像进行调整训练。示例性的,各样本影像特征可以表示为ii(1≤i≤n),各样本描述特征可以表示为tj(1≤j≤n),将各样本影像特征和各样本描述特征进行配对,得到多个影像描述特征对iitj(1≤i≤n,1≤j≤n),若i=j,则对应的样本影像特征和样本描述特征为正样本对;若i≠j,则对应的样本影像特征和样本描述特征为负样本对。其中,预训练阶段采用的图像编码器既可以是基于transformer的编码器,也可以是基于卷积神经网络的编码器,也可以是采用卷积神经网络和transformer组合构建的编码器。该方法在对初始图像分割模型进行预训练的过程中,使用的训练样本包括样本医学影像和影像报告。通过提取样本医学影像和影像报告的特征信息,获取样本医学影像和影像报告的映射关系,从而可以基于该映射关系,确定正负样本对。基于得到的正负样本对,可以更加准确地对初始图像分割模型进行训练,得到更准确的预训练的图像分割模型。
166.图17为图像分割模型的调整训练过程的流程示意图,图17中的大部分与图16中的步骤类似,通过已标注的样本医学影像也可以获取到正样本对和负样本对,在此不再赘述,图17中的样本医学影像为已标注的样本医学影像,通过预训练的图像分割模型可以对已标注的样本医学影像进行简单划分,再按照样本医学影像的标注信息,对简单划分的结果进行特征空间的转化映射,得到图像分割结果。该方法在获取预训练的图像分割模型的过程中,也可以通过已标注的样本医学影像和影响报告进行预训练,可以丰富预训练过程中的样本数量。同时,在获取到预训练的图像分割模型后,通过已标注的样本医学影像对预训练的图像分割模型进行微调,可以进一步提高预训练的图像分割模型的准确性,从而提高图像分割模型的准确度。
167.图18为图像分割模型的训练过程的流程示意图,当获取到样本医学影像时,对样本医学影像的周围黑边和扫描台进行剪裁,再通过图像编码器提取样本医学影像中的样本影像特征,同时,获取样本医学影像的目标结构的影像报告,对该目标结构的影像报告进行标准化处理,得到样本描述信息,通过文本编码器提取样本描述信息中的样本文本特征,根据样本影像特征和样本文本特征,确定正样本对和负样本对,通过正样本对和负样本对训练初始图像分割模型,得到预训练的图像分割模型,通过已标注的样本医学影像对预训练的图像分割模型进行微调训练,得到图像分割模型。该方法在图像分割模型训练过程中,通过对样本医学影像和对应的样本影像报告进行特征提取,基于提取的特征,可以准确地确定正样本对和负样本对。从而可以根据正样本对和负样本对,更加准确地对初始图像分割模型进行预训练,再基于已标注的样本医学影像进一步对预训练的图像分割模型进行微调,可以得到更加准确的图像分割模型。另外,该图像分割模型在训练的过程中,仅使用少部分的已标注的样本医学影像进行微调,避免了对医学图像中标注信息的依赖,通过较少的带有标注信息的医学影像可以获取到准确的图像分割模型。
168.应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或
者阶段的至少一部分轮流或者交替地执行。
169.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的图像分割方法的图像分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像分割装置实施例中的具体限定可以参见上文中对于图像分割方法的限定,在此不再赘述。
170.在一个实施例中,如图19所示,提供了一种图像分割装置,包括:获取模块11和分割模块12,其中:
171.获取模块11,用于获取目标医学影像,以及,获取目标医学影像中目标结构的描述信息;
172.分割模块12,用于将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果;其中,图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。
173.可选的,图像分割模型是通过已标注的样本医学影像对预训练的图像分割模型进行调整得到的;预训练的图像分割模型是基于多个样本医学影像和对应的样本结构描述信息进行预训练得到的。
174.在一个实施例中,上述分割模块12包括:获取单元和确定单元,其中:
175.获取单元,用于通过图像分割模型,获取目标医学影像对应的影像特征和描述信息对应的描述特征之间的相似度;
176.确定单元,用于将相似度大于预设阈值的影像特征对应的影像区域作为目标结构的图像分割结果。
177.在一个实施例中,上述获取模块包括:筛选单元和标准化处理单元,其中:
178.筛选单元,响应于目标医学影像的分割指令,用于根据分割指令中携带的目标结构,从目标医学影像对应的影像报告中筛选目标结构的影像报告;
179.标准化处理单元,用于对目标结构的影像报告进行标准化处理,得到目标结构的描述信息。
180.在一个实施例中,上述标准化处理单元还包括将目标结构的影像报告输入至标准描述模板中,生成目标结构的描述信息。
181.在一个实施例中,上述图像分割装置还包括:确定模块和训练模块,其中:
182.确定模块,用于基于各医学影像和对应的结构描述信息,确定正样本对和负样本对;正样本对表示医学影像与对应的结构描述信息匹配成功;负样本对表示医学影像与对应的结构描述信息匹配失败;
183.训练模块,用于基于正样本对和负样本对初始图像分割模型进行训练,得到图像分割模型。
184.在一个实施例中,上述确定模块包括:第二提取单元和匹配单元,其中:
185.第二提取单元,用于提取各样本医学影像的样本影像特征,以及,提取各样本结构描述信息的样本描述特征;
186.匹配单元,用于将各样本影像特征与各样本描述特征进行匹配,得到正样本对和负样本对;正样本对用于确定各样本影像特征和各样本描述特征之间的映射关系。
187.在一个实施例中,上述第二提取单元还用于针对任意一个样本医学影像,获取样
本医学影像的样本影像隐表示特征;对样本医学影像进行聚类,得到样本医学影像的样本聚类中心向量;根据样本影像隐表示特征、样本聚类中心向量,确定样本医学影像的样本影像特征。
188.在一个实施例中,上述第二提取单元还用于将样本影像隐表示特征和样本聚类中心向量进行融合,得到样本影像分割特征图;对样本影像分割特征图进行特征映射,得到样本医学影像的样本影像特征。
189.在一个实施例中,上述训练模块包括:预训练单元和调整单元,其中:
190.预训练单元,用于基于正样本对和负样本对初始图像分割模型进行预训练,得到预训练的图像分割模型;
191.调整单元,用于通过已标注的样本医学影像对预训练的图像分割模型进行调整,获得图像分割模型。
192.在一个实施例中,上述调整单元还用于将已标注的样本医学影像输入至预训练的图像分割模型,得到已标注的样本医学影像的初始分割结果;基于已标注的样本医学影像的样本分割结果,对初始分割结果进行特征空间转换操作,得到已标注的样本医学影像的图像分割结果;在图像分割结果与样本分割结果之间满足预设的收敛条件的情况下,确定预训练的图像分割模型的调整训练完成,得到图像分割模型。
193.上述图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
194.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述图像分割方法中的任意一项实施例的内容。
195.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述图像分割方法中的任意一项实施例的内容。
196.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述图像分割方法中的任意一项实施例的内容。
197.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
198.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存
取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
199.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
200.以上实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
技术特征:
1.一种图像分割方法,其特征在于,所述方法包括:获取目标医学影像,以及,获取所述目标医学影像中目标结构的描述信息;将所述目标医学影像和所述目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到所述目标结构的图像分割结果;其中,所述图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。2.根据权利要求1所述的方法,其特征在于,所述图像分割模型是通过已标注的样本医学影像对预训练的图像分割模型进行调整得到的;所述预训练的图像分割模型是基于多个样本医学影像和对应的样本结构描述信息进行预训练得到的。3.根据权利要求1所述的方法,其特征在于,所述图像分割模型中包括影像特征和描述特征之间的映射关系;所述将所述目标医学影像和所述目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到所述目标结构的图像分割结果,包括:通过所述图像分割模型,获取所述目标医学影像对应的影像特征和所述描述信息对应的描述特征之间的相似度;将相似度大于预设阈值的影像特征对应的影像区域作为所述目标结构的图像分割结果。4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取所述目标医学影像中目标结构的描述信息,包括:响应于所述目标医学影像的分割指令,根据所述分割指令中携带的目标结构,从所述目标医学影像对应的影像报告中筛选所述目标结构的影像报告;对所述目标结构的影像报告进行标准化处理,得到所述目标结构的描述信息。5.根据权利要求1-3任一项所述的方法,其特征在于,所述图像分割模型的构建过程包括:基于各所述样本医学影像和对应的样本结构描述信息,确定正样本对和负样本对;所述正样本对表示所述样本医学影像与对应的样本结构描述信息匹配成功;所述负样本对表示所述样本医学影像与对应的样本结构描述信息匹配失败;基于所述正样本对和所述负样本对初始图像分割模型进行训练,得到所述图像分割模型
。
6.根据权利要求5所述的方法,其特征在于,所述基于各所述样本医学影像和对应的样本结构描述信息,确定正样本对和负样本对,包括:提取各所述样本医学影像的样本影像特征,以及,提取各所述样本结构描述信息的样本描述特征;将各所述样本影像特征与各所述样本描述特征进行匹配,得到所述正样本对和负样本对;所述正样本对用于确定各所述样本影像特征和各所述样本描述特征之间的映射关系。7.根据权利要求6所述的方法,其特征在于,所述提取各所述样本医学影像的样本影像特征,包括:针对任意一个样本医学影像,获取所述样本医学影像的样本影像隐表示特征;对所述样本医学影像进行聚类,得到所述样本医学影像的样本聚类中心向量;
根据所述样本影像隐表示特征、所述样本聚类中心向量,确定所述样本医学影像的样本影像特征。8.根据权利要求5所述的方法,其特征在于,所述基于所述正样本对和所述负样本对初始图像分割模型进行训练,得到所述图像分割模型,包括:基于所述正样本对和所述负样本对初始图像分割模型进行预训练,得到所述预训练的图像分割模型;通过已标注的样本医学影像对所述预训练的图像分割模型进行调整,获得所述图像分割模型。9.根据权利要求8所述的方法,其特征在于,所述通过已标注的样本医学影像对所述预训练的图像分割模型进行调整,获得所述图像分割模型,包括:将所述已标注的样本医学影像输入至所述预训练的图像分割模型,得到所述已标注的样本医学影像的初始分割结果;基于所述已标注的样本医学影像的样本分割结果,对所述初始分割结果进行特征空间转换操作,得到所述已标注的样本医学影像的图像分割结果;若所述图像分割结果与所述样本分割结果之间满足预设的收敛条件,确定所述预训练的图像分割模型的调整训练完成,得到所述图像分割模型。10.一种图像分割装置,其特征在于,所述装置包括:获取模块,用于获取目标医学影像,以及,获取所述目标医学影像中目标结构的描述信息;分割模块,用于将所述目标医学影像和所述目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到所述目标结构的图像分割结果;其中,所述图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。
技术总结
本申请涉及一种图像分割方法和装置。该方法包括:获取目标医学影像,以及,获取目标医学影像中目标结构的描述信息;将目标医学影像和目标医学影像中目标结构的描述信息输入至预设的图像分割模型中,得到目标结构的图像分割结果;其中,图像分割模型是基于多个样本医学影像和对应的样本结构描述信息训练得到的。采用本方法能够提高训练的图像分割模型的分割准确度。准确度。准确度。
技术研发人员:吴青霞 殷小平 乔治 刘晓鸣
受保护的技术使用者:北京联影智能影像技术研究院
技术研发日:2023.07.20
技术公布日:2023/9/22
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种铝屑压饼自动化处理回收系统的制作方法 下一篇:图标生成方法及装置与流程