用于对肾脏的恶性肿瘤风险进行分类的方法和系统以及其训练与流程

用于对肾脏的恶性肿瘤风险进行分类的方法和系统以及其训练
1.相关申请
2.本技术要求2022年4月7日提交的ep 22167134.0的权益，其通过引用整体地在此并入。
技术领域
3.实施例总体上涉及用于对肾脏的恶性肿瘤风险(malignancy risk)进行分类的方法和系统。进一步的示例涉及用于训练机器学习算法以对肾脏的恶性肿瘤风险进行分类的方法和系统。


背景技术：

4.确定肾病变的恶性肿瘤风险对于患者管理是必需的。尤其是，在多于50％的50岁以上的人中存在的囊肿与癌性病变的区分是重要的。成像、尤其是计算机断层摄影(ct)和磁共振成像(mri)在确定复杂病变的恶性肿瘤风险方面发挥着至关重要的作用。然而，通常所定义的准则是模糊的并且在医生之间是不一致的。这导致了欠佳的患者结果(outcome)。
5.对于病变中的一些，超声成像可以用于区分囊肿。然而，这种方法仅适用于在内部仅具有透明液体且无害的“单纯性囊肿(simple cyst)”。更复杂的囊肿需要利用更高级的成像(诸如ct和mri)来检查。
6.存在若干种用于检查和报告疑似病变的指南，诸如bosniak准则。例如，bosniak准则将囊性肾肿块(cystic renal mass)定义为基于主观视觉检查由少于约25％的增强成分组成的肿块。因此，具有约25％或更多增强成分的肿块被视为实性的(solid)，并且无法通过bosniak分类来分类。
7.在囊性与实性肾肿块之间进行区分是重要的。实性肿块表现得更具侵袭性，并且具有比囊性肿块更高的局部复发和转移性疾病的倾向。因此，其治疗和预后(prognosis)是不同的。作为必然结果，重要的是，不要将坏死性(necrotic)rcc误认为囊性肾细胞癌(cysticrenalcellcarcinoma)(并且反之亦然)，因为前者是侵袭性的，而后者典型地是惰性的。
8.然而，这些指南不是非常具体的，这可能导致大的用户易变性以及个体阅读者之间的分歧。因此，风险评估和最终的患者管理可能取决于谁正在检查该成像数据而十分不同。附加地，由于这些指南是基于医生可以解释的“简单”外观，因此这种分类的性能是受限的，因为更复杂的成像特征没有被并入。这有时会导致欠佳的患者结果。


技术实现要素：

9.因此，可以改进对肾脏、特别是人类肾脏的恶性肿瘤风险的分类。
10.第一方面涉及一种用于对肾脏、特别是人类肾脏的恶性肿瘤风险进行分类的计算机实现方法。因此，所述方法包括以下动作：提供受试者患者的解剖体(anatomy)的成像数
据，其中所述成像数据至少部分地包括受试者患者的肾脏的表示；使用第一神经网络来分割基于所述成像数据的所述肾脏表示的至少一个区域；以及使用第二神经网络来检测所分割的肾脏表示的一个或多个疑似病变。此外，执行使用第三神经网络以恶性肿瘤风险对检测到的疑似病变进行分类的动作，其中第三神经网络是深度剖析器(deepprofiler)。
11.通过使用深度剖析器来确定疑似肾病变的恶性肿瘤风险，所述方法可以从成像数据中提取复杂特征，以创建更准确的风险得分。特别地，对恶性肿瘤风险进行分类改进了针对具有疑似肾病变的患者的患者管理。
12.第二方面涉及一种用于对肾脏、特别是人类肾脏的恶性肿瘤风险评分进行分类的系统。所述系统包括被配置成提供受试者患者的解剖体的成像数据的接口，其中所述成像数据至少部分地包括受试者患者的肾脏的表示。此外，所述系统至少包括：第一分析单元(处理器)，其被配置成使用第一神经网络来分割基于所述成像数据的所述肾脏表示的至少一个区域；第二分析单元(处理器)，其被配置成使用第二神经网络来检测所分割的肾脏表示的一个或多个疑似病变；以及深度剖析器，其被配置成以恶性肿瘤风险对检测到的疑似病变进行分类。
13.部署根据第二方面的系统可以提供对恶性肿瘤风险的高效且准确的评估。基于此，这种系统可以被部署在任何地方，并且因此系统部署不限于其中具体肾脏专家正在实践的任何特定地理区域。此外，该系统可以被容易地缩放，这意味着它可能不会像当手动地分类肾脏成像数据时可能的那样被限于每天低数量的分类。
14.在根据第一和/或第二方面的一个示例中，第三神经网络被配置成基于成像数据和非成像数据对恶性肿瘤风险进行分类，其中所述非成像数据至少包括组织病理学数据。组织病理学数据可以与组织病理学评估的结果有关；可以例如使用荧光显微镜(fluorescencemicroscopy)针对肿瘤侵袭的组织来检查组织样本的显微镜图像。
15.非成像数据可以附加地支持对恶性肿瘤风险的分类，因为成像数据本身可能不完整或者由于不够准确的图像记录而偏置(biased)。特别地，组织病理学数据可以将恶性肿瘤风险分类改进到如下程度：假阳性样本可以被避免高达90％，优选地高达95％，并且更优选地高达99％。因此，可以针对受试者患者避免不必要的手术干预。由于随访检查(follow-upexam)的减少，这可以降低健康护理成本并且改进患者满意度。此外，这可以减少漏诊恶性病变的数量，并且因此可以改进患者生存概率。
16.在根据第一和/或第二方面的一个示例中，所述深度剖析器包括用于提取成像特征的编码器。利用编码器可以支持深度剖析器构建至少一个任务特定的指纹。编码器可以在一个或多个动作中收缩(contract)空间特征以确定隐特征向量。
17.在根据第一和/或第二方面的一个示例中，编码器被设计为卷积神经网络(cnn)，特别是三维cnn。应用cnn可以降低或者甚至最小化计算成本，因为cnn利用局部空间一致性(local spatial coherence)，该局部空间一致性向一些边提供了相同的权重。当gpu资源有限时——在其中使用标准计算机或仅使用如平板pc或智能电话等手持式设备进行分类的医学环境中可能常常是这种情况，这特别有用。此外，由于减少的参数数量，cnn可以减少对于执行所需要的存储器的大小。与简单的深度神经网络相比，减少的隐藏层和节点数量可以减少对于执行所需要的所分配的存储器。
18.此外，部署cnn可以帮助用于对恶性肿瘤风险进行分类的方法或系统，因为输出数
据中的微小或重大改变可以被更准确地标识，并且保持该模型的可靠性。这是基于如下事实：即，卷积等同于许多数据变换操作，这可以帮助标识输入中的特定改变将如何影响输出。三维cnn可以甚至更多地受益于上述优点。
19.在一个示例中，所述深度剖析器包括用于估计至少一个恶性肿瘤风险指标(indicator)的解码器。解码器可以基于隐特征向量在一个或多个动作中扩展空间特征。通过估计一个或多个所近似的成像数据，解码器可以生成可再次与现实世界成像数据进行比较的合成成像数据。任何进一步的信息(如与现实世界成像数据的偏差和/或与理想成像数据的偏差)可以再次被用于进一步分类。
20.在根据第一和/或第二方面的一个示例中，所述深度剖析器包括任务特定网络，所述任务特定网络用于生成用于对至少一个恶性肿瘤风险进行分类的至少一个图像标记(signature)。使用一个或多个图像标记可以降低检测到的肾脏病变的假阳性率。此外，将受试者患者的成像数据与图像标记进行比较可能是更高效的，因为可以在图像标记中强调(emphasize)针对高或低恶性肿瘤风险进行表征的特定参数。
21.在根据第一方面的一个示例中，所述方法包括以下附加方法动作：使用第四神经网络以基于所提供的成像数据来检测解剖界标。该附加动作可以支持分类，因为所提供的成像数据可以被预过滤。因此，被并入在所述成像数据中的受试者患者的解剖体的不相关部分可以被减少或者甚至被最小化。
22.在根据第一和/或第二方面的一个示例中，第四神经网络被设计为用于图像特征提取的卷积神经网络。与其他机器学习算法相比，用于图像特征提取的cnn可能是更有益的，因为cnn更加独立于如缩放或旋转等几何变换。因此，可以改进图像特征提取。
23.在根据第一和/或第二方面的一个示例中，第四神经网络附加地使用至少一个通用非线性函数逼近器(universal non-linearfunction approximator)。与主要线性函数逼近器相比，非线性函数逼近器由于如下事实是有益的：与逼近式(approximant)中的参数数量相比，它们可以降低错误率。此外，参数的数量通常与计算工作量(effort)关联。因此，非线性函数也可以帮助减少计算工作量。所示出的是，在许多设置中，非线性逼近的速率可以由某些平滑性条件来表征，这些平滑性条件显著弱于线性理论中所要求的条件。
24.在根据第一和/或第二方面的一个示例中，第一神经网络被设计为卷积编码器-解码器架构。该架构可以减少或者甚至跳过连接。此外，与u-net或深度监督网络相比，卷积编码器-解码器设置可以支持框架内的深度监督方案，以改进其结构设计。这对于3d体积数据集是特别有益的。
25.在根据第一和/或第二方面的一个示例中，第一神经网络被设计为多级别特征级联和深度监督架构。因此，可以直接从编码器层到解码器层来构建桥。这些桥可以向前传递来自编码器的信息，并且然后将其与解码器特征层进行级联。基于此，第一神经网络可以受益于局部和全局情境信息，并且可以实现改进的边界检测和分割结果。
26.在一个示例中，检测一个或多个疑似病变的动作基于全卷积一阶段对象检测(fully convolutional one-stage object detection)(fcos)。fcos方法可以是无锚框的(anchor box free)和无提议的(proposal free)。附加地，通过消除预定义的锚框集合，fcos可以避免与锚框相关的复杂计算，诸如计算重叠。此外，可以避免可能对特定检测性能敏感的与锚框相关的若干个或甚至所有超参数。此外，fcos可以胜过先前的一阶段检测器，
其优点是关于其检测框架简单得多并且更灵活，这可以得到改进的检测准确度。
27.在根据第一和/或第二方面的一个示例中，所提供的成像数据基于计算机断层摄影(ct)和/或磁共振成像(mri)。由于基于ct或mri的图像捕获在世界范围内广泛地应用，因此可以保证最低水平的质量和准确度作为输入成像数据。此外，可以以三维方式来捕获ct和/或mri成像数据，从而附加地改进并丰富可用的成像数据。由于ct和mri是标准图像捕获方法，因此可以保证或者典型的是，可以利用ct和/或mri中的至少一个来检查受试者患者。
28.在根据第一和/或第二方面的一个示例中，成像数据和/或非成像数据包括与数据记录信息相关的情境数据。当例如成像数据的色度参数不同于理想数据或用于训练所述方法或系统的数据时，可能有必要附加地访问数据记录信息。此外，成像数据可能基于来自不同制造商的图像捕获设备而不同，并且因此，可能有必要相应地对准不同的所捕获的成像数据。
29.在根据第一和/或第二方面的一个示例中，所述情境数据包括以下各项中的至少一个：数据记录设备信息、对比度配置信息、亮度配置信息、记录方向信息、总记录时间信息、投影类型信息(例如，ct：平均强度投影(aip)、最大强度投影(mip)或最小强度投影(minip))、记录信息的日期和/或时间。因此，与其他成像数据的任何偏差可以基于情境数据被标准化并且因此被校正。
30.在根据第一和/或第二方面的一个示例中，受试者患者的非成像数据包括以下各项中的至少一个：年龄、体重、体型、健康状况信息、性别、营养实践。基于这些涉及受试者患者的数据，与至少两个不同成像数据的任何偏差可以至少部分地被对准或校正，以附加地改进分类。
31.在根据第一和/或第二方面的一个示例中，所提供的成像数据至少部分地包括受试者患者的解剖体的3d图示。这可以改进对恶性肿瘤风险的分类，因为可以单独地分析检测到的肾脏病变的不同层，并且因此评分可能更准确。
32.在根据第一方面的一个示例中，所述方法包括以下附加动作：将所述成像数据从受试者患者的解剖体的至少部分3d图示转换成受试者患者的解剖体的2d图示。当有限的计算资源可用时，该动作可能是必要的。当将3d图示转换成2d图示时，可以减少成像数据的量，并且因此，需要更少的存储器空间和用于分析该数据的计算工作量。
33.第三方面涉及一种用于训练机器学习算法以对肾脏、特别是人类肾脏的恶性肿瘤风险进行分类的计算机实现方法。所述方法包括以下动作：利用第一训练数据来训练第一神经网络，第一训练数据包括至少一个受试者患者的解剖体的成像数据，其中所述成像数据至少部分地包括一个或多个肾脏的表示；利用第二训练数据来训练第二神经网络，第二训练数据包括一个或多个所分割的肾脏表示的一个或多个检测到的病变；以及利用以恶性肿瘤风险被分类的一个或多个病变的第三训练数据来训练第三神经网络。
34.第四方面涉及一种用于训练机器学习算法以对肾脏、特别是人类肾脏的恶性肿瘤风险进行分类的系统，包括：第一分析单元，被配置成利用第一训练数据来训练第一神经网络，第一训练数据包括至少一个受试者患者的解剖体的成像数据，其中所述成像数据至少部分地包括一个或多个肾脏的表示；第二分析单元，被配置成利用第二训练数据来训练第二神经网络，第二训练数据包括一个或多个所分割的肾脏表示的一个或多个检测到的病变；以及第三分析单元，被配置成利用以恶性肿瘤风险被分类的一个或多个病变的第三训
练数据来训练第三神经网络。
35.一种用于训练机器学习算法以对肾脏的恶性肿瘤风险进行分类的方法或系统可以由于如下事实是有益的：它可以减少对疑似具有肾脏病变的患者的患者管理中的错误率。特别地，它可以增加被记入文档的检查信息的不一致性，并且可以降低用户/机构偏置的可能性。因此，该原因可以看出，机器学习算法可能与单个专家或一组专家的手动训练相比要准确得多。特别地，与经训练的机器学习算法相比，没有经验的专家(如放射技师)可能不具有经验。此外，通过训练机器学习算法，与人类专家相比，可以快得多地培养(educate)分类算法。此外，与基于计算机的训练相比，对于人类专家来说，分析并学习他/她利用如此大量的分类示例的手动分类准确度几乎是不可能的。
36.在根据第三和/或第四方面的一个示例中，第三训练数据基于成像数据和非成像数据，其中所述非成像数据至少包括组织病理学数据。
37.基于组织病理学数据，肾脏的任何恶性肿瘤风险分类所固有的特定信息可以被添加到机器学习算法，这可以得到高得多的准确度的分类。
38.在根据第三和/或第四方面的一个示例中，基于组织病理学数据来确定深度剖析器的至少一个地面真值标签。因此，如果至少一个地面真值标签至少部分地指代组织病理学数据，则所述用于训练的方法或系统可以更精确。
39.在根据第三方面的一个示例中，所述方法包括以下附加动作：基于与检测到的解剖界标、特别是关于一个或多个肾脏表示的界标相关的训练数据，使用深度强化学习利用第四训练数据来训练第四神经网络。基于此，第一、第二和/或第三训练数据可以利用更准确和相关的数据来改进。特别地，可以减少或者甚至去除不相关的成像数据信息。因此，可以改进训练数据、特别是成像数据的质量。
40.在根据第三和/或第四方面的一个示例中，对抗网络被用于第一神经网络的训练，以将输出与地面真值进行辨别。因此，第一神经网络将其输出推动朝向地面真值的分布，使得它可以通过完善其输出来增强其性能。通过这样做，可以实现更高的计算效率，因为该辨别不需要在任何推断时执行。
41.在根据第三和/或第四方面的一个示例中，至少两个不同的训练数据片段基于相同的受试者患者。在根据第三和/或第四方面的一个示例中，两个不同的训练数据片段被指示为相同受试者患者的训练数据。在根据第三和/或第四方面的一个示例中，所述非成像数据包括被配置成用于患者随访诊断的至少一个指标。因此，可以实现的是，所述训练方法或系统能够跟踪特定受试者患者的恶性肿瘤风险，特别是随时间的恶性肿瘤风险。
42.第五方面涉及一种包括指令的计算机程序，当所述程序由计算机执行时，所述指令使得所述计算机执行根据本发明的第一方面或第三方面的方法的示例中的至少一个。
43.第六方面涉及一种其上存储有一组指令的非暂时性机器可读介质，所述指令如果由一个或多个处理器执行则使得所述一个或多个处理器执行根据第一方面或根据第三方面的方法的示例中的至少一个。
附图说明
44.从结合附图对优选实施例的以下描述中可以获得进一步的细节和优点，在附图中：
45.图1是描绘了根据一个实现方式的用于对肾脏的恶性肿瘤风险进行分类的计算机实现方法的示意图；
46.图2是描绘了根据一个实现方式的用于对肾脏的恶性肿瘤风险评分进行分类的系统的示意图；
47.图3是描绘了用于训练机器学习算法以对肾脏的恶性肿瘤风险进行分类的计算机实现方法的示例实现方式的示意图；以及
48.图4是描绘了用于训练机器学习算法以对肾脏的恶性肿瘤风险进行分类的示例系统的示意图。
具体实施方式
49.附图应被视为示意性表示，并且附图中所图示的元件不一定按比例示出。相反，各种元件被表示成使得它们的功能和一般目的对于本领域技术人员来说变得明显。功能块、设备、组件、或在附图中示出或在本文中描述的其他物理或功能单元之间的任何连接或耦合也可以通过间接连接或耦合来实现。组件之间的耦合也可以通过无线连接来建立。功能块可以用硬件、固件、软件或其组合来实现。
50.现在将参考附图来更充分地描述各种示例，在附图中，仅示出了一些示例。本文中公开的具体结构和功能细节仅仅是出于描述示例的目的而具有表示性。然而，示例可以以各种不同的形式来体现，并且不应当被解释为仅限于所图示的示例。相反，所图示的示例作为示例来提供，使得本公开将是详尽且完整的，并且将向本领域技术人员充分传达本公开的概念。因此，可以不针对一些示例来描述已知过程、元件和技术。除非另有指出，否则在所有附图和书面描述中，相同的附图标记表示相同的元件，并且因此描述将不再重复。然而，本发明可以以许多替代形式来体现，并且不应当被解释为仅限于本文中阐述的示例。
51.将理解的是，尽管术语第一、第二等可以在本文中用于描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应当受这些术语所限制。这些术语仅用于区分一个元件与另一个元件。例如，在不脱离本发明的示例的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。如本文中所使用，术语“和/或”包括相关联的所列项目中的一个或多个的任何和所有组合。短语“......中的至少一个”具有与“和/或”相同的含义。
52.图1是描绘了用于对肾脏的恶性肿瘤风险mr进行分类的计算机实现方法100的示意图。
53.在第一方法动作101中，提供受试者患者的解剖体的成像数据id。成像数据id至少部分地包括受试者患者的肾脏的表示。成像数据id可以基于经由计算机断层摄影(ct)和/或磁共振成像(mri)捕获的图像。
54.因此，所提供的成像数据id可以至少部分地包括受试者患者的解剖体的3d图示。特别地，3d图示是分层的，这意味着可以从成像数据id中提取至少两个层，该至少两个层定义了所捕获的解剖体的至少两个不同的深度。
55.在第二方法动作102中，使用第四神经网络以基于所提供的成像数据id来检测解剖界标。该动作是特别重要的，因为该方法可能需要对解剖结构、优选地是至少肾脏的解剖结构进行精确、自动的检测，以初始化并约束用于体积器官分割的数学模型。由此，实现准
确且高效的解剖界标检测可以支持方法100以用于更有效和简化的图像读取。
56.因此，第四神经网络可以被设计为用于图像特征提取的卷积神经网络。此外，第四神经网络可以附加地使用至少一个通用非线性函数逼近器。
57.该网络可以通过θ＝[w，b]来参数化，其中w表示被组织为(多通道)滤波器核的神经间连接权重，并且b定义了神经元偏置值的集合。
[0058]
卷积层可以利用图像体素的局部空间相关性来学习平移不变性(translation-invariant)卷积核，该平移不变性卷积核捕获可辨别的(discriminative)图像特征。它可以被认为是层k中的多通道信号表示mk，即信号表示m
k，c
的逐通道级联(channel-wise concatenation)，其中可以在层k+1中生成信号表示，作为m
k+1，l
＝φ(mk*w
k，l
+b
k，l
)，其中w
k，l
∈w可以表示具有与mk相同数量的通道的卷积核，值b
k，l
∈b可以表示偏置，1表示通道索引，并且*表示卷积操作。
[0059]
函数φ可以表示被逐点应用的非线性激活函数。可以使用修正线性单元(relu)激活。最终的网络层可以典型地是全连接的。在监督回归设置中，在给定训练数据d＝[(x
1，y1
)，...，(x
n，yn
)]、即具有值指派的n个独立的体积图像观测对的情况下，可以将网络响应函数定义为r(
·
；θ)，并且使用最大似然估计来估计最优网络参数(l表示似然性)：
[0060][0061]
该优化问题可以利用与反向传播算法组合的用于计算网络梯度的随机梯度下降(sgd)来解决。
[0062]
将解剖体检测重新制定(reformulate)为人工智能体(artificial agent)的认知学习任务可能是有益的。在给定体积图像以及i内的感兴趣解剖结构的位置的情况下，该任务可以在图像空间(即，成像数据id的体素网格)中学习去往的导航策略。换句话说，利用为最小(minimal)的性质，在图像i内寻找从任意起点到的基于体素的导航轨迹。利用强化学习，可以使用马尔可夫决策过程(mdp)m：＝(s，a，t，r，γ)对该问题进行建模，其中：
[0063]
s可以表示状态的有限集合，s
t
∈s是智能体在时间t处的状态。为了编码智能体在时间t处在所成像的体积空间中的位置，它可以被定义为其可以表示从i提取并且以图像空间中的体素位置为中心的图像强度的轴对准框(axis-aligned box)。
[0064]
a可以表示允许智能体与i所定义的环境进行交互的动作的有限集合，其中a
t
∈a是智能体可以在时间t处执行的动作。可以使用离散的逐体素导航模型来允许智能体在图像空间中从任何体素位置移动到邻近的体素位置
[0065]
t：sxaxs
→
[0；1]可以是随机转移函数(transition function)，其中可以描述在状态s中执行动作a之后到达状态s
′
的概率。
[0066]
可以是驱动智能体的行为的标量奖励函数，其中
可以表示状态转移之后的预期奖励。对于在时间t处从的状态转移s
→s′
，我们定义了这可以表示基于距离的反馈，如果智能体更接近于目标结构，则该反馈为正，否则该反馈为负。γ可以是控制未来奖励相比于立即奖励的重要性的折扣因子(discount factor)。
[0067]
此外，最优动作值函数q
*
(..，..)可以被定义为编码了当在状态s中开始、执行动作a并且此后最优地做出动作时的最大预期未来打折扣奖励(discounted reward)：
[0068]q*
(s，a)＝maxe[r
t
|s
t
＝s，a
t
＝a，π]，
[0069]
其中π可以是动作策略，换句话说，是在任何给定状态中关于动作的概率分布。最优动作值函数q
*
所满足的重要关系可以是贝尔曼最优性方程(bellman optimality equation)，该方程表示以下递归公式：
[0070][0071]
其中s
′
定义了在s之后被访问的可能状态，a
′
表示对应的动作，并且表示当前立即奖励的紧凑符号。在一个示例中，可以通过部署深度q网络(dqn)来修改该方法，该深度q网络被用作最优动作值函数的非线性逼近器。因此，可以使用迭代方法在rl设置中训练深度q网络，以基于贝尔曼最优性方程来最小化均方误差。在任何训练迭代i处，可以可能的是，使用基于先前训练迭代i
′
＜i的一组参考参数来逼近动作值函数的最优预期目标值。
[0072]
学习该动作值函数q
*
可以使得智能体能够有效地针对该图像中的对象进行搜索，而不是彻底地扫描体积空间。该学习过程可以基于对环境的充分探索，我们通过非策略∈-greedy方法来确保这一点。
[0073]
变量∈ε[0，1]控制该探索中的随机性。这意味着在训练期间，要么以概率∈随机地均匀选择动作，要么以概率1-∈使用当前策略来确定性地选择动作。用于确保训练稳定性的另一个重要策略可以是使用经验回放(experience replay)的概念对训练样本进行去相关。在训练期间，智能体维持插曲式轨迹(episodic trajectory)m＝[t1；t2；...]的主动记忆(active memory)，该主动记忆被不断地扩展并且被均匀地采样以估计学习梯度。
[0074]
为了进一步加速训练，可以可能的是，使用自适应的插曲长度(episode length)。通过使用线性衰减在训练期间逐渐地减小插曲长度，可以改进通过对存储在主动记忆中的增加数量的轨迹进行采样的空间探索。
[0075]
在第三方法动作103中，使用第一神经网络来分割基于成像数据id的肾脏表示的至少一个区域。因此，第一神经网络可以被设计为卷积编码器-解码器架构。附加地，第一神经网络可以被设计为多级别特征级联和深度监督架构。与非基于学习的方法(如强度的统计分布，包括基于图谱的方法、基于主动形状模型(asm)的方法、基于水平集(level-set)的方法或基于图形切割的方法)相比，基于学习的方法可以更有利于更好的分割。
[0076]
可以使用具有深度监督的全卷积网络(fcn)，该网络可以执行端到端的学习和推断。fcn的输出可以利用全连接的条件随机场(crf)方法来完善(refine)。此外，可以应用级联fcn，接着是crf完善。
[0077]
然而，生成对抗网络(gan)也可以是用于该任务的有力框架。gan可以至少包括生成器和辨别器。生成器尝试产生接近于真实样本的输出，而辨别器尝试在真实样本与所生
成的样本之间进行区分。
[0078]
高级的方法可以是对抗图像到图像网络(di2in-an)，其中深度图像到图像网络(di2in)可以用作产生肝脏分割的生成器。它可以采用与多级别特征级联和深度监督组合的卷积编码器-解码器架构。该网络可以尝试优化常规的多类别交叉熵损失、连同旨在在di2in输出与地面真值之间进行区分的对抗项。
[0079]
理想情况下，辨别器将生成器的输出推动朝向地面真值的分布，使得它具有通过完善生成器的输出来增强生成器的性能的潜力。由于辨别器通常是采取许多输入变量的联合配置的cnn，因此它可以将更高阶的潜力嵌入到该网络中(在预测与地面真值之间的几何差异由可训练网络模型而不是启发式提示(heuristic hint)来表示)。所提出的实现方式还实现了更高的计算效率，因为辨别器不需要在推断时执行。
[0080]
di2in可以将3d成像数据id取作输入，并且输出指示体素属于肝脏区域的可能性程度的概率图。di2in中的至少一个块、特别是所有块包括3d卷积和双线性上扩(upscaling)层。
[0081]
在di2in的编码器部分中，在所有块中仅使用卷积层。为了增加神经元的感受野并且降低gpu存储器消耗，步距(stride)可以在一些层处被设置为2，并且特征图的大小可以被减小。此外，较大的感受野可以覆盖更多的情境信息，并且帮助在预测中保留肝脏形状信息。di2in的解码器可以包括卷积和双线性上扩层。
[0082]
为了实现端到端的预测和训练，上扩层可以被实现为双线性插值，以扩大(enlarge)激活图。所有卷积核可以是3
×3×
3的。解码器中的上扩因子针对x；y；z维度可以是2。在所有卷积层中可以采用泄漏修正线性单元(leaky relu)和批量归一化，以用于适当的梯度反向传播。
[0083]
为了进一步改进di2in的性能，可以采用若干种主流技术。首先，可以在di2in中使用特征层级联。可以直接从编码器层到解码器层来构建快速桥(fast bridge)。所述桥可以向前传递来自编码器的信息，并且然后可以将其与解码器特征层进行级联。组合特征可以用作下一个卷积层的输入。在用于明确地组合高级和低级别特征的上述动作之后，di2in可以受益于局部和全局情境信息。
[0084]
在第四方法动作104中，使用第二神经网络来检测所分割的肾脏表示的一个或多个疑似病变。因此，第三神经网络可以被配置成基于成像数据id和非成像数据nid对恶性肿瘤风险mr进行分类，其中非成像数据nid至少包括组织病理学数据。
[0085]
第二神经网络可以至少部分地被配置为全卷积一阶段对象检测(fcos)。这优选地以每像素预测的方式来执行，类似于语义分割。fcos可以是无锚框的和/无提议的。因此，fcos可以避免与锚框相关的任何复杂计算，诸如在训练期间计算重叠。附加地，fcos可以避免可能对最终检测性能敏感的与锚框相关的超参数。
[0086]
全卷积一阶段对象解码器的示例可以被定义如下：让是骨干cnn的层i处的特征图，并且s是直到该层的总步距。用于成像数据id的地面真值边界框可以被定义为{bj}，其中}，其中和可以表示该边界框的左上角和右下角的坐标。c(i)可以是该边界框中的对象所属的类别。c可以是类别的数量。对于特征图fj上的每个位置(x，y)，可以将其映射回到输入图像上，作为
这接近该位置(x，y)的感受野的中心。目标边界框可以在该位置处被直接回归。
[0087]
如果位置(x，y)落入任何地面真值框中，则它可以被认为是正样本，并且该位置的类别标签c
*
可以是地面真值框的类别标签。否则，它可能是负样本，并且c
*
＝0(背景类别)。此外，可以存在4d实向量t
*
＝(1
*
，t
*
，r
*
，b
*
)，其是针对该位置的回归目标。l
*
、t
*
、r
*
和b
*
可以是从该位置到该边界框的四个边的距离。如果一位置落入多个边界框中，则它可以被认为是模糊的样本。可以选择具有最小面积的边界框作为其回归目标。
[0088]
如果位置(x，y)与边界框bi相关联，则针对该位置的训练回归目标可以被制定为：l
*
＝x-x
0(i)
、t
*
＝y-y
0(i)
、r
*
＝x
1(i)
x和b
*
＝y
1(i)-y。fcos可以利用尽可能多的前景样本来训练回归器。
[0089]
对应于训练目标，网络的最后的层可以预测分类标签的80d向量p以及4d向量t＝(1，t，r，b)边界框坐标。在一个示例中，可以训练c二元分类器。在一个示例中，可以在骨干网络的特征图之后添加至少四个卷积层，分别用于分类和回归分支。由于回归目标可以是正的，因此可以采用exp(x)以在回归分支之上将任何实数映射到(0，∞)。
[0090]
训练损失函数可以被定义如下：
[0091][0092]
其中l
cls
可以是焦点损失，并且l
reg
可以是iou损失。n
pos
可以表示正样本的数量，并且以1的λ可以是l
reg
的平衡权重。可以在特征图fj上的所有位置上计算总和。可以是指示函数(indicator function)，如果c
j*
＞0，则该指示函数为1，否则为0。
[0093]
给定成像数据id，它们可以通过该网络被转发，并且可以获得针对特征图fi上的每个位置的分类得分p
x，y
和回归预测t
x，y
。在一个示例中，可以降低针对正锚框的所需iou得分。
[0094]
在一个示例中，可以附加地与分类分支并行地添加单层分支，以便预测位置的“中心度”。中心度可以描绘从该位置到该位置负责的对象的中心的归一化距离。在给定针对位置的回归目标l
*
、t
*
、r
*
和b
*
的情况下，中心度目标可以被定义为中心度的范围可以从0到1，并且可以利用二元交叉熵(bce)损失来训练。最终得分可以通过将所预测的中心度乘以对应的分类得分来计算。
[0095]
在第五方法动作105中，可以使用第三神经网络以恶性肿瘤风险mr对检测到的疑似病变进行分类，其中第三神经网络是深度剖析器。因此，深度剖析器可以包括用于提取成像特征的编码器。此外，编码器可以被设计为卷积神经网络(cnn)，特别是三维cnn。附加地，深度剖析器可以包括用于估计至少一个恶性肿瘤风险mr指标的解码器和/或用于生成用于对至少一个恶性肿瘤风险mr进行分类的至少一个图像标记的任务特定网络。
[0096]
在一个示例中，成像数据id可以通过强度、几何、纹理和/或小波特征来量化。几何特征可以量化肾脏的2d或3d形状特性，纹理特征可以描述体素或像素强度的空间分布，从而量化异质性。在对成像数据id应用小波变换之后，可以计算任何强度和纹理特征。
[0097]
为了找到成像数据id的对该预测最有贡献的体素，可以取得并评估最终部分似然损失关于成像数据id的导数。
[0098]
在一个示例中，成像数据id和/或非成像数据nid可以包括与数据记录信息相关的情境数据。此外，情境数据可以包括以下各项中的至少一个：数据记录设备信息、对比度配置信息、亮度配置信息、记录方向信息、总记录时间信息、投影类型信息(例如，ct：平均强度投影(aip)、最大强度投影(mip)或最小强度投影(minip))、记录信息的日期和/或时间。
[0099]
在一个示例中，受试者患者的非成像数据nid可以包括以下各项中的至少一个：年龄、体重、体型、健康状况信息、性别、营养实践。
[0100]
第六方法动作106可以将成像数据id从受试者患者的解剖体的至少部分3d图示转换成受试者患者的解剖体的2d图示。由于例如存储器或计算限制，该方法动作可以在任何时间处执行。
[0101]
图2是描绘了用于对肾脏的恶性肿瘤风险mr评分进行分类的系统200的示意图。
[0102]
系统200包括接口201，接口201被配置成提供受试者患者的解剖体的成像数据id，其中成像数据id至少部分地包括受试者患者的肾脏的表示。因此，成像数据id将被转发到该接口，特别是与非成像数据一起被转发到该接口。
[0103]
系统200的第一分析单元202(具有分析指令的处理器)被配置成使用第一神经网络来分割基于成像数据的肾脏表示的至少一个区域。第二分析单元203(具有分析指令的处理器)也是系统200的一部分，其中第二分析单元203被配置成使用第二神经网络来检测所分割的肾脏表示的一个或多个疑似病变。该系统附加地包括深度剖析器204(具有深度剖析器指令的处理器)，深度剖析器204被配置成以恶性肿瘤风险mr对检测到的疑似病变进行分类。
[0104]
在一个示例中，深度剖析器204被配置成基于成像数据id和非成像数据nid对恶性肿瘤风险mr进行分类，其中非成像数据nid至少包括组织病理学数据。
[0105]
每当系统200已经确定恶性肿瘤风险mr得分时，该值可以被存储在系统200中(存储在存储器中)或基于云的存储器存储系统中。在一个示例中，系统200的至少部分可以被部署在基于云的系统中，这意味着它们不必物理地集成在框中。
[0106]
系统200可以被配置成使得每个输入数据和/或输出数据可以被转发到其每个单元，即其接口201、其第一分析单元202、其第二分析单元203和/或其深度剖析器204。进一步指出的是，特定单元的神经网络可以类似于上面关于图1公开的神经网络那样被设计。
[0107]
图3是描绘了用于训练机器学习算法以对肾脏的恶性肿瘤风险mr进行分类的计算机实现方法300的示意图。
[0108]
因此，方法300包括利用第一训练数据来训练第一神经网络的第一动作301，第一训练数据包括至少一个受试者患者的解剖体的成像数据id，其中成像数据id至少部分地包括一个或多个肾脏的表示。对抗网络可以被用于第一神经网络的训练，以将输出与地面真值进行辨别。
[0109]
在第二方法动作302中，利用第二训练数据来训练第二神经网络，第二训练数据包括一个或多个所分割的肾脏表示的一个或多个检测到的病变。
[0110]
在第三方法动作303中，利用以恶性肿瘤风险mr被分类的一个或多个病变的第三训练数据来训练第三神经网络。第三训练数据优选地基于成像数据id和非成像数据nid，其
中非成像数据nid至少包括组织病理学数据。此外，可以基于组织病理学数据来确定深度剖析器的至少一个地面真值标签。
[0111]
在第四方法动作304中，基于与检测到的解剖界标、特别是关于一个或多个肾脏表示的界标相关的第四训练数据使用深度强化学习来训练第四神经网络。
[0112]
在一个示例中，第一、第二、第三或第四训练数据的至少两个不同的训练数据片段可以基于相同的受试者患者。此外，两个不同的训练数据片段可以被指示为相同受试者患者的训练数据。附加地，非成像数据nid可以包括被配置成用于患者随访诊断的至少一个指标。
[0113]
图4是描绘了用于训练机器学习算法以对肾脏的恶性肿瘤风险mr进行分类的系统400的示意图。
[0114]
因此，系统400包括第一分析单元401(具有分析指令的处理器)，第一分析单元401被配置成利用第一训练数据来训练第一神经网络，第一训练数据包括至少一个受试者患者的解剖体的成像数据id，其中成像数据id至少部分地包括一个或多个肾脏的表示。
[0115]
系统400的第二分析单元401(具有分析指令的处理器)被配置成利用第二训练数据来训练第二神经网络，第二训练数据包括一个或多个所分割的肾脏表示的一个或多个检测到的病变。系统400进一步包括第三分析单元403(具有分析指令的处理器)，第三分析单元403被配置成利用以恶性肿瘤风险mr被分类的一个或多个病变的第三训练数据来训练第三神经网络。
[0116]
该系统可以附加地包括第四分析单元404(具有分析指令的处理器)，第四分析单元404被配置成利用与检测到的解剖界标、特别是关于一个或多个肾脏表示的界标相关的第四训练数据来训练第四神经网络。
[0117]
系统400可以被配置成使得每个输入数据和/或输出数据可以被转发到其每个单元，即其第一分析单元401、其第二分析单元402、其第三分析单元403和/或其第四分析单元404。进一步指出的是，特定单元的神经网络可以类似于上面关于图3公开的神经网络那样被设计。
[0118]
根据一个实施例，提供了以下条款：
[0119]
条款1：一种用于对肾脏、特别是人类肾脏的恶性肿瘤风险(mr)进行分类的计算机实现方法(100)，包括以下动作：
[0120]
提供(101)受试者患者的解剖体的成像数据(id)，其中所述成像数据(id)至少部分地包括受试者患者的肾脏的表示；
[0121]
使用(102)第一神经网络来分割基于所述成像数据(id)的所述肾脏表示的至少一个区域；
[0122]
使用(103)第二神经网络来检测所分割的肾脏表示的一个或多个疑似病变；以及
[0123]
使用第三神经网络以恶性肿瘤风险(mr)对检测到的疑似病变进行分类(104)，
[0124]
其中第三神经网络是深度剖析器。
[0125]
2.条款1的方法，其中成像数据(id)和/或非成像数据(nid)包括与数据记录信息相关的情境数据。
[0126]
3.条款1或2的方法，其中所述情境数据包括以下各项中的至少一个：
[0127]
数据记录设备信息、对比度配置信息、亮度配置信息、记录方向信息、总记录时间
信息、投影类型信息、记录信息的日期和/或时间。
[0128]
4.条款1至3中任一项的方法，其中受试者患者的非成像数据(nid)包括以下各项中的至少一个：
[0129]
年龄、体重、体型、健康状况信息、性别、营养实践。
[0130]
根据第5个条款，提供了以下内容：
[0131]
一种用于训练机器学习算法以对肾脏、特别是人类肾脏的恶性肿瘤风险(mr)进行分类的计算机实现方法(300)，包括以下动作：
[0132]
利用第一训练数据来训练(301)第一神经网络，第一训练数据包括至少一个受试者患者的解剖体的成像数据(id)，其中所述成像数据(id)至少部分地包括一个或多个肾脏的表示；
[0133]
利用第二训练数据来训练(302)第二神经网络，第二训练数据包括一个或多个所分割的肾脏表示的一个或多个检测到的病变；以及
[0134]
利用以恶性肿瘤风险被分类的一个或多个病变的第三训练数据来训练(303)第三神经网络。
[0135]
6.条款5的方法，其中第三训练数据基于成像数据(id)和非成像数据(nid)，其中所述非成像数据(nid)至少包括组织病理学数据。
[0136]
7.条款5或6的方法，其中基于组织病理学数据来确定深度剖析器的至少一个地面真值标签。
[0137]
8.条款5至7中任一项的方法，包括以下附加动作：
[0138]
基于与检测到的解剖界标、特别是关于一个或多个肾脏表示的界标相关的第四训练数据，使用深度强化学习来训练(304)第四神经网络。
[0139]
9.条款5至8中任一项的方法，其中对抗网络被用于第一神经网络的训练，以将输出与地面真值进行辨别。
[0140]
10.条款5至10中任一项的方法，其中至少两个不同的训练数据片段基于相同的受试者患者。
[0141]
11.条款10的方法，其中所述两个不同的训练数据片段被指示为相同受试者患者的训练数据。
[0142]
12.条款5至11中任一项的方法，其中所述非成像数据(nid)包括被配置成用于患者随访诊断的至少一个指标。
[0143]
尽管已经参考优选实施例详细描述了本发明，但是本发明不受所公开的示例限制，在不脱离本发明的范围的情况下，本领域技术人员能够从这些示例中导出其他变化。在示例被如此描述的情况下，将明显的是，这些示例可以以多种方式变化。这种变化不应被视为与本发明的精神和范围的脱离，并且对于本领域技术人员将明显的所有这种修改都意图被包括在以下权利要求的范围内。

技术特征：
1.一种用于对肾脏的恶性肿瘤风险进行分类的方法，所述方法包括：提供受试者患者的解剖体的成像数据，其中所述成像数据至少部分地包括受试者患者的肾脏的表示；使用第一神经网络来分割基于所述成像数据的所述肾脏表示的至少一个区域；使用第二神经网络来检测所分割的肾脏表示的一个或多个疑似病变；以及使用第三神经网络以恶性肿瘤风险对检测到的疑似病变进行分类，其中第三神经网络是深度剖析器。2.根据权利要求1所述的方法，其中第三神经网络基于成像数据和非成像数据对恶性肿瘤风险进行分类，其中所述非成像数据至少包括组织病理学数据。3.根据权利要求1所述的方法，其中分类包括使用所述深度剖析器进行分类，所述深度剖析器包括用于提取成像特征的编码器。4.根据权利要求3所述的方法，其中所述编码器是卷积神经网络。5.根据权利要求3所述的方法，其中所述深度剖析器包括解码器，并且其中分类包括由所述解码器来估计至少一个恶性肿瘤风险指标。6.根据权利要求1所述的方法，其中所述深度剖析器包括任务特定网络，并且其中分类包括使用所述任务特定网络来生成用于对恶性肿瘤风险进行分类的至少一个图像标记。7.根据权利要求1所述的方法，进一步包括：使用第四神经网络基于所提供的成像数据来检测解剖界标。8.根据权利要求7所述的方法，其中第四神经网络是使用至少一个通用非线性函数逼近器的卷积神经网络，并且其中分类包括由所述卷积神经网络来提取图像特征。9.根据权利要求1所述的方法，其中第一神经网络是卷积编码器-解码器架构或多级别特征级联和深度监督架构。10.根据权利要求1所述的方法，其中检测所述一个或多个疑似病变包括基于第二神经网络的全卷积一阶段对象检测进行检测。11.根据权利要求1所述的方法，其中提供所述成像数据包括以下各项中的至少一个：基于计算机断层摄影和/或磁共振成像进行提供，和/或至少部分地提供受试者患者的解剖体的3d图示。12.根据权利要求1所述的方法，进一步包括：将所述成像数据从受试者患者的解剖体的至少部分3d图示转换成受试者患者的解剖体的2d图示。13.一种用于对肾脏的恶性肿瘤风险评分进行分类的系统，所述系统包括：接口，被配置成提供受试者患者的解剖体的成像数据，其中所述成像数据至少部分地包括受试者患者的肾脏的表示；处理器，被配置成使用第一神经网络来分割基于所述成像数据的所述肾脏表示的至少一个区域，被配置成使用第二神经网络来检测所分割的肾脏表示的一个或多个疑似病变，并且被配置成实现深度剖析器来以恶性肿瘤风险对检测到的疑似病变进行分类。14.根据权利要求13所述的系统，其中所述深度剖析器被配置成基于成像数据和非成像数据对恶性肿瘤风险进行分类，其中所述非成像数据至少包括组织病理学数据。15.根据权利要求13所述的系统，其中所述深度剖析器包括用于提取成像特征的编码
器。16.根据权利要求13所述的系统，其中所述深度剖析器包括被配置成估计至少一个恶性肿瘤风险指标的解码器。17.根据权利要求13所述的系统，其中所述深度剖析器包括任务特定网络，所述任务特定网络被配置成使用所述任务特定网络来生成用于恶性肿瘤风险的分类的至少一个图像标记。18.一种用于训练机器学习算法以对肾脏的恶性肿瘤风险进行分类的方法，所述方法包括：利用第一训练数据来训练第一神经网络，第一训练数据包括至少一个受试者患者的解剖体的成像数据，其中所述成像数据至少部分地包括一个或多个肾脏的表示；利用第二训练数据来训练第二神经网络，第二训练数据包括一个或多个所分割的肾脏表示的一个或多个检测到的病变；以及利用以恶性肿瘤风险被分类的一个或多个病变的第三训练数据来训练第三神经网络。19.根据权利要求18所述的方法，其中训练第三神经网络包括训练深度剖析器。

技术总结
提供了一种用于对肾脏、特别是人类肾脏的恶性肿瘤风险进行分类的计算机实现方法。受试者患者的解剖体的成像数据至少部分地包括受试者患者的肾脏的表示。第一神经网络分割基于所述成像数据的所述肾脏表示的至少一个区域。第二神经网络检测所分割的肾脏表示的一个或多个疑似病变。第三神经网络以恶性肿瘤风险对检测到的疑似病变进行分类。第三神经网络是深度剖析器。度剖析器。度剖析器。


技术研发人员：S
受保护的技术使用者：西门子医疗有限公司
技术研发日：2023.04.04
技术公布日：2023/10/19