用于介入X射线的自适应准直的制作方法

用于介入x射线的自适应准直
技术领域
1.本发明涉及一种用于在x射线成像或辐射治疗递送中便于准直器调节的系统和方法，涉及一种训练机器学习模型以用于在这样的系统中使用的方法，涉及一种计算机程序单元，并且涉及一种计算机可读介质。


背景技术：

2.在诸如经皮冠状动脉介入(pci)的某些医学介入中，临床医生有时需要向患者引入一个或多个医学设备或工具，诸如导线、导管等等。
3.介入可以在x射线成像导引下执行，其中由成像装置(“成像器”)采集一幅或多幅图像，有时作为序列以形成视频馈送，其在显示设备上为临床医生(在本文被称为“用户”)实时显示。
4.显示的成像允许用户考虑病变、器官、引入的设备/工具或通常感兴趣区域(“roi”)。为了最佳的诊断或治疗结果，roi需要以合适的姿态被可视化，这要求适应成像器的成像几何。
5.在这些过程中，有时在困难和苛求的介入中，用户会需要从一个roi切换到另一roi，在这种情况下，可能需要重新适应成像器的成像几何。例如，用户可以开始在冠状动脉的一个分支中处置狭窄，之后切换到需要处置分叉的另一分支。或者，处置协议可能要求从一个器官切换到人体的完全不同部分中的完全不同器官。成像几何适应(特别是在要求多次时)是笨重且耗时的。例如，检查台或c臂运动花费时间并且增加整体流程持续时间。通常，x射线成像在台运动期间继续以监测当前fov，并且允许操作者确定是否达到了期望的成像roi，这增加在流程期间招致的对用户和患者的整体剂量暴露。
6.成像几何改变可以包括成像器的准直器的适应。准直器是允许在形状和/或大小方面限制成像器的x射线束的设备。成像器的视场(“fov”)可以因而被聚焦于roi。
7.x射线束准直对于患者剂量和图像质量二者是重要的。研究已经表明，例行准直到最小所需视场的实践导致向患者和用户的辐射剂量的显著降低。改变准直器的设置经常是笨重且耗时的。
8.大多数x射线系统要求用户手动准直。当前，准直要求多个用户交互步骤以设置准直。在一些成像系统中，可以存在需要被定位且设置角度的六个或更多个不同的准直器部件，例如四个遮光板(shutter)和两个楔形体。每一个可以要求用户与多个物理致动器交互，或与触摸屏上的多个元件交互。
9.如果用户花费时间来最优调节准直器，则一旦移动了被成像的设备、机架或患者台/椅，准直器就需要被重新调节。根据定义，用户将初始准直设置值设置得越激进或越“紧”，它们在另一成像几何中就越不太可能保持可用，这是因为感兴趣区域不再位于fov中的可能性更高。这样的一个示例是在辐射接入期间，其中在设备沿着臂向上移动并且进入体内时对该设备进行准直是有帮助的。


技术实现要素：

10.因此存在对于一种用于解决当前成像系统中上面提及的缺陷中的至少一个或多个的成像支持系统的需要。
11.本发明的目的通过独立权利要求的主题来解决，其中在从属权利要求中结合了其他实施例。应该注意到，下面描述的本发明的方面同样适用于有相关的方法、计算机程序单元以及计算机可读介质。
12.根据第一方面，提供一种用于在x射线成像或辐射治疗递送中便于准直器调节的系统，包括：
13.输入接口，其用于接收输入数据，所述输入数据包括用户输入数据，所述用户输入数据包括针对x射线成像装置的准直器的第一准直器设置；以及
14.准直器设置估计器，其被配置为基于所述输入数据来计算针对所述准直器的第二准直器设置。
15.在实施例中，所述输入数据还包括由所述x射线成像装置采集的至少一幅图像。所述输入图像可以是在所述成像装置的当前视场处的投影x射线图像。所述输入图像可以以低于在计算并且应用所述准直器设置之后采集的影像的剂量采集。优选地，荧光x射线成像与提出的系统一起使用。由于单个这样的输入图像可以满足给定的投影方向，但可以代替使用输入图像序列用于给定的投影方向。所述序列可以包括初始未准直的图像，并且接着是在较早时刻准直的图像序列。用户输入数据可以在这样的输入图像中被指定，例如本文由用户制定的准直器直线。所述直线和图像可以由所述估计器一起处理以计算所述第二准直器设置。与所述图像一起提供所述第一准直器设置使得处理更加稳健。
16.所述第一准直器设置可以是部分的或不完整的，而所述第二准直器设置是完成或补充所述第一部分的准直器设置。所述第一和第二准直器设置因而可以一起形成能够用于控制准直器以实现用户期望的准直的完整准直器设置。
17.在实施例中，所述准直器设置估计器被实现为经训练的机器学习模型。在一些这样的实施例中，第二或完整的准直器设置在所述机器学习模型的最终层处被回归。
18.可选地，所述准直器设置估计器基于由经训练的机器学习模型提供的输出数据来计算第二/补充的准直器设置。在一些这样的可选实施例中，所述输出数据不由所述最终层提供，但是作为所述模型的隐藏层的中间内部输出。即，在这样的实施例中，由所述机器学习模型产生的所述输出数据包括特征图。计算所述特征图可以涉及使用非线性激活函数，这与在其中不必要使用这样的非线性激活函数或不同地使用这样的激活函数的模型的最终输出层处可获得的输出相反。
19.在实施例中，所述机器学习模型是人工神经网络。
20.特征图包括用于分类或回归任务的激活图或导出的特征图，例如热图。
21.通常，在特征图中捕获的信息表示给定层的加权激活(例如卷积滤波器)。可选地，所述特征图可以被可视化。特征图可以被表示在与(输入)影像类似的数据结构中，但是特征图是与影像不同的数据类型。在影像中，通过表示被成像对象(患者或其部分)的物质如何与成像信号交互的强度变量来给与对比度，例如x射线成像中的组织-x辐射交互。影像是图像域中的数据，而特征图是特征域中的数据。特征图的变化表示机器学习模型如何对输入图像中的特征和/或从图像域提取的较高水平的特征进行操作以及机器学习模型的哪一
部分对输入图像中的特征和/或从图像域提取的较高水平的特征进行操作。例如，特征图表示机器学习模型/算法对给定等级中的给定图像特征给出了何种相关性(例如按照权重或其它)。特征图通常比由ml模型/算法根据其计算的输入成像具有更高的维度。特征图是由机器学习模型生成的数据。具体地说，特征图通常是通过向输入应用卷积运算生成的多维数据。特征图可以适合于将来自图像域的特征提取或抽象为多个水平/等级的较高维度，从图像域抽象以例如在较高等级中定义“特征的特征”或“特征的特征的特征”，取决于所使用的机器学习模型的深度。特征图可以被降低维度到1d、2d或3d，并且可以可选地被颜色编码以获得导出的特征图，本文也被称为热图。热图因而是后处理的特征图。后处理以实现特征图的维度降低可以包括加权加和，例如基于梯度的方案，或简单的平整/重新采样，例如全局池化方案。热图可以用于全局表示机器学习模型如何操作/解释输入数据，或在训练阶段或在部署阶段。
22.在实施例中，所述模型是编码器-解码器模型，例如自动编码器。自动编码器是编码器-解码器的特殊情况，其中原始输入在其输出处被重建，即，输入空间与输出空间相同。编码器-解码器更加通用并且能够将编码的数据解码为任意其它期望的输出。
23.在实施例中，所述准直器设置估计器包括分割器，其被配置为将所述特征图或热图分割为至少一个片段，并且其中，计算的补充或第二准直器设置还基于所述片段。与编码器-解码器类型网络协同操作的分割器优选地对特征图进行操作，而对于自动编码器类型网络，分割器优选地对热图进行操作。在自动编码器类型网络中，任意隐藏层的特征图可以用于分割。在通常的编码器-解码器类型网络中，优选地使用最后层的特征图。然而，也预想接入来自较早层的特征图。在特征图/热图被颜色编码的情况中，分割器可以对色彩空间中的色彩参数进行操作，例如色度、饱和度。
24.分割器可以被本地实现为ml模型，或可以被布置为卷积分析处理路径，例如sift或其它。
25.与对回归的影像进行操作相比，使分割器对特征空间中的特征图或热图进行操作对于在真实世界情形中可能发生的不可预测的变化更加稳健。如果使用最终输出数据来代替特征图，这样的分割将最可能特异于某一数据类型。但是在特征空间中，分割可以按照非监督模式被自动发现，并且因此对数据中的变化更加稳健。因而能够更加通常地使用特征图。
26.计算端到端ml分割可能要求基准真值数据并且因此非常耗时且昂贵。在提出的实施例中，由于分割在特征空间中发生，因此分割更加简单。特征图可以被色彩编码，并且分割因而能够基于色彩属性(例如色度、饱和度等等)。因而，尽管在本文一些实施例中不排除图像空间中的分割，但是本文优选特征空间中的分割。
27.由于映射到值范围而非二进制集合的非线性激活函数的操作，基于特征图或热图的边缘的分割可以是平滑的。由特征图表示的激活函数输出包括能够被解释为准直器设置的平滑过渡并且可以提供关于准直器紧密度的信息。
28.由用户提供的用户输入或附加输入可以基于特征图或分割的特征图或热图。选择位于激活函数值的范围一端附近的值或朝向该范围一端的值可以被解释为中度准直，而更接近所述范围另一端的选择可以表示更加保守的，即，更加紧的准直器偏好。换句话说，由一些机器学习模型(深度学习)提供的平滑的激活函数输出在本文被用于分割。激活函数的
原始输出(不具有阈值)优选地在本文用于分割。
29.在实施例中，所述第一/部分准直器设置包括在由所述成像装置采集的输入图像中或在所述激活图中的几何曲线或直线的规范。
30.所述用户输入可以包括一个或多个点、一条或多条平行直线、倾斜的直线或曲线。这一信息由提出的系统和方法投影到准直器设置空间中。用户输入或可选的附加用户输入可以包括指示所述特征图或分割的特征图或热图中的几何要素(点、直线、曲线)。所述用户输入可以是标量且在激活函数的范围内，并且因而可以被看作是准直器紧密度设置的表示并且被处理成为准直器紧密度设置。
31.在实施例中，所述输入数据还包括由所述x射线成像装置采集的输入图像。这样的输入图像可以表示所述成像装置的当前视场。在基于特征图或热图的实施例中，优选地在本文预期处理这样的输入图像，其中所述机器学习模型基于处理所述输入图像来生成所述特征图或热图。接着所述特征图或热图被分割，可选地基于所述用户输入，该用户输入指定分割的特征图或热图中的一个或多个元素作为所述第一或部分准直器设置。基于所述分割并且基于该用户输入(或附加用户输入)，计算所述补充的或第二准直器设置。
32.在实施例中，所述第二准直器设置可以被计算为所述特征图或热图的等值线。可以通过调节所述激活函数的阈值来调节所述准直的紧密度。
33.所述准直器设置由一个或多个参数定义，例如准直器直线。所述第二准直器设置也在本文被预想为改善的、精细的、比第一准直器设置更加特异性的准直器设置。第一准直器设置因而可以被认为是粗略估计，而不是如它在上面提及的一些实施例中预想是不完整的。在实施例中，所述第一和/或第二准直器设置参数指定准直紧密度。
34.在实施例中，所述系统包括用于捕获所述用户输入数据的用户输入设备。所述用户输入设备可以包括下面中的任意一个或多个：图形用户接口、眼部跟踪设备、手势检测设备或语音处理器。
35.在实施例中，所述成像装置能够假设不同的成像几何，其中，所述准直器设置估计器响应于所述成像装置改变其成像几何来调节所述补充的准直器设置。这允许用户在成像过程/介入期间快速设置甚至更加频繁和/或紧的准直。在实施例中，所述第二准直器设置参数指定准直紧密度。在实施例中，所述准直器设置估计器用于基于在所述输入接口处接收更新的部分准直器设置来调节当前补充的准直器设置的紧密度。在另一方面，提供一种训练上述实施例中的任意一个的系统的机器学习模型的方法。
36.在实施例中，所述方法是非监督的，但是本文不排除监督的方案。
37.在另一方面，提供一种用于在x射线成像或辐射治疗递送中便于准直器调节的方法，包括：
38.接收包括针对x射线成像装置的准直器的第一(例如部分)准直器设置的用户输入数据；以及
39.基于所述用户输入数据来计算针对所述准直器的第二(例如，补充的)准直器设置。
40.所述补充的准直器设置补充所述初始的部分准直器设置，一起形成补充的或完整的准直器设置。
41.所提出的系统允许快速设置准直器。不要求完整的参数规范，因而针对繁忙的医
学用户节省了时间和努力。所述系统利用提供的用户数据和/或输入图像来估计用户的偏好并且相应地计算补充的准直器设置参数。非常相同的系统因而能够满足针对多个用户的个体使用偏好。计算的补充的准直器设置(参数)包括用户提供的参数(第一)和由所述系统计算的附加(第二)设置，一起优选地形成期望的完整准直器设置。所述完整的准直器设置允许(优选地不含糊地)调节所述准直器用于使用。计算的准直器设置可以用于按照对称或非对称方式来操作所述准直器。
42.具体地，所述用户的准直器紧密度偏好可以由所述系统至少基于提供的第一/部分准直器设置进行导出。所述设置可以由准直器设置参数定义。计算补充的准直器设置参数以考虑所述紧密度偏好。
43.提出的基于ml的设置是通用的并且不是应用特定的。不存在对识别任意特定特征、解剖体/器官或患者身体中的设备的依赖。本文描述的系统能够在任意医学应用(器官、设备等)上操作，因为用于设置准直的特征不必在先前被明确训练。这是因为，已经发现，用户供应的输入(例如一条或多条准直器直线)，特别是与输入图像组合，已经提供针对ml系统的充分背景，以正确地预测用户期望的准直。进而，提出的系统的“循环中用户”方面允许改善的准直的特异性，同时仍然显著减低了用户的负担。
44.尽管上面描述的准直便于主要被预想用于x射线成像，但是这不排除诸如辐射治疗递送的其它应用，其中对组织的受损部分的轮廓的准直被调用。在这一以及其它应用中，准直可以在3d中而非像x射线投影成像那样在2d中。
[0045]“成像几何”：在荧光或其它x射线或非x射线成像模态中，这可以包括下面中的一个或多个(任意组合)或全部：测角角度、旋转角度、平移等。通常，成像几何涉及改变光学轴、虚轴和/或以其他方式在空间上影响相对应被成像对象的成像的fov成像模态/装置的设置/配置(例如准直器设置等等)的位置或取向的任意设置或配置，所述虚轴连接x射线源和x射线探测器。
[0046]“用户”，如本文使用的，是操作成像装置的某些人。
[0047]“患者/对象”可以是人、动物或植物、微生物(例如，在微观成像中)等，但是也可以涉及中间“对象”，例如在行李检查、非破坏性物质测试等等。
[0048]
通常“机器学习部件”是实现或便于实现“机器学习”(“ml”)算法的计算机化装置。机器学习模型可以基于ml“模型”。ml部件被配置为执行任务。在ml算法中，任务性能测量地改善了在训练中使用的(新)训练数据，假设该训练数据具有适合的分布。基于训练数据对模型进行适应。当使用测试数据馈送给被训练的模型时，性能可以由目标测试进行测量。性能可以通过针对给定的测试数据要求某一误码率来定义。参见t.m.mitchell,“machine learning”,page 2,section 1.1,mcgraw-hill,1997。本文主要感兴趣的任务是暗含或明确地预测准直器设置参数。
附图说明
[0049]
现在将参照未按比例绘制的附图来描述本发明的示例性实施例，在附图中：
[0050]
图1是成像结构体的示意性方框图；
[0051]
图2示出了x射线成像装置的准直器系统的透视图以及通过准直的x射线暴露能够获得投影影像的方面；
[0052]
图3示出了用于便于准直器调节的计算机实现系统的示意性方框图；
[0053]
图4示出了实施例中图3的系统操作的说明；
[0054]
图5示出了可以用于实现图3的系统的机器学习模型的架构；
[0055]
图6示出了可以用于实现图3的系统的编码器-解码器类型的机器学习模型的另一实施例；
[0056]
图7是能够由所述系统使用图6的机器学习模型获得的结果的说明；
[0057]
图8是可以由图3的系统使用的自动编码器类型的机器学习模型的再一实施例；
[0058]
图9示出了与图8中的机器学习模型相关的处理步骤的方框图；
[0059]
图10是图3的系统的基于机器学习模型的实现的过程流的说明；
[0060]
图11是图10中能够由系统获得的结果的说明；
[0061]
图12是便于准直器设置的调节的方法流程图；
[0062]
图13示出了用于训练机器学习模型以便于准直器调节的计算机实现训练系统；并且
[0063]
图14是训练机器学习模型用于便于准直器调节的方法流程图。
[0064]
具体递送方式
[0065]
参照图1，示出了用于基于图像的支持的结构体ar的示意图，优选地用于在医学介入的情景中使用。
[0066]
装置ar包括成像装置ia，特别是x射线成像装置，能够由用户操作以获得roi处患者的内部结构的x射线影像i
t
。roi可以是人类心脏、肺部或另一器官或器官组。
[0067]
成像i
t
在本文有时被称为帧序列，可以在显示设备dd上作为运动图片或视频馈送被实时显示给用户，或根据期望可以被单独显示为静止图像。
[0068]
成像装置ar还包括被配置为辅助用户调整准直器设置的用户辅助系统usys。
[0069]
如所提及的，成像装置ai和系统usys在本文实施例中主要被设想为支持诸如经皮冠状动脉介入(pci)的医学介入。也设想其它医学介入，不必与人类或动物心脏相关地执行，并且因此是非医学应用。这样的非医学应用可以包括对于在不可访问的腔洞或管道系统中执行的检查和工作的基于图像的支持，或对于技术仪器的检查。这样的技术仪器可以包括引擎和其它复杂机器，其不能够由裸眼直接检查而是要求成像仪器通过视频馈送或静止图像使被遮挡的感兴趣区域对于视觉检查可获得。
[0070]
现在首先更加详细地参照成像装置ia，这可以如在图1的示例性实施例中所示的被布置为c臂或u臂类型的成像装置。在图1的实施例中，c臂系统ia是天花板cl安装的，但是这不必在所有实施例中都如此。可选地，成像装置ia是地面安装的，或被安装在支座上等等。在其他可选实现中，成像装置可以是移动的，例如滚轮安装或轨道安装。在本文中不要求机架g，例如在移动x射线设备中，其中在探测器d和管xx之间不存在或没有永久物理连接。
[0071]
x射线成像装置包括x射线探测器d和x射线源xs。宽泛地说，在实施例中，但是不必在所有实施例中，成像装置包括承载x射线探测器d和x射线源xs(例如x射线管)的机架g。x射线探测器d和x射线源xs按照相对的空间关系被布置在机架g上以在x射线源和x射线探测器之间形成检查区域。在这一检查区域中，患者pat被如此放置以使得感兴趣区域大致位于is成像装置的等中心点(iso-center)处。患者可以在成像期间躺在检查台tb上。台tb可以
在高度h上被调节，可以沿着x轴或y轴或沿着x轴和y轴二者平移，并且也可以在实施例中关于一个或多个倾斜轴倾斜。
[0072]
在成像过程期间，x射线源xs通过在阳极和阴极之间施加阴极电流和电压而被加电，以产生从阳极的焦点向前发出的x射线束xb。射束离开x射线源，经过检查区域，并且因而经过感兴趣区域处或感兴趣区域周围的患者组织，以便接着入射到x射线探测器d的x射线感测表面上。探测器d的x射线感测表面可以包括将入射的x辐射转换为强度值的像素元件。强度值可以随着位置不同而变化，该变化是由于具有局部不同物质密度的不同组织类型对x射线束的不同衰减造成的。
[0073]
因此被记录在探测器xs处的强度值可以根据颜色或灰度值盘被映射到图像值以形成投影图像(或“帧”)。采集电路操作为在成像过程期间的不同实例处按照这一方式以合适的帧速率捕获不同投影图像的序列。本文设想的示例性帧速率是20-30fps。例如，在作为本文设想的主要模态的荧光检查中，强度值可以被映射到在从黑经过灰值到白的范围值上，图像值越黑，强度值就越低。可以使用其它映射方案，例如反向映射，其中较低强度值被映射到较亮图像值，例如这通常在射线照相中使用。可以代替还使用其它映射方案。本文不排除例如在射线照相中采集单个或很少的静止图像。
[0074]
(主要)x射线束的空间宽度定义成像器ia的fov。驻留或扩展在视场中的对象，并且因而驻留或扩展在x射线束中的对象将修改在探测器处局部检测的x射线的强度。视场可以通过用户请求改变或通过适应成像器ia的成像几何来自动改变，例如通过移动x射线源、移动患者、或通过使用准直器col来放大或限制射束宽度，或前述部分的所有或任意子集的组合。
[0075]
x射线探测器可以被布置为通信耦合到显示设备dd的数字平板探测器。平板探测器d可以是直接转换类型或间接转换类型。在可选实施例中，成像探测器可以被布置为经过视频相机耦合到显示设备的图像增强器。
[0076]
尽管本文主要设想的投影影像的对比度赋予机制是衰减，但是本文不排除此外或代替利用其它对比度机制的其它成像技术，例如相位对比度和/或暗场成像。在后面的两种情况中，成像装置可以包括附加部件，例如干涉仪或其它。
[0077]
成像装置包括控制台cc，用户经过其能够确定何时开始和结射束成像过程，特别是何时对x射线源xs加电。踏板可以被耦合到控制台作为用户接口来控制对x射线源加电或去加电或操作网格开关来停止或恢复对x射线射束的暴露。
[0078]
主要x射线射束(具有侧向散射辐射)的主要传播方向由光学轴ox定义，该光学轴ox是从x射线源的焦点(未示出)到x射线探测器d的x辐射感测表面的中心部分行进的虚线。光学轴限定空间投影方向。
[0079]
为了更好地支持用户导航，可以根据用户请求来改变光学轴的位置或空间取向，并且因而改变投影方向。这在一个实施例中可以通过布置机架能够围绕一个轴(或优选地围绕彼此垂直的两个相应轴)旋转来实现。具有两个这样的旋转轴允许用于改变光学轴的两个自由度。例如，在一个几何体中，一个旋转轴延伸进入图1的绘制平面并且允许光学轴围绕角度β旋转。另一旋转轴与图1的绘制平面平行并且允许围绕独立于β的另一角度α改变取向，如在图1中示意性示出的。按照惯例，针对α的轴定义“旋转”而针对β的轴定义“角度”。
[0080]
可选地，机架本身的高度也可以改变，如图1中的双向箭头h表明的。此外，可以通
过相应地沿着直线移动机架来平移光学轴ox。光学轴的位置和取向在本文中可以被称为至少部分地定义成像几何。换句话说，本文实施例中设想的成像装置允许用户改变成像几何。
[0081]
可以通过用户操作摇杆或其它适合的用户接口uid’来请求改变成像几何。用户接口uid’可以被耦合到或集成到控制台cc中。
[0082]
对成像几何改变的请求可以包括使得控制信号被施加到布置在成像装置处的合适致动器ac，例如布置在机架、台tb、准直器col等的任意一个或多个处。致动器ac响应于控制信号来改变成像几何。致动器ac或由功率源供电或由用户经过手轮、杠杆等或其它设备手动供电。致动器ac或是纯自动的或是混合或半自动的。在半自动情况中，用户操作诸如摇杆或其它控制设备的用户接口uid’，但是可以由伺服电机或类似物辅助以实现成像几何改变。
[0083]
致动器被编码或不被编码。如果它们被编码，则它们可以包括线性和或角度编码器，例如电位器或其它。由于编码器，受一个或多个致动器影响的图像几何体改变是可跟踪的，即，可映射到随成像几何改变而变化的数字坐标。
[0084]
改变成像几何的其它选项可以包括改变探测器-x射线源距离和/或改变感兴趣区域与x射线探测器之间并且因而与x射线源之间的距离。后者的改变可以通过改变患者躺在其上的检查台tb的高度h’来实现。改变高度h和/或源-探测器距离可以等于以某一放大因素缩放图像。
[0085]
改变成像几何的再一选项可以包括在xy方向上与患者台tb的表面平行的平面上平移该患者台tb，一个方向与图1的绘制平面平行并且另一方向延伸进入图像平面。台也可以围绕一个或多个轴可倾斜。参与成像几何改变的成像装置的部件可以在本文通常被称为成像几何部件并且尤其包括下面中的任意一个、多于一个或全部：源xs、机架、探测器、准直器col、台等等。
[0086]
通常，成像几何的改变改变了x射线源和/或探测器相对于感兴趣区域之间的空间关系。此外或代替地，可以通过准直器动作或通过例如通过所描述的台tb平移移动患者来改变视场。
[0087]
现在更加详细地转向用户辅助系统usys，其被配置为辅助用户调节成像装置ia的准直器col的准直器设置。
[0088]
宽泛地说，用于准直调节的用户辅助系统usys与用户输入设备uid协同操作。用户设备uid可以包括图形用户接口(gui)。gui可以被显示在用户监视器ud上。用户监视器ud可以与用于显示所采集影像的显示器dd不同或相同。这样的基于gui的用户输入设备uid可以包括一个或多个触摸屏接口(tsn)。gui可以包括在用户显示设备ud上可视化的一个或多个图形部件。图形部件可以包括用于调节准直器的插件，例如用户能够通过触摸屏动作或通过使用指针工具与其交互的风格化按钮等。指针工具可以是计算机鼠标或指针或其它。用户输入设备uid可以支持手势识别。也设想通过键盘的更加传统用户输入，在一个或多个文本框中捕获文本或字母数字输入。
[0089]
代替或除了基于gui的实施例，用于准直器调节的用户输入设备uid可以(还)包括具有一个或多个物理控制元件的集合的控制面板，例如杆(例如，摇杆)、按钮或其它手动可操作致动器。这样的具有物理可手动操作的控制元件的用户接口有时被称为tso。在再一实施例中，用户接口设备uid可以还包括(除了或代替上面描述的那些)其它接口选项，例如眼
部跟踪设备、手势跟踪系统。也设想具有声音捕获和解释设施的用户接口设备以允许用户基于语音命令的控制。在实施例中，用户控制设备uid可以被集成到增强现实ar系统中。
[0090]
准直器调节用户设备uid可以被至少部分地集成到操作者控制台单元cc中。单元cc通过无线或有线通信通道可通信耦合到成像装置ia的致动器ac或所述成像装置ia的其它硬件或软件部件。
[0091]
简要地说，如先前提及的，本文设想的用户辅助系统usys能够与准直器调节用户接口设备uid通信。具体地说，用户辅助系统usys接收由用户经过用户接口设备uid提供的准直器设置请求。准直器设置的至少一部分可以由一个或多个参数定义，本文被称为准直器设置参数l。下面，尽管我们参照多个准直器设置参数l，但是这不限制本公开，因为本文不排除可以由单个这样的参数l定义的设置，并且在实施例中，本文专门进行了设想。
[0092]
用户提供的准直器设置参数l由用户辅助系统usys处理以计算补充的，即附加或改善的准直器参数设置。更加具体地说，用户可以仅需要部分地定义准直器设置参数，用户辅助系统usys计算完整的、至少补充的准直器设置参数l
′
。系统usys计算完成的准直器设置参数l*，以使得l
′
＝l∪l
*
。计算补充的准直器设置参数l*受准直器设置参数l的用户提供(初始，可能不完整)的集合影响。这样完成的准直器设置参数l
′
允许明确定义准直器设置，或至少降低了对于这样设置的自由度。
[0093]
补充的准直器设置l
′
可以被显示在用户显示设备ud上或任意其它显示设备(例如设备dd)上，可选地与由成像装置ia采集的当前图像同时显示。例如，补充的准直器设置l
′
可以被表示为重叠的图形元素，重叠在当前图像上。此外或替代地，补充的准直器设置参数l
′
可以由适合的中间件自动翻译为控制信号/命令，并且经由通信通道转发到成像装置的致动器ac以进行指示来在准直器col处实现请求的准直器设置。可选地，计算的补充的准直器设置参数l
′
可以被显示，用户的用户接口选项用于确认计算的参数。控制信号/命令接着仅在用户确认时被转发，例如通过触摸屏动作或任意其它用户输入。
[0094]
用户辅助系统usys因而允许用户节约时间和努力。代替用户不得不以努力和时间花费来指定准直器设置参数的完整集合，系统usys辅助用户这一任务。用户仅需要提供准直器设置参数l的一部分(可能是很小一部分)且提出的系统usys预测要求的准直器设置参数的剩余部分l*。用户(无论是否有经验)因而可以能够更加快速地调节准直器设置。在一些实施例中，动态循环控制子系统的类型将重新调节剩余的准直器设置参数l*，只要提供了新的用户定义的准直器设置l。系统可以被认为是闭环的，用户是该回路的一部分(回路中)。快速准直器调节的能力在实时介入中是有益的，特别是在具有高应变因素的上下文中，例如外伤设置，其中成像几何(并且因而视场)的频繁改变可以被调用。
[0095]
参照图2，更加详细地描述准直器系统col。
[0096]
图2a)提供准直器系统col的透视图，成像装置ia的其它部件被部分切割开以便于暴露。宽泛地说，准直器系统col被配置为修改来自源xs的x射线射束xb。具体地说，准直器系统col修改这一原始射束的形状和/或大小以定义成像装置的视场宽度。换句话说，准直器定义在采集的图像中能够“看见”多少，给定剩余成像几何设置的当前集合，例如台和c臂姿态。
[0097]
更具体地说，准直器系统col可操作为在与光学轴ox的当前姿态垂直的平面中修改x射线射束的横截面的形状和大小。这样的射束修改可以包括限制横截面以便允许节省
到患者和用户的x辐射剂量，并且允许采集更加集中的成像，其中仅表示当前兴趣(roi)的区域/解剖体。准直器col允许通过至少部分地将多个辐射倾斜的准直器叶片bl中的一个或多个放置在射束xb中来调节x射线射束的横截面。例如由铅、钨或其它高z物质制成的叶片bl将在本文被简单地称为“叶片bl”。
[0098]
叶片bl优选地由一个或多个致动器ac监控以定义具有期望形状和/或大小的视场fov。通过叶片的运动，fov能够在用户和/或协议要求的形状和大小方面被动态改变。叶片bl可以沿着一个或多个轴旋转。然而，在一些实施例中，由致动器ac控制的叶片的运动被局限为在与图2a)所示的光学轴ox垂直的平面xy中平移。这样的叶片的多于一个集合可以被沿着如图2a)中示出的光学轴单独提供。叶片的一个集合(在图2a)中示出四个这样的叶片，但是可以存在更多或更少)可以被称为遮光板，同时沿着成像轴ox更加邻近x射线源xs的其它集合在本文可以被称为“楔形体”。通常，在遮光板和楔形体之间不做区分，并且二者在本文将被简单地称为“叶片bl”，除非以其它方式命名。
[0099]
图2b)是沿着准直的视场fov的光学轴ox(垂直延伸进入图2b)的绘制平面中)的平面图。叶片bl的阴影或辐射脚印被表明为π(bl)。在图2b)中，与图2a)一致，示出了四个叶片bl，其中的一些或每一个叶片朝向光学轴可移动以限制来自一侧、多于一侧或所有侧的视场。因而，产生较小的fov尺寸，这可以被再次放大(以给定放大倍数高达射束xb的本地横截面)，一旦有些或所有准直器叶片被收缩，如用户期望的。本文也设想与对称准直(如图2b)所示)相对的非对称准直，其中仅准直器叶片的子集被致动并且移动进入射束xb中。在非对称准直中，一些或每一个叶片bl可以与一个、一些或所有其它叶片独立地移动。
[0100]
邻近轴ox的准直器叶片的边缘投影在图2b)的投射图像中被表示为一起定义视场的四条直线的集合，每准直器叶片一条直线。这些直线将在本文被称为“准直器直线”。几何上，这些直线中的每一条能够由两个参数ax+b来描述。在探测器投影平面中高达n个这样的几何直线的系统能够用作几何设备以定义期望的准直器设置，n是叶片的数目。更具体地说，准直器直线本身可以表示描述准直器设置参数的一种方式。出于这一原因，在本公开中，我们将使用l概念来指代二者。然而，本文也设想准直器设置参数的其它描述，例如按照控制命令和/或叶片位置/旋转(在长度维度上和/或相对参考姿势测量的角度)、用户控制器位置(例如，摇杆位置)等。用户可指定/请求的准直器设置参数的精确本质可以取决于用户输入设备uid的类型。然而，无论准直器设置参数的本质如何，这些能够总是被认为等同于这样的准直器直线的相应集合。因而本文也设想在指代准直器设置参数/甚至通常准直器设置时，我们将在本文指代这样的准直器直线，而不限制本文公开作为指定准直器设置参数的任意其它方式。可以不必在所有实施例中将这样的可选准直器设置参数格式转换为这样的直线。然而，在本文实施例中专门设想了用户经由用户输入设备uid按照这样的直线的规范，特别是当基于gui时。在可选实施例中，如果规范不是按照这样的直线，则合适的中间件可以用于将这样的参数转换为准直器直线的相应集合，接着该准直器直线的相应集合被供应到系统usys作为输入。在可选实施例中也设想可选格式的自然处理。
[0101]
图2c)提供准直视场的详细表示以说明准直紧密度的概念。准直紧密度指代在准直器直线之间保持的间隙或距离h，并且或感兴趣区域roi在图2c)中表示为开口。在感兴趣区域的至少一部分中的间隙h越小，准直就越紧。在极端情况中，至少一条准直器直线形成为与感兴趣区域正切，如在由探测器d记录的图像中的几何结构中捕获。
[0102]
图2b)和2c)中的绘制平面是探测器d的绘制平面。图2b)因而可以被解释为由探测器在该平面中采集的实际投影图像的部分。给定剩余的成像几何设置，特别是放大倍数(x射线源xs和探测器平面d之间的距离)，探测器平面中直线的规范足以唯一定义针对一个或所有准直器叶片的准直器设置。即，给定成像几何设置的当前集合，计算的补充的准直器设置，当被提供为这样的直线的集合时，能够被中间件转换为命令的相对应集合，以驱动致动器ac以便这样影响计算的准直器设置l
′
。
[0103]
因而在本文实施例中设想了用户可以通过在任意向量(x，y)或参数表示中指定单个或多个参数来仅在触摸屏上表明例如单个(或多个)准直器直线或其部分。例如，可以使用角度表示或其它。例如，用户选择图像上的单个几何点。准直直线的取向可以与预定义的图像轴中的一个垂直/平行。在另一示例中，用户提供与准直直线共线的两个几何点。在再一示例中，用户提供单个几何点，并且通过改变取向角度来适应初始建议的取向。可选地，例如通过用户执行线性手势姿势来形成规范。触摸屏可以显示当前图像或当前fov的其它表示。这样指定的(几何)直线可以接着构成部分准直器设置l，其能够由提出的系统usys处理以计算补充的剩余部分(例如，三个其它探测器直线)，以提供准直器设置参数的完整集合l
′
，这能够用于驱动致动器以实现相对应的准直。
[0104]
除了或代替仅指定一条准直器直线或该直线的一部分、其截面，用户也可以在宽泛的轮廓下指定感兴趣区域的至少一部分。这两个信息项，几何感兴趣区域和至少一条准直器直线，可以由系统usys使用以计算能够用于完全准直器调节的参数的完整集合l
′
。
[0105]
补充的准直器设置可以被图形显示在显示设备dd、ud上，被重叠在当前图像上作为重叠图形。它仅是被如此显示的计算的完整参数l
*
，或它是显示的整体集合l
′
＝l∪l
*
。
[0106]
当指定感兴趣区域作为所描述的可选参数时，对于用户可能不必充分限定感兴趣区域。这是因为，在实施例中，当前图像已经由系统usys预分割为分割结构，并且用户仅被要求通过尽可能小的单个点(例如通过触摸屏动作)来识别表示期望roi的期望分割。至少部分roi规范，连同部分准直器直线或其部分，在其中足以计算补充的准直器设置参数l
′
。更加重要的是，如本文提出的，通过不仅指定感兴趣区域而且还指定准直器直线或其部分，定义位于这两者之间的间隙估计值δ。这一间隙估计值可以在实施例中由系统解释为对于期望的准直紧密度h的表示。估计的准直紧密度接着将被自动应用于剩余的准直器直线以便如此定义具有要求的紧密度h的完整准直器设置l
′
。在再一实施例中，用户仅指定对于准直器紧密度的度量，例如以0和1之间的值为例的归一化值，而代替指定准直器直线或其部分。基于这一准直紧密度度量，完整准直器设置参数l
′
由系统usys计算。在实施例中，准直紧密度参数δ根据用户输入或预测的分割掩模或预测的热图来进行估计。例如，h能够通过计算准直器直线和具有最高激活值(例如，在分割掩模中为值1，例如参见图6)的最接近特征之间的垂直距离，其中，换句话说，h＝0。下面将在图6中更加详细地解释准直器紧密度。
[0107]
提出的系统usys因而不仅计算完整准直器设置l
′
，而且也能够检测用户偏好，即在提供的用户输入中暗含的期望准直紧密度。这还允许便于成像装置ia的操作，因为要求的准直紧密度可以下至用户偏好并且因而可以对用户进行区分。这在临床设置中会是重要的，其中多个用户要使用给定的成像装置ia。此外，在给定医学过程期间，请求的准直紧密度可以改变。该过程(例如，介入)的一部分可以调用非常紧的准直，而在该过程的其它部分中，更加宽松的准直管理会更加合适。
[0108]
此外，如在本文一些实施例中提出的，准直器设置对成像器ia的成像几何的其它方面的改变做出响应而被实时动态调节。例如，嵌入在系统usys中的事件处理器(未示出)拦截指向成像几何其它方面的控制命令，例如角度、台位置/高度改变等等，如上面描述的。一旦事件处理器拦截了表明期望成像几何改变这样的数据，这一数据就被转发到系统usys并且被处理，以使得当前准直器设置由于成像几何改变而适于与新的视场相对应。拦截的数据可能在控制台cc处的用户接口元件处生成。例如，这样的信号可以由用户操作的摇杆或其它ui元件生成以请求准直成像几何以外的改变。优选地，在这一实施例中，与当前准直设置相同的准直器紧密度被维持并且应用到新的fov，并且不再要求按照准直器参数的还用户输入。在另一示例中，准直器紧密度连同成像几何(视角、放大倍数因数等中的任意一个)一起改变以考虑感兴趣解剖体的预期明显漂移。如果这一完全自动提出的新准直设置不适合用户的喜好，则用户能够再次提供部分用户输入，如上面描述的。系统usys将因而计算新/更新的丢失的准直器设置参数部分l
*
，以便计算针对新fov的准直器设置参数的完整集合l
′
，接着该完整集合根据期望被自动应用或首先显示。
[0109]
现在参照图3的方框图，示出了提出的用户系统usys的更多细节。如本文在优选实施例中提出的，系统usys通过使用机器学习来实现。具体地说，该系统可以包括关于训练数据进行训练或预经训练的机器学习模型m，这将在下面进行更加详细的描述。
[0110]
现在假设系统已经被充分训练，其参数进行了调节，在部署中在训练之后的阶段，并且系统usys的一个或多个输入接口in接收由用户经过用户接口设备uid输入的用户输入u。
[0111]
用户输入u可以包括如上所述的期望的准直器设置参数l的仅部分规范。用户输入u可以包括准直直线的一个或多个直线部分。可以在用户输入u中包括多于一条(但是优选地不是全部)准直直线。此外或代替地，不供应准直直线但是供应适合于指定期望的准直器设置的其它参数。例如，用户供应的准直器设置参数可以包括准直器紧密度间隙δ的量化，如上面参照图2c)说明的。可选地，也在接口in处接收在当前探测器平面中由探测器d记录的当前捕获的x射线投影图像i0。如所描述的，用户输入可以还包括关于用户希望准直哪一个的期望roi的部分或完整规范。用户输入可以包括经由现有接口(tsm或tso)或经由其它接口(手势、眼部跟踪、语音、ar等)生成的一个或多个准直或遮光板位置。
[0112]
用户输入u，优选地具有当前图像i0，接着被准直器设置估计器cse处理以根据提供的输入数据来计算补充的或改善的准直器设置。为了这样做，准直器设置估计器cse包括一些或全部输入数据u被应用到其的经训练的机器学习模型m。在一些实施例中，期望的完整的或改善的准直器设置参数l
′
由机器学习模型m本身端到端地计算。换句话说，所有计算由机器学习模型m进行，但是在所有实施例中可以不是这样，这在下面讨论其它实施例中将变得还明显。
[0113]
如下面更加详细讨论的，机器学习模型m可以被布置为各种架构的人工神经网络。架构的优选类型包括按照层序列布置的计算节点。在端到端实施例中，期望的输出被回归到回归结果中。回归结果表示期望的完全改善的估计的准直器设置参数l
′
。仍然具体地，回归结果由这一模型m的最终层供应。用户输入由机器学习模型处理以提取针对期望的准直设置的用户偏好，如嵌入在提供的用户输入中和/或当前输入图像i0中。
[0114]
然而，不是在所有实施例中要求这样的基于ml的端到端实施例。具体地说，在可选
实施例中，仍然使用机器学习，但是代替地为内部数据，在由估计器cse的其他部件处理的机器学习模型的隐藏层中产生以便获得结果。不是使用如在端到端ml实施例中那样作为输出层处的最终输出的数据，在非端到端ml实施例中，它是被利用的中间数据。这一内部的中间数据可以包括特征图。这样的特征图表示更加潜在的抽象模式，模型已经能够从输入数据提取该抽象模式。由于其本质，内部特征图由给定的隐藏层产生，作为激活函数的输出，该激活函数是给定隐藏层的一部分。特征图可以表示各种特征在特征空间的图像域中的分布，作为图像内容的抽象。
[0115]
在一些非端到端基于ml的实施例中，特征图被分割。具体地说，已经发现，与输入数据或成像i0的某一具体的单独特性相比较，特征图更加稳健。因此这一特征图在实施例中被与模型m不同的计算部件处理以获得补充的准直器设置l
′
。在实施例中，特征图可以被重新格式化，例如通过重新采样以在尺寸上与当前图像i0相对应。例如，在实施例中，特征图(无论是否被重新采样)可以被分析图像分割器级seg处理。图像分割器seg不必使用机器学习方法。更具体地说，在实施例中，先前训练数据不用于训练分割器seg，尽管也设想分割器seg的基于ml的实施例。一些特征图可以被以色调、饱和或亮度进行颜色编码，并且这样颜色编码的特征图被处理，并且被可选地显示。本文设想的非ml类型分割器包括基于特征的检测，例如sift或其它变换，或简单的基于阈值的分割、使用颜色空间(色调或饱和或像素强度)的分割，基于区域生长算法的分割等等。对特征图进行分析或分割用于计算丢失的准直器设置参数允许按照期望的准直器设置更好地捕获期望的用户偏好。本文设想的基于ml的分割器seg的一些实施例包括深度学习分割器sed，例如u网架构中的那些，掩模r-cnn及其变体，以及其它优选充分卷积的人工神经网络。如果使用颜色编码，则在特征图或热图上操作的分割器seg可以使用颜色/色调/饱和，而不是其它类型分割(在本文实施例中也被设想，不使用颜色编码)中的边缘或像素强度。
[0116]
更加宽泛地说，机器学习模型是涉及三个不同空间的变换：i)可以包括由当前图像i0表示的图像空间的输入空间，ii)特征空间，以及iii)准直器参数空间。在端到端ml实施例中，结果通过从输入空间经由特征空间到准直器参数空间的变换来计算。在非端到端ml实施例中，ml仅用于执行到特征空间的变换。在这样的非端到端实施例中，特征空间中的特征图由诸如分割器seg的附加计算部件访问。访问的特征图被该附加计算部件处理为准直器参数空间中寻求的准直器参数。
[0117]
在任一实施例中，端到端ml或非端到端ml，计算的准直器设置参数l
′
在输出接口out处输出。如先前提及的，输出结果l
′
能够用于自动驱动准直器的致动器以应用期望的估计的准直器设置。此外或代替地，可以在显示设备ud、dd上显示图形渲染，例如按照准直器直线的系统。可视化器vz部件可以产生重叠在当前图像i0上的结果l
′
的图形渲染的图形重叠。在再一实施例中，准直器设置参数可以被存储在数据库中以便制备事件日志用于调整目的，或可以按照其它方式处理准直器设置参数。
[0118]
现在参照图4，说明了在其中由具有可改变成像几何的成像装置采集成像的介入期间提出的系统在不同的时间实例t0、t1和t2处的操作。
[0119]
在初始时刻t0，采集当前帧i0。用户例如通过触摸屏动作指定部分准直器设置参数l。例如，用户可以从四个可能直线中仅指定一个单个准直直线，本文将其称为作为对其的响应，剩余的补充准直器直线l
*
＝l
1-3
接着由系统使用如上面在图3中描述的机器学习
部件m计算。包括用户提供的准直器设置和计算的准直器设置l
1-3
的完整准直器设置可以被显示在当前图像i0上的平面b中。准直器参数的完整集合l
1-3
可以用于驱动致动器ac以实现与那些参数相对应的准直器设置。
[0120]
此外并且可选地，如在平面c中所示，准直器设置也可以包括楔形体的设置，如在平面c中倾斜的虚线所示，而平面a-b指代遮光板。在随后的时刻t1》t0，用户可以决定改变当前准直器设置参数的一个(单个一个)或多个参数。这在平面d中通过用户改变早前指定的准直器直线进行说明，例如通过移位该早前指定的准直器直线这在平面d中通过用户向左移位准直器直线进行说明。拖拉触摸屏手指手势操作或计算机鼠标操作可以在示例中用于实现这一选项。
[0121]
如在平面e中所示，响应于一个(或多个)当前准直器设置的改变，剩余的准直器参数被相应地调节。如果多于一条直线被改变，则这能够同时或顺序进行。
[0122]
平面f说明了其中在再随后的时刻t2》t1，当前成像几何例如通过机架等的放大或重新取向进行改变的情形。对改变非准直器成像几何的请求做出响应，准直器设置被调节为动态遵循感兴趣区域，优选地在不具备任意还用户输入的情况下。接着随后，一旦接收了关于准直器的还用户输入，准直器紧密度和/或剩余准直器设置参数接着被重新计算，如在平面a和b中。
[0123]
现在参照图5，示出了在实施例中可以由系统usys使用的机器学习算法m的方框图。图5是端到端ml变体的实施例。具体地说，图5示出了在人工神经网络类型架构中机器学习模型的方框图。
[0124]
优选地，本文设想卷积网络cnn。该网络可以充分卷积或可以部分卷积，并且可以包括一个或多个完全连接的层。可选地，整个网络被完全连接。一些或所有层可以循环的。可以包括附加的循环层。图5的左侧部分说明了包括可选区域a以及部分准直器设置参数l的用户输入u。网络可以如图所示是前馈的，但是可以代替是循环的。
[0125]
用户输入可以经过gui提供。显示当前图像i0或图像的序列，并且用户指定一个或多个(但是优选地不是所有)期望的准直器直线。此外或代替指定准直器直线，准直器紧密度h由用户选择，例如通过在预定义范围内指定标量值，该范围的一端表明紧/切线的准直，该范围的另一端表明在到roi的给定最大距离处更多允许的准直。如所提及的，可选地，期望的感兴趣区域a通过轮廓化指定或通过仅表明定义感兴趣区域的一个或多个点来指定。优选地，准直器直线与roi交叉或至少与roi相切。按照这种方式，表明的直线具有双重功能，因为它表明准直直线和roi的至少截面。感兴趣区域可以在单幅输入图像或图像序列(帧)上指定。这样的帧序列、视频馈送可以在本文实施例中专门设想的荧光成像操作中生成。
[0126]
按照合适的格式来提供输入数据u，例如按照向量或矩阵格式。输入数据优选地包括在输入图像中并且一个或多个准直器直线在其中指定，通过指针工具、触摸屏动作或其它。在神经网络m的输入层il处接收和处理输入数据。接着输入层的输出顺序经过网络。数据由一个或多个隐藏层l
1-ln处理，并且接着最终由输出层ol回归到回归结果r中。回归结果r表示估计的补充的准直器设置参数。输出可以被提供作为描述几何直线的系统的系数的系统(ai,bi)，例如4条或更多条直线以表示准直器直线的完整集合。例如，可以提供6个系数
集合(ai,bi)，i＝1
……
6，的系统，以定义对于4个遮光板和2个楔形体的准直器直线。a’是x拦截并且b’是y拦截。对于没有旋转能力的叶片(例如楔形体)的一些准直器直线可以由单个系数b描述。如果叶片可旋转，则可以定义基准取向。例如，取向可以被假设为与图像轴之一正交。因而，回归结果包括补充的准直器设置参数。具体地说，补充的参数包括在不完整的输入数据中缺失的一个或多个直线。在图5的右边部分上，补充的直线被图形示出为预测的直线l
′
。因而，图5是深度神经网络的示例说明，给定从输入参数提取的图像roi(例如，与一个准直变量的用户交互)，预测其它准直设置参数。在图5的示例中，右侧准直直线用于预测顶部准直直线。
[0127]
输入层和隐藏层ol、l
1-ln优选地包括非线性激活功能，例如relu(x)或arctan(x)、sigmoid或其它，而输出层ol可以或不实现这样的非线性激活功能。然而，由于图像尺寸已知，使用这样的非线性激活功能来将层ol处的输出局限到有限的已知间隔，表明单位间隔是有利的。激活函数的斜率限定平滑性(在其上存在更多的还下方)。与诸如隐藏层中的relu的激活函数相反，输出层的激活函数限定网络执行的任务(例如回归等等)。
[0128]
在数据传播经过网络l
1-ln时产生特征图优选地，输出层不产生特征图。在一些或每一个隐藏层处，计算一个或多个特征图。特征图可以通过使相应的逻辑经过到该隐藏层或任意其它隐藏层处的激活函数来计算。逻辑是通过给定隐藏层被配置用于的卷积运算符或其它运算符处理来自较早的先前层的特征图的结果。激活函数应用于这一隐藏层的逻辑以计算针对该隐藏层的特征图。这一特征图接着经过到下一层，等等。先前层或是另一隐藏层或是输入层。按照这一方式，生成特征图的生成序列，该生成随着层深度增长。通常，每层特征图的数目也随着深度增长，因为给定层可以实现多个运算，例如不同的卷积，并且该数目通常随着层深度增长。
[0129]
给定隐藏层处的一个或多个特征图可以由分割器seg或其它计算部件处理，如上面在非端到端ml实施例中提及的，这将在下面进行简短讨论。
[0130]
具体地并且优选地，使用深度卷积神经网络。深度很大程度上是隐藏层数目的函数，或在循环网络中，取决于经过隐藏层的次数。图5中的网络m可以包括单个或多个中间层/隐藏层。隐藏层的数目，深度，可以取决于应用的复杂度或训练数据的可用性。
[0131]
每一层可以包含任意一个或多个下面的运算符：卷积运算符、批量归一化运算符、退出和池化。每一个隐藏层，并且在实施例中是输入层但是优选地不是输出层，包括用于实现非线性激活功能的运算符。随着数据传播经过网络，多维特征图，或特征图序列，由隐藏层生成。输出层ol将一个或多个特征图转换为单个低维嵌入体或低维嵌入体的序列。可以在输出层中使用全局平均池化或地图平整技术，之后是回归层。sigmoid激活函数或其它非线性激活函数可以应用于来自回归层的输出以便约射束输出参数，如上面提及的。
[0132]
通常在给定深度处和/或贯穿网络深度存在多个特征图。优选地，最后层(在输出层ol之前)由分割器seg访问用于进行分割，如上面解释的。然而，任意隐藏层的特征图可以代替被访问。优选是位于架构m中较深(距离输入层il“远端”)的特征图。这是因为该层越远端，它编码潜在任务的结构就越抽象或复杂。
[0133]
现在参照图6，示出了对于非端到端ml实现的实施例的机器学习模型m的方框图。在这一实施例中，单幅图像i0或多个x射线图像被应用作为到输入层的输入u＝ij，并且经过层进行传播。如上面描述的，在隐藏层和/或输出层ol中生成特征图。输出层ol可以是回归
层。在这一实施例中，特征图在其中生成的机器学习模型m外侧被单独处理(被分割器seg或其它实体)。这与其中不处理特征图但是代替地一直到输出层才进行处理的端到端ml实施例形成对比。在(最终)输出层ol处，特征图被组合为回归结果，例如以图5中的模型m为例。尽管在图5所示的网络中也可以实现基于这一类型特征图的处理，但是在优选实施例中，如在图8中示意性示出的，使用自动编码器(ae)类型网络。在另一实施例中，如在图6中示意性示出的，可以使用编码器-解码器(ec-dc)类型网络。在图6和图8中，转向的三角形符号和分别表示一个或多个隐藏层的序列，使用运算法来产生其维度和/或稀疏度随着网络深度分别降低和增加的中间输出(逻辑)。尽管在上面图5的ml模型中(一幅或多幅)输入图像是可选的，但是对于图6和图8的实施例，优选提供这样的一幅或多幅图像作为输入。
[0134]
现在首先更加详细地转向编码器-解码器类型网络，上面针对图5的网络描述的全部内容同样适用，除了来自图6的网络的输出是特征图而不是回归参数的集合。在编码器-解码器设置中，输入图像首先由编码器-解码器网络的编码器部件ec变换为较低维度的表示χ。这一较低维度和/或较小尺寸的表示在本文被称为“代码”。代码χ接着被与编码器ec串联设置的解码器dc部件上采样，以便增加中心表示的维度/尺寸，以使得最终输出图像的维度和/或尺寸与输入图像的维度和/或尺寸相匹配。“代码”因而将输入图像的属性或结构“编码”为压缩形式，以使得在降低的同时仍然能够被解码回输入图像。术语“尺寸/维度”指代特征图或输入/输出图像的数据结构中条目的数目和/或用于定位这样的条目的索引集合的向量长度。例如，具有50*50像素的矩阵(例如，图像)与40*40或50*40的图像相比较具有更大的尺寸。但是二者具有相同的维度。三通道图像50*50*3比50*50的2d图像具有更大的维度(3d)。由于3d图像也具有更多数据点，因此在尺寸上也更大。也存在设想的编码器-解码器的实施例，其中编码器ec生成与输入图像相比较具有更大尺寸和/或更高维度的代码，以培养超完整表示。在这一可选实施例中，编码器ec可以产生较大维度和/或尺寸但是较高稀疏度的代码。具体地说，规则化机制和特殊成本函数可以用于提升超完整和稀疏代码。编码器部分可以包括多个隐藏层，每一个实现卷积运算符并且优选地实现要应用于卷积的输出的激活函数。卷积运算符的跨度或步长宽度可以大于1以实现特征图的尺寸/维度的降低。解码器dc可以包括实现运算符以放大尺寸/维度的多个隐藏层。可以使用转置的卷积运算符，基本上用作由编码器ec中的卷积运算符引起的卷积的逆运算。尽管卷积运算符初始从像素映射到累进较高水平的特征，但是转置的卷积运算将特征映射回到较低级的像素和/或特征。解码器dc中的隐藏层也可以实现激活功能。在功能上，去卷积运算符能够按照接着被加和的卷积运算被公式化。例如参见section 2in m d zeiler et al in“adaptive deconvolutional networks for mid and high level feature learning”,2011international conference on computer vision,barcelona,spain。
[0135]
现在更加详细地转向特征图，这些可以在尺寸上调节以对应到输入图像的尺寸pb。可以看出，由于用于计算特征图的卷积函数输出，获得特征图中分割的平滑边界部分。这一平滑边界效应是由于本文设想的激活函数的类别，不被配置用于在一些分割cnn架构中典型使用的硬阈值，但是代替地可以非线性并且平滑地映射到有限范围，例如单位间隔[0,1]。一些这样的平滑激活函数具有朝向范围的任一端接近零的斜率并且在范围中的给定位置(例如0.5)具有诸如大致1的最大斜率的s形轮廓。所述位置在本文被称为激活函数的阈值。因而，在该特征图中，数值可以从0变化到1以便本地定义在特征图中编码的自然分
割的平滑边界部分。这些分割可以在网络m处理输入数据期间在给定的特征图中形成。特征图中分割提供了早前提及的输入数据中的经学习的潜在模式。网络可以包括每隐藏层多个特征图并且可以存在多个这样的隐藏层。优选地，使用来自解码器dc的最后特征图。可选地，可以使用解码器dc路径中任意隐藏层处的任意特征图。
[0136]
在图6中的编码器-解码器类型实施例中，来自解码器级dc的最终层输出可以优选地用作其中要在准直器设置参数之后寻求分割的特征图。然而，可能不必使用来自解码器dc的最后层的特征图，因为也可以使用来自解码器级dc的较早上游层的特征图，一旦它们被调整尺寸以匹配输入的维度。优选地，那些较早(或较后)特征图在最后解码器层的k＝3层内。
[0137]
在图6中，示例分割中的平滑边界部分被表示为δ。在这一实施例中，平滑边界部分可以用于计算补充准直器设置参数l
*
，如在图6的右侧部分中表明的。尽管在先前实施例中用户能够仍然例如在分割的特征图中指定一个或多个准直器直线，但是可能不必这样要求。代替地，期望的准直紧密度的表示由用户关于特征图中的一个分割进行指定，例如来自解码器路径的最后特征图。
[0138]
具体地说，在边界部分δ中，用户可以仅定义点。这将接着对应于激活函数输出值，并且这一值可以接着由估计器cse使用作为锚定点，用于构建特征图中的等值线。等值线接着直接定义期望的准直器设置的准直器曲线。准直器曲线可以被分解为接近直线的系统以便如此获得如先前提到的线性准直器直线的系统。然而，例如可能不会总是要求分解为直线，例如对于可能在辐射治疗中使用的多页准直器。这样的多页准直器允许定义准直器曲线比直线更好接近的fov形状。因而，本文设想的计算的补充准直器设置参数的规范和/或输出格式不局限于直线而是可以是任意曲线，例如较高阶多项式。在本文实施例中也设想线性和非线性曲线的分割定义系统。等值线实施例可以有利地用在辐射传递设备中，例如在系统或其它中，其中可能要求对复杂形状的透镜状组织的准直。
[0139]
作为对特征图分割的边界部分中点的上述选择的替代，用户可以通过滚动条或其它合适的用户接口、触摸屏等来调节激活函数本身的阈值。通过每一次调节，特征图被重新计算，效果是产生具有改变的平滑度水平的边界部分。通过对特征图进行分割，分割的边缘具有可调节水平的边界平滑度，可以控制准直紧密度。特征图中的分割可以被解释为准直掩模。
[0140]
用于如图6所示的特征图的神经网络优选地是深度完全卷积网络。本文可以设想适合于分割任务的任意nn模型，例如n-net、r-cnn、mask r-cnn。如果网络具有编码器-解码架构，优选地解码器dc的最后卷积层具有应用于最后特征图的值的sigmoid激活函数。
[0141]
在上述的基于特征图的任意处理中，可以代替地使用热图。热图是通过后处理特征图获得的特殊类型的特征图。后处理以导出热图可以包括加权求和和非线性激活。热图可以被显示用于控制目的以高亮感兴趣区域。下面将在图8和图9中更加详细地解释热图的生成。
[0142]
将理解的是，图6中描述的编码器-解码器设置也可以结合图5中描绘的机器学习模型使用。在这一实施例中，由来自图6的网络产生的特征图用作到来自图5的网络的输入，代替输入图像i0。由来自图5的网络最后层ol供应的回归输出生成准直器设置参数。
[0143]
现在参照图7，示出了可以由上面讨论的基于ec-dc类型的ml获得的结果的说明，
具体地在图6中。图7说明了针对来自二尖瓣夹部署过程的选定荧光x-射线图像的结果。从左侧开始，每一行a-c和d-f分别示出了：输入图像、提出的准直掩模、对于楔形体(正交线)和遮光板(倾斜线)的准直器直线的建议位置。用户能够通过调节激活阈值来调节建议的位置，例如从0到1，或通过在边界部分中选取值，如上面解释的，将准直器直线计算为等值线。
[0144]
以监督方式训练编码器-解码器类型网络。在每一次训练迭代处，输入图像被馈送到网络并且由网络“软”准直掩模(来自解码器dc路径的最后特征图)预测，与使用预定义的损失函数的基准真值准直掩模进行比较。损失函数的示例是均方差(mse)或交叉熵损失。网络的参数基于基准真值准直掩模和预测的掩模之间计算的差异进行自动调节。被调节的参数包括中间层的权重和偏置。在训练过程期间，损失的值被最小化并且当满足某一停止准则时就停止。基准真值准直掩模由专家用户(例如医生)提供。
[0145]
现在参照图8，示出了非端到端基于ml的实现的另一实施例，使用与上面在图6处描述类似的自动编码器设置。模型优选地是深度完全卷积网络。优选但不是必要地，使用前馈架构。
[0146]
与图6的类似结构相比较，优选自动编码器类型网络，因为能够按照非监督方式训练ae类型网络。自动编码器的学习目标是解码器在其输出处重复编码器输入以便对潜在数据中的结构进行编码，即，以便提取稳健的特征图。本文也设想除了基于ae之外的非监督学习方案。如果在一些可选实施例中使用监督设置，则学习目标可以是任意的，例如图像对象的分类。优选地，监督学习基于可应用的成像，例如示出图像对象的均匀分布的x射线投影图像，例如器官的足迹、器官部分或诸如导管的医学工具/设备，可以被合理预期到特征并且可以在期望提出的准直器设置的介入期间使用。如先前所述，系统基于输入数据被训练，以在解码器dc级的输出处重复在其编码器级ec处接收的输入。如在图6的实施例中，单个x射线图像i0或多个x射线图像被应用作为到输入层的输入u＝ij并且经过模型的层进行传播。
[0147]
如上面描述的，在隐藏层中生成特征图。学习或训练阶段基于优化算法。优化可以被实现在一个或多个迭代周期i:＝i+1中，期间成本函数l通过更新ae网络的参数而进行改善。成本函数l测量输出和输入pb之间的偏差。一旦充分训练了图8中的系统，不再要求如图9中所示的解码器部分dc，其中仅保留编码器部分ec。因为在本文设想的任意模型的所有实施例中，训练可以是依从性操作，或一旦可获得新的训练数据就可以重复。在此时再次使用如图8所示的加码器dc级。尽管本文讨论的大多数训练设置被自然制定为其中成本函数被最小化的最优，但是这不排除双制定，即，效用函数的最大化。
[0148]
现在在部署中如下使用训练的编码器ec。应用当前图像pb，并且在输入图像经过其传播时在编码器中产生特征图。在经过编码器中足够数目的层之后，合适的特征图由估计器cse访问。例如，代码χ可以作为特殊的特征图被访问，通常具有最小维度或具有最高稀疏度。可以代替访问编码器ec的上游层的特征图并且当要根据这样的特征图计算热图时，这尤其是优选的。
[0149]
在实施例中，接着由分割器seg使用特征提取算法来处理该特征图，例如以便提取特征来定义分割。特征提取算法可以是分析的(非基于ml)或基于ml的。能够使用任意特征提取算法。
[0150]
具体地说，在实施例中，分割器seg优选地接收从编码器ec子网络的最后卷积层提
取的重新采样的特征图。重新采样操作是维度降低操作：特征图或高维特征图的数目例如降低到1d或2d。重新采样典型地应用于特征图以确保与输入尺寸的维度匹配。
[0151]
在如图6所示的自定编码器类型实施例中，由编码器级ec的最终层输出的特征图(代码χ)可以优选地用作其中在准直器设置参数之后寻求分割的特征图。就像在图6中的编码器-解码器设置一样，可能不必是使用来自编码器ec的最后层的特征图的情况，因为也可以使用来自更早的上游层的特征图，并且可以是来自解码器级dc的第一层或前几个随后层的特征图。优选地，那些较早和随后的特征图在代码χ的最后编码器层的k＝3层内。
[0152]
在实施例中，代替使用特征图，使用导出的特征图，本文被称为热图。通常，热图是导出的或区分的特征图，其值表示隐藏层处的给定特征图针对输出层ol处的最终输出条目的相关性。存在能够如何从网络的特征图中提取所述特征图的多个方案，本文中全部进行了设想。在一些实施例中，基于梯度的方案用于从特征图提取热图。在这样的实施例中，cse的区分器关于自动编码器的编码器ec部分中的隐藏(优选地卷积)层之一来计算由编码器ec输出的潜在变量(代码χ)的梯度。隐藏层优选地是自动编码器代码χ之前的最后层或编码器ec路径中的任意中间隐藏层。因而获得针对每一个滤波器输出根据基于梯度的方案计算的加权。接着热图通过对相对应的滤波器输出进行加权和加和进行提取，并且通过诸如relu的激活函数或其它来增强或限制某些值。可选地，这可以在不对输出进行加权的情况下进行，通过简单地应用全局平均池化或诸如全局最大池化后再加非线性激活函数的其它交叉通道操作。结果可以接着被归一化并且可以被可选地调整到输入图像的期望尺寸。可以使用诸如grad-cam方法的其它方法，如在ramprasaath r.selvaraju et al,in“grad-cam:visual explanations from deep networks via gradient-based localization”,2016,published online as preprint arxiv:1610.02391中描述的。
[0153]
分割器seg将热图分割为一个或多个片段。优选地，分割操作可以基于相似性。可以使用本领域已知的任意分割方法，例如k均值像素集群、区域生长、活动轮廓、简单阈值或基于u-net、r-cnn、掩模r-cnn的机器学习方案。也被设想用于实施例中的分割器seg的另一分割方案是针对热图的一些或每一个等值线计算一个或多个不同的描述符ds(参见图10d)，例如通过计算在等值线的某一点或每一点处梯度的幅度和方向，或基于相邻像素的强度值等等。
[0154]
基于提取的特征/图像分割，能够计算准直器设置参数l’。优选地，这一计算是交互的，即，基于用户输入l。如先前那样，用户单独指定任意的分割本身，例如通过指定相应图像分割内的单个(或多个)点。此外或代替地，如上面解释的，提供期望的准直器紧密度间隙h。此外或代替地，关于给定的图像分割表明一个或多个(但是优选地不是全部)准直器直线。直线可以与感兴趣的图像分割交叉或可以与其相切。直线可以被设置为经过分割的特征图的平滑边界部分。直线因而不仅指定图像分割而且还定义准直器紧密度，如上面描述的。
[0155]
由使用生成的分割的系统提出预测的准直器设置参数。例如，系统usys可以计算到由分割的轮廓定义的每一个多边形的切线的几个候选以计算补充准直器直线。每一个候选表示准直设置直线，并且因此有y拦截(参数b)和斜率(参数a)定义。例如，切点是y拦截，并且斜率由该点的梯度方向定义。由用户提供的输入，即，准直器直线设置，将基于其到一个候选的接近度来定义准直的紧密度。使用关键点描述符基于与这样的接近候选的相似度
来选择剩余的准直设置直线。
[0156]
图10是上面描述的基于自动编码器设置的先前训练的编码器级用于计算准直参数的基于特征图的处理的说明。输入图像a)(例如当前采集的图像i0)由编码器级ec处理以产生特征图b)。特征图(可选地尺寸被重新调整以匹配输入图像的尺寸)现在被类似处理并且图像能够被分割c)。特征图可以包括具有平滑边界部分的分割b。可以从特征图提取d)梯度幅度和相位或其它特征。特征图可以被处理为热图，并且在下面中代替(原始)特征图来处理热图。特征图的分割可以与在特征图上的每一个位置处计算的关键点描述符ds重叠，或与例如使用k均值集群算法或本领域已知的其它算法(阈值、区域生长、活动轮廓、基于颜色的方法)提取的特征图中的每一个分割重叠。由用户提供e)输入u作为直线(点线示出)，优选地在相对应的描述符处与特征图交叉。较下面的行f)-i)说明了用户场景。例如用户f)提供反馈，可以定义准直的紧密度水平。例如，中等准直紧密度由远离感兴趣区域的直线表示，例如工具的投影足迹。在较高紧密度水平中，提供的直线例如更接近工具足迹。楔形体h)和遮光板i)准直直线被提出并且可以重叠在增强图像和原始x射线图像的任意一个或这二者上。增强图像通过将原始x射线图像与热图/特征图混合来获得。
[0157]
图11是通过处理诸如自动编码器(例如上面在图8-10中描述)或其它的神经网络架构中的特征图可获得的结果的说明。x射线成像表示二尖瓣夹植入过程。在顶部行(a，b)中示出了紧的准直，而在底部行(c，d)中示出了中度准直。
[0158]
可以意识到，根据小批量的像素数据(roi规范数据“a”)预测图5的准直参数可能不是可预见的，特别是当用户输入不精确时，或可能是应用特定的。图6-10中基于特征图的实施例解决了这一问题。图6中的实施例使用针对特征图(优选地是最后特征图)的分割操作。这一实施例的可能缺点是它要求基准真值准直掩模。在图8-10的实施例中，首先应用特征提取以从特征图提取(丰富的)特征，并且准直器设置参数基于表示为特征图的提取的特征。图8-10中的实施例不要求基准真值，并且因而可以按照非监督方式进行训练。对图6和图8的实施例进行比较，可以总结如下。图6实施例表示分割网络。来自解码器dc的最后(或其它)特征图用于计算准直直线。图8实施例表示特征提取网络。任意隐藏层处的任意中间特征层(典型地来自编码器路径(包括代码χ))能够用于计算准直直线。
[0159]
现在参照图12，示出了用于优选地基于上面描述的机器学习模型来便于准直器调节的方法流程图。然而将理解的是，下面描述的步骤不必绑定到上面描述的模型。能够代替使用任意ml模型，端到端或非端到端，可选地具有基于特征图的额外处理(在ml情况下或不在ml情况下)，如上面描述的。
[0160]
在步骤s1210，接收输入数据。输入数据可以包括当前x射线投影图像和/或用户供应的数据。用户数据由诸如图形用户接口的合适用户输入设备供应。gui可以是基于触摸屏的或其它。可选地，用户数据输入数据由物理致动器的操作生成，例如按钮、摇杆、调节杆、手轮等，优选地具有编码的跟踪器、眼部移动跟踪、手势识别等等。
[0161]
输入数据可以包括准直器紧密度参数，可以是位于0和1之间的单个数字，或在任意其它(边界)范围内。此外或替代地，输入数据优选地包括期望准直器设置的不完整描述。例如，用户输入数据可以包括优选地小于完全指定准直设置所要求的总直线数目的单个或多个准直器直线。本文也设想等同于或对应于这样的一个或多个准直器直线的任意其它输入数据。可以在输入图像中指定诸如一个或多个准直器直线的用户输入数据。
[0162]
在步骤s1220，使用机器学习模型预训练或训练数据来处理输入数据。步骤s1220能够由机器学习模型端到端地实现，其中输入数据被馈送到模型中以在机器学习模型的最终层处产生表示适当补充的、改善的或以其它方式添加的期望准直设置的回归结果。最终层处的处理优选地不包括利用激活函数的处理。
[0163]
此外或在可选实施例中，不是使用在机器学习模型的最终层处没有激活的情况下产生的最终结果，而是在步骤s1220处代替使用隐藏层的输出以计算补充的准直器设置参数l
′
。输出被产生作为隐藏层的特征图。特征图的处理可以包括使用非线性激活函数。给定隐藏层处的激活函数被应用到逻辑。通过使用诸如卷积或转置卷积或其它的其它操作处理较早层的输出来获得逻辑。
[0164]
在这一基于特征图的实施例中，分析的基于非机器学习的分割算法可以用于对特征图或热图进行分割。特征图/热图本身可以被适当地调整以与在步骤s1210处接收的输入图像具有相同的尺寸。分割可以包括从特征图提取特征。特征图因而类似图像一样被处置或处理。分割操作可以是基于特征的，例如sift。分割操作可以在特征图中产生单独的分割。
[0165]
在这样的基于特征图的实施例中，特征图的分割(无论是否调整)用于计算补充的准直器设置参数。在实施例中，一旦计算了分割的特征图，就按照一个或多个片段的规范从用户接收(还)用户输入。基于分割，并且可选地使用原始供应的用户输入，接着计算准直器设置参数，例如准直器直线。准直器直线可以被计算为指定分割的边缘。边缘可以被计算为与分割具有要求的间隙以便以要求的准直紧密度提供准直器设置。由于激活函数，分割的边界可以是平滑的。还用户输入可以包括平滑边界上尽可能小的单个点的规范。补充的准直器直线可以因而被计算为针对该点处的特征图值的边界部分的等值线。该数值因而可以指定紧密度参数，因为边界部分的值通常随着贯穿边界部分并且远离分割的一个进程而降低。被编码在特征图中的激活函数值因而可以在本文被称为期望准直器紧密度的指示。针对分割部分的值可以如先前描述的通过构建贯穿特征图的等值线以找到期望的分割来使用。可选地，通过用户调节隐藏层的激活函数的阈值来获得给定紧密度水平的准直直线，以产生具有不同边界过渡平滑度的结构的不同特征图版本。这样的结构分割因而产生边缘，表示在不同紧密度处在准直器直线之后的寻求。
[0166]
因而，在实施例中，(其他)输入仅是表明期望准直器紧密度的标度值，并且这一值接着用于根据特征图就散完整的准直器设置参数。用户输入可以还包括对相应分割的指定。
[0167]
在步骤s1230处，计算的分割设置参数被输出并且或被显示，可能重叠在初始当前输入图像上方，如在步骤s1210处接收的，或计算的补充的准直器设置参数被应用到成像装置的准直器叶片致动器以实现期望的准直。
[0168]
在步骤s1240，针对用户是否已经改变了当前成像几何做出检查。如果已经改变，则准直器设置被放弃，并且接着重复较早步骤s1220-s1230，但是这次基于表示由成像装置在新的成像几何中捕获的新视场的新图像。
[0169]
在诸如图6-10的实施例中，其中输入包括一幅或多幅图像，这可以还通过成像器系统ia的其它情景信息来增强，例如c臂位置、荧光味道、过程卡、过程阶段的识别、设备在图像中的识别、协议设置、系统日志文件等等。这一情景数据可以连同图像数据一起被处
理。处理可以在层的单独链中，优选地被充分连接以针对情景数据获得特征图。关于情景数据的特征图可以与在处理图像数据期间生成的特征图连接，产生多通道特征图。
[0170]
在上面图5、6和8中描述的任意一个模型中，输入u可以不仅包括上面提及的单个(当前)图像i0，而且还包括图像序列。图像序列i∈{i
t-n
…it-1
,i0}可以在相同的采集中获得并且表示在不同的一个或多个先前时间点处的成像。包括来自先前时间点的附加图像(例如对于给定的荧光行程)能够有利于提高性能、特别是在具有频繁fov改变的成像过程中。例如，在其中针对给定投影方向fow被放大或限制的重新准直中，某些图像特征可能重新出现或消失。然而，使用针对相同投影方向来自先前时间点的先前图像允许保持一些否则消失的特征，因此自举性能。例如，在成像开始时，通常存在大的fov(准直之前)。一旦应用了准直，解剖体的部分消失，fov降低。因而存在较少的特征，并且因此提出的方法可以变得不太精确。保持先前的一个或多个帧(在准直之前)并且针对当前fov共同按压这些将使得性能和学习更加稳定且稳健。在具有多幅图像帧处理的这样实施例中，针对给定行程的某一数量先前帧能够被处理为包括当前帧的3d图像块，一个维度表示时间。多通道处理能够如上面提及的用于情景数据处理。在具有多个图像帧处理的这样实施例中，循环层可以用于更加有效地处理这样的时间依赖数据。
[0171]
现在参照图13和14，其中更加详细地描述训练方面。
[0172]
首先参照图13，这示出了用于训练模型m的训练系统ts。训练操作包括学习模型参数，即，如在图5-10中讨论的神经网络的加权，或其它神经网络类型模型的加权，或实际上是非神经网络类型ml模型的加权。
[0173]
训练数据包括k对数据(xk，yk)，k可以高达10秒、100秒或1000秒。针对每一对k，训练数据包括训练输入数据xk和相关联的目标yk。训练数据因而被组织为k对，特别是对于针对图5或图6的模型的监督学习方案。图5的模型要求由图像和一组直线参数(ai，bi)构成的数据对。另一方面，图6的模型要求由图像和“软”准直掩模构成的数据对。准直掩模的尺寸匹配输入图像的尺寸。然而，本文也设想非监督学习方案，例如针对上面在图8-10中描述的自动编码器类型网络，其中训练数据被布置为由两个相同图像构成的“细小”对，例如，(xk，yk)，其中xk是图像。
[0174]
对于监督学习，训练输入数据xk可以从针对先前患者病历采集的历史x射线投影图像数据获得，并且被保持在图像存储库，例如以his(医院信息系统)的pacs为例。目标yk或“基准真值”可以例如表示标签。
[0175]
例如，针对按照图5的模型m或其它监督学习方案的训练数据集可以根据从不同过程采集并且从相对大的患者群体采样的相对大数目的优选(独立)不同图像ik(k＝1
……
n》》30)生成。基准真值数据可以由专家用户生成。每一个专家用户查看训练图像并且选择期望的准直器设置参数。训练图像可以包括部分准直器设置，可以通过隐瞒在历史成像中表示的完全准直获得。专家用户因而在使用他们的专家知识对丢失的准直参数打标记期间进行猜测。标记练习因而可以被组织并且管理为“游戏”。准直器设置参数可以表示准直器叶片位置，并且可以由如上所述针对准直器直线的系数a，b的参数等式表示。直线可以是线性或弯曲的。任意尺寸的像素批量可以在相应的直线周围被提取，与参数(a，b)成对，并且可以作为2元组与训练输入图像相关联地存储在存储器中。
[0176]
在图6中描述的编码器-解码器方案中，根据由专家用户提供的准直器设置参数来
创建准直掩模。例如通过生成由交叉的准直直线封装的最大可能区域。
[0177]
在图8中描述的自动编码器方案中，不要求标签并且基准真值等于训练输入yk＝xk。
[0178]
如果训练要包括情景数据，通常不存在针对任意对k包括在目标yk中的情景数据，例如在上面关于图6讨论的多链模型中。换句话说，对于利用情景数据的学习，所述对通常可以具有形式((xk，c)，yk))，非图像情景数据c仅与训练输入xk相关联，而不与目标yk相关联。
[0179]
在训练阶段中，机器学习模型m的架构，例如图5-10中示出的cnn网络被预填入加权的初始集合。由相同分布的训练数据或组合进行综合或独立随机初始化或预训练可以用于预填入加权。模型nn的加权θ表示参数化m
θ
，并且训练系统ts的目的在于基于训练数据对(xk,yk)来优化并且因而适应参数θ。换句话说，学习能够在数学上被制定为优化方案，其中成本函数f被最小化，尽管可以代替使用最大化效用函数的双制定。
[0180]
现在考虑到成本函数f的范式，这测量聚合残差，即，根据一些或所有训练数据对k在由神经网络模型nn估计的数据与目标之间产生的误差：
[0181]
argmin
θ
l＝∑k||m
θ
(xk),yk||
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0182]
在等式(1)中以及下面，函数m()指代应用到输入x的模型m的结果。
[0183]
具体地说，图5中的网络m在任务上被预训练以将输入数据回归到用于丢失的准直器直线的参数。因而，回归可以是到以参数的方式定义准直器直线的一个或多个系数“a”(x拦截)和“b”(y拦截)中。图5中的网络可以使用mse损失函数f进行训练，将预测的直线与相关联的目标直线进行比较，可能由专家用户在打标签任务时进行选择。可以使用其它成本函数。
[0184]
在图6-10的基于特征图的处理中，模型m优选地是自动编码器，其中任务是将输入图像回归到其本身。如果非自动编码器网络用于基于特征图的处理，则可以使用任意网络m，并且这可以在任意的任务分类或回归上进行训练，使用表示在部署期间最可能遇到的场景的训练成像。例如，可以训练网络m以检测x射线图像上的对象，例如tee探针、导线。这里任务与这一实施例无关，将仅是将被使用的在合适的深度处来自隐藏层的内部特征图。在自动编码器中，优选的特征图是代码，在编码器ec部分的最后卷积层处生成的特征图。更具体地说，图6-10的自动编码器类型网络优选地使用非监督特征学习范式进行训练。假设编码器子网络ec将学习降低到低纬度潜在表示的最相关特征，代码χ，则仍然能够由解码器dc进行解码以匹配输入图像。输入和输出之间的一致性可以使用损失函数f被优化，均方差(mse)、平均绝对误差(mae)、结构相似性(ssim)、二进制交叉熵、冲突损失中的任意一个或前述的任意组合。
[0185]
在训练中，训练对的训练输入数据xk经过初始化网络m进行传播。具体地说，在输入il处接收针对第k对的训练输入xk，经过模型并且接着在输出ol处作为输出训练数据m
θ
(x)输出。由上面提及的任意成本函数f(例如p范数、方差或其它)实现的合适度量||
·
||来测量由模型m产生的实际训练输出m
θ
(xk)与期望目标yk之间的差异，本文也被称为残差。
[0186]
输出训练数据m(xk)是对于与应用的输入训练图像数据xk相关联的目标yk的估计。通常，在这一输出m(xk)与当前考虑的第k对的相关联目标yk之间存在误差。诸如后向/前向传播或其它基于梯度的方法的优化方案可以接着用于适应模型m的参数θ以便降低针对考
虑的对(xk,yk)或来自完全训练数据集的训练对的子集的残差。
[0187]
在其中模型的参数θ由更新器up针对当前对(xk,yk)更新的第一内循环中的一次或多次迭代之后，训练系统ts进入其中下一个训练数据对x
k+1
,y
k+1
被相应处理的第二外循环中。更新器up的结构取决于使用的优化方案。例如，由更新器up管理的内循环可以由前向/后向传播算法中的一个或多个前向和后向过程实现。尽管适应参数，但是高达当前对来考虑所有训练对的聚合的(例如加和的)残差，以改善目标函数。聚合的残差能够通过将目标函数f配置为针对每一对的一些或所有考虑的残差的平方残差和(例如等式(1))来形成。也设想代替平方和的其它代数组合。
[0188]
可选地，可以使用一个或多个批量归一化运算符(“bn”，未示出)。批量归一化运算符可以被集成到模型m中，例如耦合到层中的一个或多个卷积运算符中。bn运算符允许减轻消失梯度效应，在模型m的学习阶段中基于梯度的学习算法期间经历的重复的前向和后向过程中梯度幅度逐渐降低。可以在训练中使用批量归一化运算符bn，但是也可以在部署时使用。
[0189]
图13所示的训练系统能够针对所有学习方案进行考虑，特别是监督方案。本文在可选实施例中也可以设想非监督学习方案。gup或tpu可以用于实现训练系统ts。
[0190]
充分经训练的机器学习模型m可以被存储在一个或多个存储器或数据库中，并且能够作为预经训练的机器学习模型用于本文提出的用户辅助系统usys中。训练的模型m可以在云服务中可用。可以免费提供访问或能够经由许可付费或每使用付费方案来授权。
[0191]
现在参照图14，示出了在上面讨论的任意实施例中训练机器学习模型的方法流程图。
[0192]
如上面在图13处描述的，采集合适的训练数据集合。优选地，本文设想监督学习方案，尽管这不是必要的，因为本文也设想非监督学习设置。
[0193]
在监督学习中，训练数据包括数据项目的合适对，每一对包括训练输入数据和与其相关联的目标训练输出数据。具体地说，包括一对。可以根据诸如pacs或其它数据资源库的历史患者记录来采集成像，如上面描述的。
[0194]
继续参照图14，在步骤s1410，以成对的形式(xk,yk)接收训练数据。每一对包括训练输入xk和相关联的目标yk，xk在上面的图13中进行定义。
[0195]
在步骤s1420，训练输入xk被应用到初始化的机器学习模型nn以产生训练输出。
[0196]
训练输出m(xk)与相关联的目标yk的偏差或残差由成本函数l量化。在内回路中的一次或多次迭代中在步骤s1430处适应模型的一个或多个参数。例如，模型参数被适应为降低由成本函数测量的残差。具体地，参数包括人工神经网络m的加权。
[0197]
训练方法接着在外循环中返回到步骤s1410，其中下一对训练数据被馈送进来。在步骤s1420中，模型的参数被适应以使得考虑的所有对的聚合的残差得到降低，特别是被最小化。成本函数量化聚合的残差。可以在内循环中使用前向-后向传播或类似的基于梯度的技术。
[0198]
更通常地，模型nn的参数被调节为改善或为成本函数或为效用函数的目标函数f。在实施例中，成本函数被配置为测量聚合的残差。在实施例中，残差的聚合通过对针对考虑的所有对的所有或一些残差进行加和来实现。如果使用非监督学习，特别是在自动编码器类型nn网络实施例中，不存在“名义上的”对或仅存在“名义上的”对，其中xk＝yk。
[0199]
所述方法可以被实现在一个或多个通用处理单元ts上，优选地具有能够并行处理以加速训练的处理器。训练系统ts的部件可以被实现为一个或多个软件模块，运行在一个或多个通用处理单元pu上，例如与成像器ia相关联的工作站，或运行在与一组成像器相关联的服务器计算机上。
[0200]
尽管主要参照x射线成像描述了系统usys和相关的方法，但是这不排除其它应用，例如对于辐射治疗递送的准直器调节，例如多叶准直器或线性加速器设备等。本文也设想针对外部射束辐射治疗或光子治疗(例如在眼科治疗等中)的准直。
[0201]
图像系统usys的部件可以被实现为一个或多个软件模块，运行在一个或多个通用处理单元pu上，例如与成像器xi相关联的工作站，或运行在与一组成像器相关联的服务器计算机上。
[0202]
可选地，图像处理系统ips的一些或所有部件可以布置在诸如适合编程的微控制器或微处理器的硬件中，例如fpga(现场可编程门阵列)或硬连线ic芯片，专用集成电路(asic)、被集成在成像系统xi中。在还实施例中，图像处理系统ips可以被实现在二者中，一部分为软件并且一部分为硬件。
[0203]
图像处理系统ips的不同部件可以被实现在单个数据处理单元pu上。可选地，一些或更多部件被实现在不同的处理单元pu上，可能被远程布置在分布式架构中并且可以在适合的通信网络中连接，例如在云设置或客户端-服务器设置中，作为网络托管的服务等等。这允许服务多个地理分布的成像场所，或贯穿单个医学设施或贯穿多个医学设施。
[0204]
本文描述的一个或多个特征能够被配置或实现为被编码在计算机可读介质中的电路和/或其组合。电路可以包括分立和/或集成电路、片上系统(soc)及其组合、机器、计算机系统、处理器和存储器、计算机程序。
[0205]
在本发明的另一示例性实施例中，提供计算机程序或计算机程序单元，以被适应为在合适的系统上执行根据前述实施例之一的方法步骤为特征。
[0206]
计算机程序单元因此可以被存储在计算机单元上，也可以是本发明实施例的一部分。这一计算单元适于执行或致使执行上面描述的方法步骤。而且，它可以适于操作上面描述的装置的部件。计算单元能够适于自动操作和/或执行用户的指令。计算机程序可以被装载到数据处理器的工作存储器中。数据处理器因而可以被装配为执行本发明的方法。
[0207]
本发明的这一示例性实施例覆盖从一开始就使用本发明的计算机程序以及利用更新将现有程序转换为使用本发明程序的计算机程序这二者。
[0208]
进而，计算机程序单元可以能够提供实现上面描述的方法的示例性实施例的过程的所有必要步骤。
[0209]
根据本发明还示例性实施例，提供诸如cd-rom的计算机可读介质，其中计算机可读介质具有存储器在其上的计算机程序单元，该计算机程序单元由先前的部分进行描述。
[0210]
计算机程序可以被存储和/或分布在合适的介质(特别而非必要是非暂态介质)上，例如光学存储介质或与其它硬件一起提供或作为其它硬件一部分的固态介质，但是也可以按照其它形式分布，例如经由互联网或其它有线或无线电信系统。
[0211]
然而，计算机程序也可以被呈现在类似万维网的网络上，并且能够被从这样的网络下载到数据处理器的工作存储器中。根据本发明的还示例性实施例，提供用于使计算机程序单元可用于下载的介质，该计算机程序单元被布置为执行根据本发明先前描述的实施
例之一的方法。
[0212]
必须注意到，参照不同主题描述了本发的实施例。具体地说，一些实施例参照方法类型权利要求进行描述而其它实施例参照设备类型权利要求进行描述。然而，本领域普通技术人员将从上面和下面的描述中收集到，除非以其它方式通知，除了属于一种类型主体的特征的任意组合，也可以考虑涉及不同主体的特征之间的任意组合被本技术公开。然而，所有特征被组合，提供比特征的简单加和更多的协同效果。
[0213]
尽管在附图和前面的描述中详细描述了本发明，但是这样的说明和描述被认为是说明性或示例性而非限制性的。本发明不局限于公开的实施例。本领域普通技术人员在实践请求保护的本发明时，通过研究附图、公开和从属权利要求，能够理解和实现所公开实施例的其它变体。
[0214]
在权利要求书中，词语“包括”不排除其它元素或步骤，并且非限定词语“一”或“一个”不排除多个。单个处理器或其它单元可以实现权利要求中引述的几个项目的功能。唯一事实是，在共同的不同从属权利要求中引述的某些措施不表明不能够利用这些措施的组合。权利要求书中的任意附图标记不被构筑为对范围进行限制。

技术特征：
1.一种用于在x射线成像或辐射治疗递送中便于准直器调节的系统(sys)，包括：输入接口(in)，其用于接收输入数据，所述输入数据包括用户输入数据，所述用户输入数据包括针对x射线成像装置(ia)的准直器(col)的第一准直器设置；以及准直器设置估计器(cse)，其被配置为基于所述输入数据来计算针对所述准直器的第二准直器设置。2.根据权利要求1所述的系统，其中，所述准直器设置估计器(cse)被实现为经训练的机器学习模型(m)，或者其中，所述准直器设置估计器(cse)基于由经训练的机器学习模型(m)提供的输出数据来计算所述第二准直器设置。3.根据权利要求2所述的系统，其中，由所述机器学习模型(m)提供的所述输出数据包括特征图或根据例如特征图推导的热图。4.根据权利要求2-3中的任意一项所述的系统，其中，所述机器学习模型是人工神经网络。5.根据前述权利要求2-4中的任意一项所述的系统，其中，所述准直器设置估计器(cse)包括分割器(seg)，所述分割器被配置为将所述特征图或热图分割为至少一个片段，并且其中，所计算的第二准直器设置还基于所述片段。6.根据前述权利要求中的任意一项所述的系统，其中，所述输入数据还包括由所述x射线成像装置采集的至少一幅输入图像。7.根据前述权利要求中的任意一项所述的系统，其中，所述第一准直器设置包括位于i)由所述成像装置(ia)采集的所述输入图像或输入图像或ii)所述特征图或热图中的几何点、曲线或直线的规范。8.根据前述权利要求中的任意一项所述的系统，包括用户输入设备(uid)，所述用户输入设备用于捕获所述用户输入数据，所述用户输入设备(uid)包括下面中的任意一个或多个：图形用户接口、眼部跟踪设备、手势检测设备以及语音处理器。9.根据前述权利要求中的任意一项所述的系统，其中，所述成像装置(ia)能够假设不同的成像几何，其中，所述准直器设置估计器(cse)响应于所述成像装置改变其成像几何来调节所述第二准直器设置。10.根据前述权利要求中的任意一项所述的系统，其中，所述第二准直器设置参数指定准直紧密度。11.一种训练根据前述权利要求2-10中的任意一项所述的系统的所述机器学习模型(m)的方法。12.根据权利要求11所述的方法，其中，所述方法是非监督的。13.一种用于在x射线成像或辐射治疗递送中便于准直器调节的方法，包括：接收(s1210)输入数据，所述输入数据包括针对x射线成像装置(ia)的准直器(col)的第一准直器设置；以及基于所述输入数据来计算(s1220)针对所述准直器的第二准直器设置。14.一种计算机程序单元，在由至少一个处理单元(pu)执行时，所述计算机程序单元适于使得所述处理单元执行根据权利要求11-13中的任意一项所述的方法。15.至少一种计算机可读介质(mem)，其上存储有根据权利要求14所述的程序单元，或其上存储有经预训练的机器学习模型(m)的至少部分。

技术总结
本发明涉及一种用于在X射线成像或辐射治疗递送中便于准直器调节的系统(SYS)和相关方法。所述系统包括输入接口(IN)，其用于接收输入数据，所述输入数据包括i)输入图像和/或ii)用户输入数据，所述用户输入数据包括针对X射线成像装置(IA)的准直器(COL)的部分准直器设置。所述系统的准直器设置估计器(CSE)基于输入数据来计算针对准直器的补充的准直器设置。优选地，所述系统使用机器学习。所述系统使用机器学习。所述系统使用机器学习。


技术研发人员：M
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2022.01.24
技术公布日：2023/9/23