用于将术中图像数据与微创医疗技术集成的系统的制作方法

用于将术中图像数据与微创医疗技术集成的系统
1.相关申请的交叉引用
2.本技术要求2020年12月30日提交的美国临时申请63/132,258的权益，该申请通过引用整体并入本文。
技术领域
3.本公开涉及用于规划和执行图像引导程序的系统和方法。


背景技术：

4.微创医疗技术旨在减少医疗程序中受损的组织的数量，从而减少患者的恢复时间、不适和有害副作用。可以通过患者解剖结构中的自然孔口或通过一个或多个手术切口来执行这种微创技术。通过这些自然孔口或切口，操作者可以插入微创医疗工具以到达目标组织位置。微创医疗工具包括器械，例如治疗、诊断、活检和手术器械。医疗工具可以被插入解剖通道中并朝向患者解剖结构内的感兴趣区域导航。可以使用术前和/或术中获得的解剖通道的图像来辅助导航。需要改进的系统和方法来通过协调医疗工具和解剖通道的图像来增强手术工作流程。


技术实现要素：

5.根据一些实施例，一种系统可以包括处理器和具有存储于其上的计算机可读指令的存储器。当由处理器执行时，计算机可读指令可以使系统执行一种方法，该方法包括在成像系统的图像捕获时段期间记录器械的形状数据以及从成像系统接收与图像捕获时段相对应的图像数据。图像数据的一部分可以与器械相对应。由该系统执行的方法可以进一步包括识别图像数据中的目标、分割与器械相对应的图像数据的部分，通过将形状数据和与器械相对应的图像数据的的所述部分进行比较并基于该图像数据将目标的位置从术前位置更新到术中位置，从而将图像数据配准到形状数据。
6.根据一些实施例，一种方法可以包括在成像系统的图像捕获时段期间记录器械的形状数据，以及从成像系统接收与图像捕获时段相对应的图像数据。图像数据的一部分可以与器械相对应。该方法还可以包括识别图像数据中的目标，分割图像数据的该部分，通过将形状数据和与器械相对应的图像数据的所述部分进行比较来将图像数据配准到形状数据，以及
7.基于图像数据将目标的位置从术前位置更新为术中位置。
8.根据一些实施例，一种系统可以包括处理器和具有存储于其上的计算机可读指令的存储器。当由处理器执行时，计算机可读指令可以使该系统在成像系统的图像捕获时段期间执行记录设置在患者解剖通道中的器械的形状数据，并且从成像系统接收与图像捕获时段相对应的图像数据。图像数据的一部分可以与器械相对应。当由处理器执行时，计算机可读指令可以进一步使该系统执行识别图像数据中的目标、分割与器械相对应的图像数据的部分、分割与解剖通道相对应的图像数据的部分，通过将形状数据和与器械相对应的图
像数据的部分进行比较来将图像数据与形状数据配准，并基于图像数据将解剖通道中的至少一个的位置从术前位置更新到术中位置。
9.其他实施例包括记录在一个或多个计算机存储设备上的对应的计算机系统、装置和计算机程序，所述计算机系统、装置和计算机程序中的每个被配置为执行所述方法的动作。
10.应当理解，前述一般说明和以下详细说明本质上都是说明性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。在这方面，通过以下详细说明，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
11.图1示出显示配准到解剖模型的医疗器械的图像的显示系统。
12.图2示出用于更新解剖模型中的目标的位置的方法。
13.图3示出用于评估医疗器械的形状以确定是否应当执行术中成像程序的方法。
14.图4示出用于评估解剖运动以确定是否应当执行术中成像程序的方法。
15.图5示出用于在成像系统的图像捕获时段期间使机器人辅助医疗系统与成像系统同步的方法。
16.图6示出用于评估在配准程序中使用的图像数据的方法。
17.图7a示出显示来自术中成像程序的图像数据的用户界面的简化图。
18.图7b示出显示来自术中成像程序的图像数据的用户界面的简化图，其中器械和目标已被分割。
19.图8a示出指示在成像程序期间器械的运动的形状数据。
20.图8b示出图8a的图示的一部分的详细视图。
21.图9示出将图像数据与来自器械的形状数据配准以更新目标在模型中的位置的方法。
22.图10示出将图像数据与来自器械的形状数据配准以更新解剖结构在模型中的位置的方法。
23.图11示出将术前图像数据和术中图像数据配准到来自器械的形状数据的简化图。
24.图12a示出根据一些实施例的机器人辅助医疗系统的简化图。
25.图12b示出控制系统和术中成像系统之间的通信。
26.图13示出根据一些实施例的医疗器械系统和术中成像系统的简化图。
27.通过参考下面的详细说明，可以最好地理解本公开的实施例及其优点。应当理解，相似的附图标记被用于标识在一个或多个附图中示出的相似元件，其中的图示是为了示出本公开的实施例，而不是为了限制本公开。
具体实施方式
28.本文档中公开的技术可被用于使用术中成像(例如锥束计算机断层扫描(ct)成像)来增强微创程序的工作流程。在一些示例中，可以在启动术中成像程序之前分析器械数据，以确保由图像提供的数据质量。在一些示例中，由术中成像产生的图像数据可被用于细化由术前成像构建的模型中的器械、解剖结构或目标的位置。
29.参考图1，可以进行图像引导手术程序，其可以是机器人辅助的或以其他方式遥控操作的，其中显示系统100可以显示出具有图像参考系(xi，yi，zi)150的虚拟导航图像102，其中医疗器械104与患者的解剖模型106配准(即动态参考)，该解剖模型106是从例如ct扫描获得的术前图像数据推导出的。解剖模型106可以包括该程序旨在解决(例如，活检、治疗、查看等)的目标108，例如感兴趣的病变或结节。在一些实施例中，虚拟导航图像102可以从医疗器械104的视角(例如，从医疗器械104的远侧尖端)向医生呈现内部手术部位的虚拟图像。在一些实施例中，例如，当医疗器械104包括内窥镜时，显示系统100可以呈现来自医疗器械104的远侧尖端的实时视图。在一些实施例中，医疗器械104可以通过由控制系统或处理系统(其包括一个或多个处理器)控制的机器人辅助操纵器来操纵。将在图12a中进一步描述机器人辅助医疗系统的示例。
30.生成虚拟导航图像102涉及图像参考系(xi，yi，zi)150到解剖结构的外科参考系(xs，ys，zs)和/或医疗器械104的医疗器械参考系(xm，ym，zm)的配准。这种配准可以通过刚性或非刚性变换来旋转、平移或以其他方式操纵与来自图像数据的经分割的器械形状相关联的点和/或与来自沿着医疗器械104的长度设置的形状传感器的形状数据相关联的点。图像参考系和器械参考系之间的这种配准可以例如通过使用如美国专利申请公开号2018/0240237和2018/0235709(其全部内容通过引用并入本文)所描述的基于点的迭代最近点(icp)技术而实现，或者通过使用其他点云配准技术而实现。
31.图2示出根据本公开的一些方面的用于执行微创程序的方法或流程图200的示例。在过程202处，在控制系统处接收术前图像数据。例如，患者的解剖结构的ct扫描可以用传统的扇形束ct扫描仪来执行，并且ct图像数据可以由控制系统接收。可替代地，可以从包括磁共振成像系统、荧光镜系统或用于获取解剖结构的尺寸的任何其他合适方法的其他类型的成像系统接收术前图像数据。在过程204处，可以由控制系统根据术前图像数据构建解剖结构的三维(3d)模型(例如，图1的解剖模型106)。在过程206处，可以在3d模型或术前图像数据中识别目标，该目标是根据该术前图像数据来构建的。例如，图1的目标108可以在解剖模型106中被识别为用于研究或治疗的感兴趣区域。目标可以由控制系统自动识别并由用户确认，或者可以由用户视觉识别并且例如通过显示系统100在3d模型中手动选择或指示。在过程208处，生成通过在解剖结构中形成的解剖通道的路线。该路线可以由控制系统自动生成，或者控制系统可以基于用户输入生成该路线。该路线可以指示路径，医疗器械(例如，图1的医疗器械104)可以沿着该路径被导航到与目标非常接近。在一些实施例中，该路线可以被存储在控制系统中并被合并到在显示系统100上显示的图像中。
32.为了提供通过解剖通道的精确导航，在过程210处，可以将术前图像数据(以及随后构建的3d模型)的参考系150配准到医疗器械的参考系。例如，沿着医疗器械的长度设置的形状传感器(例如，光纤形状传感器或一个或多个方位传感器)可被用于提供实时形状数据(例如，关于器械的形状和/或沿着器械的长度的一个或多个点的方位的信息)。该形状数据可被用于将器械配准到根据术前图像数据构建的3d模型，并在使用期间跟踪器械的位置。一旦成功配准，过程212可以包括在器械被导航通过解剖通道到达目标附近的部署位置时提供导航引导。导航可以由用户借助提供的导航指导来手动执行，也可以由控制系统来自动执行，或者通过两者的组合来执行。
33.在器械被定位在患者解剖结构内的部署位置处或附近(例如，非常接近目标)的情
况下，可以进行术中成像扫描。在过程214处，可以在控制系统处从术中成像系统接收术中图像数据。在一些示例中，术中成像系统可以是生成术中ct扫描图像数据的锥形束ct(“cbct”)扫描仪，但是在不偏离本公开的实施例的情况下可以使用任何合适的成像技术。与诸如传统ct或荧光透视的其他成像技术相比，cbct成像可以在不延迟程序的情况下提供对患者解剖结构的区域的更快速扫描，并且还可以具有更便携和紧凑的硬件。
34.如上所述，可以在与器械相关联的控制系统或其他处理平台处接收术中图像数据。还可以设想，在一些示例中，与器械相关联的形状数据可以被传送到成像系统，或者形状数据和图像数据两者均可以被传送到公共平台以便处理。在这方面，器械的形状数据与术中图像数据的配准可以由控制系统、成像系统或与术中成像系统和控制系统可操作地通信的另一平台来执行。通常，将图像数据传送到控制系统或从控制系统传送出图像数据的通信将使用医学数字成像和通信(“dicom”)标准。也可以以最大强度投影(“mip”)或伪ct流格式来接收图像数据。在一些实施例中，接收图像数据可以包括接收与图像数据相关联的一个或多个时间戳。第一时间戳可以指示扫描的开始时间，而第二时间戳可以另外指示扫描的停止时间。可替代地，时间戳可以与图像数据的每个实例相关联。为了确保精确的相关性，器械的控制系统的时钟可以与成像系统的时钟同步，并且形状数据的每个实例也可以与时间戳相关联。在这方面，图像数据的每个带时间戳的实例可以与形状数据的相应带时间戳的实例配对。
35.为了将术中成像扫描配准到器械，在执行术中成像扫描的同时，在过程216处，可以接收在术中成像程序214期间捕获的来自器械的形状数据。形状数据可以仅在短时段内被捕获，或者可以在术中成像扫描的整个图像捕获时段期间被捕获。如以下关于图5进一步详细讨论的，可以使用各种同步技术来确保仅与图像捕获时段相对应的形状数据被用于配准，即使也可以记录图像捕获时段之外的形状数据。
36.在过程218处，可以分割来自术中扫描的图像数据或其一部分。在这方面，可以分析图像数据的离散单元(例如，像素或体素)，以将强度值分配给每个单元。具有相同或相似强度值的离散单元可以被聚集以形成部件。形态学操作可以被用于互连具有相似强度值的不连续部件。
37.在一些实施例中，分割图像数据可以包括选择与某些对象相关联的部件。例如，分割与器械相关联的图像数据可以包括基于一个或多个因素来选择成像单元或部件，所述一个或多个因素包括与目标的接近度、形状数据、器械与患者的近似配准以及期望的器械强度值。期望的器械强度值可以包括与组成器械的材料相关联的一系列值。在一些实施例中，可以使用算法(例如，高斯混合模型)来建立期望的器械强度。在一些实施例中，分割图像数据还可以包括利用由控制系统使用深度学习技术建立的过程。
38.关于器械的信息可被用于对分割过程进行种子化(seed)。例如，器械(例如，可转向导管)可以包括嵌入非金属护套中的金属脊柱。在这方面，可以首先识别与脊柱相关联的术中图像数据中的高对比度，并且可以在具有较小对比度的像素或体素中搜索脊柱周围的区域以寻找非金属护套。在类似的方面，可以在术中成像期间通过器械的工作通道插入高对比度基准标记物，以改进器械的分割。
39.在某些情况下，器械的分割可被确定为已产生令人不满意的结果。例如，分割可能已导致多个不连续的部件，它们之间存在间隙。可替代地，分割可能导致已知的器械尺寸不
准确。例如，当已知器械具有5mm的直径时，术中图像数据中的所分割的器械可能看起来具有1mm或10mm的直径。作为另一示例，可能确定器械的一个或多个相关部分在术中图像数据的体积之外。
40.作为确定分割令人不满意的结果，控制系统可以实施低精度模式，其中术中图像数据到器械的配准可以仅进行平移运动(例如，仅沿x轴、y轴和/或z轴的移动)，同时防止旋转。可替代地，分割的令人不满意的结果可以导致生成指令或提示，以指导用户例如通过使用输入设备和显示系统按照上述过程212选择与器械相关联的部件而在图像数据中识别器械。
41.在过程220处，可以在术中图像数据中识别目标。在一些实施例中，当器械已经被分割或识别时，识别目标可以包括在器械的预定范围内的图像数据中建立感兴趣区域。然后可以分析感兴趣区域以从感兴趣区域中分割目标。在这方面，可以基于器械先前被导航到非常接近目标的假定情况来减少在其中定位目标的搜索场(search field)。在一些实施例中，识别目标可以包括在用户界面处接收来自用户的指示或选择。例如，用户可以手动选择与显示系统上的一个或多个部件相关联的图像数据的一些部分以与目标相关联。当目标的自动识别已产生令人不满意的结果时，可能需要目标的手动识别，并且用户被指示手动识别图像数据中的目标。在一些情况下，识别术中图像数据中的目标可能导致基于目标的术前位置和目标的术中位置将术前图像数据(或3d模型)配准到术中图像数据。
42.在过程222处，可以通过将形状数据与图像数据中对应于器械的部分进行比较来将术中图像数据配准到形状数据。在一些实施例中，可以使用迭代最近点算法来执行该配准。任选地，可以基于分段置信度或质量对数据点进行加权，以便向被确定为可能更准确的数据点分配更多影响。可替代地，可以使用相干点漂移或不确定性度量(例如rms误差)将术中图像数据配准到形状数据。在一些实例中，可以确定配准已产生令人不满意的结果。结果，控制系统可以实施低精度模式。可以在例如国际专利公开号wo2021/092116(2020年11月5日提交)(公开了“systems and methods for registering an instrument to an image using change in instrument position data”)和国际专利公开号wo2021/092124(2020年11月5日提交)(公开了“systems and methods for registering an instrument to an image using point cloud data”)中找到用于将器械配准到图像数据的处理的探讨，这两篇文献通过引用整体并入本文。
43.在过程224处，可以基于在过程222中执行的配准将目标的术中位置映射到器械参考系。可以将目标的术中位置与目标的术前位置进行比较。如果存在差异，则在过程226处，可以将目标位置更新为术中位置。可以在显示系统上相对于3d模型和/或器械显示目标的更新位置，以促进该程序。
44.图2的方法200可以另外或可替代地包括使用与上述类似的分割技术分割与一个或多个解剖通道对应的图像数据的部分。在将图像数据配准到形状数据之后，可以基于术中图像数据在3d模型中将至少一个解剖通道的位置从术前位置更新为术中位置。
45.在过程212处将器械定位在目标附近之后并且在过程214处执行术中成像之前，如上文参考图2所述，可以执行评估以确定器械是否被布置成适合用于稍后将图像数据配准到形状数据的配置。图3示出用于评估医疗器械的形状以确定是否应当执行术中成像程序(特别是当成像程序的施用将使患者暴露于辐射时)的方法300。与以直线配置布置的医疗
器械相比，来自在三个维度中的每个维度中配置有弯曲部的医疗器械的形状数据在与解剖图像数据的三维配准中可能特别有用。
46.在程序302处，当器械位于患者的解剖结构中时，记录器械的形状数据。例如，从形状传感器收集的形状数据可以提供器械的形状信息，包括沿着器械的多个点的方位和取向信息。
47.在过程304处，将记录的器械形状数据中的器械的初步形状与配准形状阈值进行比较。在一些实施例中，配准形状阈值可以是曲率阈值，该曲率阈值对应于在三维环境中的三个维度中的至少一个或两个维度上包括弯曲部的形状。在一些实施例中，配准形状阈值可以是在三维环境的所有三个维度中包括弯曲部的形状。在该示例中，三维环境中的任何观察平面都将包括允许完全三维配准的弯曲形状。
48.在过程306处，基于该比较，确定根据形状数据确定的器械形状是否超过配准形状阈值。
49.在过程308处，如果记录的器械形状确实超过配准形状阈值，则可以认为器械的形状足够弯曲以允许图像捕获。可以启动图像捕获程序以捕获患者解剖结构和器械的图像数据，如上文参考过程214所描述。
50.在过程310处，如果记录的器械形状没有超过配准形状阈值，则可以认为器械的形状不够弯曲或太直而不允许图像捕获。在一些实施例中，可以提供指令来提醒用户图像捕获程序没有启动以及图像捕获程序没有启动的原因。例如，可以通过在显示系统上显示的文本或图像、通过发送给用户的音频消息或通过用户可感知的其他类型的通信来提供指令。在一些实施例中，可以显示诸如“未启动图像捕获。器械曲率不符合弯曲阈值”之类的文本消息。在一些实施例中，可以进一步提供校正指令，以修正器械的初步形状。例如，可以提供文本指令来弯曲器械或以其他方式重新配置器械，直到达到足以超过阈值的弯曲度，从而使修正后的配置更有可能产生成功的分割和/或配准。此外或可替代地，可以提供引导图像，以引导用户弯曲器械以生成如在引导图像中所显示的形状。
51.应当理解的是，器械太直而不能执行配准仅是可能使得难以或不能将器械配准到图像数据的一种特例。例如，器械可能具有半径较小的紧弯曲部，但该弯曲部可能与单个平面对齐。类似地，沿着在图像数据中显示并在形状数据中描绘的器械部分的整个长度的一致的弯曲半径可能使得难以区分沿着图像数据中的该部分的不同点。
52.在可以是过程310的替代过程的过程312处，可以启动图像捕获程序以捕获患者解剖结构和器械的图像。然而，由于器械形状未能超过阈值，捕获的图像数据可能被丢弃、抑制或过滤以用于配准程序。在一些情况下，可以实施低精度模式以防止配准的旋转分量。
53.此外，在一些实施例中，可以确定超过配准形状阈值的曲率的位置。基于曲率的位置，可以确定患者解剖结构的图像是否将包括该曲率的图像。如果成像系统的视场将不包括该曲率，则可以不启动图像捕获程序。医疗器械可以被重新布置，直到它在成像系统的视场内形成超过曲率阈值的曲率。此外或可替代地，可以向用户发送指令，以将成像系统移动到不同的成像方位或成像取向，从而捕获患者解剖结构的图像，该图像将包括超过配准形状阈值的曲率的图像。
54.在一些实施例中，在启动图像捕获程序以生成过程214的术中图像数据之前，可以确定解剖目标(例如，病变或结节)附近的器械或器械的一部分是否处于解剖运动(例如，由
于呼吸或心动过程)超过用于适当图像捕获的阈值的区域中。图4示出用于评估解剖运动的方法400。通常，解剖运动可能导致术中图像数据过于失真，从而无法隔离和分割医疗器械。在捕获医疗器械的术中图像之前，可以评估解剖运动的幅度。如果解剖运动的幅度超过阈值量，则任何捕获的图像都可能失真，并且因此可能被认为不足以用于配准。可以提供指令以暂停图像捕获和/或将器械移动到不同的解剖区域。
55.在过程402处，当器械位于患者的解剖结构中时，确定器械或器械的一部分的运动幅度(其可以包括诸如位移距离、旋转度数、速度等的任何运动度量)。例如，从形状传感器收集的形状数据可以被记录用于在图像捕获程序期间将在成像系统的视场中的器械部分。当器械部分不经受命令的运动时，可以在图像捕获程序开始之前的时段期间记录形状数据。可以通过评估形状数据在该时段期间的变化来确定运动幅度。
56.在过程404处，确定运动幅度是否超过运动幅度阈值。可以基于将导致不可用图像的运动幅度而预先确定运动幅度阈值。运动幅度阈值可以是位移、旋转、速度和/或其他运动分量的度量。
57.在过程406处，如果运动幅度没有超过运动幅度阈值，则可以启动图像捕获程序以捕获患者解剖结构和器械部分的图像。
58.在过程408处，如果运动幅度确实超过了运动幅度阈值，则可以阻止或暂停图像捕获程序。在一些实施例中，可以指示用户暂停图像捕获程序，直到运动已经消退(例如，开始屏气)或者将器械移动到不同的解剖区域。
59.例如，关于方法400，在图2的过程214之前，可以在一段时间内分析从器械的形状传感器接收的形状数据。使用形状数据，可以确定在成像系统的视场内的器械的一部分随着患者的每个呼吸周期以1.5cm的运动幅度移位。如果已经建立了1.0cm的预定运动幅度阈值，则控制系统将确定运动幅度超过运动幅度阈值。作为响应，可以向用户发出警报，从而可以采取校正措施。另一方面，如果预定运动幅度阈值已经被建立为2.0cm，则控制系统将确定运动幅度没有超过运动幅度阈值。作为响应，可以向用户或术中成像系统提供可以启动图像捕获程序的指示。
60.图5示出一种方法500，方法500用于在成像系统的图像捕获时段期间使机器人辅助医疗系统与成像系统同步以协调图2的过程216和生成过程214的术中图像数据的图像捕获程序。在同步的图像捕获时段期间，可以记录物理实体(例如医疗器械)的两种不同表示。一种表示可以是由成像系统生成的器械的三维图像，并且一种表示可以是由设置在器械内的形状传感器生成的三维形状。
61.在过程502处，可以生成通信信号(例如，定时信号或启动信号)。通信信号可以包括同步信息，该同步信息可以包括开始信号和/或停止信号、时钟信号、同步协议信息、图像捕获时段持续时间信息或用于同步包括器械和成像系统的医疗系统的其他信息。例如，通信信号可以由控制系统的通信设备或成像系统的通信设备产生。
62.在过程504处，可以在医疗系统和成像系统之间发送通信信号。例如，通信信号可以被从成像系统发送到医疗系统，或者被从医疗系统发送到成像系统。
63.在过程506处，基于来自通信信号的同步信息，在图像捕获时段期间，使来自医疗系统的器械形状传感器的形状数据的记录与来自成像系统的图像数据的记录同步。因为医疗系统和成像系统是同步的，所以图像数据和形状数据是在共同的一段时间内记录的。当
包括器械形状传感器的医疗器械位于患者的已成像的解剖结构内时，可以记录形状数据和图像数据两者。在形状传感器和成像系统的数据收集时段同步的情况下，记录医疗器械的两种不同表示。包括器械形状的图像的图像数据可以在完全相同的时段内与描述同一器械的形状的形状传感器数据相匹配。如下文进一步描述的，匹配的数据集可被用于图像参考系(xi、yi、zi)与医疗器械参考系(xm、ym、zm)的配准。
64.在各种示例中，通信信号可以在启动扫描的同时被发送，或者可以指示未来的扫描开始时间(例如，1秒、10秒)，使得来自形状传感器的形状数据可以在启动图像捕获时段的同时开始记录。通信信号可以源自术中成像系统的应用编程接口。作为一个示例，西门子医疗解决方案(美国)有限公司(medical solutions usa，inc.)销售的cios 成像系统使用名为navilink 3d
tm
的协议，该协议提供数字接口以将成像系统与导航系统连接并向其传输数据集。类似地，可以结合术中扫描的终止来发送通信信号，使得控制系统可以停止记录形状数据。在一些实施例中，可以在比图像捕获时段更长的间隔上记录形状数据，并且(一个或多个)通信信号可被用于指定形状数据中与图像捕获时段相对应的某些数据点。在一些实施例中，(一个或多个)通信信号可被从器械的控制系统发送到成像系统，以指示成像系统何时开始和停止扫描。在一些情况下，代替通信信号，来自成像系统的图像数据可以基本实时地被流式传输到医疗器械的控制系统，使得形状数据的记录可以与流式数据的发送/接收的开始和结束一致。在这方面，当在医疗器械的控制系统处接收到来自图像捕获时段的第一图像数据时，控制系统可以开始记录形状数据。类似地，当控制系统停止接收图像数据流时，控制系统可以停止记录形状数据。
65.在一个实施例中，在图像捕获时段期间，使医疗系统的时钟与成像系统的时钟同步。可以在医疗系统和成像系统之间发送包括用于同步时钟的同步信息的通信信号。时钟的同步可以恰好在图像捕获时段开始之前发生或者与图像捕获时段开始一起发生。在图像捕获时段期间，同步可以发生一次或者可以重复一次或多次。在一些实施例中，时钟的同步可以通过直接连接或经由网络连接的通信设备之间的有线或无线通信来实现。
66.在另一实施例中，通过开始信号和停止信号使医疗系统与成像系统同步。可以在医疗系统和成像系统之间发送包括具有开始信号形式的同步信息的通信信号。开始信号可以启动图像捕获时段的开始、与图像捕获时段的开始同时发生或者由图像捕获时段的开始触发，在该图像捕获时段期间图像数据由成像系统记录。开始信号的接收或发送也可以启动记录或标记用于医疗系统的器械系统的形状数据的较长记录中的开始点。在图像捕获时段结束时，可以在医疗系统和成像系统之间发送包括具有停止信号形式的同步信息的另一通信信号。停止信号可以启动图像捕获时段的停止、与图像捕获时段的停止同时发生或者由图像捕获时段的停止触发，在该图像捕获时段期间图像数据由成像系统记录。停止信号的接收或发送也可以终止记录或标记用于医疗系统的器械系统的形状数据的较长记录中的终止点。
67.在一些实施例中，可以由用户命令来启动形状数据的记录。例如，(一个或多个)用户可以同时在成像系统和器械上输入命令，以启动成像扫描和形状数据的记录。类似地，(一个或多个)用户可以同时输入命令以停止成像扫描和形状数据的记录。可以通过任何合适的手段来输入这样的命令，例如按下按钮、陈述语音命令等。在一些情况下，图像捕获时段可以是预先已知的，使得控制系统可以在接收到命令时开始记录形状数据，并且一旦图
像捕获时段已经逝去，则停止记录形状数据，或者在此后的某个时间点停止记录形状数据。例如，如果已知图像捕获时段为20-30秒，则控制系统可以记录30秒或更多秒的形状数据，以确保记录了整个图像捕获时段的形状数据。当期望相对大的时间窗口的形状数据时，可以将形状数据存储在大型缓冲器中。
68.在一些实施例中，可以在器械的控制系统确定器械停放得非常接近由术前图像数据所确定的目标位置时自动启动形状数据的记录。可替代地，可以监测来自器械的形状数据，并且可以响应于确定已开始屏气而开始记录形状数据。例如，形状数据可以指示在由呼吸引起的周期性运动期间器械随着解剖通道的移动，但是随后可以指示器械已经基本停止移动，从而表明已经通过呼吸管开始屏气。将器械停放在目标附近和/或屏气可以被解释为术中成像扫描正在开始或将很快开始的指示。
69.在一些实施例中，在如图3和图4中所述已经确定启动图像捕获，如图5中所述使医疗系统和成像系统同步，并且已经执行术中成像之后，可以基于在图2的过程216中接收的形状数据来确定图像数据是否适合用于配准。图6示出用于评估在配准程序中使用的解剖图像数据的方法600。通常，解剖运动会导致术中解剖图像数据过于失真，从而无法隔离和分割医疗器械。在尝试将术中图像配准到医疗器械之前，可以在图像捕获时段内评估医疗器械或医疗器械的一部分的方位变化。如果医疗器械的方位变化超过阈值量，则捕获的图像可被认为不足以用于配准，或者可能有必要实施低精度模式。在一些情况下，如果形状数据指示特别有问题的方位改变，则可以提供指令来启动新的图像捕获程序。
70.在过程602处，在成像系统的图像捕获时段期间记录器械(例如医疗器械104)的方位数据。在一些实施例中，图像捕获时段对应于术中成像系统被激活以收集和记录患者的图像数据的时段。在该时段期间，可以记录器械的形状数据。例如，从形状传感器收集的形状数据可以提供器械和沿着器械的多个点在医疗器械参考系(xm，ym，zm)中的方位信息，该方位信息相对于手术参考系(xs，ys，zs)是已知的。在该时段期间，器械可能没有经受命令的移动(例如自动或操作者命令的前进或弯曲)，但可能经受意外的移动(例如呼吸、心脏活动或其他自主或非自主的患者运动引起的解剖运动)。例如，当器械被定位在患者解剖结构内而不经受命令的运动时，可以在图像捕获时段内使用术中成像系统执行图像扫描。
71.在过程604处，根据所记录的形状数据来确定在图像捕获时段期间与器械的至少一部分相关联的方位变化。例如，将图像捕获时段开始时的形状数据与图像捕获时段结束时的形状数据进行比较，或者将图像捕获时段开始时的远端方位数据与图像捕获时段结束时的远端方位数据进行比较。在一些实施例中，可以利用形状数据来确定整个器械或小于整个长度的器械的区段(例如，远端或尖端附近的弯曲部)的方位变化(例如，横向平移)。在一些实施例中，可以以规则的间隔(例如每秒一次或每秒100次)连续测量和记录形状数据。在一些实施例中，可以连续地监测形状数据，但仅在检测到形状变化时才记录该形状数据。
72.在过程606处，将在图像捕获时段期间确定的器械方位的变化与方位变化阈值进行比较。例如，如果确定的器械远端的方位变化是1cm，并且方位变化阈值大约是2cm，则方位变化没有达到阈值。如果确定的方位变化是3cm并且方位变化阈值是2cm，则方位变化已经超过阈值。在一些实施例中，可以在一维、二维或三维或其组合中建立方位变化阈值，其在不同维度中具有相同或不同的阈值。在一些实施例中，该比较还可以包括取向和形状的比较。在各种实施例中，方位变化阈值可以大于或小于2cm。在各种实施例中，方位变化阈值
可以是基于例如最大方位变化、平均方位变化或方位变化的标准偏差的阈值。
73.在过程608处，确定在图像捕获时段期间由成像系统捕获的图像数据是否可以用于将图像参考系配准到医疗器械参考系和/或手术参考系的配准程序。如果确定器械或其一部分已移动过多(例如，超过方位变化阈值)，则来自术中成像系统的图像数据与来自器械的形状数据之间的差异可能阻止图像参考系到医疗器械参考系和/或手术参考系的配准。在这种情况下，将确定不将图像数据用于配准程序，或者将实现低精度模式以将配准限制为仅平移。例如，如果器械方位变化为3cm，超过2cm的方位变化阈值，则这可以指示器械在图像捕获时段期间移动过多，并且由术中成像系统生成的图像数据可能过于失真，从而无法提供对在图像捕获时段期间收集的器械形状数据的准确配准。然而，如果器械方位的变化是1cm，低于2cm的方位变化阈值，则这可以指示器械的方位变化在可接受范围内，并且由术中成像系统生成的图像数据可以用于配准。在一些实施例中，可以评估发送给器械的控制信号，以确定在图像捕获时段期间是否发生了命令的移动，例如自动或操作者命令的前进或弯曲。如果确定确实发生了命令的运动，则图像数据可以被丢弃、抑制或以其他方式不用于配准。在一些情况下，可以确定命令的移动的幅度和方向，并且可以通过基于命令的移动的幅度和方向改变形状数据来否定方位变化。
74.在可选过程610处，如果图像数据被确定为可接受用于配准，则可以执行配准。在一些实施例中，作为配准过程的一部分，识别来自成像系统的图像数据中对应于医疗器械的图像单元，例如像素或体素。在一些实施例中，单独或与手动输入相结合的计算机软件被用于将图像数据转换为部分或整个解剖器官或解剖区域的被分割的二维或三维复合表示或模型。该模型可以描述解剖通道的各种位置和形状及其连通性。更具体地，在分割过程中，像素或体素可以被划分成片段或元素，或者被标记以指示它们共享某些特性或计算出的属性，例如颜色、密度、强度和纹理。可以从图像数据中分割或过滤出与医疗器械的图像相对应的图像数据，并且可以生成器械形状的模型。例如，通过与医疗器械相关联的ct数或豪斯菲尔德(hounsfield)值的分割或过滤，可以将医疗器械识别为图像数据中的医疗器械。与医疗器械相关联的该数据可以与图像数据的与患者或特定组织类型相关联的其他部分隔离开。可以在隔离数据周围形成三维网格模型和/或可以确定表示医疗器械的中心线的中心线。器械的被分割的图像数据可以在图像参考系中表示。
75.医疗器械的分割的形状可以与在图像捕获时段期间从医疗器械获得的形状数据配准。来自医疗器械的形状数据可以被表示在医疗器械参考系和/或手术参考系中。该配准可以通过刚性或非刚性变换来旋转、平移或以其他方式操纵与分割的形状相关联的点和与形状数据相关联的点。模型和器械参考系之间的这种配准可以例如通过使用icp或其他点云配准技术来实现。在一些实施例中，医疗器械的分割的形状被配准到形状数据，并且相关联的变换(应用于分割的形状中的每个点以与形状传感器参考系中的形状数据对准的矢量)然后可以被应用于整个三维图像和/或随后在医疗程序期间获得的三维图像。该变换可以是六自由度(6dof)变换，使得形状数据可以在x、y和z以及俯仰、滚转和偏航中的任何一个或全部自由度上被平移或旋转。
76.在图像参考系被配准到医疗器械参考系的情况下，在显示系统上向操作者显示的图像可以允许操作者更准确地操纵医疗器械，相对于医疗器械可视化目标病变，从医疗器械的远端的视角观察视图，和/或提高有针对性的医疗程序的效率和功效。
77.在一些实施例中，术中图像数据可以与由相同或不同成像系统获得的术前图像数据配准。因此，通过将形状数据配准到术中图像数据，还可以确定形状数据与术前图像数据的配准。在一些实施例中，根据术中图像数据和/或术前图像数据生成的解剖图像可以与从器械形状传感器数据导出的器械的图像一起显示。例如，根据器械形状数据生成的器械的模型可以被叠加在根据术前或术中图像数据生成的患者解剖结构的图像上。
78.在可选过程612处，如果图像数据被确定为不可接受用于配准，则可以中止配准程序。可以向用户提供指令以启动新的图像捕获程序，或者控制系统可以启动新的图像捕获程序。
79.在一些实施例中，在图2的过程214处接收的术中图像数据可以被显示在图7a中所示的显示系统的用户界面700上。观看模式702可以在术中图像参考系(x
i2
，y
i2
，z
i2
)450中提供术中图像数据的3d渲染701。可以用指定的强度值来显示像素或体素，这些强度值提供不同结构之间的初始视觉分界。
80.在图2的分割过程218之后，分割的器械可以结合术中图像数据一起被显示在显示系统上。类似地，在图2的过程220处识别目标之后，分割的目标可以结合术中图像数据一起被显示在显示系统上。图7b示出提供术中图像数据的二维和/或三维视图的观看模式704，其中器械706和目标708已经被分割。观看模式704可以显示配准到3d模型的已分割的器械中心线和/或边界。当分割不成功时，用户界面700可以允许用户手动识别导管和/或目标。在分割或识别之后，可以以不同的颜色显示器械706和目标708，或者以其他方式在视觉上将其与周围的解剖结构区分开。
81.在术中图像数据中对器械706进行分割或识别后，可以将术中图像参考系450配准到医疗器械参考系，如上文关于图2的过程222所讨论的。在一些实施例中，可以使用如参考图8a和图8b所讨论的加权icp技术来执行该配准。图8a和图8b示出在图像捕获时段期间收集的与医疗器械参考系中的器械的形状相对应的一组形状数据s(其可以包括若干数据点)。由于解剖运动，形状数据s可以在图像捕获时段期间的时刻t1处具有配置s
t1
，并且可以在图像捕获时段期间的时刻t2处具有配置s
t2
。器械的任何数量的附加配置均可以在s
t1
和s
t2
之间延伸。此外，s
t1
和s
t2
可以对应于图像捕获时段期间的形状极值，或者可以是图像捕获时段期间的器械的任何两个任意配置。图8b示出形状数据s的一部分。因为形状数据s指示器械在图像捕获时段期间正在移动，所以形状数据的一个或多个部分可能比形状数据的其他部分更适合用于配准。就此而言，形状数据的一个或多个部分可以比形状数据的一个或多个其他部分被更重地加权。
82.在一些实施例中，可以用范围从0到1的加权值对形状数据的各个部分进行加权，其中数值0指示特定数据点将不影响配准，数值1指示在配准中将对特定数据点进行完全加权，并且0和1之间的数值指示特定数据点将影响配准，但不会被完全加权。在一些实施例中，形状数据的一个或多个部分可以用负值来加权，而其他部分可以用超过1的数值来加权。
83.该组形状数据s可以被评估以确定器械形状数据的基线(例如，使用平均值或标准偏差)。如图8b所示，最接近所确定的基线801的数据点可以被最重地加权(例如，1)。范围803之外的数据点可以被认为是异常值，并且可以被丢弃或加权为0。与范围803相关联的区域内的数据点可以用相对小的数值(例如，0.5)进行加权，并且与范围802相关联的区域内
的数据点可以与相对较大的数值(如，0.9)相关联。可以使用任意数量的区域，并且可以预先确定并从存储器中检索区域的尺寸，或者可以基于根据该组形状数据确定的因素(例如，平均值、数据点数量、标准偏差等)来计算区域的尺寸。
84.在一些实施例中，该组形状数据s可以被过滤以生成器械形状，该器械形状对应于由术中图像数据提供的器械形状(其可以是观察到的位置的平均值)。例如，如果图像数据指示类似于s
t1
的配置的形状，则对应于s
t2
的数据可以被过滤掉或被不显著地加权。
85.如上文参考图2中的过程226所讨论的，可以将目标位置从基于术前图像数据的位置更新为基于术中图像数据的位置。图9示出将术中图像数据配准到来自器械的形状数据以更新模型中的目标的位置的方法900。在过程902处，可以在成像系统的图像捕获时段期间记录器械形状数据。成像系统可以是锥形束ct系统或被配置用于捕获器械和患者解剖结构的术中图像的任何其他成像系统。在过程904处，可以接收与图像捕获时段相对应的图像数据，该图像数据包括患者的解剖结构、手术的目标和器械。在过程906处，在图像数据中识别目标。例如，可以由控制系统或其他处理平台来分割目标，或者可以由用户手动识别目标。在过程908处，可以对图像数据中与器械相对应的部分进行分割。使用在过程902中记录的已分割的图像数据和形状数据，在过程910处可以基于图像捕获时段期间的器械的形状将图像数据配准到形状数据。在过程912处，使用已配准的图像数据，可以将目标的位置从基于术前成像的术前位置更新为基于术中成像的术中位置，如下面参照图11所讨论的。更新的目标位置可以改进器械到目标的导航。
86.类似于用于更新目标在图像参考系中的位置的过程226，可以使用附加的或替代的过程来更新解剖通道在图像参考系中的位置。图10示出将术中图像数据与来自器械的形状数据配准以更新模型中的解剖结构的位置的方法1000。在过程1002处，可以在成像系统的图像捕获时段期间记录器械形状数据。成像系统可以是锥形束ct系统或被配置用于捕获器械和患者解剖结构的术中图像的任何其他成像系统。在过程1004处，可以接收与图像捕获时段相对应的图像数据，该图像数据包括患者的解剖结构、手术的目标和器械。在过程1006处，在图像数据中识别目标。例如，可以由控制系统或其他处理平台来分割目标，或者可以由用户手动识别目标。在过程1008处，可以分割图像数据中与器械相对应的部分，并且在过程1010处，可以分割图像数据中与解剖通道相对应的部分。使用在过程1002中记录的已分割的图像数据和形状数据，在过程1012处可以在图像捕获时段期间基于器械的形状将图像数据配准到形状数据。在过程1014处，使用已配准的图像数据，可以将一个或多个解剖通道的位置从基于术前成像的术前位置更新为基于术中成像的术中位置，如下面参考图11所讨论的。一个或多个通道的更新可以提供从器械的当前位置到目标的更精确的路径。应当理解，方法900和方法1000都是可选的，并且可以被同时或连续地执行。
87.如上文关于图2中的过程210所讨论的，术前图像数据的图像参考系可以被配准到器械参考系。类似地，如上文关于过程222所讨论的，术中图像参考系可以被配准到器械参考系。这些参考系之间的共同配准允许3d模型中的目标的更新。图11提供将图像参考系150中的术前图像数据和术中图像参考系450中的术中图像数据配准到医疗器械参考系350(其也可以被配准到患者所位于的手术参考系250)中来自器械的形状数据的简化图。最初，可以根据术前图像数据来构建3d模型1102。该模型可以包括解剖通道1104和相对于解剖通道1104设置的目标108的术前位置。在医疗程序中，包括形状传感器的器械706可以被插入解
剖通道1104中。基于术前图像数据中的解剖通道1104的形状和来自形状传感器的形状数据，可以将图像参考系150配准到医疗器械参考系350。此外，当器械706被设置在解剖通道1104内时，可以例如使用锥形束ct获得术中成像。术中图像数据可以指示目标708相对于器械706在术中图像参考系450中的位置。使用术中图像数据中的器械706的形状和来自形状传感器的形状数据，可以将术中图像参考系450配准到医疗器械参考系350。因此，也可以对图像参考系150和术中图像参考系450进行配准。这种配准布置允许将目标108的术前位置更新为如上文参考图9所述的目标708的术中位置，并且允许如上文参考图10所述那样更新模型中的解剖通道。
88.在一些实施例中，本公开的配准技术(例如关于图2的过程210和222所讨论的那些配准技术)可被用在如图12a-图13所示的利用机器人辅助医疗系统执行的图像引导医疗程序中。图12a示出包括机器人辅助医疗系统1200和术中成像系统1218的临床系统10。机器人辅助医疗系统1200通常包括操纵器组件1202，该操纵器组件用于操作医疗器械系统1204(包括例如医疗器械104)对位于手术环境1201中的手术台t上的患者p执行各种程序。操纵器组件1202可以是机器人辅助的、非辅助的或混合型机器人辅助和非辅助组件，其具有可为机动化和/或机器人辅助的选定运动自由度以及可为非机动化和/或非辅助的选定运动自由度。可以在手术环境1201内部或外部的主控组件1206通常包括用于控制操纵器组件1202的一个或多个控制设备。操纵器组件1202支持医疗器械系统1204，并且可以任选地包括多个致动器或电机，该多个致动器或电机响应于来自控制系统1212的命令而驱动医疗器械系统1204上的输入。致动器可以任选地包括驱动系统，这些驱动系统在耦合到医疗器械系统1204时可以将医疗器械系统1204推进到自然或手术创建的解剖孔中。其他驱动系统可以在多个自由度上移动医疗器械系统1204的远端，这些自由度可以包括三个线性运动度(例如，沿x、y、z笛卡尔轴的线性运动)和三个旋转运动度(如，绕x、y和z笛卡尔轴的旋转)。此外，致动器可被用于致动医疗器械系统1204的可铰接末端执行器，以便抓取活检设备等的钳口中的组织。
89.机器人辅助医疗系统1200还包括用于显示由传感器系统1208和/或内窥镜成像系统1209生成的手术部位和医疗器械系统1204的图像或表示的显示系统1210(其可以与显示系统100相同)。显示系统1210和主控组件1206可以被取向为使得操作者o可以利用远程呈现的感知来控制医疗器械系统1204和主控组件1206。
90.在一些实施例中，医疗器械系统1204可以包括用于手术、活检、消融、照明、冲洗或抽吸的部件。任选地，医疗器械系统1204与传感器系统1208一起可被用于收集(即测量)与患者(例如患者p)的解剖通道内的位置相对应的一组数据点。在一些实施例中，医疗器械系统1204可以包括成像系统1209的部件，这些部件可以包括记录手术部位的并发或实时图像并通过显示系统1210将图像提供给操作者或操作者o的成像镜组件或成像器械。并发图像可以是例如由位于手术部位内的成像器械捕获的二维或三维图像。在一些实施例中，成像系统部件可以整体地或可移除地耦合到医疗器械系统1204。然而，在一些实施例中，附接到独立操纵器组件的独立内窥镜可以与医疗器械系统1204一起使用以对手术部位进行成像。成像系统1209可以被实现为硬件、固件、软件或其组合，其与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器由执行，所述一个或多个计算机处理器可以包括控制系统1212的处理器。
91.传感器系统1208可以包括用于确定医疗器械系统1204的方位、取向、速度、速率、姿态和/或形状的方位/位置传感器系统(例如，电磁(em)传感器系统)和/或形状传感器系统。
92.机器人辅助医疗系统1200还可以包括控制系统1212。控制系统1212包括至少一个存储器1216和至少一个计算机处理器1214，用于实现医疗器械系统1204、主控组件1206、传感器系统1208、内窥镜成像系统1209和显示系统1210之间的控制。控制系统1212还包括编程指令(例如，存储指令的非瞬态机器可读介质)，以实现根据本文公开的一些方面描述的一些或全部方法，包括用于向显示系统1210提供信息的指令。
93.控制系统1212可以任选地进一步包括虚拟可视化系统，以在图像引导手术程序期间控制医疗器械系统1204时向操作者o提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对所获取的解剖通道的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术成像的手术部位的图像，所述成像技术诸如为计算机断层扫描(ct)、磁共振成像(mri)、荧光透视、热象图成像、超声、光学相干断层扫描(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像等。
94.术中成像系统1218可以被布置在患者p附近的手术环境1201中，以在医疗程序期间获得患者p的图像。术中成像系统1218可以提供患者p的实时或接近实时的图像。在一些实施例中，术中成像系统1218可以是用于生成三维图像的移动c形臂锥形束ct成像系统。例如，术中成像系统1218可以是美国华盛顿特区西门子公司(siemens corporation)的dynact成像系统或其他合适的成像系统。在其他实施例中，成像系统可以使用其他成像技术，包括ct、mri、荧光透视、热象图成像、超声、光学相干断层扫描(oct)、热成像、阻抗成像、激光成像、纳米管x射线成像等。
95.图12b示出控制系统1212和术中成像系统1218之间的通信。在一些实施例中，控制系统1212包括通信设备1220和时钟1222。尽管控制系统1212在图12a和图12b的简化示意图中被显示为单个块，但控制系统1212可以包括多个处理器、存储器、通信设备和时钟。此外，控制系统1212的部件可以被分布在整个医疗系统1200中，包括在操纵器组件1202、器械系统1204和主控组件1206处。在一些实施例中，术中成像系统包括处理器1224、存储器126、通信设备1228和时钟1230。处理器1224被配置为执行例如存储在存储器1226上的编程指令，以实现根据本文公开的一些方面描述的一些或全部方法。时钟1222、1230可以包括任何类型的数字时钟、模拟时钟、基于软件的时钟或其他计时设备。通信设备1220、1228可以包括信息发送器、信息接收器、信息收发器或者能够在成像系统1218和控制系统1212之间和/或时钟1222、1230之间进行有线或无线通信的发送设备或接收设备的组合。通信设备1220、1228可被用于在两个系统之间交换信息，包括例如时钟信号、开始信号和停止信号、图像数据信号、患者数据信号和传感器数据信号。
96.图13示出具有手术参考系(xs、ys、zs)250的手术环境1300，其中患者p被定位在手术台t上。患者p可以在手术环境内静止，这意味着患者的总体运动受到镇静、约束和/或其他手段的限制。包括患者p的呼吸和心脏运动在内的循环解剖运动可以继续，除非要求患者屏住呼吸以暂时暂停呼吸运动。在手术环境1300内，具有医疗器械参考系(xm、ym、zm)350的医疗器械1304(例如，医疗器械系统1204)被耦接到器械支架1306。在该实施例中，医疗器械1304包括被耦接到器械主体1312的细长设备1310，例如柔性导管。器械托架1306被安装到
固定于手术环境1300内的插入级(insertion stage)1308。可替代地，插入级1308可以是可移动的，但在手术环境1300内具有已知位置(例如，通过跟踪传感器或其他跟踪设备获知)。在这些替代方案中，医疗器械参考系相对于手术参考系是固定的或以其他方式获知。器械托架1306可以是机器人辅助操纵器组件(例如，机器人辅助操纵器组件1302)的部件，该部件耦接到医疗器械1304以控制插入运动(即沿轴线a的运动)，并且可选地控制细长设备1310的远端1318在包括偏航、俯仰和滚转的多个方向上的运动。器械托架1306或插入级1308可以包括致动器，例如伺服马达(未示出)，其控制器械托架1306沿着插入级1308的运动。
97.在该实施例中，传感器系统(例如，传感器系统1208)包括形状传感器1314。形状传感器1314可以包括在细长设备1310内延伸并与细长设备1310对准的光纤。在一个实施例中，光纤具有大约200μm的直径。在其他实施例中，尺寸可以更大或更小。形状传感器1314的光纤形成用于确定细长设备1310的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(fbg)的光纤被用于提供结构在一个或多个维度上的应变测量。在美国专利申请第11/180,389号(2005年7月13日提交)(公开了“fiber optic position and shape sensing device and method relating thereto”)、美国专利申请第12/047,056号(2004年7月16日提交)(公开了“fiber-optic shape and relative position sensing”)以及美国专利第6,389,187号(1998年6月17日提交)(公开了“optical fiber bend sensor”)中描述了用于监测光纤在三维中的形状和相对方位的各种系统和方法，这些专利文献全部通过引用并入本文。在一些实施例中，传感器可以采用其他合适的应变感测技术，例如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，可以使用其他技术来确定导管的形状。例如，细长设备1310的远端姿态的历史可被用于在一段时间内重建细长设备1310的形状。
98.如图13所示，器械主体1312相对于器械托架1306被耦接和固定。在一些实施例中，光纤形状传感器1314被固定在器械主体1312上的近侧点1316处。在一些实施例中，光纤形状传感器1314的近侧点1316可以是与器械主体1312一起可移动的，但近侧点1316的位置可以是已知的(例如，通过跟踪传感器或其他跟踪设备获知)。形状传感器1314测量在医疗器械参考系(xm、ym、zm)中从近侧点1316到另一点(例如细长设备1310的远端1318)的形状。
99.细长设备1310包括通道(未示出)，该通道被设定尺寸和形状以接收医疗器械1322。在一些实施例中，医疗器械1322可被用于诸如手术、活检、消融、照明、冲洗或抽吸之类的程序。可以将医疗器械1322部署穿过细长设备1310并在解剖结构内的目标位置处使用。医疗器械1322可以包括例如图像捕获探针、活检器械、激光消融纤维和/或其他手术、诊断或治疗工具。医疗器械1322可以从细长设备1310的远端1318被推进以执行该程序，然后在该程序完成时被收回到通道中。医疗器械1322可以被从细长设备1310的近端移除，或者从沿着细长设备1310的另一可选器械端口(未示出)移除。
100.细长设备1010还可以容纳缆线、联动装置或其他转向控件(未示出)以可控地弯曲远端1318。在一些示例中，至少四根缆线被用于提供独立的“上-下”转向以控制远端1318的俯仰，并且提供“左-右”转向以控制远端1318的偏航。
101.方位测量设备1320在器械主体1312沿着插入轴线a在插入级1308上移动时提供关于器械主体1312的方位的信息。方位测量设备1320可以包括旋转变压器、编码器、电位计
和/或其他传感器，这些传感器确定控制器械托架1306的运动并因此确定器械主体1312的运动的致动器的旋转和/或取向。在一些实施例中，插入级1308是线性的，而在其他实施例中，插入级1308可以是弯曲的或者具有弯曲区段和线性区段的组合。
102.术中成像系统1330(例如，成像系统1218)被布置在患者p附近，以在细长设备1310在患者体内延伸时获得患者的三维图像。术中成像系统1330可以提供患者p的实时或接近实时的图像。
103.在一些实施例中，医疗器械1304或配准到医疗器械1304的机器人辅助医疗系统的另一部件可以包括器械时钟1324。成像系统1330可以包括成像时钟1326。时钟1324、1326可以按照预定时间表或响应于由用户、控制系统或同步系统生成的同步启动事件而在时间上同步。在一些实施例中，时钟1324、1326可以是同步系统的部件，该同步系统可以是进一步包括服务器、有线或无线通信网络、通信设备或用于执行同步算法和协议的其他部件的集中式或分布式系统。在一些实施例中，医疗器械1304或配准到医疗器械1304的机器人辅助医疗系统的其他部件可以包括通信设备1328。成像系统1330可以包括通信设备1332。
104.在本说明书中，已经阐述了描述一些实施例的具体细节。为了提供对实施例的全面理解，提出了许多具体细节。然而，对于本领域技术人员来说，可以在没有这些特定细节中的一些或全部的情况下实践一些实施例是显而易见的。本文公开的具体实施例旨在进行说明但不作为限制。本领域技术人员可以实现尽管没有在此处具体描述但是在本公开的范围和精神内的其他元件。
105.只要可行，参考一个实施例、实施方式或应用任选地详细描述的元素可以被包括在未具体示出或描述的其他实施例、实施方式或应用中。例如，如果参考一个实施例详细描述了一个元件，而没有参考第二实施例进行描述，则该元件仍然可以被要求保护为包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，除非另有特别描述，否则与一个实施例、实施方式或应用相关联地示出和描述的一个或多个元件可以被并入到其他实施例、实施方式或方面中，除非该一个或多个元件将使实施例或实施方式不起作用，或者除非两个或更多个元件提供冲突的功能。
106.对所描述的设备、器械、方法以及本公开的原理的任何进一步应用的任何改变和进一步修改全部是本公开所涉及的领域的技术人员通常会想到的。特别地，完全可以预见到，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤相结合。此外，本文提供的尺寸是用于特定示例的，并且可以设想不同的大小、尺寸和/或比率可以用于实现本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以在适用于其他说明性实施例时被使用或省略。为了简洁起见，将不单独描述这些组合的多次迭代。为了简单起见，在一些情况下，贯穿附图使用相同的附图标记被来指代相同或相似的零件。
107.尽管本文提供了关于医疗程序的一些实施例，但对医疗或手术器械以及医疗或手术方法的任何引用都是非限制性的。例如，本文所述的器械、系统和方法可用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。其他示例性应用涉及美容改进、人体或动物解剖学的成像、从人体或动物解剖结构收集数据以及培训医疗或非医疗人员。附加的示例性应用包括用于对从人或动物解剖结构移除的组织进行手术(而不返回到人或动物解剖结构)以及在人或动物尸体上进行手术。此外，这些技术也可用于手术和非
手术医疗处理或诊断程序。
108.本文所描述的方法被图示为一组操作或过程。并非所有说明的过程都可以在方法的所有实施例中执行。此外，未明确图示或描述的一个或多个过程可以被包括在示例性过程之前、之后、中间或作为示例性过程的一部分。在一些实施例中，一个或多个过程可以由控制系统(例如，控制系统112)执行，或者可以至少部分地以存储在非暂时的有形的机器可读介质上的可执行代码的形式来实施，当由一个或多个处理器(例如控制系统112的处理器114)运行时，可执行代码可以使一个或多个处理器执行一个或多个过程。
109.本公开的实施例中的一个或多个元件可以在软件中实施，以在诸如控制处理系统之类的计算机系统的处理器上执行。当在软件中实施时，实施例的元素本质上是执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或设备中，其可以通过在传输介质或通信链路上的载波中包含的计算机数据信号来下载。处理器可读存储设备可以包括能够存储信息的任何介质，包括光学介质、半导体介质和磁性介质。处理器可读存储设备的示例包括：电子电路；半导体器件、半导体存储器器件、只读存储器(rom)、闪存、可擦除可编程只读存储器(eprom)；软盘、cd-rom、光盘、硬盘或其他存储设备。可以经由诸如因特网、内联网等计算机网络来下载代码段。可以采用各种各样的集中式或分布式数据处理架构中的任何一种。编程指令可以被实施为多个单独的程序或子例程，或者它们可以被集成到本文所述的系统的多个其他方面中。在一个实施例中，控制系统支持无线通信协议，例如蓝牙、irda、homerf、ieee 802.11、dect和无线遥测。
110.注意，所呈现的过程和显示可能并不固有地与任何特定的计算机或其他设备相关。根据本文的教导，各种通用系统可以与程序一起使用，或者可以证明构造更专业的装置来执行所描述的操作是方便的。这些系统中的各种方法所需的结构将作为权利要求中的元件出现。此外，没有参考任何特定的编程语言来描述实施例。应当理解，可以使用多种编程语言来实现本文所描述的教导。
111.在一些情况下，没有详细描述公知的方法、过程、部件和电路，以免不必要地混淆实施例的各方面。本公开根据它们在三维空间中的状态来描述各种器械、器械的部分和解剖结构。如本文所用，术语“方位”是指物体或物体的一部分在三维空间中的位置(例如，沿笛卡尔x坐标、y坐标和z坐标的三个平移自由度)。如本文所用，术语“取向”是指物体或物体一部分的旋转放置(三个旋转自由度，例如滚转、俯仰和偏航)。如本文所用，术语“姿态”是指物体或物体的一部分在至少一个平移自由度上的方位，以及该物体或物体的一部分在至少一个旋转自由度上(总共多达6个自由度)的取向。如本文所用，术语“形状”是指沿着物体测量的一组姿势、方位或取向。
112.虽然在附图中描述和显示了某些说明性的实施例，但应理解，这些实施例仅仅是对本发明的说明，而不是对本发明的限制，并且本发明的实施例不限于所显示和描述的具体结构和布置，因为对于本领域的普通技术人员来说，可能会出现各种其它的修改。

技术特征：
1.一种系统，包括：处理器；和存储器，其具有存储于其上的计算机可读指令，其中所述计算机可读指令在由所述处理器执行时使所述系统：在成像系统的图像捕获时段期间记录器械的形状数据；从所述成像系统接收与所述图像捕获时段相对应的图像数据，其中所述图像数据的一部分与所述器械相对应；识别所述图像数据中的目标；分割与所述器械相对应的所述图像数据的所述部分；通过将所述形状数据和与所述器械相对应的所述图像数据的所述部分进行比较，将所述图像数据配准到所述形状数据；以及基于所述图像数据将所述目标的位置从术前位置更新到术中位置。2.根据权利要求1所述的系统，其中所述器械的所述形状数据是从在所述器械内延伸的光纤形状传感器记录的。3.根据权利要求1所述的系统，其中所述计算机可读指令使所述系统响应于从所述成像系统接收到定时信号而启动记录所述形状数据。4.根据权利要求3所述的系统，其中所述定时信号包括包含所述图像数据的流。5.根据权利要求3所述的系统，其中所述定时信号源自所述成像系统的应用编程接口。6.根据权利要求1所述的系统，其中所述计算机可读指令使所述系统响应于用户命令而启动记录所述形状数据。7.根据权利要求6所述的系统，其中所述计算机可读指令使所述系统响应于第二用户命令而停止记录所述形状数据。8.根据权利要求6所述的系统，其中所述计算机可读指令使所述系统在所述图像捕获时段已逝去之后自动停止记录所述形状数据。9.根据权利要求1所述的系统，其中所述计算机可读指令使所述系统在确定所述器械停放得非常接近所述目标的所述术前位置时启动记录所述形状数据。10.根据权利要求1所述的系统，其中所述计算机可读指令使所述系统在基于所述形状数据确定已开始屏气时启动记录所述形状数据。11.根据权利要求1所述的系统，其中接收所述图像数据包括使用dicom标准与所述成像系统通信。12.根据权利要求1所述的系统，其中以伪ct格式的最大强度投影(mip)接收所述图像数据。13.根据权利要求1所述的系统，其中所述图像数据包括至少一个时间戳，所述至少一个时间戳指示捕获所述图像数据的时间。14.根据权利要求1所述的系统，其中识别所述目标是通过用户选择呈现在显示器上的所述图像数据的部分来手动执行的。15.根据权利要求1所述的系统，其中识别所述目标包括在所述器械的预定范围内的所述图像数据中建立感兴趣区域并且分析所述感兴趣区域以从所述感兴趣区域中分割所述目标。
16.根据权利要求1所述的系统，其中所述计算机可读指令进一步使所述系统确定识别所述目标已产生令人不满意的结果。17.根据权利要求16所述的系统，其中所述计算机可读指令进一步使所述系统由于确定识别所述目标已产生令人不满意的结果而指示用户手动识别所述图像数据中的所述目标。18.根据权利要求1所述的系统，其中所述计算机可读指令进一步使所述系统基于所述目标的所述术前位置和所述目标的所述术中位置将来自第二成像系统的第二图像数据配准到所述图像数据。19.根据权利要求1所述的系统，其中分割与所述器械相对应的所述图像数据的所述部分包括分析所述图像数据的离散单元以将强度值分配给每个离散单元。20.根据权利要求19所述的系统，其中分割与所述器械相对应的所述图像数据的所述部分进一步包括聚集具有相似强度值的离散单元以形成部件。21.根据权利要求20所述的系统，其中分割与所述器械相对应的所述图像数据的所述部分进一步包括利用形态学操作来互连具有相似强度值的不连续部件。22.根据权利要求20所述的系统，其中分割与所述器械相对应的所述图像数据的所述部分包括基于与目标的接近度、所述形状数据、所述器械与患者的近似配准或期望的器械强度中的一个或多个来选择与所述器械相关联的部件。23.根据权利要求22所述的系统，其中所述期望的器械强度包括与组成所述器械的材料相关联的强度值范围。24.根据权利要求22所述的系统，其中所述计算机可读指令进一步使所述系统利用算法来建立所述期望的器械强度。25.根据权利要求19所述的系统，其中分割与所述器械相对应的所述图像数据的所述部分利用由所述系统使用深度学习建立的过程。26.根据权利要求1所述的系统，其中所述计算机可读指令进一步使所述系统确定分割与所述器械相对应的所述图像数据的所述部分已产生令人不满意的结果。27.根据权利要求26所述的系统，其中所述计算机可读指令进一步使所述系统由于确定分割与所述器械相对应的所述图像数据的所述部分已产生令人不满意的结果而实施低精度模式。28.根据权利要求27所述的系统，其中所述低精度模式允许通过平移同时防止旋转而进行配准。29.根据权利要求26所述的系统，其中所述计算机可读指令进一步使所述系统由于确定分割与所述器械相对应的所述图像数据的所述部分已产生令人不满意的结果而指示用户手动识别所述图像数据中的所述器械。30.根据权利要求1所述的系统，其中使用迭代最近点算法来执行将所述图像数据配准到所述形状数据。31.根据权利要求30所述的系统，其中将所述图像数据配准到所述形状数据包括基于分割质量对由所述迭代最近点算法获得的值进行加权。32.根据权利要求1所述的系统，其中使用相干点漂移来执行将所述图像数据配准到所述形状数据。
33.根据权利要求1所述的系统，其中基于不确定性度量来执行将所述图像数据配准到所述形状数据。34.根据权利要求1所述的系统，其中所述计算机可读指令进一步使所述系统确定将所述图像数据配准到所述形状数据已产生令人不满意的结果。35.根据权利要求34所述的系统，其中所述计算机可读指令进一步使所述系统由于确定将所述图像数据配准到所述形状数据已产生令人不满意的结果而实施低精度模式。36.根据权利要求1所述的系统，其中所述目标的所述术前位置基于来自第二成像系统的术前图像数据。37.根据权利要求1所述的系统，其中更新所述目标的位置包括计算与所述目标的所述术中位置相关联的确定性/不确定性度量。38.根据权利要求1所述的系统，其中所述计算机可读指令进一步使所述系统在从所述成像系统接收图像数据之前引导所述器械的远端相对于所述目标的所述术前位置移动到预定位置。39.根据权利要求1所述的系统，其中所述计算机可读指令进一步使所述系统在从所述成像系统接收所述图像数据之前分析所述器械的初步形状，以确定分割和/或配准是否可能成功。40.根据权利要求39所述的系统，其中所述计算机可读指令进一步使所述系统生成指令，以将所述器械的所述初步形状修正为更可能实现成功分割和/或配准的配置。41.根据权利要求1所述的系统，其中所述计算机可读指令进一步使所述系统过滤所述形状数据以生成与所述图像数据相对应的器械形状。42.根据权利要求1所述的系统，其中所述计算机可读指令进一步使所述系统分析所述形状数据以确定所述器械的移动程度是否超过移动幅度阈值。43.根据权利要求1所述的系统，其进一步包括所述成像系统。44.根据权利要求1所述的系统，其进一步包括所述器械。45.一种方法，包括：在成像系统的图像捕获时段期间记录器械的形状数据；从所述成像系统接收与所述图像捕获时段相对应的图像数据，其中所述图像数据的一部分与所述器械相对应；识别所述图像数据中的目标；对所述图像数据的所述部分进行分割；通过将所述形状数据和与所述器械相对应的所述图像数据的所述部分进行比较，将所述图像数据配准到所述形状信息；以及基于所述图像数据将所述目标的位置从术前位置更新为术中位置。46.一种系统，包括：处理器；和存储器，其具有存储于其上的计算机可读指令，其中所述计算机可读指令在由所述处理器执行时使所述系统：在成像系统的图像捕获时段期间记录设置在患者的解剖通道中的器械的形状数据；从所述成像系统接收与所述图像捕获时段相对应的图像数据，其中所述图像数据的一
部分与所述器械相对应；分割与所述器械相对应的所述图像数据的所述部分；分割与所述解剖通道相对应的所述图像数据的部分；通过将所述形状数据和与所述器械相对应的所述图像数据的所述部分进行比较，将所述图像信息配准到所述形状信息；以及基于所述图像数据将所述解剖通道中的至少一个的位置从术前位置更新到术中位置。47.根据权利要求46所述的系统，其中所述计算机可读指令进一步使所述系统基于所述图像数据将目标的位置从术前位置更新到术中位置。

技术总结
一种系统可以包括处理器和具有存储于其上的计算机可读指令的存储器。当由处理器执行时，计算机可读指令使该系统在成像系统的图像捕获时段期间记录器械的形状数据，并从成像系统接收与图像捕获时段相对应的图像数据。图像数据的一部分与器械相对应。计算机可读指令进一步使该系统识别图像数据中的目标，分割图像数据的所述部分，通过将形状数据和与器械相对应的图像数据的所述部分进行比较来将图像数据配准到形状数据，并且基于图像数据将目标的位置从术前位置更新到术中位置。位置从术前位置更新到术中位置。位置从术前位置更新到术中位置。


技术研发人员：S
受保护的技术使用者：直观外科手术操作公司
技术研发日：2021.12.28
技术公布日：2023/10/15