通过数字图像相关跟踪视网膜牵引的制作方法

1.本公开涉及一种用于量化、跟踪和减轻视网膜手术期间视网膜上的牵引力的基于成像的策略。


背景技术：

2.眼睛的玻璃体切除术和其他有创手术需要外科医生将专门的外科手术工具插入到患者眼球的玻璃体腔中，然后在执行特定的外科手术技术时操纵这些外科手术工具。外科医生的动作由视网膜和周围眼内组织的高度放大图像实时指导。为此，放大的视网膜图像通常显示在外科医生和其他主治临床医生的视野内。同时，放大的视网膜可以通过其他方式观看，如通过高倍眼科显微镜的目镜观看。
3.如本领域所理解的，玻璃体腔在人眼的晶状体与视网膜之间延伸，其中，晶状体和视网膜分别位于眼球的前部区域和后部区域。玻璃体腔被称为玻璃体液的透明凝胶状物质占据，玻璃体液本身被包裹在称为玻璃体皮质的薄膜内。视网膜通过另一层薄的中间组织(即内界膜或ilm)与玻璃体隔离。
4.由于ilm粘附在视网膜表面，因此常见的眼科手术(如黄斑裂孔或视网膜撕裂的修复、疤痕组织的去除和其他精细的眼部手术)可能需要主治医生牢牢地抓住ilm并小心地将其从背衬视网膜上剥离。ilm剥离具有放松受干扰视网膜的效果，同时也为外科医生提供了不受阻碍地接近视网膜表面的通道。ilm剥离手术的执行涉及外科医生对ilm施加的牵引力的有意应用。当外科医生操纵ilm远离视网膜时，这种力会转移到附着的视网膜上。由此产生的跨视网膜表面的牵引在本文中和在一般技术中被称为视网膜牵引。


技术实现要素：

5.本文公开了用于量化眼科手术(主要但不一定限于玻璃体切除术和其他有创眼部手术)执行期间的视网膜牵引的基于自动成像的系统和方法。如本领域所理解的，用于操纵内界膜(ilm)的替代性方法包括镊子辅助的“捏和剥”技术和基于摩擦的技术，后者利用专门的刮削环，例如，可从爱尔康有限公司(alcon，inc.)商购获得的finesse
tm
柔性环形弯曲镍钛诺环。使用这两种示例性工具会导致视网膜牵引，这有时可能导致医源性ilm撕裂和其他可能的眼部创伤。
6.给定患者眼睛的ilm结构完整性往往由于如遗传、年龄、损伤和疾病等因素而变化。因此，很难预测特定幅度和持续时间的施加视网膜牵引对给定患者眼睛的影响。同样，外科医生技能水平的变化、给定外科医生所采用的外科手术工具的内在能力和局限性以及其他因素可能会产生截然不同的最终结果。因此，本解决方案旨在减少视网膜手术期间的不确定性，同时改善外科手术结果并提高外科医生的整体信心。
7.为了实现这些和其他可能的目标，本方法依赖于收集和处理视网膜的立体图像，以及自动和/或在外科医生的指导下将目标像素(“跟踪点”)指派为立体图像数据的立体图像对内的重合像素。在不同的实施例中，使用电子控制单元(ecu)(例如独立或分布式计算
机装置，或与立体相机部分地或完全地集成的相关联硬件)在眼科手术期间密切监测所指派的跟踪点的相对运动。
8.本文所述的ecu使用牵引模型来自动量化视网膜牵引，其中，ecu最终输出指示这种视网膜牵引的幅度的数字牵引系数。在简化的方法中，数字牵引系数可以是指示幅度的无单位值，例如，最大值为1且最小值为0的归一化值。ecu基于数字牵引系数实时自动地提醒外科医生，如当可能在视网膜的整个表面区域上或者在其指定区或区域内平均的数字牵引系数超过对应牵引阈值时。在一些实施例中，可以生成实时音频、视觉和/或触觉警报，以使得外科医生能够对由外科医生施加给ilm的拖力或拉力做出更明智的调整。
9.在非限制性示例性实施例中，用于量化眼科手术期间的这种视网膜牵引的跟踪系统包括指示器装置、立体相机和ecu。在该特定实施例中与指示器装置进行有线或无线通信的ecu被配置成从立体相机接收立体图像数据，其中，ecu可能与立体相机集成或者作为与其通信的单独硬件存在。然后，控制器自主地或使用外科医生指导的输入信号指派立体图像对内的目标像素，其中，为了简单明了，这种指派的目标像素在下文中被称为“跟踪点”。
10.该代表性配置中的ecu用上述牵引模型进行编程。虽然可以使用各种方法来实施所设想的牵引模型，但一种可能的解决方案包括基于软件的逻辑框，该逻辑框被配置成对所收集的立体图像自动执行数字图像相关(dic)处理，其中，dic处理用于确定跟踪点的相对运动。然后，ecu例如使用查找表将跟踪点的相对运动与引起这种运动发生的特定视网膜牵引相关联，然后，ecu输出上述数字牵引系数。因此，所提供的数字牵引系数指示如上所述的视网膜牵引的幅度。然后，ecu基于数字牵引系数针对指示器装置执行适当的控制动作，例如当数字牵引系数的幅度超过预先校准的阈值或用户可校准的阈值时。
11.为了确保ecu跟踪的相对运动主要是由外科医生施加的视网膜牵引而不是由如患者引起的和/或外部引起的眼睛运动等其他力引起的基线运动引起的，ecu可以被配置成将自由体/实心体运动滤波器应用于相对运动，以考虑并最终滤出这种基线运动。
12.指示器装置可以包括一个或多个高分辨率显示屏，例如4k或更高分辨率的led背光医疗级监视器。在这样的实施例中，ecu可以被配置成单独或结合文本消息或提示经由(多个)显示屏自动呈现视网膜表面的直观“热图”。在一些配置中，例如，在逐像素或逐区域的基础上，所显示的热图(其以图形方式表示视网膜牵引的当前水平)可以精准确定相对高牵引的位置。这样的热图可以如以叠加到三维眼底图像的形式显示在所显示的视网膜立体图像的顶部，以指示对应的高牵引区。
13.还公开了一种用于量化眼科手术期间的视网膜牵引的附属方法。根据示例性实施例，该方法包括在眼科手术期间经由ecu从立体相机接收立体图像数据，其中，立体图像数据包括立体图像对。该方法还包括将跟踪点指派为立体图像对内的重合像素，并使用立体图像对经由ecu自动执行dic处理。以这种方式，ecu确定跟踪点的相对运动。
14.此外，该特定实施例中的方法包括使用ecu的牵引图将跟踪点的相对运动与视网膜牵引相关联，从而确定指示视网膜牵引的幅度的数字牵引系数。然后，ecu使用指示器装置来执行控制动作，其中，控制动作基于数字牵引系数并且指示视网膜牵引的幅度。
15.本文还公开了一种用于量化患者眼睛的视网膜上的视网膜牵引的系统，其中，该系统包括中央处理单元(cpu)和计算机可读介质，在该计算机可读介质上记录了一组指令。由cpu执行指令使得cpu在眼科手术期间从立体相机接收包括一个或多个立体图像对的立
体图像数据，并且将跟踪点指派为(多个)立体图像对内的重合像素。cpu还使用立体图像自动执行dic处理，以确定跟踪点的相对运动。在该特定实施例中，cpu使用牵引图将跟踪点的相对运动与视网膜牵引相关联，作为指示视网膜牵引的幅度的数字牵引系数。然后，当数字牵引系数超过一个或多个校准的牵引阈值时，cpu将控制信号传送到外部指示器装置。
16.通过以下结合附图对实施本公开的最佳模式的详细描述，本公开的上述特征和优点以及其他可能的特征和优点将显现。
附图说明
17.图1是使用跟踪系统的手术室设置的示意性图示，该跟踪系统用于使用数字图像相关(dic)处理自动量化和跟踪代表性眼科手术期间的视网膜牵引。
18.图2是代表性眼科手术的示意性描绘，其中，内界膜(ilm)被抓住并从视网膜上剥离，从而向视网膜施加牵引力。
19.图3是图1中所示的跟踪系统的示例性实施例。
20.图4是描绘了根据本公开的方面的视网膜牵引升高的区域或区的热图的示意性图示。
21.图5是可用作所公开解决方案的一部分的立体图像数据和相关联的跟踪点的示意性图示。
22.图6是描述了用于使用图1所示的牵引系统量化和跟踪视网膜牵引的示例性方法的流程图。
23.通过以下结合附图进行的说明和所附权利要求，本公开的前述和其他特征更加充分显现。
具体实施方式
24.本文描述了本公开的实施例。然而，应当理解，所公开的实施例仅是示例，并且其他实施例可以采取各种替代形式。这些附图不一定按比例绘制。一些特征可以被放大或者最小化以便示出具体部件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅作为用于传授本领域技术人员以不同方式采用本公开的代表性基础。如本领域普通技术人员将理解的，参考任一附图图示和描述的各种特征可以与一个或多个其他附图中图示的特征进行组合，以产生未明确图示或描述的实施例。图示的特征组合为典型应用提供了代表性实施例。然而，对于特定的应用或实施方式，可能需要与本公开的教导相一致的特征的各种组合和修改。
25.在以下描述中，某些术语可以仅用于参考目的，因此不旨在进行限制。例如，比如“上方”和“下方”等术语是指附图中所参考的方向。比如“前”、“后”、“之前”、“之后”、“左”、“右”“后方”和“侧”等术语描述了部件或元件的部分在一致但任意的参考系内的取向和/或位置，这通过参考描述所讨论的部件或元件的文本和相关联附图而变得清楚。此外，比如“第一”、“第二”、“第三”等术语可以用于描述单独的部件。这种术语可以包括以上具体提到的词语、其派生词以及类似含义的词语。
26.参考附图，其中，相似的附图标记指代相似的部件，图1中示意性地描绘了代表性外科手术间10。这种外科手术间10可以配备有多轴外科手术机器人12和操作平台14，例如，
如图所示的桌子或可调节/可倾斜的手术椅。当外科手术间10被外科手术团队(未示出)占据时，多轴外科手术机器人12可以连接到立体相机16，通过该立体相机可以在高放大率下以三维方式可视化患者的眼内解剖结构，如本领域所理解的。使用相关联的硬件和软件，以平视方式使用三维(3d)观看眼镜(未示出)的外科医生能够使用视网膜25和周围解剖结构的高度放大的3d图像18和118来准确地可视化目标组织，该目标组织可以使用对应的高分辨率医学显示屏20和/或200来显示或投影。这样的显示屏20和200是如图3所示的使得外科医生能够平视观看的指示器装置(ind)20a的一个可能的实施例。相对于通过眼科显微镜的目镜从上到下观看目标组织的常规方法，以这种方式平视观看具有减少外科医生颈部和背部上的应力和应变的益处。
27.立体相机16(其可以如图1的示例性实施例中所示进行配置或者以各种其他适合应用的尺寸和/或形状进行配置)包括本地控制处理器(lcp)36或与其通信连接。lcp 36可以体现为微处理器、专用集成电路(asic)、中央处理器单元等，并且被配置成收集和输出立体图像数据38。也就是说，对于根据预定采样间隔的每个时刻，同时收集两个数字图像作为立体图像对38p(图像1，图像2)。如本领域所理解的，当外科医生和其他主治临床医生通过3d眼镜观看立体图像对38p时，立体图像对38p会聚成3d图像。
28.现代眼科/外科手术质量光学装置不断发展的能力实现了视网膜25和其他眼内解剖结构的外科手术上有用水平的光学和/或数字放大率以及数字成像。立体相机16就是这样一种装置。因此，在玻璃体切除术或其他眼科手术期间来自立体相机16的立体图像数据38的实时可用性是用于下文参考图2至图6描述的本解决方案的使能技术。相对于外科医生在整个手术过程期间通过光学目镜观看视网膜25的使用常规眼科显微镜的方法，本解决方案允许外科医生保持更符合人体工程学的“平视”姿势，从而减少外科医生颈部和背部的应力和应变。
29.图1的示例性外科手术间10内还呈现了机柜22，该机柜包含与图3的指示器装置20a通信的电子控制单元(ecu)50。在不同的可能的实施方式中，体现如图6所例示的方法70的计算机可读指令可以驻留在ecu 50上。ecu 50又可以是如图1所示的独立计算机、分布式/网络化系统，或者与立体相机16部分地或完全地集成。在可选位置被描绘为与显示屏20并置的机柜22可以被定位在外科手术间10中的其他地方。这样的机柜22可以由轻量且易于消毒的构造(如涂漆铝或不锈钢)构成，并且用于保护组成硬件免受可能的灰尘侵入、碎屑侵入和湿气侵入。为了提高可视性，光可以由安装到立体相机16的光学头的灯17发射，并且可能由插入到图3的患者眼睛30中的内照明器32发射。
30.图1的ecu 50被配置成接收立体图像数据38，即，由箭头图像1和图像2示意性地表示的顺序立体图像对38p，其中，ecu 50实时地从立体相机16接收这样的立体图像数据38。作为方法70的一部分，ecu 50自主地或在外科医生的参与下将跟踪点指派为立体图像对38p内的重合像素，并且然后自动地对立体图像对38p执行数字图像相关(dic)处理以确定跟踪点的相对运动。另外地，ecu 50如通过使用如图3所描绘的牵引图55将跟踪点的相对运动与视网膜牵引相关联，其中，ecu 50这样做作为指示视网膜牵引的幅度的数字牵引系数。然后，ecu 50基于数字牵引系数针对图3的(多个)指示器装置20a和/或20b和/或其他音频、视觉或触觉装置执行控制动作。
31.简要地参考图2，示出了代表性患者眼睛30正在经历内界膜(ilm)剥离手术，在该
手术中，使用外科手术工具34小心地将ilm 31从背衬视网膜25分离并剥离。为了完成ilm剥离，外科医生小心地操纵外科手术工具34以向ilm 31施加牵引力(箭头f
t
)。以这种方式，外科医生能够暴露视网膜25，为在其上进行工作做准备。在实际操作中，ilm 31是薄的、柔性的和透明的，不容易识别。因此，外科医生通常将少量的对比度增强染色染料(如吲哚菁绿(icg)或膜蓝双色(荷兰国际眼科研究中心(dorc international)))应用于ilm 31，以对ilm 31进行轻微染色，从而提高对比度。随着以这种方式增强ilm 31的可视化，外科医生可以开始剥离ilm 31以暴露视网膜25，如本领域所理解的。
32.如上所述，由于如遗传、年龄、损伤和疾病等因素，给定患者的ilm 31的结构完整性预计可能会变化非常大。因此，在没有本教导的情况下，很难预测特定外科手术实例期间视网膜牵引的影响。同样，随着时间的推移，外科手术技能和内在能力的变化以及外科手术工具的特定选择可以共同产生不同的外科手术结果。因此，本解决方案旨在促进在ilm剥离和其他手术期间对视网膜牵引的实时监测，同时也为外科医生提供了实时直观的反馈。监测和直观反馈一起允许外科医生无论是单独工作还是在图3的示例性外科手术机器人60的帮助下工作，都可以进行任何必要的调整以获得最佳外科手术结果。
33.现在参考图3，示出了患者眼睛30在如本文详细所述构造的跟踪系统100的操作期间正在经历代表性眼科手术13，在本实例中是有创玻璃体视网膜手术。跟踪系统100可操作用于量化患者眼睛30内的视网膜牵引。为此，跟踪系统100包括指示器装置20a和20b、立体相机16和ecu 50，在一些实施例中，后两者可以集成到整体式装置中。在眼科手术13的过程期间，内照明器32可以被插入到患者眼睛30的玻璃体腔15中。从内照明器32的远端e1发射的光ll以及来自图1的灯17的一些光被用于照射玻璃体腔15。可以使用多种不同的照明技术来发射光ll，比如但不限于红/绿/蓝(rgb)激光器、发光二极管(led)、卤素灯泡等。
34.在图3的代表性眼科手术13期间，外科医生可能需要将外科手术工具34插入到玻璃体腔15中，以便在视网膜25上或附近执行手术任务。如本领域技术人员所理解的，图2中所示的用于操纵ilm 31的传统方法包括镊子辅助的“捏和剥”技术，或专用刮削工具的替代性使用，如来自爱尔康有限公司的finesse
tm
柔性环形弯曲镍钛诺环。因此，在本公开的范围内的外科手术工具34可以涵盖一个或两个装置。
35.上述技术通常使用外科医生的灵巧技能手动执行以操纵外科手术工具34。然而，不断发展的机器视觉辅助机器人外科手术技术使得能够在一些实施例中构造半自动或自动剥离手术，例如，使用多轴外科手术机器人60。例如，外科手术工具34可以附接到外科手术机器人60的末端执行器60e，该末端执行器又可以被放置成与ecu 50通信。这种外科手术机器人60可以由外科医生通过与ecu 50的交互直接地或经由如外科手术工作站的人机接口(未示出)来远程操作。可替代地，外科手术机器人60可以具有有限的支撑功能，如通过支撑外科手术工具34的重量来卸载外科医生的应力、减少震颤的情况等，同时仅将操纵动作留给外科医生。如本领域所理解的，当测量视网膜压痕力时，由外科手术机器人60在某种程度上执行或支持的这种自动剥离技术将需要深入了解视网膜牵引。
36.关于内照明器32，定向光ll入射在视网膜25的暴露表面上，以产生被照射的视网膜表面25i，包括图2的附接到视网膜25的ilm 31。内照明器32联接到附属的电源(ps)37，该电源可经由来自ecu 50或另一控制处理器的照明控制信号(箭头cc
l
)控制，如适于确保定向光(箭头ll)的可靠产生和传输的滤波壁式电源插座或电池组和功率逆变器。在眼科手术
13的过程期间，立体相机16收集被照射的视网膜表面25i和ilm 31的立体图像数据38(图2)，然后将所收集的立体图像数据38传输到ecu 50，用于根据本视网膜牵引(r-trac)方法70进行处理。
37.指示器装置(ind)20a(例如，图1的显示屏20和/或200)同样与ecu 50通信，并且被配置成响应于来自ecu 50的指示器控制信号(箭头cc
20a
)而激活/开启。响应于指示器控制信号(箭头cc
20a
)并根据指示器装置20a的特定配置，指示器装置20a可以提供合适的视觉警报，如图4中所示的并且在下文中描述的热图45。因此，ecu50使用指示器装置20a来呈现相对于视网膜25的表面积的视网膜牵引水平的直观图形描述。
38.另一个类似配置的指示器装置20b可以与指示器装置20a结合使用以提供多个警报，可能响应于方法70的结果而升级警报。例如，指示器装置20b可以提供音频、视觉和/或触觉警报或警告。指示器装置20b的可能的实现方式是音频扬声器，在这种情况下，指示器控制信号(箭头cc
20b
)可以使指示器装置20b发出可听见的鸣响或警告音。可替代地，指示器装置20b可以包括颜色编码灯，使得接收到指示器控制信号(箭头cc
20b
)致使指示器装置20b以容易识别的方式(例如，使用红光)点亮。如低水平振动等触觉反馈可以呈现给图1的外科手术间10中的外科医生或另一临床医生，该外科手术间可能包括可穿戴装置、地板垫等。
39.尽管为了说明的清楚性和简单性，图3的ecu 50被示意性地描绘为整体式盒体，但是ecu 50可以包括一个或多个联网装置，该一个或多个联网装置各自具有中央处理单元(cpu)52和足量的存储器54，即计算机可读介质，包括参与提供可以由cpu 52读取的数据/指令的非暂态(例如，有形)介质。体现方法70和附属牵引图55的指令可以存储在存储器54中并由cpu 52执行，以使cpu 52执行本文所述的各种功能，从而可能结合可校准输入58(箭头cal)启用本方法70。
40.存储器54可以采取许多形式，包括但不限于非易失性介质和易失性介质。如本领域所理解的，非易失性介质可以包括光盘和/或磁盘或其他持久存储器，而易失性介质可以包括动态随机存取存储器(dram)、静态ram(sram)等，任何或所有这些可以构成ecu 50的主存储器。输入/输出(i/o)电路系统56可以用于促进与眼科手术13期间所使用的各种外围装置(包括立体相机16、内照明器32以及指示器装置20a和/或20b)的连接和通信。其他未描绘但本领域中通常使用的硬件可以作为ecu 50的一部分被包括，包括但不限于本地振荡器或高速时钟、信号缓冲器、滤波器等。
41.简要地参考图4，视网膜25被示出为代表性眼底图像42。如本领域所理解的，眼底图像42通常体现为视网膜25的各种关键结构(主要是视盘44、视网膜动脉46和源自其的周围静脉、以及黄斑48)的彩色、黑白或灰度图像。眼科实践中普遍使用、并且因此为主治临床医生熟知的眼底图像42可以用作所显示的热图45的直观背景。在这样的配置中，ecu 50可以被配置成将视网膜25数字地划分或以其他方式分离成多个虚拟区，其中，图4中描绘了两个这样的区z1和z2，并且将视网膜牵引映射到视网膜表面25。以这种方式，多个区可以具有对应水平的视网膜牵引，其可以被单独诊断和响应，作为例如在视网膜25的整个表面积上平均视网膜牵引并应用单个牵引阈值的替代方案。
42.在图4的可选显示配置中，ecu 50可以将热图45叠加到眼底图像42(即，由图1的立体图像对38p形成的立体图像)上，其中，该信息经由(多个)指示器装置20a和/或20b实时呈现。因此，热图45直观地提供信息，该信息一目了然地指示了视网膜25上视网膜牵引的幅度
的分布或集中。
43.现在参考图6，执行存储或记录于如图3所示的ecu 50的存储器54中的指令使得ecu 50的cpu 52和其他硬件执行方法70。方法70的代表性实施例从逻辑框b72开始，其包括例如用来自图3的内照明器32的定向光ll以及可能的来自图1的灯17的一些附加光照射图2的视网膜25。在实施逻辑框b72之前的手术步骤将包括在图3的患者眼睛30中创建切口，并小心地将内照明器32和外科手术工具34插入到玻璃体腔15中。然后，方法70进行到逻辑框b74。
44.图6的逻辑框b74需要经由ecu 50从立体相机16接收图3的立体图像数据38。这在眼科手术13期间实时发生。在一些实施例中，ecu 50可以与立体相机16分离，如为了说明清楚而描绘的。可替代地，ecu 50可以包括立体相机16的lcp 36，使得lcp 36与ecu 50集成，即，ecu 50和立体相机16实际上是单个功能单元，从而减少了部件数量，并且可能提供其他处理效率和减少的通信延迟。
45.简要地参考图5，所收集的立体图像数据38在数字实施例中由图像像素形成，并且因此图6的逻辑框b74还包括识别立体图像对38p的每个组成图像的对应像素场。例如，图像1和图像2被示出为在标称(x，y)像素坐标系中排列的8像素乘8像素(8
×
8)数字图像。由于图像1和2是在同一时刻收集的，因此图像1中的指定像素(4，5)与图像2中的相同像素(4、5)重合，依此类推。也就是说，在给定的立体图像对38p内，图像1的像素(4，5)与图像2的像素(4，5)重合。作为图6的逻辑框b74的一部分，ecu 50自动地或在外科医生的帮助或指导下例如经由输入信号(未示出)将跟踪点指派给立体图像对38p内的至少一个重合像素。在方法70的范围内，该动作可能需要识别立体图像对38p的每个图像中的特定重合像素。或者，如果单个重合像素为跟踪提供的分辨率不足，则可以指派这样的重合像素的定义的像素簇。然后，方法70进行到逻辑框b76。
46.在图6的逻辑框b76处，图3中所示的ecu 50接下来使用所收集的立体图像数据38来量化视网膜牵引。作为逻辑框b76的一部分，ecu 50可以对立体图像数据38中的(多个)立体图像对38p自动执行上述dic处理，以便确定被指派为逻辑框b74的一部分的跟踪点的相对运动。如本领域所理解的，dic是数字图像处理技术中用于量化成像对象中的静态或动态变形、轮廓、应变、振动和其他位移的光学技术。在本实例中，成像对象是视网膜25、图2的ilm 31和周围的眼内组织，其中，对来自逻辑框b74的识别的跟踪点应用相关。
47.同样作为逻辑框b76的一部分，ecu 50还将这样的跟踪点的相对运动与如在逻辑框b74中量化的视网膜牵引相关联。例如，ecu 50可以参考图3中示意性地示出的牵引图55，例如，作为通过跟踪点的相对运动索引的查找表。例如，给定的相对运动值可以对应于本文中称为数字牵引系数的值，其中，这种值指示视网膜牵引的幅度。在可能的实施例中，这种数字牵引系数可以被归一化，其中，0对应于视网膜25上没有牵引，并且1对应于最大量牵引。在替代方案中可以使用非归一化的实施例，也可以使用实际对应的牵引值。
48.患者眼睛30的运动有时可能由于患者运动或外力而发生。例如，患者可以在手术期间移动，无论是由于患者自己的意愿还是响应于外科医生撞击患者和/或图1的平台14，或其他原因。所产生的运动在本领域中被称为自由体或实心体运动。关于这种运动，立体图像对38p中的两个重合的图像像素或跟踪点之间的相对距离在运动下保持相同。因此，本文中为了量化视网膜牵引而考虑的相对运动例如通过应用实心体运动滤波器来排除这种基
线实心体运动。这使得ecu 50能够考虑视网膜25的实心体运动作为在逻辑框b76的范围内发生的dic处理的一部分。一旦ecu 50已经确定了数字牵引系数，方法70就进行到逻辑框b78。
49.在图6的逻辑框b78处，ecu 50接下来将来自逻辑框b76的数字牵引系数与校准的牵引阈值(“牵引是否≤cal？”)或者与如上所述的与视网膜25的不同区域或区相对应的多个这种牵引阈值进行比较。当没有一个校准的牵引阈值被超过时，即当视网膜牵引小于或等于上述(多个)校准的牵引阈值时，方法70重复逻辑框b72。当ecu 50肯定地确定已经超过校准的牵引力阈值中的一个或多个时，方法70在替代方案中进行到逻辑框b80。
50.逻辑框b80涉及基于数字牵引系数执行控制动作，其中，控制动作指示视网膜牵引。例如，ecu 50可以响应于数字牵引系数超过校准的牵引阈值而以适当的方式激活指示器装置20a和/或20b。在使用图3的多轴外科手术机器人60的实施例中，控制动作可以包括将运动控制信号传输到外科手术机器人60，并且特别是传输到如本领域所理解的其一个或多个旋转关节，以改变力卸载的位置，或者在可能的自主实施例中改变刮削力、拉/拖力，和/或响应于数字牵引系数所需的其他值。
51.作为逻辑框b80的一部分，当确定ecu 50应该执行许多可能的控制动作中的哪一个时，ecu 50可以考虑到逻辑框b78中超过给定牵引阈值的幅度。也就是说，控制动作可以与视网膜牵引的当前水平与被超过的牵引阈值之间的差异的幅度相称，其中，ecu 50可能会随着幅度增加而升级对应的警报。执行控制动作可以可选地包括在数字牵引系数超过校准的牵引阈值时调整图1的一个或多个显示屏20和/或200的设置。
52.说明性示例包括针对图4的代表性区z1和z2建立对应的牵引阈值。ecu 50可以经由图1的显示屏20和/或200显示图4的热图45的颜色编码版本，这将使外科医生能够一目了然地辨别在特定区中相对于另一区是否施加了过多的牵引。在实施例中，ecu 50可以随着给定区中的视网膜牵引逐渐增加而自动调整“较热”区的颜色和/或亮度，如通过随着视网膜牵引增加而将该区的颜色从黄色逐渐变成红色。当超过给定区的牵引阈值时，ecu 50可以以特定的互补方式(如通过发出警告音、振动、显示警告消息等)激活图3的指示器装置20b。代替这种警告消息或除了这种警告消息之外，ecu 50可以提示外科医生使用不同的外科手术工具34，如通过建议使用环形刮刀代替镊子等。
53.通过使用图1和图3的ecu 50、图4的直观热图45以及图6中所示的方法70，执行图3中所示的眼科手术13的外科医生以直观且可能局部的方式(如果需要的话)意识到施加到视网膜25的实际牵引水平。因为除非并且直到超过给定阈值才会触发警报，所以本方法是创伤最小的并且容易经由可校准输入58(图3的箭头cal)定制以满足给定外科医生的偏好。
54.就这种可选的定制而言，本文认识到，外科手术结果高度依赖于给定外科医生所采用的个人技能和技术。为此，本公开的ecu 50可以被配置成呈现一系列阈值灵敏度选项，可能包括使用其中对所有患者使用一组校准的牵引阈值的默认设置。然而，在一些实施方式中，外科医生可能希望偏离这种默认设置，以适当地考虑外科手术偏好，或者考虑不同的患者特异性/可变参数，如年龄、性别、健康状况(如糖尿病、青光眼、高血压等)、先前的损伤、疾病和/或手术、过去的结果等。例如，在一些方法中，外科医生可以经由ecu 50被提示回答关于患者的一组问题，包括以上示例参数中的任何或全部，然后，ecu 50建议或自动地选择要结合牵引图55应用的对应阈值。
55.关于阈值调节，除了针对给定患者和/或外科医生定制方法70的使用之外，牵引阈值可以使用历史结果随时间调整。作为示例，使用许多天、几个月或几年内的多次手术的历史结果，可以随时间确定与超过一个或多个牵引阈值相关的特定控制动作可能是不必要的，或者是过早的。在这种情况下，ecu 50可以在随后的手术期间选择性地增加牵引阈值，以允许外科医生在需要时利用其专业判断采用更高水平的视网膜牵引，而不用担心损坏ilm 31或视网膜25。可替代地，当历史结果指示所施加的牵引阈值太低，从而可能导致损坏或不令人满意的结果时，ecu 50可以降低牵引阈值。
56.本领域技术人员将认识到，方法70可以被实施为记录在图3的存储器54中或单独的存储器位置中的计算机可读指令，其中，由cpu 52执行指令允许cpu 52量化图3中示意性地示出的患者眼睛30的视网膜25上的视网膜牵引。也就是说，体现方法70的指令的执行使得由cpu 52和存储器54构成的系统在眼科手术13期间从图3的立体相机16接收立体图像数据38，并且指派立体图像对38p内的跟踪点。
57.指令的执行还使得cpu 52使用立体图像对38p自动执行上述dic处理，从而确定跟踪点的相对运动，例如，如图5所示，并且使用图3的牵引图55将跟踪点的相关运动与视网膜牵引相关联，作为指示视网膜牵引的幅度的数字牵引系数。当数字牵引系数超过一个或多个校准的牵引阈值时，cpu 52单独地或使用其他相关联的硬件将控制信号(箭头cc
20a
)传送到指示器装置20a。例如，控制信号(箭头cc
20a
)可以被配置成显示图4中所示的上述颜色编码热图45，从而经由图1的显示屏20和/或200直观地显示视网膜牵引。
58.具体实施方式和附图对于本公开是支持性的和描述性的，但是本公开的范围仅由权利要求限定。虽然已经详细描述了用于实施所要求保护的公开的一些最佳模式和其他实施例，但是存在各种替代设计和实施例来实践所附权利要求中限定的公开。
59.此外，附图中所示的实施例或本说明书中提到的多个不同的实施例的特性不一定要被理解为彼此独立的实施例。而是，在实施例的这些示例之一中描述的每个特性可以与来自其他实施例的一个或多个其他期望的特性相结合，从而产生没有用文字描述或参考附图描述的其他实施例。因此，这样的其他实施例落入所附权利要求的范围框架内。

技术特征：
1.一种用于量化眼科手术期间患者眼睛中的视网膜牵引的跟踪系统，所述跟踪系统包括：指示器装置；立体相机，所述立体相机被配置成收集并输出所述患者眼睛的视网膜的立体图像数据；以及电子控制单元ecu，所述电子控制单元与所述指示器装置和所述立体相机通信，其中，所述ecu被配置成：在所述眼科手术期间从所述立体相机接收所述立体图像数据，所述立体图像数据包括立体图像对；将跟踪点指派为所述立体图像对的重合像素；对所述立体图像对自动执行数字图像相关dic处理，以确定所述跟踪点的相对运动；使用所述ecu的牵引图将所述跟踪点的相对运动与所述视网膜牵引相关联，作为指示所述视网膜牵引的幅度的数字牵引系数；并且基于所述数字牵引系数执行控制动作，其中，所述控制动作指示所述视网膜牵引。2.如权利要求1所述的跟踪系统，其中，所述立体相机包括与所述ecu集成的本地控制处理器。3.如权利要求1所述的跟踪系统，其中，作为所述dic处理的一部分，所述ecu被配置成将实心体运动滤波器应用于所述相对运动以考虑所述视网膜的实心体运动。4.如权利要求1所述的跟踪系统，其中，所述指示器装置包括一个或多个高分辨率显示屏。5.如权利要求4所述的跟踪系统，其中，所述ecu被配置成当所述数字牵引系数超过校准的牵引阈值时通过调整所述一个或多个高分辨率显示屏的设置来基于所述数字牵引系数执行所述控制动作。6.如权利要求5所述的跟踪系统，其中，调整所述一个或多个高分辨率显示屏的设置包括经由所述一个或多个高分辨率显示屏来显示所述视网膜牵引的颜色编码热图。7.如权利要求6所述的跟踪系统，其中，所述ecu被配置成在由所述立体图像对形成的立体图像的顶部显示所述视网膜牵引的颜色编码热图。8.如权利要求1所述的跟踪系统，其中，所述ecu被配置成响应于所述数字牵引系数超过校准的牵引阈值而执行所述控制动作。9.如权利要求8所述的跟踪系统，其中，所述ecu被配置成从所述跟踪系统的用户接收可校准输入，并基于所述可校准输入来调整所述校准的牵引阈值。10.一种用于量化眼科手术期间患者眼睛的视网膜上的视网膜牵引的方法，所述方法包括：在所述眼科手术期间经由电子控制单元ecu从立体相机接收所述视网膜的立体图像数据，其中，所述立体图像数据包括立体图像对；将跟踪点指派为所述立体图像对的重合像素；使用所述立体图像对经由所述ecu自动执行数字图像相关dic处理，从而确定所述跟踪点的相对运动；使用所述ecu的牵引图将所述跟踪点的相对运动与所述视网膜牵引相关联，从而确定
指示所述视网膜牵引的幅度的数字牵引系数；以及基于所述数字牵引系数使用指示器装置经由所述ecu执行控制动作，其中，所述控制动作指示所述视网膜牵引。11.如权利要求10所述的方法，其中，自动执行所述dic处理包括将实心体运动滤波器应用于所述相对运动，从而考虑所述视网膜的实心体运动。12.如权利要求10所述的方法，其中，所述指示器装置包括一个或多个显示屏，并且其中，基于所述数字牵引系数执行所述控制动作包括当所述数字牵引系数超过校准的牵引阈值时调整所述一个或多个显示屏的设置。13.如权利要求12所述的方法，其中，调整所述设置包括经由所述一个或多个显示屏来显示所述视网膜牵引的颜色编码热图。14.如权利要求13所述的方法，其中，显示所述视网膜牵引的颜色编码热图包括在由所述立体图像对形成的立体图像的顶部显示所述颜色编码热图。15.如权利要求10所述的方法，其中，响应于所述数字牵引系数执行所述控制动作包括将所述数字牵引系数与校准的牵引阈值进行比较，并且当所述数字牵引系数超过所述校准的牵引阈值时激活所述指示器装置。16.如权利要求15所述的方法，进一步包括经由所述ecu接收可校准输入，然后基于所述可校准输入来调整所述校准的牵引阈值。17.如权利要求15所述的方法，其中，所述校准的牵引阈值包括多个牵引阈值，每个牵引阈值对应于所述视网膜的不同区或区域。18.如权利要求10所述的方法，进一步包括响应于指示过去外科手术结果的历史数据而随时间调节所述校准的牵引阈值。19.一种用于量化患者眼睛的视网膜上的视网膜牵引的系统，所述系统包括：中央处理单元cpu；以及计算机可读介质，在所述计算机可读介质上记录了指令，其中，由所述cpu执行所述指令使得所述cpu：在眼科手术期间从立体相机接收立体图像数据，所述立体图像数据包括立体图像对；将跟踪点指派为所述立体图像对内的重合像素；使用所述立体图像对自动执行数字图像相关dic处理，从而确定所述跟踪点的相对运动；使用牵引图将所述跟踪点的相对运动与所述视网膜牵引相关联，作为指示所述视网膜牵引的幅度的数字牵引系数；以及当所述数字牵引系数超过一个或多个校准的牵引阈值时，将控制信号传送到指示器装置。20.如权利要求19所述的系统，其中，所述外部指示器装置包括显示屏，并且其中，所述控制信号被配置成经由所述显示屏来显示所述视网膜牵引的颜色编码热图。

技术总结
一种用于量化患者眼睛的视网膜上的视网膜牵引的跟踪系统包括指示器装置、立体相机和电子控制单元(ECU)。该立体相机收集并输出立体图像数据。与该指示器装置通信的ECU通过在眼科手术期间从该立体相机接收该立体图像数据然后将跟踪点指派为立体图像对内的重合像素来执行方法。该ECU还使用这些立体图像对自动执行数字图像相关(DIC)处理以确定这些跟踪点的相对运动，并使用牵引图将这些跟踪点的相对运动与该视网膜牵引相关联。生成指示视网膜牵引的幅度的数字牵引系数。该ECU基于该数字牵引系数使用该指示器装置来执行控制动作。牵引系数使用该指示器装置来执行控制动作。牵引系数使用该指示器装置来执行控制动作。


技术研发人员：N
受保护的技术使用者：爱尔康公司
技术研发日：2021.09.30
技术公布日：2023/9/23