一种穿刺机器人的末端导向装置及其交互方法与流程

1.本发明涉及机器人技术领域，尤其涉及一种穿刺机器人的末端导向装置及其交互方法。


背景技术：

2.在众多穿刺介入手术机器人设计案例中，机械臂作为穿刺动作导向执行机构被广泛应用。利用机械臂执行穿刺器械的递送和定位动作，通常是将穿刺装置安装于机械臂末端，基于术前计划所作出的穿刺路径，在导航装置的指引下将穿刺装置递送至病人体表，以达到为穿刺操作进行指引和导向的效果。然而在这个过程中，通常会有很多因素导致定位导航以及穿刺执行误差，例如：病人个体差异、呼吸导致组织形变、柔性组织形变、病人微小移动等，多数因素无法通过这种导航定位方法完全消除，由于医师临场操作参与度低，不能消除误差因素带来的影响，使得手术不快速、不精确、不安全。


技术实现要素：

3.有鉴于此，本发明实施例的目的是提供一种穿刺机器人的末端导向装置及其交互方法，提供微调穿刺末端位姿并实时展示超声影响，能够让医生深度参与临场操作，减少误差因素带来的影响，使得手术更快速、更精确、更安全。
4.第一方面，本发明实施例提供了一种穿刺机器人的末端导向装置，包括显示屏、机械臂对接座、电动夹爪、导向夹爪、连接臂、光学定位工件、超声探头和控制器，所述控制器分别与所述显示屏、所述电动夹爪、所述导向夹爪、所述超声探头和所述光学定位工件电连接；
5.所述超声探头用于获取穿刺针介入体内的实时超声图像，并将所述超声图像输入所述显示屏，所述超声探头设置于所述连接臂的第一端；
6.所述显示屏用于显示所述超声图像和所述穿刺机器人的运行状态、以及用于对所述末端导向装置进行末端位姿微调控制；
7.所述连接臂的第二端与所述机械臂对接座的连接，所述显示屏设置于所述连接臂上，所述第二端为所述第一端的对端；
8.所述电动夹爪用于接收来自所述显示屏所输入的驱动信息，并根据所述驱动信息夹紧穿刺针或释放穿刺针，所述电动夹爪设置于所述连接臂上；
9.所述导向夹爪设置于所述连接臂上，所述导向夹爪用于控制所述电动夹爪所夹紧的所述穿刺针的方向，所述导向夹爪与所述超声探头位于同一导向轴线；
10.所述光学定位工件设置于所述连接臂上，用于定位所述穿刺针的位姿信息，所述位姿信息用于确定所述穿刺针在所述超声影像的空间位姿。
11.可选地，所述显示屏包括触摸显示屏，所述触摸显示屏包括操控界面和显示界面，所述操控界面和所述显示界面处于同一界面。
12.可选地，所述导向夹爪包括左导向抓夹和右导向抓夹，所述左导向抓夹用于控制
所述电动夹爪向右夹紧所述穿刺针，所述右导向夹爪用于控制所述电动夹爪向左夹紧所述穿刺针。
13.可选地，所述光学定位工件包括被动标记点和支架，所述被动标记点设置于所述支架上。
14.第二方面，本发明实施例提供了一种穿刺机器人的交互方法，所述方法应用于上述的末端导向装置，包括：
15.通过所述光学定位工件定位获取所述穿刺针的位姿信息；
16.通过所述超声探头获取所述超声探头的超声影像信息；
17.对所述超声影像信息和所述位姿信息进行融合处理，得到具有所述穿刺针的超声影像，并将所述具有所述穿刺针的超声影像发送至显示屏进行显示；
18.获取第一控制信息，并根据所述第一控制信息输出第二控制信息，并根据所述第二控制信息控制所述穿刺针移动。
19.可选地，还包括心跳传感器，所述心跳传感器与所述控制器连接，所述控制器还具有心跳获取、异常警告和状态同步的任一项或多项功能。
20.可选地，所述控制器包括所述机械臂控制处理器所述根据所述第二控制信息控制所述穿刺针移动，具体包括：
21.所述机械臂控制处理器接收所述第二控制信息，并将所述第二控制信息发送至机械臂，以使所述机械臂根据所述第二控制信息控制电动抓夹和导向夹爪，所述机械臂与所述末端导向装置连接。
22.可选地，所述控制器还包括消息存储与转发服务器和可视化触控交互处理器，所述根据所述第二控制信息发送至机械臂之后，所述方法还包括：
23.所述机械臂控制处理器接收所述机械臂所发送的反馈信息；
24.所述机械臂控制处理器将所述反馈信息发送到所述消息存储与转发服务器；
25.所述消息存储与转发服务器将所述反馈信息存储并通过所述可视化触控交互处理器转发至所述显示屏。
26.可选地，所述方法还包括所述可视化触控交互处理器和所述机械臂控制处理器通过握手建立拓扑关系，所述可视化触控交互处理器和所述机械臂控制处理器通过挥手解除拓扑关系。
27.第三方面，本发明实施例提供了一种机器人，其特征在于，包括机械臂，所述机械臂末端连接有上述末端装置，上述的方法应用于所述机器人。
28.实施本发明实施例包括以下有益效果：本发明实施例通过集成在机械臂末端的超声探头实时监测穿刺介入体内的情况，并通过显示屏实时显示穿刺介入体内的情况，医生通过显示屏及时对穿刺末端位姿进行微调，减少误差因素带来的影响，使得手术更快速、更精确、更安全。
附图说明
29.图1是本发明实施例提供的一种穿刺机器人的末端导向装置的结构示意图；
30.图2是本发明实施例提供的显示屏的界面图；
31.图3是本发明实施例提供的一种穿刺机器人的交互方法的结构框图；
32.图4是本发明实施例提供的一种穿刺机器人的交互方法的流程图；
33.图5是本发明实施例提供的一种信息处理方法的示意图；
34.附图标记：超声探头1、左导向夹爪2、被动标记3、连接臂4、机械臂对接座5、显示屏6、电动夹爪7、右导向夹爪8、导向轴线9、连接臂10、摇杆式操作方式开关11、拖曳式操作方式开关12、摇杆式空间位移控制圆盘13、摇杆式延穿刺路径前进后退控制按钮14、穿刺执行深度显示15、目标病灶16、穿刺路径方向17、超声影像18、摇杆式空间姿态控制按钮19、摇杆式绕穿刺路径自传按钮20、拖曳式空间位置控制开关按钮21、拖曳式空间姿态控制开关按钮22、复位按钮23、电动夹爪开合按钮24。
具体实施方式
35.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
36.如图1所示，本发明实施例提供了一种穿刺机器人的末端导向装置，包括显示屏、机械臂对接座、电动夹爪、导向夹爪、连接臂、光学定位工件、超声探头和控制器，控制器分别与显示屏、电动夹爪、导向夹爪、超声探头和光学定位工件电连接；
37.超声探头用于获取穿刺针介入体内的实时超声图像，并将超声图像输入显示屏，超声探头设置于连接臂的第一端；
38.显示屏用于显示超声图像和穿刺机器人的运行状态、以及用于对末端导向装置进行末端位姿微调控制；
39.连接臂的第二端与机械臂对接座的连接，显示屏设置于连接臂上，第二端为第一端的对端；
40.电动夹爪用于接收来自显示屏所输入的驱动信息，并根据驱动信息夹紧穿刺针或释放穿刺针，电动夹爪设置于连接臂上；
41.导向夹爪设置于连接臂上，导向夹爪用于控制电动夹爪所夹紧的穿刺针的方向，导向夹爪与超声探头位于同一导向轴线；
42.光学定位工件设置于连接臂上，用于定位穿刺针的位姿信息，位姿信息用于确定穿刺针在超声影像的空间位姿。
43.可选地，导向夹爪包括左导向抓夹和右导向抓夹，左导向抓夹用于控制电动夹爪向右夹紧穿刺针，右导向夹爪用于控制电动夹爪向左夹紧穿刺针。
44.具体的，通过电动夹爪夹7住穿刺针，并接收显示屏6输入的驱动信息，根据驱动信息夹紧穿刺针或释放穿刺针，导向夹爪接收显示屏6输入的控制信息，并通过左导向抓夹2和右导向抓夹8导向定位穿刺针的位置，然后根据超声探头1实时获取穿刺针介入体内的实时超声图像，并将超声图像输入显示屏6，医生根据超声图像实时对所述末端导向装置进行末端位姿微调控制，进而调整穿刺针的穿刺路径。
45.参照图2，可选地，显示屏6包括触摸显示屏，触摸显示屏包括操控界面和显示界面，操控界面和显示界面处于同一界面。
46.具体的，操控界面包括控制按钮，控制按钮用于控制穿刺路径、穿刺执行深度、空间位置、空间姿态、电动夹爪开合、空间位移和复位的任一项或多项。显示界面包括超声影
像，超声影像包括目标病灶定位和穿刺路径方向。
47.在一个具体的实施例中，机械臂末端集成超声探头，用作收集穿刺介入体内情况监控；穿刺器械导引装置采用电动夹爪，根据不同介入耗材可适配不同型号的夹爪末端；机械臂末端集成超声影像实时显示屏幕以及支持触摸的虚拟摇杆操控屏幕。
48.具体的，触控界面提供丰富的控制交互方式，通过显示界面的控制按钮控制穿刺介入。其中针对穿刺器械的控制有：摇杆式空间姿态控制按钮19(末端拖拽式的位姿控制)、拖曳式空间姿态控制开关按钮22(末端拖拽式的位姿控制)、复位按钮23(回归上次规划的位姿)、电动夹爪开合按钮24(控制电动夹爪开合)；针对穿刺术中信息的展示有：穿刺执行深度显示15(当前穿刺行进深度)、目标病灶16(目标病灶在超声影像中的定位)、穿刺路径方向17(穿刺路径在超声影像中预览)、超声影像18(可进行超声影像实时显示和局部放大)。基于这些控制交互方式，医师可以全方位把握穿刺实际情况，提高手术精度以及安全性。
49.可选地，光学定位工件包括被动标记点和支架，被动标记点设置于支架上。
50.参照图1，具体的，被动标记点3设置在支架4上，通过被动标记点3来定位末端穿刺针在超声影像中的空间位姿。即是将超声影像平面转换到光学定位工件确立的物理空间坐标系，待穿刺手术部位和穿刺入针点在所述物理空间坐标系中确定位置坐标，将穿刺针的中心轴线所在平面转换到物理空间坐标系，实时反馈穿刺针针尖在物理空间坐标系中的位置坐标，然后通过显示屏控制空间位姿进而调整穿刺针，保证穿刺针准确穿刺到待穿刺手术部位。
51.实施本发明实施例包括以下有益效果：本发明实施例提供了一种穿刺机器人的末端导向装置，包括：显示屏，用于显示超声图像和所述穿刺机器人的运行状态，以及通过所述显示屏对所述末端导向装置进行末端位姿微调控制；机械臂对接座，所述机械臂对接座的第一端与所述穿刺机器人的机械臂可拆卸连接；连接臂，所述连接臂的第二端与所述机械臂对接座的第二端连接，所述显示屏设置于所述连接臂上，所述第二端为所述第一端的对端；电动夹爪，用于接收通过所述显示屏输入的驱动信息，根据所述驱动信息夹紧穿刺针或释放穿刺针，所述电动夹爪设置于所述连接臂的上表面；导向夹爪，所述导向夹爪包括左导向抓夹和右导向抓夹，所述左导向抓夹和所述右导向抓夹均设置于所述连接臂上表面，均位于所述电动夹爪的第一端，所述导向夹爪用于导向定位所述穿刺针的位置；超声探头，用于获取所述穿刺针介入体内的实时超声图像，并将所述超声图像输入所述显示屏，所述超声探头设置于所述连接臂的第一端。通过集成在机械臂末端的超声探头实时监测穿刺介入体内的情况，并通过显示屏实时显示穿刺介入体内的情况，医生通过显示屏及时对穿刺末端位姿进行微调，减少误差因素带来的影响，使得手术更快速、更精确、更安全。
52.如图3和图4所示，本发明实施例还提供了一种穿刺机器人的交互方法，所述方法应用于上述的末端导向装置，包括：
53.s100、通过光学定位工件定位获取穿刺针的位姿信息。
54.s200、通过超声探头获取超声探头的超声影像信息。
55.s300、对超声影像信息和位姿信息进行融合处理，得到具有穿刺针的超声影像，并将具有所述穿刺针的超声影像发送至显示屏进行显示。
56.s400、获取第一控制信息，并根据第一控制信息输出第二控制信息，并根据第二控
制信息控制穿刺针移动。
57.可选地，控制器包括机械臂控制处理器，根据第二控制信息控制所述穿刺针移动，具体包括：
58.s410、控制器包括机械臂控制处理器，根据第二控制信息控制穿刺针移动，具体包括：
59.所述机械臂控制处理器接收所述第二控制信息，并将所述第二控制信息发送至机械臂，以使所述机械臂根据所述第二控制信息控制电动抓夹和导向夹爪，所述机械臂与所述末端导向装置连接。
60.s420、机械臂根据第二控制信息控制电动抓夹和导向夹爪。
61.可选地，控制器还包括消息存储与转发服务器和可视化触控交互处理器，根据第二控制信息发送至机械臂之后，方法还包括：
62.s430、机械臂控制处理器接收机械臂所发送的反馈信息；
63.s440、机械臂控制处理器将反馈信息发送到消息存储与转发服务器；
64.s450、消息存储与转发服务器将反馈信息存储并通过可视化触控交互处理器转发至显示屏。
65.具体的，显示屏通过用户的控制输出控制信号给处理器端的可视化触控交互处理器，可视化触控交互处理器获取超声探头的超声影像信息并将超声影像信息输入显示屏，光学定位工件将末端位姿信息输入到处理器端的消息存储与转发服务器进行存储，消息存储与转发服务器将可视化触控交互处理器输入的超声影像进行存储，并将可视化触控交互处理器输入的机械臂控制信息转发到机械臂控制处理器，机械臂控制处理器通过机械臂控制电动夹爪，并将机械臂输入的机械臂反馈信息发送到消息存储与转发服务器进行存储并转发到显示屏。
66.可选地，还包括心跳传感器，心跳传感器与控制器连接，控制器还具有心跳获取、异常警告和状态同步的任一项或多项功能。
67.在一个具体的实施例中，通过消息存储与转发服务器实时记录术中控制和反馈信息，该服务器作为整个交互机制的分布式中心化节点，起到了数据集散、交互稳定性保障、确保信息保存的先后顺序等功能。在末端控制模组中，超声图像展示和医师触屏控制均在一块触摸屏上，因此这些信息集成于可视化触控交互处理器中，作为整个交互机制中的一个分布式节点。电动夹爪则通过机械臂开放的io接口实现开关控制，因此电动夹爪控制与机械臂控制集成于机械臂控制处理器中，作为整个交互机制中的另一个分布式节点；光学定位工件对机械臂末端的的穿刺针进行定位，得到末端位姿信息，发送到消息存储与转发服务器进行存储和转发，消息存储与转发服务器获取可视化触控交互处理器输入的超声影像进行存储，并将可视化触控交互处理器输入的机械臂控制信息转发到机械臂控制处理器，机械臂控制处理器通过机械臂控制电动夹爪，并将机械臂输入的机械臂反馈信息发送到消息存储与转发服务器进行存储与转发，进而输出到显示屏进行显示。
68.如图5所示，在一个具体的实施例中，本发明实施例还提供了一种应用于上述交互方法的信息处理方法，包括：模块a将产生的第一信息保存至存储服务器，存储服务器返回第一信息存储id给模块a。模块a加密所述第一信息，并通过转发服务器进行转发。模块b接收所述第一信息，对第一信息进行解密和使用，生成第二信息。存储服务器接收第二信息，
并将第一信息更新为已使用。
69.可选地，所述方法还包括所述可视化触控交互处理器和所述机械臂控制处理器通过握手建立拓扑关系，所述可视化触控交互处理器和所述机械臂控制处理器通过挥手解除拓扑关系。
70.在一个具体的实施例中，存储服务器采用mongodb，所述转发服务器采用rabbitmq。控制模组基于分布式架构思想而设计，从而该模组与手术计划、手术机器人主控软件可以解耦，在这样的架构基础上，该模组可以定义清晰的对外交互接口，为整个手术机器人开发和维护降低了难度同时减少开发成本。在交互机制方面，首先，定义分布式数据流转的机制，如图4所示，将节点间数据交互拆分为存储和分发两个步骤，采用mongodb作为存储载体，rabbitmq作为消息分发媒介，消息数据经过了加解密保证通信数据安全。其次在存储与分发服务器上还需部署心跳服务、异常警告服务、状态同步服务等中心化服务软件，保证节点交互稳定可靠。再次，节点间建立和解除拓扑关系需要经过握手和挥手的流程，使节点间身份和状态得以确认，保障交互安全。
71.本发明实施例的操作原理：手术过程中，医师将处于面对着触摸屏的方位，为了使医师操作穿刺末端时不需要过多地考虑空间位置关系，通过摇杆式空间姿态操控和空间位移的时候，以机械臂对接座(法兰盘)的坐标系为基础生成控制指令，如此一来，医师控制穿刺末端摆动和位移均不需要自己想象机械臂基座坐标系以及意图控制的方向之间的关系，做到“所见即所得“的位姿控制效果。而摇杆式控制穿刺前进后退时，则以当前穿刺导向的路径向量相对于手术床向下或者向上的方式控制。为了使摇杆式控制方法更全面且机器人具备调整超声探头在病人体表位置的可能，另设计了延穿刺导向向量自转的控制按钮，分别是顺时针和逆时针自转按钮，从而达到不改变穿刺路径的基础上调整超声探头位置。拖拽式控制方法则需要在本模组外设计拖拽力传感器，同样也是以机械臂对接座(法兰盘)的坐标系为基础生成控制指令。
72.实施本发明实施例包括以下有益效果：本发明实施例提供了一种穿刺机器人的交互方法，所述方法应用于上述的末端导向装置，包括：通过所述光学定位工件定位获取所述穿刺针的位姿信息；通过所述超声探头获取所述超声探头的超声影像信息；对所述超声影像信息和所述位姿信息进行融合处理，得到具有所述穿刺针的超声影像，并将所述具有所述穿刺针的超声影像发送至显示屏进行显示；获取第一控制信息，并根据所述第一控制信息输出第二控制信息，并根据所述第二控制信息控制所述穿刺针移动。通过将信息发送到消息存储与转发服务器进行存储和转发所构成的分布式架构，大大降低了手术机器人的开发和维护降难度同时减少开发成本，同时也能更好更完整的数字化记录手术过程。
73.本发明实施例提供了一种机器人，包括机械臂，所述机械臂末端连接有上述末端装置，上述的交互方法应用于所述机器人。
74.可见，上述装置、交互方法实施例中的内容均适用于本机器人实施例中，本机器人实施例所具体实现的功能与上述装置和交互方法实施例相同，并且达到的有益效果与上述装置和交互方法实施例所达到的有益效果也相同。
75.以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种穿刺机器人的末端导向装置，其特征在于，包括显示屏、机械臂对接座、电动夹爪、导向夹爪、连接臂、光学定位工件、超声探头和控制器，所述控制器分别与所述显示屏、所述电动夹爪、所述导向夹爪、所述超声探头和所述光学定位工件电连接；所述超声探头用于获取穿刺针介入体内的实时超声图像，并将所述超声图像输入所述显示屏，所述超声探头设置于所述连接臂的第一端；所述显示屏用于显示所述超声图像和所述穿刺机器人的运行状态、以及用于对所述末端导向装置进行末端位姿微调控制；所述连接臂的第二端与所述机械臂对接座的连接，所述显示屏设置于所述连接臂上，所述第二端为所述第一端的对端；所述电动夹爪用于接收来自所述显示屏所输入的驱动信息，并根据所述驱动信息夹紧穿刺针或释放穿刺针，所述电动夹爪设置于所述连接臂上；所述导向夹爪设置于所述连接臂上，所述导向夹爪用于控制所述电动夹爪所夹紧的所述穿刺针的方向，所述导向夹爪与所述超声探头位于同一导向轴线；所述光学定位工件设置于所述连接臂上，用于定位所述穿刺针的位姿信息，所述位姿信息用于确定所述穿刺针在所述超声影像的空间位姿。2.根据权利要求1所述的末端导向装置，其特征在于，所述显示屏包括触摸显示屏，所述触摸显示屏包括操控界面和显示界面，所述操控界面和所述显示界面处于同一界面。3.根据权利要求1所述的末端导向装置，其特征在于，所述导向夹爪包括左导向抓夹和右导向抓夹，所述左导向抓夹用于控制所述电动夹爪向右夹紧所述穿刺针，所述右导向夹爪用于控制所述电动夹爪向左夹紧所述穿刺针。4.根据权利要求1所述的末端导向装置，其特征在于，所述光学定位工件包括被动标记点和支架，所述被动标记点设置于所述支架上。5.一种穿刺机器人的交互方法，其特征在于，所述方法应用于权利要求1-4任一项所述的末端导向装置的控制器，所述方法包括：通过所述光学定位工件定位获取所述穿刺针的位姿信息；通过所述超声探头获取所述超声探头的超声影像信息；对所述超声影像信息和所述位姿信息进行融合处理，得到具有所述穿刺针的超声影像，并将所述具有所述穿刺针的超声影像发送至显示屏进行显示；获取第一控制信息，并根据所述第一控制信息输出第二控制信息，并根据所述第二控制信息控制所述穿刺针移动。6.根据权利要求5所述的交互方法，其特征在于，还包括心跳传感器，所述心跳传感器与所述控制器连接，所述控制器还具有心跳获取、异常警告和状态同步的任一项或多项功能。7.根据权利要求5所述的交互方法，其特征在于，所述控制器包括所述机械臂控制处理器所述根据所述第二控制信息控制所述穿刺针移动，具体包括：所述机械臂控制处理器接收所述第二控制信息，并将所述第二控制信息发送至机械臂，以使所述机械臂根据所述第二控制信息控制电动抓夹和导向夹爪，所述机械臂与所述末端导向装置连接。8.根据权利要求7所述的交互方法，其特征在于，所述控制器还包括消息存储与转发服
务器和可视化触控交互处理器，所述根据所述第二控制信息发送至机械臂之后，所述方法还包括：所述机械臂控制处理器接收所述机械臂所发送的反馈信息；所述机械臂控制处理器将所述反馈信息发送到所述消息存储与转发服务器；所述消息存储与转发服务器将所述反馈信息存储并通过所述可视化触控交互处理器转发至所述显示屏。9.根据权利要求8所述的交互方法，其特征在于，所述方法还包括所述可视化触控交互处理器和所述机械臂控制处理器通过握手建立拓扑关系，所述可视化触控交互处理器和所述机械臂控制处理器通过挥手解除拓扑关系。10.一种机器人，其特征在于，包括机械臂，所述机械臂末端连接有权利要求1-4任一项所述末端装置，权利要求5-9任一项所述方法应用于所述机器人。

技术总结
本发明公开了一种穿刺机器人的末端导向装置及其交互方法，所述末端导向装置包括：显示屏、机械臂对接座、连接臂、光学定位工件、超声探头和控制器，所述控制器分别与所述显示屏、所述电动夹爪、所述导向夹爪、所述超声探头和所述光学定位工件电连接。通过集成在机械臂末端的超声探头实时监测穿刺介入体内的情况，通过定位工件进行穿刺针的空间位姿定位，然后通过显示屏实时显示穿刺介入体内的情况，医生通过显示屏及时对穿刺末端位姿进行微调，减少误差因素带来的影响，使得手术更快速、更精确、更安全，可广泛应用于机器人技术领域。可广泛应用于机器人技术领域。可广泛应用于机器人技术领域。


技术研发人员：王澄 陈泽欣 李迟迟 何旭 王勇 滕皋军 陆骊工
受保护的技术使用者：珠海横乐医学科技有限公司
技术研发日：2023.03.29
技术公布日：2023/7/12