一种器械就位方法及系统与流程

1.本说明书实施例涉及器械控制技术领域，特别涉及一种器械就位方法、系统及存储介质。


背景技术：

2.内窥镜手术是一种较为新兴的手术方式，通过在患者的体表做若干个小切口后，通过小切口将内窥镜和手术器械送入患者体内。通过内窥镜获取患者体内状况，通过手术器械来执行相应的手术操作。通过内窥镜手术能够安全高效地执行对应的手术，并能够减小手术造成的创伤，具有较好的实际应用价值。
3.而由于在执行内窥镜手术时，需要保证器械也在内窥镜的视野范围内，因此需要将器械就位后，再调节器械的位姿，使得器械出现在内窥镜视野中，再执行后续的操作流程。由于这一执行过程无法通过内窥镜获取器械在工作环境的状况，往往需要由用户根据自身经验来手动插入器械。手动插入器械对用户的实际操作水平有一定的考验，容易产生一定的风险，此外，手动插入器械不利于后续的高精度机器人操作。因此，目前亟需一种能够自动准确地控制器械就位的方法。


技术实现要素：

4.本说明书实施例的目的是提供一种器械就位方法及系统，以解决如何自动准确地控制器械就位的问题。
5.为了解决上述技术问题，本说明书实施例提出了一种器械就位方法，包括：分别获取针对机器人所拍摄的外部识别图像和内窥镜所拍摄的内窥镜采集图像；所述内窥镜安装在所述机器人的机械臂上；所述机器人的其他机械臂上还安装有器械；根据所述外部识别图像确定所述机械臂的关键点空间位置；基于所述关键点空间位置分别确定内窥镜空间位姿和器械空间位姿；结合所述内窥镜空间位姿和所述内窥镜采集图像确定可就位空间范围；基于所述器械空间位姿控制所述器械移动至所述可就位空间范围。
6.在一些实施方式中，所述可就位空间范围在所述内窥镜的视野范围内。
7.在一些实施方式中，所述基于所述器械空间位姿控制所述器械移动至所述可就位空间范围，包括：基于所述内窥镜采集图像在所述可就位空间范围中确定目标点；基于所述器械空间位姿控制所述器械移动至所述目标点。
8.在一些实施方式中，所述基于所述器械空间位姿控制所述器械移动至所述可就位空间范围，包括：在所述器械移动过程中，跟踪获取所述器械的实时空间位姿和实时可就位空间范围；基于所述实时空间位姿和实时可就位空间范围调整所述器械的移动路径。
9.在一些实施方式中，所述内窥镜包括双目内窥镜；所述结合所述内窥镜空间位姿和所述内窥镜采集图像确定可就位空间范围，包括：在所述内窥镜采集图像中确定安全点坐标；基于双目图像算法确定所述安全点坐标的深度；根据所述内窥镜空间位姿确定镜头空间位置；结合所述安全点坐标、安全点坐标的深度和所述镜头空间位置确定可就位空间
范围。
10.在一些实施方式中，所述机器人上安装有多个器械；所述多个器械分别安装在不同的机械臂上；所述基于所述器械空间位姿控制所述器械移动至所述可就位空间范围，包括：根据各个器械的器械空间位姿和所述可就位空间范围分别确定各个器械的预设置位置；基于所述预设置位置之间的冲突关系调节各个器械的预设置位置得到目标就位位置；将各个器械移动至对应的目标就位位置上。
11.基于前述实施方式，所述根据各个器械的器械空间位姿和所述可就位空间范围分别确定各个器械的预设置位置，包括：根据所述器械的数量预先将所述可就位空间范围划分为对应数量的子空间区域；分别在各个子空间区域中确定对应器械的预设置位置。
12.在一些实施方式中，所述根据所述外部识别图像确定所述机械臂的关键点空间位置，包括：接收机器人发送的机械臂安装器械的状态信息；基于所述状态信息确定待识别机械臂；从所述外部识别图像中确定所述待识别机械臂的关键点空间位置。
13.在一些实施方式中，所述根据所述外部识别图像确定所述机械臂的关键点空间位置之前，还包括：获取所述机器人的型号参数；相应的，所述根据所述外部识别图像确定所述机械臂的关键点空间位置，包括：基于所述型号参数，根据所述外部识别图像确定所述机械臂的关键点空间位置。
14.在一些实施方式中，所述基于所述器械空间位姿控制所述器械移动至所述可就位空间范围，包括：在检测到器械出现异常动作状态时，停止所述器械的移动；所述异常动作状态包括器械位姿超限、器械偏离移动路径、器械接触患者组织中的一种；基于所述器械的当前位置和可就位空间范围，重新规划所述器械的移动路径。
15.本说明书实施例还提出一种器械就位系统，包括机器人、外置光学平台和计算设备；所述机器人的机械臂上安装有内窥镜和器械；所述机器人通过控制机器臂的移动带动所述内窥镜和器械移动；所述内窥镜用于拍摄内窥镜采集图像；所述外置光学平台用于获取对应于所述机器人的外部识别图像；所述计算设备，用于获取所述内窥镜采集图像和外部识别图像；还用于执行以下步骤：根据所述外部识别图像确定所述机械臂的关键点空间位置；基于所述关键点空间位置分别确定内窥镜空间位姿和器械空间位姿；结合所述内窥镜空间位姿和所述内窥镜采集图像确定可就位空间范围；基于所述器械空间位姿控制所述器械移动至所述可就位空间范围。
16.本说明书实施例还提出一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令在被执行时实现上述器械就位方法。
17.由以上本说明书实施例提供的技术方案可见，上述方法根据针对机器人所拍摄的外部识别图像确定机械臂的关键点空间位置，进而根据关键点空间位置确定出由机械臂所夹持的内窥镜和器械的空间位姿，之后根据内窥镜的空间位姿和内窥镜采集图像确定可就位空间范围，从而能够根据器械的空间位姿控制器械移动至所述可就位空间范围中。通过上述方法，保证了在术前将器械就位的安全性，避免了这一过程纯粹依赖用户实操经验的情况，提高了机器人的操作效率和精度，具有较高的实际应用价值。
附图说明
18.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或
现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本说明书实施例一种器械就位系统的场景示意图；
20.图2为本说明书实施例一种器械就位的流程图；
21.图3为本说明书实施例一种机器人版本选择的界面示意图；
22.图4为本说明书实施例一种器械插入状态的界面示意图；
23.图5为本说明书实施例一种确定内窥镜坐标系下的安全点坐标的流程示意图；
24.图6为本说明书实施例一种针对不同器械划分子控件区域的示意图；
25.图7为本说明书实施例一种器械不同状态展示的界面示意图；
26.图8为本说明书实施例一种器械位姿矫正的流程示意图；
27.图9为本说明书实施例一种器械插拔状态的界面示意图；
28.图10为本说明书实施例一种器械探入位置的示意图。
具体实施方式
29.下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
30.为了更好地理解本技术的发明构思，首先针对本说明书实施例中的一种器械就位系统进行描述。所述器械就位系统包括机器人、外置光学平台和计算设备。
31.机器人可以包括执行内窥镜手术的机器人。所述机器人包括多个机械臂，不同的机械臂上可以分别安装固定器械或内窥镜。机械臂具有对应的电机模组，能够带动器械或内窥镜移动，从而将器械或内窥镜移动至对应位置执行相应的操作或拍摄对应视野范围内的图像。对于机械臂和器械/内窥镜之间的固定方式在此不再赘述。
32.内窥镜一般为细长管状结构，前端为镜头，后端为夹持端。夹持端可以被机械臂所夹持，以通过机械臂来控制照内窥镜的空间位置。优选的，内窥镜为双目内窥镜，即在前端设置有两个摄像头，基于两个摄像头分别拍摄到的图像以及摄像头之间的间距，可以确定图像中目标区域的深度信息。
33.此外，基于任务的需求，在机械臂上可以安装不同类型的器械，也可以在多个机械臂上均安装对应的器械以组合完成相应的操作。
34.外置光学平台可以基于光学传感的方式获取对应于所述机器人的图像。外置光学平台可以包含一般的光学相机，对应的图像可以是通过所述光学相机拍摄到的图片；外置光学平台也可以包含红外线探测仪、点云扫描仪等其他光学传感设备，使得图像也可以是通过红外线、点云等方式所获取到的图像。外置光学平台所获取的图像的目的在于确定机器人各个机械臂的位置，进而确定机械臂所夹持的内窥镜和器械的位置。
35.计算设备与机器人、外置光学平台以及内窥镜之间能够进行通信，以获取外置光学平台、内窥镜传输的图像，以及机器人所传输的相关信息。
36.在实际的微创手术场景中，内窥镜是与图像台车相连接，以将所采集的图像数据
传输至图像台车进行展示。相应的，计算设备获取内窥镜拍摄的图像可以是通过与图像台车进行通讯的方式来获取相关的数据。
37.所述计算设备上设置有相应的计算机程序/指令，用于实现器械就位方法。具体的实施过程可以参照以下器械就位方法的介绍。
38.所述计算设备可以是设置在机器人、外置光学平台或图像台车上的计算设备，也可以是独立于这些设备以外的计算设备，还可以是设置在云端的服务器等，对此不做限制。
39.如图1所示，为所述器械就位系统的一个场景示意图，其中控制台车负责控制机械臂的移动，机器人包含多个机械臂，可以分别用于夹持不同的器械或内窥镜，图像台车展示内窥镜图像的同时，所搭置的外部光学平台可以针对机器人拍摄对应的图像，已完成机械臂及对应的器械/内窥镜的位置确定。
40.为了解决上述技术问题，本说明书实施例提出了一种器械就位方法。所述器械就位方法的执行主体可以是相应的计算设备，例如可以介入环境中的用户控制端、图像台车或云端的服务器等其他计算设备。如图2所示，所述器械就位方法包括以下具体实施步骤。
41.s210：分别获取针对机器人所拍摄的外部识别图像和内窥镜所拍摄的内窥镜采集图像；所述内窥镜安装在所述机器人的机械臂上；所述机器人的其他机械臂上还安装有器械。
42.在将器械就位之前，可以先获取针对机器人所拍摄的外部识别图像和内窥镜所拍摄的内窥镜采集图像。
43.所述外部识别图像可以是由外部光学平台针对机器人拍摄得到的图像，通过所述外部识别图像可以确定机器人上不同机械臂的空间位置，进而根据内窥镜以及器械的尺寸、状态信息来确定内窥镜和器械的空间位姿。
44.内窥镜采集图像即为内窥镜所拍摄得到的图像。在获取内窥镜采集图像和外部识别图像时，所述内窥镜应为已经就位的状态。由于内窥镜的前端具有摄像头，在就位的过程中能够实时获取内窥镜前进路径的状况，从而保证插入内窥镜这一过程的安全性。
45.由于内窥镜采集图像为对应于体内状况的图像，使得根据内窥镜采集图像能够获取状况信息，并判断能够安全探入器械的空间范围。
46.需要说明的是，为了保证外部识别图像与内窥镜采集图像能够对应，所述外部识别图像和内窥镜采集图像应为同一时刻采集得到的图像，或，所述外部识别图像和内窥镜采集图像应为手术机器人的机械臂未移动的时间段内采集得到的图像。
47.在一些实施方式中，外部光学平台具有标定功能，针对机器人可以预先进行标定，并在标定结束后针对器械进行实时位姿跟踪以确定对应的器械关键点坐标。
48.具体的获取图像的方式可以根据系统中不同设备之间的通信关系来实现，在此不再赘述。
49.s220：根据所述外部识别图像确定所述机械臂的关键点空间位置。
50.为了实现对内窥镜和器械的定位，可以先根据外部识别图像确定机械臂的关键点空间位置。关键点空间位置可以对应于机械臂上所设置的关键点。关键点的位置可以根据需要进行设置，优选的可以设置在机械臂的末端或是夹持器械或内窥镜的位置，以更好地对所夹持的内窥镜或器械进行定位。
51.在实际应用中，为了保证能够根据关键点空间位置对器械和内窥镜的空间位姿进
行确定，在一个机械臂上应当设置至少两个关键点，同时应当保证所获取的外部识别图像中针对一个机械臂至少包含两个关键点。
52.具体的对关键点进行识别，可以预先在机械臂的关键点上设置相应的标记，使得能够从图像中识别出关键点，进而确定关键点空间位置；也可以是预先录入关键点的特征，通过对图像进行特征分析以完成关键点的识别。在采取其他传感方式的情况下，也可以针对关键点采取特殊处理，使得能够获取对应于关键点的不同的传感信息，从而确定关键点在图像中的位置。具体的识别关键点的方式可以根据实际应用需求进行设置，对此不做限制。
53.从外部识别图像中确定关键点后，需要确定关键点所对应的关键点空间位置。关键点在外部识别图像上的位置为二维平面上的位置，还需要进一步确定关键点与外部光学平台的摄像头之间的距离，这一距离可以是设置双目摄像头的方式，再利用双目算法来确定关键点的距离；在采用红外线、点云等其他方式进行传感的情况下，确定关键点后，可以直接根据传感结果获取对应的距离数据，进而确定关键点空间位置。实际应用中可以根据设备的具体情况来采取对应的方法以确定所述关键点空间位置，对此不做限制。
54.需要说明的是，所确定的关键点空间位置是对应于外部光学平台的坐标系下的位置，为了方便表述，将这一坐标系称为现实坐标系。
55.此外，由于所述外部识别图像为基于光学传感的方式所获取的图像，在实际应用中可能会由于机械臂之间的遮挡等原因导致无法拍摄到对应机械臂的关键点的情况。因此，在实际应用中，所述外部光学平台的拍摄模块对应设置有相应的电机模块，能够驱动所述外部光学平台的拍摄模块移动，直至能够在图像中有效获取对应机械臂的关键点为止。外部光学平台的拍摄模块的移动可以是人为进行控制，也可以是由外部光学平台基于拍摄图像进行分析后自动控制移动，对此不做限制。
56.在一些实施方式中，识别关键点空间位置之前，还可以获取机器人的型号参数。计算设备中可以预先记录不同型号的机器人的关键点识别方法，进而能够根据所述型号参数更好地实现机械臂的关键点空间位置的识别。
57.由于在实际应用中，不同型号的机器人之间可能存在一定差异，例如有的机器人存在高精度的关节编码器，还可以存在不同的机械臂数量，针对不同类型的机器人具有不同的识别需求。针对相应型号的机器人还可以预先标注针对关键点的识别方法。此外，不同型号的机器人还可以具有不同的内窥镜镜头类型(例如平镜、斜镜等)，可以进一步应用于后续针对内窥镜采集图像的识别过程中。
58.所获取的型号参数可以是通过操作人员手动输入，也可以是基于计算设备与机器人之间的连接，例如，如图3所示，可以手动选择预先录入的不同版本的机器人，进而获取对应的型号参数。对于型号参数的具体获取方式不做限制。
59.在一些实施方式中，识别关键点空间位置之前，还可以确定机器人上的机械臂安装器械的状态信息，进而确定待识别机械臂，再确定待识别机械臂的关键点空间位置，以保证识别结果的准确性。
60.由于机器人在安装器械时，能够获取器械的连接状态，例如，如图4所示，针对不同工具臂能够确定器械插入状况，进而能够确定需要识别关键点的机械臂。优选的，可以同时录入不同机械臂或对应的关键点的状态参数，从而保证能够针对性地识别出相应机械臂的
关键点及关键点空间位置。
61.s230：基于所述关键点空间位置分别确定内窥镜空间位姿和器械空间位姿。
62.在确定关键点空间位置后，可以进一步地确定内窥镜空间位姿和器械空间位姿。内窥镜空间位姿和器械空间位姿用于描述内窥镜和器械的空间位置。由于关键点在机械臂上的位置预先确定，在内窥镜/器械被安装在机械臂上时，可以根据关键点的位置和内窥镜/器械的形状特征确定内窥镜空间位姿和器械空间位姿。
63.具体的，可以预先确定内窥镜/器械在被机械臂夹持时相较于关键点的空间位置关系。在存在至少两个关键点的情况下，可以根据关键点空间位置和所述空间位置关系直接地确定出内窥镜空间位姿和器械空间位姿。具体的确定内窥镜空间位姿和器械空间位姿的过程可以基于相应的坐标推导过程来实现，在此不再赘述。
64.进一步的，在确定内窥镜空间位姿和器械空间位姿的情况下，同样能够根据整体的空间位姿确定内窥镜/器械上任一部件的空间位置。
65.相应的，所述内窥镜空间位姿和器械空间位姿所对应的坐标也对应于所述现实坐标系。
66.s240：结合所述内窥镜空间位姿和所述内窥镜采集图像确定可就位空间范围。
67.根据内窥镜空间位姿和内窥镜所拍摄到的内窥镜采集图像，可以确定可就位空间范围。可就位空间范围可以是能够安全置入器械的空间范围，在这一范围内插入器械能够最大程度上避免由于由器械对组织、器官造成伤害，一般情况下也更接近需要执行相应操作的位置。
68.具体的，可以从所述内窥镜采集图像中，基于可就位空间的判断标准，确定对应的可就位图像区域。所述判断标准可以根据需求进行设置，例如可以是该空间区域不接触患者体表、接近需要执行任务的部位等要求。这些判断标准可以转换为针对图像进行识别的需求，进而实现从内窥镜采集图像中确定可就位空间范围。
69.在一些实施方式中，如图5所示，可以是先在内窥镜采集图像中确定安全点坐标。安全点坐标可以是对应于安全点的相应坐标。安全点可以针对图像的整体区域进行统一识别后所确定的点，也可以是满足可就位空间范围的边界的点。总之，基于所述安全点能够确定可就位空间范围的空间区域。
70.所述安全点坐标为在图像平面上的坐标，即二维坐标，无法应用至空间范围，因此还需要确定各个安全点坐标的深度，例如在内窥镜为双目内窥镜的情况下，两个摄像头可以同时获取不同拍摄点的拍摄图像，再通过双目图像算法来确定安全点坐标的深度。具体的实现过程可以根据实际应用的需求进行设置，在此不再赘述。
71.此时的安全点坐标及对应深度均是对应于内窥镜的拍摄点，即是在内窥镜坐标系下的相应坐标，无法直接应用于现实坐标系中。因此，根据所述内窥镜空间位姿还可以确定镜头空间位置，镜头空间位置即是内窥镜的摄像头在现实坐标系下的空间位置坐标。
72.最终，结合所述安全点坐标、安全点坐标的深度和所述镜头空间位置，可以将安全点坐标转换为现实坐标系下的坐标，从而得到可就位空间范围。
73.为了保证后续手术过程的顺利进行，所述可就位空间范围全部或部分在所述内窥镜的视野范围内，在这一基础上，使得将器械移动至所述可就位空间范围后，内窥镜的拍摄范围内包含所述器械。在后续的操作过程中，若移动器械均能被内窥镜拍摄，使得能够实时
掌握器械的空间位置，进而保证操作的正常执行。
74.需要说明的是，实际应用中对步骤s220-s240中的执行顺序可以不做限制，例如可以先根据内窥镜采集图像确定对应于内窥镜坐标系的可就位空间范围，再根据外部识别图像确定内窥镜空间位姿，从而实现将对应于内窥镜坐标系的可就位空间范围转换为对应于现实坐标系的可就位空间范围；也可以先根据外部识别图像确定内窥镜空间位姿，进而直接根据内窥镜的空间位置从内窥镜采集图像中确定对应于现实坐标系的可就位空间范围。还可以利用两个进程同时处理前述两个步骤。实际应用中可以根据需求选取具体的执行顺序。
75.s250：基于所述器械空间位姿控制所述器械移动至所述可就位空间范围。
76.在确定可就位空间范围和器械空间位姿后，由于这两个位置均对应于现实坐标系，因此可以根据器械空间位姿和可就位空间范围之间的位置对应关系，控制器械移动至所述可就位空间范围。
77.具体的，可以根据可就位空间范围和器械空间位姿之间的对应关系，规划出器械的移动路径以及器械自身的位姿调整情况，按照这一预先规划设定的路径将器械移动至所述可就位空间范围内。
78.在一些实施方式中，机器人可以有多个机械臂分别安装有对应的器械，且这些器械均需要进行操作。在这种情况下，可以先根据各个器械的器械空间位姿和所述可就位空间范围分别确定各个器械的预设置位置。预设置位置可以是在不考虑器械之间冲突性的情况下，按照一般的方式所确定的对应于各个器械的设置位置。
79.在确定预设置位置后，再根据预设置位置之间的冲突关系调节各个器械的预设置位置得到目标就位位置。所述目标就位位置即保证多个器械移动至相应位置不会产生冲突和干扰。此外，根据实际情况，还可以设置不术器械移动至对应的目标就位位置的顺序，以规避器械之间的干扰。
80.在确定所述预设值位置时，如图6所示，还可以基于器械的数量预先将所述可就位空间范围划分为对应数量的子空间区域，再分别在各个子空间区域中确定对应器械的预设置位置。子控件区域的位置也可以和需求的器械的位置相对应，以保证移动器械后最终的效果。通过预先划分子控件区域能够尽可能保证器械之间互不干扰，优化了后续确定目标就位位置的流程。
81.此外，在一些实施方式中，在器械移动至所述可就位空间位置的过程中，可以实时获取器械的实时空间位姿和实时可就位空间范围。具体的，可以通过外部光学平台实时获取对应于机器人的外部识别图像，同时利用内窥镜实时获取此时患者体内的内窥镜采集图像。再利用上述方式从所述外部识别图像中识别出器械的实时空间位姿和实时可就位空间范围。
82.相应的，在掌握到实时空间位姿和实时可就位空间范围的情况下，可以基于所述实时空间位姿和实时可就位空间范围调整所述器械的移动路径。例如，在过程中，软组织产生了位置变动，若仍按照原本的路径插入器械，可能会因为软组织的位置变动导致对软组织造成伤害，因此可以实时调整并规划器械的移动路径，以保证器械的安全就位。具体的调整及规划方式可以根据预先所设置的路线规划方式而确定，在此不再赘述。
83.在一些实施方式中，在移动器械的过程中，还可以对器械的状态进行实时检测。检
测过程可以由机器人完成，并由机器人传递至计算设备。如图7所示，为针对不同工具臂上的器械连接情况的界面示意图，相应的状态可以包括已就位、就位中、超限调整中等状态。
84.在移动器械的过程中，若检测到器械出现异常动作状态，可以停止所述器械的移动。异常动作状态包括器械位姿超限、器械偏离移动路径、器械接触组织等，当出现异常动作状态时，可能不利于继续执行移动器械的相关操作，需要停止器械原本的移动路径并进行调整。如图8所示，为针对器械位姿进行调整的一个示例所对应的流程示意图。
85.具体的，可以基于所述器械的当前位置和可就位空间范围，重新规划所述器械的移动路径，以保证器械正常移动至可就位空间范围。若器械检测到出现故障，可以对器械进行检修或拔出再重新安装，相应的也可以通过器械的状态进行反映，例如如图9所示，为针对器械的插拔情况所确定的状态信息，其中2、4号工具臂具有对应的器械拔出或插入的状态信息。
86.实际应用中也可以根据需求设置其他类型的异常动作状态，对此不做限制。
87.此外，在一些实施方式中，还可以记录器械伸入体内的路径，在执行完毕后，基于该路径逆推出对应的拔出路径，以保证流程的安全性。相应的，所述伸入路径可以针对各个机械臂进行对应保存，以保证后续能够对该路径进行有效利用。
88.此外，由于后续流程由用户进行操控，因此如图10所示，器械就位的可就位空间范围可以对应于中间深度，无需移动至接触软组织的状态。具体的深度范围可以根据需求进行设置，对此不做限制。相应的，为了便于操作，在显示器图像边缘还可以增加高亮显示，以确保用户能够根据拍摄图像实时掌握器械是否进入视野。基于上述实施例及示例中的介绍，可以看出，所述方法根据针对机器人所拍摄的外部识别图像确定机械臂的关键点空间位置，进而根据关键点空间位置确定出由机械臂所夹持的内窥镜和器械的空间位姿，之后根据内窥镜的空间位姿和内窥镜采集图像确定可就位空间范围，从而能够根据器械的空间位姿控制器械移动至所述可就位空间范围中。通过上述方法，保证了在术前将器械插入工作环境的安全性，避免了这一过程纯粹依赖用户实操经验的情况，提高了机器人的操作效率和精度，具有较高的实际应用价值。
89.基于图1所对应的器械就位方法，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序/指令。所述计算机可读存储介质可以基于设备的内部总线被处理器所读取，进而通过处理器实现所述计算机可读存储介质中的程序指令。
90.在本实施例中，所述计算机可读存储介质可以按任何适当的方式实现。所述计算机可读存储介质包括但不限于随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、缓存(cache)、硬盘(hard disk drive,hdd)、存储卡(memory card)等等。所述计算机存储介质存储有计算机程序指令。在所述计算机程序指令被执行时实现本说明书图1所对应实施例的程序指令或模块。
91.需要说明的是，上述器械就位方法、系统及存储介质可应用于器械控制技术领域，也可以应用至其他技术领域，对此不做限制。
92.虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。
93.本技术是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流
程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
94.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
95.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
96.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
97.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
98.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
99.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
100.本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
101.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实
施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
102.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种器械就位方法，其特征在于，包括：分别获取针对机器人所拍摄的外部识别图像和内窥镜所拍摄的内窥镜采集图像；所述内窥镜安装在所述机器人的机械臂上；所述机器人的其他机械臂上还安装有器械；根据所述外部识别图像确定所述机械臂的关键点空间位置；基于所述关键点空间位置分别确定内窥镜空间位姿和器械空间位姿；结合所述内窥镜空间位姿和所述内窥镜采集图像确定可就位空间范围；基于所述器械空间位姿控制所述器械移动至所述可就位空间范围。2.如权利要求1所述的器械就位方法，其特征在于，所述基于所述器械空间位姿控制所述器械移动至所述可就位空间范围，包括：基于所述内窥镜采集图像在所述可就位空间范围中确定目标点；基于所述器械空间位姿控制所述器械移动至所述目标点。3.如权利要求1所述的器械就位方法，其特征在于，所述内窥镜包括双目内窥镜；所述结合所述内窥镜空间位姿和所述内窥镜采集图像确定可就位空间范围，包括：在所述内窥镜采集图像中确定安全点坐标；基于双目图像算法确定所述安全点坐标的深度；根据所述内窥镜空间位姿确定镜头空间位置；结合所述安全点坐标、安全点坐标的深度和所述镜头空间位置确定可就位空间范围。4.如权利要求1所述的器械就位方法，其特征在于，所述根据所述外部识别图像确定所述机械臂的关键点空间位置，包括：接收手术机器人发送的机械臂安装器械的状态信息；基于所述状态信息确定待识别机械臂；从所述外部识别图像中确定所述待识别机械臂的关键点空间位置。5.如权利要求1所述的器械就位方法，其特征在于，所述根据所述外部识别图像确定所述机械臂的关键点空间位置之前，还包括：获取所述机器人的型号参数；相应的，所述根据所述外部识别图像确定所述机械臂的关键点空间位置，包括：基于所述型号参数，根据所述外部识别图像确定所述机械臂的关键点空间位置。6.如权利要求1所述的器械就位方法，其特征在于，所述机器人上安装有多个器械；所述多个器械分别安装在不同的机械臂上；所述基于所述器械空间位姿控制所述器械移动至所述可就位空间范围，包括：根据各个器械的器械空间位姿和所述可就位空间范围分别确定各个器械的预设置位置；基于所述预设置位置之间的冲突关系调节各个器械的预设置位置得到目标就位位置；将各个器械移动至对应的目标就位位置上。7.如权利要求6所述的器械就位方法，其特征在于，所述根据各个器械的器械空间位姿和所述可就位空间范围分别确定各个器械的预设置位置，包括：根据所述器械的数量预先将所述可就位空间范围划分为对应数量的子空间区域；分别在各个子空间区域中确定对应器械的预设置位置。8.如权利要求1所述的器械就位方法，其特征在于，所述基于所述器械空间位姿控制所
述器械移动至所述可就位空间范围，包括：在所述器械移动过程中，跟踪获取所述器械的实时空间位姿和实时可就位空间范围；基于所述实时空间位姿和实时可就位空间范围调整所述器械的移动路径。9.如权利要求1所述的器械就位方法，其特征在于，所述基于所述器械空间位姿控制所述器械移动至所述可就位空间范围，包括：在检测到器械出现异常动作状态时，停止所述器械的移动；所述异常动作状态包括器械位姿超限、器械偏离移动路径、器械接触组织中的一种；基于所述器械的当前位置和可就位空间范围，重新规划所述器械的移动路径。10.一种器械就位系统，其特征在于，包括机器人、外置光学平台和计算设备；所述机器人的机械臂上安装有内窥镜和器械；所述机器人通过控制机器臂的移动带动所述内窥镜和器械移动；所述内窥镜用于拍摄内窥镜采集图像；所述外置光学平台用于获取对应于所述机器人的外部识别图像；所述计算设备，用于获取所述内窥镜采集图像和外部识别图像；还用于执行以下步骤：根据所述外部识别图像确定所述机械臂的关键点空间位置；基于所述关键点空间位置分别确定内窥镜空间位姿和器械空间位姿；结合所述内窥镜空间位姿和所述内窥镜采集图像确定可就位空间范围；基于所述器械空间位姿控制所述器械移动至所述可就位空间范围。

技术总结
本说明书实施例提供一种器械就位方法及系统，所述方法包括：分别获取针对机器人所拍摄的外部识别图像和内窥镜所拍摄的内窥镜采集图像；所述内窥镜和器械分别安装在机器人的机械臂上；根据所述外部识别图像确定所述机械臂的关键点空间位置；基于所述关键点空间位置分别确定内窥镜空间位姿和器械空间位姿；结合所述内窥镜空间位姿和所述内窥镜采集图像确定可就位空间范围；基于所述器械空间位姿控制所述器械移动至所述可就位空间范围。上述方案保证了在术前将器械就位的安全性，提高了机器人的操作效率和精度，具有较高的实际应用价值。值。值。


技术研发人员：请求不公布姓名
受保护的技术使用者：上海微创医疗机器人（集团）股份有限公司
技术研发日：2023.08.07
技术公布日：2023/9/20