用于机械臂导航的方法和设备与流程

1.这些教导大体涉及待检验、检查、加工或维护的零件内的机械臂导航。


背景技术：

2.蛇形机械臂是纵向延伸的具有许多自由度的机械装置，其可以插入各种环境以执行检查、维护或修理。这些臂通常包括联接到插入待检查零件的相机或其他传感器的大量受控接头。
3.例如，可以将蛇形机械臂插入发动机以检查发动机的内部部件。这些装置的大量自由度允许它们插入杂乱、受限和/或以其他方式无法接近的发动机零件。可以分析相机获得的图像和其他信息以指示损坏、磨损或其他问题的迹象，同时修理和维护活动可以延长零件的可用寿命或使用寿命。
附图说明
4.通过提供在以下详细描述中描述的用于机械臂的导航的方法和设备，特别是当结合附图研究时，至少部分地满足了各种需要。在参考附图的说明书中阐述了针对本领域普通技术人员的本说明书的方面的完整且可行的公开，包括其最佳模式，其中：
5.图1a包括根据这些教导的各种实施例构造的图；
6.图1b包括根据这些教导的各种实施例构造的图；
7.图2包括根据这些教导的各种实施例构造的图；
8.图3包括根据这些教导的各种实施例构造的流程图；
9.图4包括根据这些教导的各种实施例构造的图；
10.图5包括根据这些教导的各种实施例构造的图；
11.图6包括根据这些教导的各种实施例构造的图；
12.图7包括根据这些教导的各种实施例构造的图；
13.图8包括根据这些教导的各种实施例构造的图；
14.图9包括根据这些教导的各种实施例构造的图；和
15.图10a、10b、10c和10d包括根据这些教导的各种实施例构造的图。
16.附图中的元件是为了简单和清楚而示出的，并且不一定按比例绘制。例如，附图中的一些元件的尺寸和/或相对定位可能相对于其他元件被夸大，以帮助提高对本教导的各种实施例的理解。此外，在商业上可行的实施例中有用或必需的常见但易于理解的元件通常未被描绘，以便于减少对本教导的这些不同实施例的视图的阻碍。某些动作和/或步骤可以以特定的发生顺序来描述或描绘，而本领域技术人员将理解，实际上不需要关于顺序的这种特异性。
具体实施方式
17.本文描述的方法提供了扩展的、约束不足(under-constrained)的机械蛇形臂装
置，其具有多个自由度，以供非专业操作员或检查员使用，从而导航复杂空间(诸如燃气涡轮发动机的内部)。操作员或检查员在使用这些装置时不需要特殊的专业知识。同时，这些方法最大化蛇形机械臂的附加自由度所提供的效用，以遵循复杂的路径并采用复杂的检查姿势(例如，“打击眼镜蛇”的升降或位置)。
18.此外，本文提供的方法经由机械臂在各种不同牵引模式(诸如蛇形臂机器人的尖端处的尺蠖模式、响尾蛇模式和开瓶器模式)下的自推进最大化通过杂乱环境的导航能力，以克服与将内窥镜从基座推入没有足够约束来支撑机器人的期望的路径或推动通过受摩擦力和/或反作用力限制的路径的区域相关联的限制。
19.在存在计算机辅助设计(cad)模型、机器学习模型或待检验零件的其他模型的情况下，通过使用基于任务的成本函数来在给定机械臂或其尖端的已知最终目的地和/或目标的情况下，控制机械臂的形状以最大化到达和导航能力，进一步增强蛇形臂机器人的导航。
20.在一些方面，本方法提供了柔性的蛇形机器人臂，其具有多个可控的自由度但过于细长和柔性而不能自支撑。与其他装置相比，柔性和附加控制提供了进入更复杂和杂乱的空间的能力，因为它们是柔性的并且可以容忍与环境的接触，并且比例如管道镜具有更多的支撑，使它们能够跨越间隙并在短长度内自支撑。
21.在其他方面，本文提供的方法使柔性蛇形机器人臂能够采用其控制自由度中的一些或全部以将装置从远端(尖端)拉入杂乱环境中，从而沿装置的长度的低弯曲刚度不再是插入杂乱环境中的长度的限制因素。本方法还有利地提供了用户友好的方式来控制这种装置以遵循路径、相对于支撑表面重新定位视点并使用复杂的运动来前进，而无需操作员意识或直接控制来启用它。
22.在许多这样的实施例中，系统包括机械臂、至少一个传感器、致动器和控制器。机械臂是柔性的，并且插入零件内的通道。机械臂在移动通过通道时具有多个自由度。致动器联接到机械臂。
23.至少一个控制器可以联接到机械臂、至少一个传感器和致动器。控制器被构造为：接收限定机械臂的尖端的尖端运动的操作员指令；从至少一个传感器接收传感器读数；访问环境图，环境图限定通道的部分的几何形状；将操作员指令、环境图和传感器读数应用于先前训练的机器学习模型以产生控制信号；以及将控制信号应用于机械臂上的致动器，以控制机械臂的移动，从而允许机械臂在通道中自动获得牵引力，并根据移动自动自行推进或移动。本文所用的“牵引力”是指支撑或抵抗两个物体(例如，机械臂和通道)之间的相对运动。例如，在机械臂和通道的表面之间提供牵引力以推动机械臂向前。在另一个示例中，在机械臂和表面之间提供牵引力以支撑臂抵抗重力和/或防止臂由于重力而移动。
24.在一些方面，环境图包括计算机辅助设计(cad)模型。在其他示例中，环境图包括动态变化模型。在其他示例中，环境图包括cad模型和动态变化模型的混合体。
25.在示例中，至少一个传感器包括相机。传感器的其他示例是可能的，包括但不限于光检测和测距(激光雷达)、立体相机、超声传感器和触须传感器，仅举几个示例。
26.在其他示例中，机械臂在零件的插入点处插入通道。至少一个传感器包括定位在插入点处的位置传感器，位置传感器基于检测机械臂上的标记来确定机械臂的位置。在进一步示例中，至少一个传感器包括被定位成同时观察插入点和臂的相机传感器，相机基于
检测机械臂上的相对于包括插入点的基准的标记或专门标记(诸如qr码或apriltags)来监测机械臂的运动。
27.机械臂(或机械臂的部分，诸如尖端)的各种移动是可能的。例如，移动可以是响尾蛇移动、开瓶器移动或尺蠖移动。其他示例是可能的。
28.在其他方面，致动器包括或联接到用户接口，用户接口被构造为从操作员接收操作员指令。
29.在其他这些实施例中，机械臂被插入零件内的通道中。机械臂在移动通过通道时是柔性的并且具有多个自由度。在控制器处：接收限定机械臂的尖端的尖端运动的操作员指令；接收来自至少一个传感器的传感器读数；访问环境图，环境图限定通道的部分的几何形状；将操作员指令、环境图和传感器读数应用于先前训练的机器学习模型以产生控制信号；以及将控制信号应用于机械臂上的致动器，以控制机械臂的移动，从而允许机械臂在通道中自动获得牵引力，并根据移动自动自行推进或移动。
30.本文使用的术语和表述具有与上述技术领域的技术人员所赋予的这些术语和表述一致的普通技术含义，除非本文另有规定不同的具体含义。除非另有明确说明，否则本文使用的词语“或”应被解释为具有分离结构而不是连接结构。除非本文另有规定，否则术语“联接”、“固定”、“附接到”等是指直接联接、固定或附接，以及通过一个或多个中间部件或特征的间接联接、固定或附接。
31.单数形式“一”、“一种”和“该”包括复数引用，除非上下文另有明确指示。
32.如本文中在整个说明书和权利要求书中所使用的近似语言被应用于修饰可以允许变化而不导致其相关的基本功能改变的任何定量表示。因此，由诸如“大约”、“近似”和“基本上”之类的一个或多个术语修饰的值不限于指定的精确值。在至少一些情况下，近似语言可以对应于用于测量值的仪器的精度，或用于构造或制造部件和/或系统的方法或机器的精度。例如，近似语言可以指代在10％的余量内。
33.在对以下详细描述进行彻底回顾和研究后，前述和其他益处可以变得更加清楚。
34.现在参考图1a和图1b，描述了用于控制机械臂102在待测零件中的移动的系统100的一个示例。系统100包括机械臂102、致动器104和控制器106。应当理解，所使用的方法可以用于将机械臂102插入通道103。然而，这些方法也可以用于控制机械臂102在与插入方向大致相反的方向上移出通道103(一旦它已被插入的话)。与依赖于从通道中手动提取(例如，拉动)装置的先前方法相比，这是显著的优势。
35.机械臂102是柔性的并且在插入点(或开口)105处插入零件108(待检验、检查、加工、维护或机加工)内的通道103。机械臂102在其移动通过通道103时具有多个自由度。
36.机械臂102可以包括适于承载传感器132(或工具或其他检验元件)以用于通道103的工作、检验或检查的尖端部分130(或工作头)，以及支撑尖端部分130的延伸支撑臂102或结构。支撑臂102包括具有多个连杆的至少一个节段(每个连杆都相对于其相邻连杆关节连接(articulated))，以及被构造为控制节段相对于基准的位置和/或姿态的装置或控制元件，从而使臂能够遵循并适应预定的路径或形状。
37.这种类型的机械臂经常被称为“蛇形臂”，因为它们能够沿它们自己的长度纵向前进，从而使它们能够遵循蛇形路径。这样做的好处是，这种类型的臂可以在进入工作现场受到严格限制的情况下使用。然而，蛇形臂机器人也可以以除了沿路径纵向前进之外的其他
模式移动，例如，通过改变臂102的姿态和位置而不移动驱动臂的基座以使臂102沿路径移动。
38.在一些方面，机械臂102的控制是用多个腱(tendon)(诸如绳索，或者更具体地，钢丝绳索或缆绳)进行，每根绳索在绳索的一端连接在臂的多个连杆内的一个点处并连接到致动器104，致动器104被构造为在绳索的另一端施加力和位移。致动器104联接到这些结构并控制这些结构的移动，从而控制机械臂102的移动和形状。在一些方面，提供重叠鲍登缆绳致动(overlapping bowden-cable actuation)以实现波浪状运动。在没有鲍登缆绳结构的情况下也可以实现波浪状运动。
39.位置传感器107设置在插入点105处并联接到控制器106。位置传感器107被构造为确定机械臂102的位置。例如，当机械臂102经过位置传感器107时检测机械臂102上的特定标记允许控制器106知道机械臂102有多少在零件108内。臂102上的标记的运动还可以允许确定臂102围绕其轴线的扭转旋转。如果零件108内的机械臂102的量是已知的，则机械臂102(及其尖端)的位置是已知的(或至少大致是已知的)。在示例中，位置传感器107可以是获得由控制器106处理的视觉图像的相机。替代地，位置传感器107可以是定位成远离机械臂102和通道103，并且定位成能够观察机械臂102的在通道103外部并且同时在通道103的入口的部分的传感器，使得插入通道103的机械臂102的长度可以通过视觉观察得到。在一些方面，来自位置传感器107的反馈被用于获得开瓶器运动(corkscrew motion)。
40.致动器104可以是推动机械臂102并且还致动机械臂102的钢丝绳索或缆绳的马达或其他装置。在一些情况下，机械臂102由人推动(例如，最初将机械臂102插入零件108)。
41.在一些其他示例中，致动器104获得为机械臂102的尖端部分130限定目标(例如，通道内的目的地)的指令。在这些方面，致动器104可以包括用户接口121以允许操作员输入指定目的地的命令。例如，用户接口121可以包括操纵杆。在另一个示例中，最终目的地在操作开始时是未知的，并且操作员可以使用用户接口121以探索模式交互地操纵机械臂102。操作员输入的其他示例是可能的。
42.环境图111(例如，计算机辅助设计(cad)模型或动态生成的图)存储在存储器110中。存储器110可以是任何类型的电子存储装置。环境图111包括涉及关于通道103和零件108的信息的信息。例如，环境图111指定通道103的形状、尺寸、相对定位和/或相对位置，通道103中的障碍物，以及零件108的内部部件的形状、尺寸、相对定位和/或相对位置。例如，如果零件108是飞行器发动机，则发动机的通道、叶片、轮叶和转子的位置、形状、尺寸、相对定位和/或相对位置可包括在环境图111中。
43.控制器106联接到机械臂102(和传感器132)、位置传感器107以及致动器104。在一些方面，控制器106设置在致动器104处或致动器104内。应当理解，如本文所用，术语“控制器”泛指具有处理器、存储器和可编程输入/输出外围设备的任何微控制器、计算机或基于处理器的装置，其通常被设计为管理其他部件和装置的操作。还应当理解为包括常见的附带附件装置，包括存储器、用于与其他部件和装置通信的收发器等。这些架构选项在本领域中是已知和理解的，这里不需要进一步描述。控制器106可以被构造(例如，通过使用存储在存储器中的对应程序，如本领域技术人员所理解的)为执行本文描述的步骤、动作和/或功能中的一个或多个。
44.存储器110还存储机器学习模型115。机器学习模型的示例包括神经网络和其他此
类结构。如果机器学习模型115是神经网络，则可以训练神经网络。在示例中，训练可以包括将移动撒播或并入到神经网络中。例如，响尾蛇移动(sidewinder movement)、开瓶器移动(corkscrew movement)和尺蠖移动(inchworm movements)可以并入到神经网络中。在另一示例中，机器学习模型115通过让机械臂穿过零件(例如，用于训练或测试的零件)中的通道来训练，使得机器学习模型学习某些行为(例如，在遇到障碍物时，进行特定动作)。
45.可以以有监督或无监督的方式训练机器学习模型115。监督算法选择目标或期望的结果，这些结果是从一组给定的预测因子(自变量)预测的。使用该组变量，生成将输入映射到期望输出的函数或结构。训练过程继续，直到机器学习模型115在训练数据上实现期望的准确度水平。监督学习算法的示例包括回归、决策树、随机森林、k最近邻(knn)和逻辑回归方法。在一些方面，监督学习可以使用标记数据。在一个示例中，期望的输出包括期望的控制信号以实现期望的结果。
46.在无监督学习中，不使用目标。相反，这些方法根据模式将种群分为不同的群组。无监督学习方法的示例包括apriori算法和k-means方法。
47.在图1a的系统的操作的一个示例中，控制器106被构造为：接收指令(例如，操作员输入126)并且从存储器110访问环境图111。基于指令和环境图111，控制器106将这些应用于机器学习模型115以获得一个或多个控制信号120。一个或多个控制信号120被应用于致动器104以使用多个自由度改变机械臂102的构造状态，从而允许机械臂在通道103中获得牵引力，并根据不涉及致动器104的移动朝向目的地自行推进。如上所述，这些状态改变可以由致动器104实施。
48.机械臂102的形状变化允许其在通道103中获得牵引力，并自行推进通过通道103。例如，由机械臂102做出的尺蠖型运动导致机械臂102的部分抓握并推动通道103的底部，从而推动机械臂102的所有部分向前。通道103中的障碍物可以用作机械臂102的杠杆，以鼓励和促进机械臂102的自行推进移动。这样做时，可以看出，一旦操作员将机械臂102插入零件108中，就不需要操作员干预。还应当理解，尽管本文所述的方法允许机械臂102自行推进通过通道103的至少一些部分，但是致动器104可以提供附加的力或动力以使机械臂102移动通过通道103。还应当理解，所产生的移动不限于本文提及的特定移动(例如响尾蛇、开瓶器或尺蠖)，而是除了其他完全不同的移动之外，还可以是这些移动的组合或变型。
49.在一些情况下，致动器104不推动机械臂102。相反，人推动(并且可能扭转)机械臂102并且位置传感器107测量机械臂102的位移，并将感测到的位移视为控制输入。
50.在一些方面，机械臂包括远端(包括尖端部分130)和近端(与远端相对)。机械臂102的尖端部分130(包括尖端)被控制为不必与来自环境(通道103)的支撑接触。使用机械臂102的多个自由度，机械臂102的远端(包括尖端部分130)的大部分远端环境支撑可以由通道103朝向机械臂102的近端提供。例如，用于机械臂102的支撑可以在尖端部分130后面的机械臂102的第二或第三节段处。在操作中，操作员将不会意识到机器学习模型115正在控制机械臂102的更多部分，以使得尖端部分130(包括尖端)能够被提升为离通道103中的任何支撑表面更远。在一个示例中，尖端部分130包括位于远端的机械臂130的前两个节段。
51.现在参考图1b，进一步描述系统100的操作。动态图生成方法122或cad方法124可以用于创建环境图111。此外，可以使用这两种方法的混合体。
52.cad方法124可以包括使用通过环境图111描述零件108(例如，通道103)的cad文
件。cad文件可以是任何适当的格式。
53.动态图生成方法122可以根据同时定位和映射(slam)方法进行操作。slam方法通过在机械臂102移动通过零件108(例如，通过通道103)时使用例如传感器输入(例如，传感器132)来构建零件108(例如，飞行器发动机)的环境图。由slam方法(或其他动态方法)创建的环境图111随时间动态变化。例如，环境图111最初可以包括非常少的信息，然后随时间填充有更详细的信息。使用这样的动态方法有效地使环境图111适应零件108(即，特定零件，而不仅仅是给定类型的零件)。例如，如果零件108是飞行器发动机，则飞行器发动机a中的叶片可以从标称形状未弯曲，但飞行器发动机b中的叶片可以从标称形状弯曲。另外，发动机a的叶片可以在第一时间未弯曲但在随后的时间弯曲。在这些示例中，分别为发动机a和发动机b构建单独的环境图，并且在第一时间和第二时间为发动机a构建单独的环境图。
54.环境图111、操作员输入126(例如，操纵杆位置)和传感器输入128(例如，来自位置传感器107的读数)被应用于机器学习模型115，以产生一个或多个控制信号120。一个或多个控制信号120被应用于致动器104。致动器104使用这些来控制机械臂102。这样做时，控制机械臂102的移动，允许机械臂102在通道103中自动获得牵引力，并根据移动自动自行推进。
55.举一个示例，当机械臂102穿过通道103时，在通道103内可能会遇到障碍物。环境图111、操作员输入126(例如，操纵杆位置)和传感器输入128(例如，来自位置传感器107的读数)被应用于机器学习模型115。机器学习模型115确定尺蠖移动将允许机械臂102克服障碍物。引起该移动的控制信号120被发送到致动器104，致动器104使机械臂102(或机械臂的部分)进行该指定移动。操作员只意识到机械臂102正在向前移动，并且不需要转向以处理障碍物。换言之，克服障碍物由系统100自动处理。
56.现在参考图2，描述了用于在待检查零件204中导航具有尖端201的机械臂202的系统200的一个示例。尖端201可以包括第一传感器(例如，相机，未示出，见图1a中的传感器132)。
57.机械臂202包括第一区段206和第二区段208，第一区段206是用于手动操纵的被动臂区段，第二区段208包括多个致动区段210。在示例中，人可以推动机械臂202。致动器组212包括马达、齿轮和其他机构，以推动机械臂202并控制机械臂202的移动。机械臂202可以包括绳索、线绳、缆绳、齿轮、滑轮，或者当由致动器组212以特定方式调整时使机械臂202自行推进并使该移动呈现各种形状(诸如响尾蛇运动、开瓶器运动或尺蠖运动，仅举几个示例)的机构。致动器组212还可以包括进行本文描述的各种操作的控制器(例如，控制器106)。如本文别处所述，深度强化学习可以用于获得机器学习模型115。机器学习模型115以这些行为作为起点被播种或训练。
58.待检查零件204包括允许进入待检查零件204中的通道207的管道镜检查(bsi)端口205。为清楚起见，已移除待检查零件204的上半部分，以便看到在待检查零件204中的机械臂202的部分。待检查零件204可以是飞行器发动机，并且通道207可以在发动机内部。
59.在一些方面，第二(或位置)传感器214安装在bsi端口205上或附近。机械臂202最初是被动的，直到尖端201在操作员插入时通过位置传感器214时被感测到。第二传感器214使用机械臂202外部上的标记来感测机械臂202被手动插入时的位置(例如，插入通道207的深度)和旋转。蛇形运动从属于插入感测并且致动器运动类似地从属于插入感测，以将机械
臂202的被动区段206维持在可操纵条件而不是推动或拉动。也可以使用其他类型的传感器。例如，磁性特性可以被编码到机械臂202的蒙皮上，并且第二传感器214可以是感测这些特性的霍尔效应传感器。
60.在其他方面，第二传感器214容纳稳定抓握元件。当操作员需要将臂保持不动时，稳定抓握元件(例如夹子或抓手)可以使机械臂202保持不动，以实现单手操作。通过臂蒙皮，通过视觉手势感测，或者当通过开关(例如，脚踏板开关)明确指示时，感测到意图。在其他实施例中，稳定抓握元件可以与第二传感器214分开或相邻。
61.机械臂202的控制可以由操作员通过使用手动插入来完成。在这种情况下，操作员插入机械臂202，就像插入管道镜一样，并用操纵杆(例如，用户接口121)控制运动方向或尖端关节连接(例如，上/下/左/右)。操作员可以使用从安装在尖端201处的相机(例如，见传感器132)获得的图像来操纵尖端201。尽管可以软件旋转相机图像以进行显示，但是操作员通常熟悉扭转机械臂202，因此机械臂202的臂扭转被第二传感器214感测到并且作为使用模式启用。在一些实施例中，相机图像可以是软件旋转的，使得图像的竖直轴线与重力矢量对准，而在其他实施例中，相机图像不旋转，使得机械臂202的臂扭转导致图像旋转。
62.在其他方面，尖端201处的第一传感器(例如，传感器132)用于实时识别插入环境中的特征，以生成用于支撑、稳定、间隙桥接、臂约束和限制评估的环境模型。操作员仅专注于基于视觉(例如，相机)反馈的尖端运动，而控制软件使用臂中的多个自由度来实现稳定的向前运动和期望的尖端位置，并在可能的情况下实现牵引运动。
63.在一些情况下，cad模型可用于环境(例如，通道207)，并且可以限定基于任务的成本函数以实现导航辅助。给定最终目标，这些基于任务的成本函数有助于以最佳方式偏置机械臂202的臂形状，而不限制操作员交互。典型的成本函数可以包括臂的自由度之间的弯曲角度的大小之和，作为机械臂202的臂关节连接的整体测量，或者弯曲角度的平方和，以便最小化机械臂202的自由度之间的弯曲角度的极值。
64.现在参考图3，描述了用于控制机械臂的方法的一个示例。
65.在步骤302，将机械臂插入待检验零件的通道中。机械臂是柔性的并且包括尖端，在尖端处具有传感器。机械臂在移动通过通道时具有多个自由度。
66.在步骤304，访问环境图。环境图可以存储在电子存储器中。环境图可以是静态的(例如，cad模型)或动态变化的(例如，使用slam方法生成和更新)。
67.在步骤306，接收传感器读数。这些可以来自机械臂的尖端。在其他方面，这些读数可以来自输入端口处的传感器。
68.在步骤308，接收用户指令。这些用户指令可以来自操纵杆。其他示例也是可能的。
69.在步骤310，将环境图、传感器读数和用户指令应用于机器学习模型以产生控制信号。如本文别处所讨论的，机器学习模型可以是任何类型的机器学习模型，例如神经网络。
70.在步骤312，控制信号被应用于臂或机械臂的致动器以移动机械臂。
71.现在参考图4、图5和图6，描述了由本方法提供的复杂运动的示例。应当理解，这些运动可以引起臂的全部或部分(例如，臂的围绕尖端或尖端后面的部分)移动。此外，这些运动的组合是可能的。更进一步，其他复杂的运动是可能的。
72.现在参考图4，描述了以响尾蛇类型移动移动的机械臂402(或机械臂402的部分)的一个示例。图4示出了机械臂402的移动，大体在由标记为420的箭头指示的方向上移动。
如图所示，机械臂402的区段被致动以推动机械臂402。这些区段推动物体(例如，通道的侧面、障碍物、被检查零件的内部元件)。机械臂402的某些区段的推动动作使整个机械臂402在由标记为420的箭头指示的方向上移动，并且使机械臂402呈现响尾蛇形状。
73.更具体地，机械臂402首先成形为形状430。区段408和410被致动以在由标记为406的箭头指示的方向上推动机械臂402，这移动机械臂402并且导致机械臂402呈现形状432。然后区段412和414被致动以在由标记为406的箭头指示的方向上推动机械臂402，这移动机械臂402并且导致机械臂402呈现形状434。一旦机械臂402处于形状434，区段416和418可以在标记为406的箭头的方向上推动，以在方向420上移动机械臂402并且还呈现不同的形状。
74.应当理解，这是响尾蛇移动的一个示例并且其他示例是可能的。还应当理解，臂在方向420上的运动可以相对大或小。此外，在其他方面，在方向420上没有运动，并且响尾蛇动作只是改变机械臂402的形状。
75.现在参考图5，描述了机械臂500的开瓶器运动的一个示例。机械臂500的区段被致动以使机械臂500在由标记为504的箭头指示的方向上向前移动。这些区段的致动可以在由标记为502的箭头指示的方向上。同样，通过致动机械臂500中的选定区段，使机械臂500的形状呈现开瓶器形状。
76.现在参考图6，描述了机械臂602的尺蠖移动的一个示例。在状态630，机械臂602是直的，例如，笔直地躺在通道中。接下来，在状态632，机械臂602的部分被向下致动(例如，抵靠通道的底部)，在由标记为604的箭头指示的方向上推动，导致机械臂602向上弯曲，并且还在由标记为606的箭头指示的方向上向前移动机械臂602。
77.然后，在状态634，机械臂602的其他部分通过在由标记为604的箭头指示的方向上的推动被向下致动(例如，抵靠通道的底部)，导致机械臂602进一步向上弯曲，并且还在由标记为606的箭头指示的方向上进一步向前移动机械臂602。接下来，在状态636，来自机械臂602的部分的压力被放松，导致机械臂602向下弯曲，并且还在由标记为606的箭头指示的方向上进一步向前移动机械臂602。最后，在状态638，机械臂602是直的并且已经相对于状态630向前移动。
78.现在参考图7，描述了环境图700(例如，环境图111)的一个示例。图7是环境图700的可视化，并且应当理解，这可以以任何类型的格式用电子方式表示。例如，环境图700可以是任何适当格式的计算机辅助设计(cad)文件，其描述了机械臂将在其中操作的环境。在另一个示例中，环境图700是根据slam方法创建的文件。如果是cad文件，则环境图700可以是静态的。但是，如果根据slam(或其他类似)方法创建，则环境图700会随时间动态变化，例如，从包含较少的有关环境的信息到包含更多的有关机械臂在其中操作的环境的信息。
79.在任一情况下并且在该示例中，环境图700包括关于通道702的信息，通道702具有通向叶片704的障碍物706。尺寸d1是从开口到障碍物706的距离。距离d2是叶片704的长度。theta是障碍物706相对于叶片704的角度。d3是从通道的开口到叶片704的尖端的距离。d4是障碍物706的高度。
80.所有这些信息都包括在适当的格式中以表示环境。如所提到的，环境图700在物理上可以是任何格式的文件，其包含表示环境(在这种情况下，图7中所示的环境)的任何适当数据结构。
81.现在参考图8，描述了机器学习模型800的一个示例。机器学习模型800包括如图所
示互连的各种节点808、810、812、814、816、818、820、822、824、826、828、830、832和834。环境图802被应用于节点808。例如来自位置传感器(例如，位置传感器214)的传感器读数804被应用于节点810。用户输入(例如，操纵杆移动)被应用于节点812。作为接收特定环境图802、特定传感器读数804和特定用户输入806的结果，机器学习模型800已被训练以产生特定且不同的控制信号836。在示例中，机器学习模型800是卷积神经网络。在其他示例中，机器学习模型800使用深度强化学习。可以应用模拟用户输入和传感器读数的训练数据的不同训练集。
82.在一个示例中，机器学习模型800是神经网络并且机器学习模型800通过将训练数据应用于神经网络来训练。在一个具体示例中，机器学习模型800是如图8所示的神经网络。神经网络具有层850、852、854和856(各自包括一个或多个节点)，并且每一层进行一个或多个特定功能。在一些方面，这些层形成带有具有特定值的权重的向量或矩阵的图形结构。例如，层850可以是接收输入信号或数据并将该信息传递到下一层852的输入层。一个或多个其他层852、854对数据或涉及数据进行计算或做出确定。层856可以是产生控制信号836的输出层，控制信号836产生臂移动。
83.现在参考图9，描述了机器学习模型(例如，机器学习模型115)的功能操作的一个示例。在步骤902，接收各种输入。在这种情况下，环境图输入指示机械臂的路径中的障碍物和障碍物的尺寸(x)。传感器读数指示机械臂在通道中的位置y。用户输入指示用户希望向前移动机械臂(例如，从位置y进一步进入通道)。在步骤904，这些输入被应用到机器学习模型(例如，训练的神经网络)并且通过各种计算和分析，确定要进行的动作是使用尺蠖型移动在障碍物上移动臂的部分。因此，形成控制信号906以应用于机械臂，从而迫使臂的部分进入将克服障碍物的尺蠖构造。应当理解，该动作是在操作员不知情或不干预的情况下确定和实施的，并且可以对操作员透明。
84.现在参考图10a、图10b、图10c和图10d，描述了控制机械臂1002的一个示例。如前所述，如本文所用的“牵引力”是指支撑或抵抗两个物体(例如，机械臂和通道)之间的相对运动。例如，在机械臂和通道的表面之间提供牵引力以推进机械臂向前。在另一个示例中，在机械臂和表面之间提供牵引力以支撑臂抵抗重力和/或防止臂由于重力而移动。
85.应当理解，所使用的方法可以用于将机械臂1002插入通道中。然而，这些方法也可以用于控制机械臂1002在与插入方向大致相反的方向上移出通道(一旦它已被插入)。如前所述，这是优于先前方法的显著优势，先前方法依赖于从通道中手动提取(例如，拉动)装置。
86.机械臂1002沿通道表面1004移动。机械臂包括第一部分1006、第二部分1008、第三部分1010和第四部分1012。第一部分1006、第二部分1008、第三部分1010和第四部分1012中的每一个都包括一个或多个节段，这些节段如本文别处所述被致动。节段1012具有尖端1014并且这是机械臂1002的远端。节段1006位于机械臂1002的近端。
87.在图10a中，操作员将尖端1014指向上方以查看一些目标或特征(例如，在飞行器发动机内)。在图10b中，操作员已经在由标记为1016的箭头指示的大致方向上向前移动机械臂1002(与图10a相比)并且关节连接，从而以相对于水平面的较小角度观察目标或特征。到目前为止，所有节段的移动都是“路径跟随”(尖端跟随)，因为所有节段都在与尖端1014相同的移动中移动。
88.然而，在图10c中，操作员已经进一步向前移动并且向下关节连接再一些。然而，机械臂1002的第二节段1008没有弯曲以遵循由图10b中的机械臂1002描述的路径。第二节段1008提供的牵引力允许第三节段1010和第四节段1012(连同尖端1014)的升高和成角度，而不需要第三节段1010或第四节段1012获得牵引力。
89.然后，在图10d中，操作员再次将机械臂1002向前移动到低水平(到水平面)。一直以来，操作员都没有意识到第四节段1012后面的机械臂1002的屈曲，这是实现尖端1014的角度和第四节段1012的升高所必需的。操作员也没有意识到第四节段1012的靠近(近)端的定位和取向。定位使用机器学习模型自动发生，无需操作员的干预或控制，如本文别处所述。
90.本公开的进一步方面由以下条项的主题提供：
91.一种系统，所述系统包括：机械臂，所述机械臂是柔性的，所述机械臂插入零件内的通道，所述机械臂在移动通过所述通道时具有多个自由度；至少一个传感器；致动器，所述致动器联接到所述机械臂；控制器，所述控制器联接到所述机械臂、所述至少一个传感器和所述致动器，所述控制器被构造为：接收限定所述机械臂的尖端的尖端运动的操作员指令；从所述至少一个传感器接收传感器读数；访问环境图，所述环境图限定所述通道的部分的几何形状；将所述操作员指令、所述环境图和所述传感器读数应用于先前训练的机器学习模型，以产生控制信号；以及将所述控制信号应用于所述机械臂上的所述致动器，以控制所述机械臂的移动，从而允许所述机械臂在所述通道中自动获得牵引力，并根据所述移动在所述通道内自动移动。
92.根据任何前述条项所述的系统，其中，所述环境图包括计算机辅助设计(cad)模型。
93.根据任何前述条项所述的系统，其中，所述环境图包括动态变化模型。
94.根据任何前述条项所述的系统，其中，所述环境图包括计算机辅助设计(cad)模型和动态变化模型的混合体。
95.根据任何前述条项所述的系统，其中，所述至少一个传感器包括相机。
96.根据任何前述条项所述的系统，其中，所述机械臂在所述零件的插入点处插入所述通道，并且其中所述至少一个传感器包括定位在所述插入点处的位置传感器，所述位置传感器基于检测所述机械臂上的标记来确定所述机械臂的位置。
97.根据任何前述条项所述的系统，其中，所述移动包括响尾蛇移动。
98.根据任何前述条项所述的系统，其中，所述移动包括开瓶器移动。
99.根据任何前述条项所述的系统，其中，所述移动包括尺蠖移动。
100.根据任何前述条项所述的系统，其中，所述致动器包括被构造为从操作员接收所述操作员指令的用户接口。
101.根据任何前述条项所述的系统，其中，所述机械臂包括具有至少一个节段的尖端部分和具有多个节段的近端部分，其中所述近端部分的所述多个节段中的选定节段提供牵引力，以提升和/或改变所述尖端部分的取向，而所述尖端部分不从所述通道获得牵引力并且没有操作员参与或控制。
102.一种方法，所述方法包括：将机械臂插入零件内的通道，所述机械臂是柔性的并且在移动通过所述通道时具有多个自由度；在控制器处：接收限定所述机械臂的尖端的尖端
运动的操作员指令；从至少一个传感器接收传感器读数；访问环境图，所述环境图限定所述通道的部分的几何形状；将所述操作员指令、所述环境图和所述传感器读数应用于先前训练的机器学习模型，以产生控制信号；以及将所述控制信号应用于所述机械臂上的致动器，以控制所述机械臂的移动，从而允许所述机械臂在所述通道中自动获得牵引力，并根据所述移动在所述通道内自动移动。
103.根据任何前述条项所述的方法，其中，所述环境图包括计算机辅助设计(cad)模型。
104.根据任何前述条项所述的方法，其中，所述环境图包括动态变化模型。
105.根据任何前述条项所述的方法，其中，所述环境图包括计算机辅助设计(cad)模型和动态变化模型的混合体。
106.根据任何前述条项所述的方法，其中，所述至少一个传感器包括相机。
107.根据任何前述条项所述的方法，其中，所述机械臂在所述零件的插入点处插入所述通道，并且其中所述至少一个传感器包括定位在所述插入点处的位置传感器，所述位置传感器基于检测所述机械臂上的标记来确定所述机械臂的位置。
108.根据任何前述条项所述的方法，其中，所述移动包括响尾蛇移动。
109.根据任何前述条项所述的方法，其中，所述移动包括开瓶器移动。
110.根据任何前述条项所述的方法，其中，所述移动包括尺蠖移动。
111.根据任何前述条项所述的方法，其中，所述致动器包括被构造为从操作员接收所述操作员指令的用户接口。
112.根据任何前述条项所述的方法，其中，所述机械臂包括具有至少一个节段的尖端部分和具有多个节段的近端部分，其中所述近端部分的所述多个节段中的选定节段提供牵引力，以提升和/或改变所述尖端部分的取向，而所述尖端部分不从所述通道获得牵引力并且没有操作员参与或控制。
113.本领域的技术人员将认识到，在不脱离本公开的范围的情况下，可以对上述实施例进行多种修改、变化和组合，并且这样的修改、变化和组合应被视为在本发明概念的范围内。

技术特征：
1.一种系统，其特征在于，所述系统包括：机械臂，所述机械臂是柔性的，所述机械臂插入零件内的通道，所述机械臂在移动通过所述通道时具有多个自由度；至少一个传感器；致动器，所述致动器联接到所述机械臂；控制器，所述控制器联接到所述机械臂、所述至少一个传感器和所述致动器，所述控制器被构造为：接收限定所述机械臂的尖端的尖端运动的操作员指令；从所述至少一个传感器接收传感器读数；访问环境图，所述环境图限定所述通道的部分的几何形状；将所述操作员指令、所述环境图和所述传感器读数应用于先前训练的机器学习模型，以产生控制信号；以及将所述控制信号应用于所述机械臂的所述致动器，以控制所述机械臂的移动，从而允许所述机械臂在所述通道中自动获得牵引力，并根据所述移动在所述通道内自动移动。2.根据权利要求1所述的系统，其特征在于，其中，所述机械臂包括具有至少一个节段的尖端部分和具有多个节段的近端部分，其中所述近端部分的所述多个节段中的选定节段提供牵引力，以提升和/或改变所述尖端部分的取向，而所述尖端部分不从所述通道获得牵引力并且没有操作员参与或控制。3.根据权利要求1所述的系统，其特征在于，其中，所述环境图包括计算机辅助设计(cad)模型或动态变化模型。4.根据权利要求1所述的系统，其特征在于，其中，所述环境图包括计算机辅助设计(cad)模型和动态变化模型的混合体。5.根据权利要求1所述的系统，其特征在于，其中，所述至少一个传感器包括相机。6.根据权利要求1所述的系统，其特征在于，其中，所述机械臂在所述零件的插入点处插入所述通道，并且其中所述至少一个传感器包括定位在所述插入点处的位置传感器，所述位置传感器基于检测所述机械臂上的标记来确定所述机械臂的位置。7.根据权利要求1所述的系统，其特征在于，其中，所述移动包括响尾蛇移动。8.根据权利要求1所述的系统，其特征在于，其中，所述移动包括开瓶器移动。9.根据权利要求1所述的系统，其特征在于，其中，所述移动包括尺蠖移动。10.根据权利要求1所述的系统，其特征在于，其中，所述致动器包括被构造为从操作员接收所述操作员指令的用户接口。

技术总结
将机械臂插入待检查零件的通道。接收限定机械臂的尖端的尖端运动的操作员指令、传感器读数和环境图。操作员指令、环境图和传感器读数被应用于先前训练的机器学习模型，以产生控制信号。将控制信号应用于臂上的致动器，以控制机械臂的移动，从而允许机械臂在通道中自动获得牵引力，并根据移动自动移动。并根据移动自动移动。并根据移动自动移动。


技术研发人员：安德鲁
受保护的技术使用者：奥利弗克里斯宾机器人有限公司
技术研发日：2023.04.03
技术公布日：2023/10/19