一种基于靶标标定定位模型的智能控制方法及系统

1.本发明属于机器视觉技术领域，具体涉及基于靶标标定定位模型的智能控制方法及系统。


背景技术：

2.近年来，机械臂控制作为一种极具前景和应用价值的技术在汽车制造、果实采摘、流水线作业、外科手术等领域发挥了重要的作用，对工业、农业、制造业的发展具有重要意义。大多数多自由度机械臂系统本质上是一种半闭环的控制结构，系统只能精确控制关节伺服电机位置，而电机位置与机械臂末端执行器位置之间关系通过运动学确定。目前国内外机械臂厂商生产的机械臂受加工装配的影响，不能保证各个模块绝对的契合，而且机械臂在运行的过程中电机磨损、外部噪声等非几何因素直接影响机械臂的模型参数，造成理论运动学模型与实际模型之间不可避免的存在误差，从而导致末端位置的误差。
3.当前环境下，通常基于单目视觉和双目视觉对机械臂以及执行机构末端进行标定，辅助完成机械臂的控制动作，然而基于双目视觉的控制方法较为繁琐，同时基于单目视觉的控制方法受限制于环境因素。


技术实现要素：

4.本发明提供了一种基于靶标标定定位模型的智能控制方法及系统，简化机械臂的控制过程，同时避免了受环境因素的限制。
5.为达到上述目的，本发明所采用的技术方案是：
6.本发明第一方面提供了一种基于靶标标定定位模型的智能控制方法，包括：
7.利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿所述辅相机和主相机组成双目相机，所述辅相机和主相机分别设置于所述执行机构的两侧；
8.获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；
9.基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工。
10.优选的，利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿的方法包括：
11.通过辅相机和主相机之间进行相互标定获得双目相机的相对位姿关系；
12.利用辅相机对靶标的定位区域进行图像采集建立靶标模板；使用可变形模板匹配算法对靶标模板进行识别获得靶标定位点的二维像素坐标，各靶标定位点组成靶标定位区域的边缘线；
13.将靶标定位点的二维像素坐标转换为在世界坐标系下的三维坐标；根据靶标与执行机构的固定位置关系获得执行机构末端在辅相机下的位姿；
14.基于执行机构末端在辅相机下的位姿以及双目相机的相对位姿关系，计算执行机构末端在主相机下的位姿其中，表示为执行机构末端至主相机的旋转矩阵，表示为执行机构末端至主相机的平移向量。
15.优选的，所述通过辅相机和主相机之间进行相互标定获得双目相机的相对位姿关系的方法包括：
16.将辅相机和主相机分别安装于所述执行机构两侧后，分别对辅相机和主相机建立辅相机坐标系和主相机坐标系，标定双目相机的的相对位姿；所述双目相机的的相对位姿包括辅相机至主相机的旋转矩阵和辅相机至主相机的平移向量
17.优选的，将靶标定位点的二维像素坐标转换为在世界坐标系下的三维坐标的方法包括：通过pnp算法靶标定位点的二维像素坐标转换为在辅相机坐标系下的三维坐标，通过icp算法将靶标定位点在辅相机坐标系下的三维坐标转换为在世界坐标系下的三维坐标。
18.优选的，标定执行机构的标靶的固定方法包括：
19.将靶标设置于距离机械臂的法兰设定距离l处，同时设置所述靶标在辅相机的视野中，所述靶标与所述执行机构的轴线相互垂直；将靶标坐标系原点设置于所述执行机构的轴线上；其中，所述执行机构的轴线、主相机的轴线和辅相机的轴线相互平行。
20.优选的，基于执行机构末端在辅相机下的位姿以及双目相机的相对位姿关系，计算执行机构末端在主相机下的位姿的方法包括：
[0021][0022][0023]
公式中，t
x
为靶标坐标原点相对于辅相机坐标系下在x轴方向上的坐标；ty为靶标坐标原点相对于辅相机在y方向上的坐标，tz靶标坐标原点相对于辅相机坐标系下在z轴方向上的坐标；表示为执行机构末端至辅相机的平移向量；表示为执行机构末端至辅相机的旋转矩阵。
[0024]
优选的，获取目标零件在主相机下的位姿的方法包括：
[0025]
利用主相机对目标零件进行图像采集建立目标零件模板；使用可变形模板匹配算
法对目标零件模板进行识别获得目标零件定位点的二维像素坐标，各目标零件定位点组成目标零件的边缘线；
[0026]
通过pnp算法目标零件定位点的二维像素坐标转换为在主相机坐标系下的三维坐标，通过icp算法将目标零件定位点在主相机坐标系下的三维坐标转换为在世界坐标系下的三维坐标，获取目标零件在主相机下的位姿其中，表示为目标零件至主相机的旋转矩阵；表示为目标零件至主相机的平移向量。
[0027]
优选的，基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型的方法包括：
[0028][0029][0030][0031]
公式中，r
hb
表示为机械臂法兰到基准坐标系原点的旋转矩阵；t
hb
表示为机械臂法兰到基准坐标系原点的平移向量；r
th
表示为执行机构到机械臂法兰的旋转矩阵；t
th
表示为执行机构到机械臂法兰的平移向量；r
final
表示为执行机构到基准坐标系原点的旋转矩阵；t
final
表示为执行机构到基准坐标系原点的平移向量。
[0032]
本发明第二方面提供了一种基于靶标标定定位模型的智能控制系统，包括：
[0033]
标定模块，用于利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿所述辅相机和主相机组成双目相机，所述辅相机和主相机分别设置于所述执行机构的两侧；
[0034]
处理分析模块，用于获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；
[0035]
控制模块，用于基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工。
[0036]
优选的，所述执行机构设置为电动螺丝批。
[0037]
本发明第三方面提供了计算机可读存储介质，其特征在于其上存储有计算机程序，该程序被处理器执行时实现第一方面所述智能控制方法的步骤。
[0038]
与现有技术相比，本发明的有益效果：
[0039]
本发明利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿所述辅相机和主相机组成双目相机，所述辅相机和主相机分别设置于所述执行机构的两侧；只需要对于主相机与执行机构通过辅助相机和靶标进行标定，机构末端标定完成后将辅相机和靶标拆除，之后可直接安装于机械臂的法兰上使用，过程简单、容易操作，适用于一些不便开展标定的场合。
[0040]
本发明根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工；只需要通过主相机去识别目标零件，将位置信息发送给机械臂，简化机械臂的控制过程，同时避免了受环境因素的限制。
附图说明
[0041]
图1是实施例1提供的智能控制方法的流程图；
[0042]
图2是实施例1提供的双目相机和电动螺丝批的结构图；
[0043]
图3是实施例1提供的机械臂和电动螺丝批的结构图。
具体实施方式
[0044]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0045]
实施例1
[0046]
如图1至图3所示，本实施例提供了一种基于靶标标定定位模型的智能控制方法，包括：
[0047]
将辅相机和主相机分别安装于所述执行机构两侧，本实施例中所述执行机构设置为电动螺丝刀上，所述辅相机和主相机组成双目相机；对辅相机和主相机建立辅相机坐标系和主相机坐标系，标定双目相机的的相对位姿；所述双目相机的的相对位姿包括辅相机至主相机的旋转矩阵和辅相机至主相机的平移向量
[0048]
标定执行机构的标靶的固定方法包括：
[0049]
将靶标设置于距离机械臂的法兰设定距离l处，同时设置所述靶标在辅相机的视野中，所述靶标与所述执行机构的轴线相互垂直；将靶标坐标系原点设置于所述执行机构的轴线上；其中，所述执行机构的轴线、主相机的轴线和辅相机的轴线相互平行。
[0050]
利用辅相机对靶标的定位区域进行图像采集建立靶标模板；使用可变形模板匹配算法对靶标模板进行识别获得靶标定位点的二维像素坐标，各靶标定位点组成靶标定位区
域的边缘线。
[0051]
通过pnp算法靶标定位点的二维像素坐标转换为在辅相机坐标系下的三维坐标，通过icp算法将靶标定位点在辅相机坐标系下的三维坐标转换为在世界坐标系下的三维坐标，根据靶标与执行机构的固定位置关系获得执行机构末端在辅相机下的位姿。
[0052]
基于执行机构末端在辅相机下的位姿以及双目相机的相对位姿关系，计算执行机构末端在主相机下的位姿计算公式为：
[0053][0054][0055]
其中，表示为执行机构末端至主相机的旋转矩阵，表示为执行机构末端至主相机的平移向量；t
x
为靶标坐标原点相对于辅相机坐标系下在x轴方向上的坐标；ty为靶标坐标原点相对于辅相机在y方向上的坐标，tz靶标坐标原点相对于辅相机坐标系下在z轴方向上的坐标；表示为执行机构末端至辅相机的平移向量；表示为执行机构末端至辅相机的旋转矩阵。
[0056]
机构末端标定完成后将辅相机和靶标拆除，之后可将执行机构直接安装于机械臂的法兰上使用，过程简单、容易操作，适用于一些不便开展标定的场合。
[0057]
获取目标零件在主相机下的位姿的方法包括：
[0058]
利用主相机对目标零件进行图像采集建立目标零件模板；使用可变形模板匹配算法对目标零件模板进行识别获得目标零件定位点的二维像素坐标，各目标零件定位点组成目标零件的边缘线；
[0059]
通过pnp算法目标零件定位点的二维像素坐标转换为在主相机坐标系下的三维坐标，通过icp算法将目标零件定位点在主相机坐标系下的三维坐标转换为在世界坐标系下的三维坐标，获取目标零件在主相机下的位姿其中，表示为目标零件至主相机的旋转矩阵；表示为目标零件至主相机的平移向量。
[0060]
所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；
[0061]
基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型的方法包括：
[0062][0063][0064]
公式中，r
hb
表示为机械臂法兰到基准坐标系原点的旋转矩阵；t
hb
表示为机械臂法兰到基准坐标系原点的平移向量；r
th
表示为执行机构到机械臂法兰的旋转矩阵；t
th
表示为执行机构到机械臂法兰的平移向量；r
final
表示为执行机构到基准坐标系原点的旋转矩阵；t
final
表示为执行机构到基准坐标系原点的平移向量。
[0065]
根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工；只需要通过主相机去识别目标零件，将位置信息发送给机械臂，简化机械臂的控制过程，同时避免了受环境因素的限制。
[0066]
实施例2
[0067]
本实施例提供了一种基于靶标标定定位模型的智能控制系统，本实施例中的智能控制系统可以应用于实施例1所述的智能控制方法，智能控制系统包括：
[0068]
标定模块，用于利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿所述辅相机和主相机组成双目相机，所述辅相机和主相机分别设置于所述执行机构的两侧；所述执行机构设置为电动螺丝批；
[0069]
处理分析模块，用于获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；
[0070]
控制模块，用于基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工。
[0071]
实施例3
[0072]
本实施例提供了计算机可读存储介质，其特征在于其上存储有计算机程序，该程序被处理器执行时实现实施例1所述智能控制方法的步骤。
[0073]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0074]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0075]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0076]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0077]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

技术特征：
1.一种基于靶标标定定位模型的智能控制方法，其特征在于，包括：利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿所述辅相机和主相机组成双目相机，所述辅相机和主相机分别设置于所述执行机构的两侧；获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工。2.根据权利要求1所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿的方法包括：通过辅相机和主相机之间进行相互标定获得双目相机的相对位姿关系；利用辅相机对靶标的定位区域进行图像采集建立靶标模板；使用可变形模板匹配算法对靶标模板进行识别获得靶标定位点的二维像素坐标，各靶标定位点组成靶标定位区域的边缘线；将靶标定位点的二维像素坐标转换为在世界坐标系下的三维坐标；根据靶标与执行机构的固定位置关系获得执行机构末端在辅相机下的位姿；基于执行机构末端在辅相机下的位姿以及双目相机的相对位姿关系，计算执行机构末端在主相机下的位姿其中，表示为执行机构末端至主相机的旋转矩阵，表示为执行机构末端至主相机的平移向量。3.根据权利要求2所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，所述通过辅相机和主相机之间进行相互标定获得双目相机的相对位姿关系的方法包括：将辅相机和主相机分别安装于所述执行机构两侧后，分别对辅相机和主相机建立辅相机坐标系和主相机坐标系，标定双目相机的相对位姿；所述双目相机的相对位姿包括辅相机至主相机的旋转矩阵和辅相机至主相机的平移向量4.根据权利要求2所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，将靶标定位点的二维像素坐标转换为在世界坐标系下的三维坐标的方法包括：通过pnp算法靶标定位点的二维像素坐标转换为在辅相机坐标系下的三维坐标，通过icp算法将靶标定位点在辅相机坐标系下的三维坐标转换为在世界坐标系下的三维坐标。5.根据权利要求3所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，标定执行机构的标靶的固定方法包括：将靶标设置于距离机械臂的法兰设定距离l处，同时设置所述靶标在辅相机的视野中，所述靶标与所述执行机构的轴线相互垂直；将靶标坐标系原点设置于所述执行机构的轴线
上；其中，所述执行机构的轴线、主相机的轴线和辅相机的轴线相互平行。6.根据权利要求5所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，基于执行机构末端在辅相机下的位姿以及双目相机的相对位姿关系，计算执行机构末端在主相机下的位姿的方法包括：的方法包括：公式中，t
x
为靶标坐标原点相对于辅相机坐标系下在x轴方向上的坐标；t
y
为靶标坐标原点相对于辅相机在y方向上的坐标，t
z
靶标坐标原点相对于辅相机坐标系下在z轴方向上的坐标；表示为执行机构末端至辅相机的平移向量；表示为执行机构末端至辅相机的旋转矩阵。7.根据权利要求1所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，获取目标零件在主相机下的位姿的方法包括：利用主相机对目标零件进行图像采集建立目标零件模板；使用可变形模板匹配算法对目标零件模板进行识别获得目标零件定位点的二维像素坐标，各目标零件定位点组成目标零件的边缘线；通过pnp算法目标零件定位点的二维像素坐标转换为在主相机坐标系下的三维坐标，通过icp算法将目标零件定位点在主相机坐标系下的三维坐标转换为在世界坐标系下的三维坐标，获取目标零件在主相机下的位姿其中，表示为目标零件至主相机的旋转矩阵；t
sc2
表示为目标零件至主相机的平移向量。8.根据权利要求6所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型的方法包括：位姿建立所述目标零件在基准坐标系下的坐标模型的方法包括：公式中，r
ct
表示为执行机构末端与目标零件之间的旋转矩阵，t
ct
表示为执行机构末端与目标零件之间的平移向量；r
hb
表示为机械臂法兰到基准坐标系原点的旋转矩阵；t
hb
表示
为机械臂法兰到基准坐标系原点的平移向量；r
th
表示为执行机构到机械臂法兰的旋转矩阵；t
th
表示为执行机构到机械臂法兰的平移向量；r
final
表示为执行机构到基准坐标系原点的旋转矩阵；t
final
表示为执行机构到基准坐标系原点的平移向量。9.一种基于靶标标定定位模型的智能控制系统，其特征在于，包括：标定模块，用于利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿所述辅相机和主相机组成双目相机，所述辅相机和主相机分别设置于所述执行机构的两侧；处理分析模块，用于获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；控制模块，用于基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工。10.计算机可读存储介质，其特征在于其上存储有计算机程序，该程序被处理器执行时实现权利要求1至权利要求8任一项所述智能控制方法的步骤。

技术总结
本发明公开了一种基于靶标标定定位模型的智能控制方法及系统，包括：利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工；简化机械臂的控制过程，同时避免了受环境因素的限制。免了受环境因素的限制。免了受环境因素的限制。


技术研发人员：谭治英 孔伟丰 陶旭 季琰 范文博 赵锦溁 薛友 徐孝彬 骆敏舟
受保护的技术使用者：河海大学
技术研发日：2023.07.21
技术公布日：2023/9/20