基于视觉相机的抓取调节方法、装置、设备及介质与流程

1.本技术涉及数据处理的技术领域，尤其是涉及一种基于视觉相机的抓取调节方法、装置、设备及介质。


背景技术：

2.随着制造产业趋向于自动化方向发展，机械手臂抓取目标物已得到广泛应用，机械手臂通过工业视觉相机的引导和定位，实现抓取目标或上下料。
3.为了能够使视觉相机定位到目标物，需要提前对视觉相机以及盛放目标物的托盘的位置进行相对校正，当机械手臂完成上一次抓取任务后，回到初始位置，视觉相机再次识别托盘上的下一个目标物。
4.但是在初次安装机械手臂时，需要精确地校正托盘应该摆放的位置，若托盘摆放的位置不准确，则可能导致视觉相机不能准确定位目标物，进而导致机械手臂难以准确完成抓取。因此安装过程难度大。


技术实现要素：

5.为了简化安装过程，本技术提供一种基于视觉相机的抓取调节方法、装置、设备及介质。
6.第一方面，本技术提供一种基于视觉相机的抓取调节方法，采用如下的技术方案：获取视觉相机拍摄的当前图像信息；确定当前图像信息中的托盘边缘以及角点的位置信息；基于所述托盘边缘以及角点的位置信息判断托盘是否位于预设位置；若否，则基于托盘边缘以及角点的位置信息，生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令；响应于所述角度调节指令和所述位移调节指令。
7.通过采用上述技术方案，电子设备获取视觉相机拍摄的当前图像信息，确定当前图像信息中托盘边缘以及角点的位置信息，进而将其与预设位置比较，确定托盘是否偏移，若偏移，则生成角度调节指令和位移调节指令，从而使视觉相机的位置进行调节，使托盘位于图像信息的预设位置处，简化了安装过程，同时提高抓取准确度。
8.进一步地，所述确定当前图像信息中的托盘边缘以及角点的位置信息，包括：将当前图像信息输入至基于深度学习的神经网络模型，确定托盘的边缘，确定两相邻边缘的交点为角点；在当前图像信息中建立坐标系；在坐标系中确定托盘边缘以及角点的位置信息。
9.通过采用上述技术方案，电子设备运用深度学习的神经网络模型，对当前图像信息进行分析，从中确定托盘的边缘和角点，进而在坐标系中确定托盘边缘以及角点的位置信息，从而快速地确定托盘相关信息。
10.进一步地，所述基于托盘边缘以及角点的位置信息，生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令，包括：根据所述托盘边缘的位置信息判断托盘是否偏转；若偏转，则根据托盘边缘的位置信息确定托盘的偏转角度，基于所述偏转角度生成角度调节指令；响应于所述角度调节指令，获取完成角度调节后视觉相机拍摄的第一图像信息；确定第一图像信息中的托盘边缘以及角点的位置信息；若不偏转或确定第一图像信息中的托盘边缘及交点的位置信息之后，根据托盘边缘的位置信息判断托盘是否偏移；若偏移，根据角点的位置信息生成位移调节指令。
11.通过采用上述技术方案，电子设备首先判断托盘在当前图像信息中是否偏转，若偏转，则先调整视觉相机的角度，先将当前图像信息中的托盘调正，进一步再判断重新获取的第一图像信息中，托盘的边缘是否位于预设位置处，若不在则可以确定具有偏移，电子设备则生成位移调节指令，因此能够尽快地调整视觉相机的位置。
12.进一步地，所述根据托盘边缘的位置信息确定托盘的偏转角度，基于所述偏转角度生成角度调节指令，包括：在当前图像信息上生成预设位置对应的框架；选取托盘的任一边缘作为对比边缘；确定所述框架与对比边缘相交的至少一条边；分别确定各个边与所述对比边缘之间的锐角夹角；将最小的锐角夹角确定为托盘的偏转角度；生成调节角度为与偏转角度的负值相等的角度调节指令。
13.通过采用上述技术方案，电子设备在当前图像信息上显示预设位置对应的框架，从而运用线段之间的相对关系，选择托盘的任一条边为对比边缘，确定框架上与对比边缘相交的边，从两边之间的锐角角度确定偏转角度，从而得到角度调节指令，能够快速地确定调节角度。
14.进一步地，所述根据角点的位置信息生成位移调节指令，包括：在当前图像信息上生成预设位置对应的框架；确定框架的任一角点为预设角点；确定托盘上与预设角点位置对应的角点为对比角点；根据所述预设角点与所述对比角点的位置信息，确定由预设角点指向对比角点的位移方向；确定所述预设角点与所述对比角点之间的图像长度；确定所述图像长度对应的实际长度，确定所述实际长度为位移长度；生成包括位移方向和位移长度的位移调节指令。
15.通过采用上述技术方案，电子设备通过托盘与预设位置相对应的两个角点的位置，确定位移的方向和位移距离，能快速地确定移位调节指令。
16.进一步地，在生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令之前，所述方法还包括：基于托盘边缘以及角点的位置信息确定所属的预存区域；
判断预存区域对应的数据库中是否存在与托盘边缘以及角点的位置信息对应的历史信息；若是，则调用历史信息对应的角度调节指令和位移调节指令。
17.通过采用上述技术方案，电子设备在调节之前，首先判断是否预存有与当前图像信息中托盘的位置一致的历史信息，进而能够根据预存的历史信息进行直接调节，无需重复计算，提高调节速度，简化调节过程。
18.进一步地，所述基于托盘边缘以及角点的位置信息确定所属的预存区域，包括：判断是否存在至少两相邻的完整托盘边缘；若是，则根据完整托盘边缘和两相邻的完整托盘边缘之间的角点的位置信息，确定托盘的中心；根据中心的位置确定所属的预存区域；所述预存区域按照中心的位置划分而成；否则，根据托盘在当前图像信息中的位置，确定距离最近的预存区域。
19.通过采用上述技术方案，电子设备在判断当前图像信息中的托盘所述的预存区域时，首先根据托盘的中心进行判断，若当前图像信息中没有托盘的中心，则根据托盘最近的预存区域为所述的预存区域，因此运用分块保存历史信息的方式，减少计算量。
20.第二方面，本技术提供一种基于视觉相机的抓取调节装置，包括：当前图像信息获取模块，用于获取视觉相机拍摄的当前图像信息；位置信息确定模块，用于确定当前图像信息中的托盘边缘以及角点的位置信息；判断模块，用于基于所述托盘边缘以及角点的位置信息判断托盘是否位于预设位置；调节指令生成模块，用于在判断模块判断为是时，基于托盘边缘以及角点的位置信息，生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令；响应模块，用于响应于所述角度调节指令和所述位移调节指令。
21.通过采用上述技术方案，当前图像信息获取模块获取视觉相机拍摄的当前图像信息，位置信息确定模块确定当前图像信息中托盘边缘以及角点的位置信息，进而判断模块将其与预设位置比较，确定托盘是否偏移，若偏移，则调节指令生成模块生成角度调节指令和位移调节指令，从而响应模块使视觉相机的位置进行调节，使托盘位于图像信息的预设位置处，简化了安装过程，同时提高抓取准确度。
22.第三方面，本技术提供一种电子设备，采用如下的技术方案：一种电子设备，包括：至少一个处理器；存储器；至少一个计算机程序，其中所述至少一个计算机程序被存储在所述存储器中并被配置为由所述至少一个处理器执行，所述至少一个计算机程序配置用于：执行如第一方面中任一项所述的方法。
23.通过采用上述技术方案，处理器执行存储器中的计算机程序，获取视觉相机拍摄的当前图像信息，确定当前图像信息中托盘边缘以及角点的位置信息，进而将其与预设位置比较，确定托盘是否偏移，若偏移，则生成角度调节指令和位移调节指令，从而使视觉相
机的位置进行调节，使托盘位于图像信息的预设位置处，简化了安装过程，同时提高抓取准确度。
24.第四方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，存储有能够被处理器加载并执行如第一方面中任一项所述的方法的计算机程序。
25.通过采用上述技术方案，处理器执行计算机可读存储介质中的计算机程序，获取视觉相机拍摄的当前图像信息，确定当前图像信息中托盘边缘以及角点的位置信息，进而将其与预设位置比较，确定托盘是否偏移，若偏移，则生成角度调节指令和位移调节指令，从而使视觉相机的位置进行调节，使托盘位于图像信息的预设位置处，简化了安装过程，同时提高抓取准确度。
26.综上所述，本技术包括以下至少一种有益技术效果：1.计算机获取视觉相机拍摄的当前图像信息，确定当前图像信息中托盘边缘以及角点的位置信息，进而将其与预设位置比较，确定托盘是否偏移，若偏移，则生成角度调节指令和位移调节指令，从而使视觉相机的位置进行调节，使托盘位于图像信息的预设位置处，简化了安装过程，同时提高抓取准确度；2.电子设备首先判断托盘在当前图像信息中是否偏转，若偏转，则先调整视觉相机的角度，先将当前图像信息中的托盘调正，进一步再判断重新获取的第一图像信息中，托盘的边缘是否位于预设位置处，若不在则可以确定具有偏移，电子设备则生成位移调节指令，因此能够尽快地调整视觉相机的位置。
附图说明
27.图1是本技术实施例中基于视觉相机的抓取调节方法的流程示意图。
28.图2是本技术实施例中确定偏转角度的示意图。
29.图3是本技术实施例中确定位移方向和位移距离的示意图。
30.图4是本技术实施例中基于视觉相机的抓取调节装置的结构框图。
31.图5是本技术实施例中电子设备的结构框图。
具体实施方式
32.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
33.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
34.本技术实施例公开一种基于视觉相机的抓取调节方法。参照图1，由电子设备执行，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、台式计算机等，但并不
局限于此。包括如下流程（步骤s101～步骤s105）：步骤s101：获取视觉相机拍摄的当前图像信息。
35.具体地，电子设备与视觉相机通讯，获取视觉相机拍摄的当前图像信息。
36.步骤s102：确定当前图像信息中的托盘边缘以及角点的位置信息。
37.具体地，包括如下流程（步骤s1021～步骤s1023）：步骤s1021：将当前图像信息输入至基于深度学习的神经网络模型，确定托盘的边缘，确定两相邻边缘的交点为角点。
38.具体地，电子设备建立神经网络模型以及样本数据库，样本数据库中包括大量托盘的图像信息以及托盘的边缘，电子设备应用样本数据库中的数据，基于深度学习对神经网络模型进行训练，进而得到基于深度学习的神经网络模型。电子设备将当前图像信息输入至基于深度学习的神经网络模型后，输出托盘的边缘，进而确定交点。
39.步骤s1022：在当前图像信息中建立坐标系。
40.步骤s1023：在坐标系中确定托盘边缘以及角点的位置信息。
41.具体地，电子设备在当前图像信息中建立坐标系后，即可以通过坐标点的方式确定托盘边缘和角点的位置信息。
42.步骤s103：基于托盘边缘以及角点的位置信息判断托盘是否位于预设位置；若是，进行抓取步骤；否则执行步骤s104。
43.进一步地，电子设备预设托盘在图像信息中的正确位置，根据托盘的大小设置预设位置的大小，预设位置为与托盘大小一致的区域，将预设位置设置在图像信息的正中央。当托盘边缘以及角点的位置未处于预设位置时，则进行调整视觉相机的位置。
44.步骤s104：基于托盘边缘以及角点的位置信息，生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令，包括（步骤s1041～步骤s1044）：步骤s1041：根据托盘边缘的位置信息判断托盘是否偏转；若偏转，则执行步骤s1042：根据托盘边缘的位置信息确定托盘的偏转角度，基于偏转角度生成角度调节指令。若不偏转，执行步骤s1044。
45.具体地，当托盘的边缘与预设位置对应框架的边缘不对应平行时，即确定托盘处于偏转状态，因此生成角度调节指令，使视觉相机调整后，托盘边缘与预设位置框架边平行。
46.进一步地，电子设备执行步骤s1042，包括（步骤s11～步骤s16）：步骤s11：在当前图像信息上生成预设位置对应的框架。
47.具体地，电子设备在根据预设位置生成框架，并在当前图像信息上进行显示。
48.步骤s12：选取托盘的任一边缘作为对比边缘。
49.步骤s13：确定框架与对比边缘相交的至少一条边。
50.具体地，当托盘位置偏转时，对比边缘可能与框架其中一条边缘相交，也可能与两条边缘相交，而当框架不与对比边缘相交时，延长框架的各个边，直至得到能与对比边缘相交的延长边。
51.步骤s14：分别确定各个边与对比边缘之间的锐角夹角。
52.步骤s15：将最小的锐角夹角确定为托盘的偏转角度。
53.具体地，当与对比边缘相交的边有一个时，将相交的对角夹角确定为偏转角度；当与对比边缘相交的边有至少两个时，最小的锐角夹角对应的边与对比边缘更接近。
54.参照图2，其中m为当前图像信息，m为预设位置，n为托盘的边缘，q即为偏转角度。
55.步骤s16：生成调节角度为与偏转角度的负值相等的角度调节指令。
56.具体地，调节角度与偏转角度方向相反，使视觉相机旋转后，拍摄得到的托盘边缘与框架边缘对应平行。
57.步骤s1043：响应于角度调节指令，获取完成角度调节后视觉相机拍摄的第一图像信息；确定第一图像信息中的托盘边缘以及角点的位置信息。
58.具体地，当电子设备完成角度调节后，重新获取第一图像信息，获取第一图像信息中的托盘边缘以及角点的位置，进一步分析在调整角度后，托盘是否偏移，执行步骤s1044。
59.步骤s1044：根据托盘边缘的位置信息判断托盘是否偏移；若偏移，根据角点的位置信息生成位移调节指令。
60.具体地，电子设备判断托盘边缘是否与预设位置一致，即可确定托盘是否偏移；若托盘边缘与预设位置重合，则无偏移；若不重合，则需要调节位置。
61.步骤s1044，包括（步骤s21～步骤s27）：步骤s21：在当前图像信息上生成预设位置对应的框架。
62.步骤s22：确定框架的任一角点为预设角点。
63.具体地，电子设备优先选取最靠近框架的任一角点作为预设角点。
64.步骤s23：确定托盘上与预设角点位置对应的角点为对比角点。
65.具体地，若预设角点为框架上右上角点，则托盘的右上交点为对比角点。参照图3，其中m为当前图像信息，m为预设位置，n为托盘的边缘，b为预设角点，b为对比角点。
66.步骤s24：根据预设角点与对比角点的位置信息，确定由预设角点指向对比角点的位移方向。
67.步骤s25：确定预设角点与对比角点之间的图像长度。
68.步骤s26：确定图像长度对应的实际长度，确定实际长度为位移长度。
69.具体地，电子设备将预设角点与对比角点相连，得到的线段所指的方向即为位移方向，得到的线段长度为图像长度，图像长度与视觉相机实际移动长度之间具有比例，因此可以根据比例确定位移长度。
70.步骤s27：生成包括位移方向和位移长度的位移调节指令。
71.步骤s105：响应于角度调节指令和位移调节指令。
72.具体地，视觉相机固定在抓取机械手臂上，抓取机械手臂可以带动视觉相机所固定的平台的旋转以及移动，因此电子设备使抓取机械手臂按照角度调节指令转动视觉相机所在的平台，按照位移调节指令使平台向对应方向移动对应距离。
73.视觉相机的位置完成调节后，则可以将托盘调节到预设位置。进而，电子设备根据预设的规则，调节抓取机械手臂与视觉相机之间的映射关系，相应的进行改变。
74.在另一种可能的实现方式中，电子设备完成每次调节后，可以调节过程记录，保存至数据库。因此在电子设备执行步骤s104之前，上述方法还可以包括（步骤s31～步骤s32）：步骤s31：基于托盘边缘以及角点的位置信息确定所属的预存区域。
75.具体地，电子设备将图像信息划分成多个预存区域，例如，将图像信息分成田字的
四个预存区域，并针对每个预存区域建立数据库。
76.历史调节中，若可以托盘边缘以及角点确定托盘的中心，则根据中心所在的位置确定托盘属于对应的预存区域，若托盘偏转较大，在图像信息中不能确定中心，则确定托盘属于所在位置更接近的某一预存区域，进而逐渐建立数据库。
77.电子设备在获取到当前的托盘边缘以及角点位置信息后，执行如下步骤（步骤sa～步骤sd）：步骤sa：判断是否存在至少两相邻的完整托盘边缘；若是，则执行步骤sb：根据完整托盘边缘和两相邻的完整托盘边缘之间的角点的位置信息，确定托盘的中心；步骤sc：根据中心的位置确定所属的预存区域；预存区域按照中心的位置划分而成；否则，执行步骤sd：根据托盘在当前图像信息中的位置，确定距离最近的预存区域。
78.步骤s32：判断预存区域对应的数据库中是否存在与托盘边缘以及角点的位置信息对应的历史信息；若是，则执行步骤s33：调用历史信息对应的角度调节指令和位移调节指令。
79.具体地，电子设备在预存区域对应的数据库中查找是否有与托盘边缘以及角点的位置信息一致的历史信息，如果有，则可以直接调用对应的角度调节指令和位移调节指令，减小计算量，能够尽快地完成调整。
80.为了更好地执行上述方法，本技术实施例还提供一种基于视觉相机的抓取调节装置，参照图4，基于视觉相机的抓取调节装置200包括：当前图像信息获取模块201，用于获取视觉相机拍摄的当前图像信息；位置信息确定模块202，用于确定当前图像信息中的托盘边缘以及角点的位置信息；判断模块203，用于基于托盘边缘以及角点的位置信息判断托盘是否位于预设位置；调节指令生成模块204，用于在判断模块203判断为是时，基于托盘边缘以及角点的位置信息，生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令。
81.响应模块205，用于响应于角度调节指令和位移调节指令。
82.进一步地，位置信息确定模块202，具体用于：将当前图像信息输入至基于深度学习的神经网络模型，确定托盘的边缘，确定两相邻边缘的交点为角点；在当前图像信息中建立坐标系；在坐标系中确定托盘边缘以及角点的位置信息。
83.进一步地，调节指令生成模块204，具体用于：根据托盘边缘的位置信息判断托盘是否偏转；若偏转，则根据托盘边缘的位置信息确定托盘的偏转角度，基于偏转角度生成角度调节指令；响应于角度调节指令，获取完成角度调节后视觉相机拍摄的第一图像信息；确定第一图像信息中的托盘边缘以及角点的位置信息；
若不偏转或确定第一图像信息中的托盘边缘及交点的位置信息之后，根据托盘边缘的位置信息判断托盘是否偏移；若偏移，根据角点的位置信息生成位移调节指令。
84.进一步地，调节指令生成模块204在根据托盘边缘的位置信息确定托盘的偏转角度，基于偏转角度生成角度调节指令时，具体用于：在当前图像信息上生成预设位置对应的框架；选取托盘的任一边缘作为对比边缘；确定框架与对比边缘相交的至少一条边；分别确定各个边与对比边缘之间的锐角夹角；将最小的锐角夹角确定为托盘的偏转角度；生成调节角度为与偏转角度的负值相等的角度调节指令。
85.进一步地，调节指令生成模块204根据角点的位置信息生成位移调节指令时，具体用于：在当前图像信息上生成预设位置对应的框架；确定框架的任一角点为预设角点；确定托盘上与预设角点位置对应的角点为对比角点；根据预设角点与对比角点的位置信息，确定由预设角点指向对比角点的位移方向；确定预设角点与对比角点之间的图像长度；确定图像长度对应的实际长度，确定实际长度为位移长度；生成包括位移方向和位移长度的位移调节指令。
86.在另一种可能的实现方式中，基于视觉相机的抓取调节装置200还包括：预存区域确定模块，用于基于托盘边缘以及角点的位置信息确定所属的预存区域；历史信息判断模块，用于判断预存区域对应的数据库中是否存在与托盘边缘以及角点的位置信息对应的历史信息；调用模块，用于在历史信息判断模块判断为是时，调用历史信息对应的角度调节指令和位移调节指令。
87.进一步地，预存区域确定模块，具体用于：判断是否存在至少两相邻的完整托盘边缘；若是，则根据完整托盘边缘和两相邻的完整托盘边缘之间的角点的位置信息，确定托盘的中心；根据中心的位置确定所属的预存区域；预存区域按照中心的位置划分而成；否则，根据托盘在当前图像信息中的位置，确定距离最近的预存区域。
88.前述实施例中的方法中的各种变化方式和具体实例同样适用于本实施例的基于视觉相机的抓取调节装置，通过前述对基于视觉相机的抓取调节方法的详细描述，本领域技术人员可以清楚的知道本实施例中的基于视觉相机的抓取调节装置的实施方法，所以为了说明书的简洁，在此不再详述。
89.为了更好地实施以上方法，本技术实施例提供一种电子设备，参照图4，电子设备300包括：处理器301、存储器303和显示屏305。其中，存储器303、显示屏305均与处理器301
相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本技术实施例的限定。
90.处理器301可以是cpu（central processing unit，中央处理器），通用处理器，dsp（digital signal processor，数据信号处理器），asic（application specific integrated circuit，专用集成电路），fpga（field programmable gate array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
91.总线302可包括一通路，在上述组件之间传送信息。总线302可以是pci（peripheral component interconnect，外设部件互连标准）总线或eisa（extended industry standard architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。
92.存储器303可以是rom（read only memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，ram（random access memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom（electrically erasable programmable read only memory，电可擦可编程只读存储器）、cd-rom（compact disc read only memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
93.存储器303用于存储执行本技术方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
94.图5示出的电子设备300仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
95.本技术实施例还提供一种计算机可读存储介质，存储有计算机程序，该程序被处理器执行时实现上述实施例提供的方法，处理器执行计算机可读存储介质中的计算机程序，获取视觉相机拍摄的当前图像信息，确定当前图像信息中托盘边缘以及角点的位置信息，进而将其与预设位置比较，确定托盘是否偏移，若偏移，则生成角度调节指令和位移调节指令，从而使视觉相机的位置进行调节，使托盘位于图像信息的预设位置处，简化了安装过程，同时提高抓取准确度。
96.本实施例中，计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。具体的，计算机可读存储介质可以是便携式计算机盘、硬盘、u盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、讲台随机存取存储器（sram）、便携式压缩盘只读存储器（cd-rom）、数字多功能盘（dvd）、记忆棒、软盘、光盘、磁碟、机械编码设备以及上述任意组合。
97.本实施例中的计算机程序包含用于执行前述所有的方法的程序代码，程序代码可
包括对应执行上述实施例提供的方法步骤对应的指令。计算机程序可从计算机可读存储介质下载到各个计算/处理设备，或者通过网络（例如因特网、局域网、广域网和/或无线网）下载到外部计算机或外部存储设备。计算机程序可完全地在用户计算机上执行、作为一个独立的软件包执行。
98.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。
99.另外，需要理解的是，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

技术特征：
1.一种基于视觉相机的抓取调节方法，其特征在于，包括：获取视觉相机拍摄的当前图像信息；确定当前图像信息中的托盘边缘以及角点的位置信息；基于所述托盘边缘以及角点的位置信息判断托盘是否位于预设位置；若否，则基于托盘边缘以及角点的位置信息，生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令；响应于所述角度调节指令和所述位移调节指令。2.根据权利要求1所述的方法，其特征在于，所述确定当前图像信息中的托盘边缘以及角点的位置信息，包括：将当前图像信息输入至基于深度学习的神经网络模型，确定托盘的边缘，确定两相邻边缘的交点为角点；在当前图像信息中建立坐标系；在坐标系中确定托盘边缘以及角点的位置信息。3.根据权利要求1所述的方法，其特征在于，所述基于托盘边缘以及角点的位置信息，生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令，包括：根据所述托盘边缘的位置信息判断托盘是否偏转；若偏转，则根据托盘边缘的位置信息确定托盘的偏转角度，基于所述偏转角度生成角度调节指令；响应于所述角度调节指令，获取完成角度调节后视觉相机拍摄的第一图像信息；确定第一图像信息中的托盘边缘以及角点的位置信息；若不偏转或确定第一图像信息中的托盘边缘及交点的位置信息之后，根据托盘边缘的位置信息判断托盘是否偏移；若偏移，根据角点的位置信息生成位移调节指令。4.根据权利要求3所述的方法，其特征在于，所述根据托盘边缘的位置信息确定托盘的偏转角度，基于所述偏转角度生成角度调节指令，包括：在当前图像信息上生成预设位置对应的框架；选取托盘的任一边缘作为对比边缘；确定所述框架与对比边缘相交的至少一条边；分别确定各个边与所述对比边缘之间的锐角夹角；将最小的锐角夹角确定为托盘的偏转角度；生成调节角度为与偏转角度的负值相等的角度调节指令。5.根据权利要求3所述的方法，其特征在于，所述根据角点的位置信息生成位移调节指令，包括：在当前图像信息上生成预设位置对应的框架；确定框架的任一角点为预设角点；确定托盘上与预设角点位置对应的角点为对比角点；根据所述预设角点与所述对比角点的位置信息，确定由预设角点指向对比角点的位移方向；确定所述预设角点与所述对比角点之间的图像长度；
确定所述图像长度对应的实际长度，确定所述实际长度为位移长度；生成包括位移方向和位移长度的位移调节指令。6.根据权利要求1所述的方法，其特征在于，在生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令之前，所述方法还包括：基于托盘边缘以及角点的位置信息确定所属的预存区域；判断预存区域对应的数据库中是否存在与托盘边缘以及角点的位置信息对应的历史信息；若是，则调用历史信息对应的角度调节指令和位移调节指令。7.根据权利要求6所述的方法，其特征在于，所述基于托盘边缘以及角点的位置信息确定所属的预存区域，包括：判断是否存在至少两相邻的完整托盘边缘；若是，则根据完整托盘边缘和两相邻的完整托盘边缘之间的角点的位置信息，确定托盘的中心；根据中心的位置确定所属的预存区域；所述预存区域按照中心的位置划分而成；否则，根据托盘在当前图像信息中的位置，确定距离最近的预存区域。8.一种基于视觉相机的抓取调节装置，其特征在于，包括：当前图像信息获取模块，用于获取视觉相机拍摄的当前图像信息；位置信息确定模块，用于确定当前图像信息中的托盘边缘以及角点的位置信息；判断模块，用于基于所述托盘边缘以及角点的位置信息判断托盘是否位于预设位置；调节指令生成模块，用于在判断模块判断为是时，基于托盘边缘以及角点的位置信息，生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令；响应模块，用于响应于所述角度调节指令和所述位移调节指令。9.一种电子设备，其特征在于，至少一个处理器；存储器；至少一个计算机程序，其中所述至少一个计算机程序被存储在所述存储器中并被配置为由所述至少一个处理器执行，所述至少一个计算机程序配置用于：执行如权利要求1至7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一项所述的方法的计算机程序。

技术总结
本申请涉及一种基于视觉相机的抓取调节方法、装置、设备及介质，属于数据处理领域，方法包括：获取视觉相机拍摄的当前图像信息；确定当前图像信息中的托盘边缘以及角点的位置信息；基于所述托盘边缘以及角点的位置信息判断托盘是否位于预设位置；若否，则基于托盘边缘以及角点的位置信息，生成用于调节视觉相机偏转角度的角度调节指令和用于调节视觉相机位移的位移调节指令。响应于所述角度调节指令和所述位移调节指令。本申请简化安装过程。本申请简化安装过程。本申请简化安装过程。


技术研发人员：刘志军 王铮 陈晓 马永 王利明
受保护的技术使用者：天津智导科技有限公司
技术研发日：2023.08.03
技术公布日：2023/10/20