一种垂直搬运机器人运行状态视觉检测系统及检测方法与流程

1.本发明涉及了垂直搬运机器人辅助检测技术领域，具体涉及一种垂直搬运机器人运行状态视觉检测系统及检测方法。


背景技术：

2.垂直搬运机器人中用到的垂直运动机构主要是齿轮齿条机构，在重载以及间歇性运动的工况下，齿轮齿条机构中的齿轮极易出现因为疲劳或者强度不够带来的磨损、断裂等失效情况，影响机器人的平稳运行。链轮链条作为垂直搬运机器人中的辅助提升装置，在长期的负载往复运动中，极易出现因为疲劳而产生的变形、松脱、断裂等失效的情况，给货物和机器人自身带来危害。因此，实时感知检测齿轮齿条、链轮链条状态、发现并及时处理异常与失效情况则显得尤为重要。
3.另外，垂直搬运机器人在进行垂直方向的运动时，需要知道垂直搬运平台准确实时的位置信息，由于齿轮啮合存在间隙、断齿带来的位移以及潜在的电机控制失效等，如何获取实际的位置信息成为垂直搬运机器人的关键需求。
4.现有技术中对垂直搬运机器人中齿轮齿条、链轮链条状态的检测主要依赖人工目视检测进行，通过明显的噪声、较大的倾斜或者逐一的检视加以判别。现有的对垂直搬运机器人中升降平台位置的获取主要通过光电检测进行，在关键位置布置光电位置传感器定位机器人。
5.赖人工目视的齿轮齿条、链轮链条状态检测方式与依赖光电检测的升降平台位置获取方式存在一些不足的地方：
6.1.及时性差：人工目视检测往往是定期或者是机器人出现明显异常才会开展检测，对于齿轮齿条、链轮链条失效问题的发现滞后较多；
7.2.操作性低：垂直搬运机器人一般设置在立体仓库的多个位置上，有时高度不一，人为很难到达并开展齿轮齿条、链轮链条状态的检查，同时一般齿轮齿条、链轮链条机构设置在机器人的内部，给人工检查带来不便；
8.3.检测慢：一般垂直搬运机器人中会设置多组齿轮齿条、链轮链条的垂直升降机构，实现所有齿与链环的检查，人工目视检测速度迟缓；
9.4.经济性低：立体仓库理想的工作状态是无人持续快速的运转，人工目视检测需要在仓库中相关设备停机的情况下展开，影响仓库运转，同时存在人身安全风险；
10.5.精度低：光电检测器件在定位、安装上存在偏差，信号发生端与接收端有着实际的物理孔径，以及升降平台垂直运动时有着较大的运动惯性，这些因素综合导致位置的感知偏差较大，最终使得升降平台定位不准确，影响后续的对接作业过程；
11.6.布线多：由于光电检测器件实际的工作原理问题，为了检测多个位置信息，需要设置繁多的光电检测器件，额外增加布线；
12.7.感知性差：光电检测器件只能在固定位置布置，只能获取初态或者终态的位置信息，不能感知获取中间态的位置信息。


技术实现要素：

13.本发明的目的是为了克服现有技术的不足，提供一种将基于图像识别的视觉检测技术应用于齿轮齿条、链轮链条状态检测和平台实际位置的获取，可以及时、准确、高效地发现齿轮齿条和链轮链条的异常问题并定位平台位置。
14.本发明涉及的一种垂直搬运机器人运行状态视觉检测系统，包括升降平台和视觉检测模块，所述视觉检测模块包括第一视觉检测单元，所述第一视觉检测单元直接或间接与所述升降平台连接，所述第一视觉检测单元与所述升降平台同步运动，所述升降平台的侧面可转动连接有齿轮，齿条与齿轮传动连接，所述齿轮转动驱动所述升降平台沿所述齿条运动，所述齿条连接在机架内侧；
15.所述第一视觉检测单元的拍摄方向朝向所述齿轮、齿条、链轮、链条或升降平台，所述第一视觉检测单元用于获取齿轮、齿条、链轮、链条或升降平台的第一图像信息并将将第一图像信息中的齿轮、齿条、链轮、链条或升降平台与预设图像进行对比，对齿轮、齿条、链轮、链条或升降平台的工作状态进行判定，然后将判定结果发送至主机，所述主机用于根据判定结果中的工作状态，控制齿轮或链轮进行位置补偿、紧急制动。
16.进一步地，所述视觉检测模块还包括第二视觉检测单元，所述第二视觉检测单元连接在机架顶部，所述第二视觉检测单元的拍摄方向朝向所述齿轮、所述齿条、所述链轮、所述链条或所述升降平台，所述升降平台的上表面设置有标记物，所述第二视觉检测单元的拍摄方向覆盖所述标记物。
17.进一步地，所述第二视觉检测单元的数量设置有多个，多个所述第二检测单元环绕所述升降平台设置。
18.进一步地，所述第一检测单元可滑动和/可转动的与所述升降平台连接，调节第一检测单元在所述升降平台上的位置以调节第一检测单元的拍摄方向和/或拍摄范围。
19.本发明还涉及一种视觉检测方法，包括以下步骤：
20.s1、第二视觉检测单元持续拍摄并分析齿条的状态信息，拍摄包含齿形、齿面的图像，与理想标准的齿形、齿面数据进行对比，当实际值与理想值的偏差超出预设范围时，及时向主机的控制系统报告异常类别以及出现异常的位置，而后，
21.s2、第一视觉检测单元根据第二视觉检测单元检测的出现异常的位置，调动升降平台移动到距离异常位置设定高度的预设位置，第一视觉检测单元在小范围的空间移动针对异常类别在异常出现位置的设定区域内，再次拍摄包含齿形、齿面的图像，与理想标准的齿形、齿面数据进行对比，向主机报告实际值与理想值的偏差值，指导主机采取位置补偿、预警或者停机。
22.进一步地，还包括通过第一视觉检测单元或第二检测单元拍摄链轮与链条的轮廓图像信息，与链轮与链条的形状尺寸进行对比，当实际链轮与链条的轮廓形状超出理想的设定范围时，及时向主机报告异常类别，指导主机进行位置补偿、预警或停机，链轮链条的状态包括链条伸张、松弛、松脱、断裂和链轮断齿。
23.进一步地，还包括通过第二视觉检测单元对升降平台的位置进行判定，继而动态地标定出升降平台实际的位置，作为控制电机运动的反馈信号，与电机的控制信号形成控制闭环，控制电机运作，所述电机与齿轮传动连接。
24.进一步地，通过第二视觉检测单元对升降平台的位置进行判定的方法包括，在设
定时间间隔内同时拍摄多张包含升降平台上齿轮、机架上齿条的图像或升降平台上的标记点，通过图像的对比计算，结合相机布置的几何位置关系，分析不同时间间隔升降平台所处的位置。
25.进一步地，还包括按照齿轮的中心、电机上的某一特征点或者升降平台上的标识物进行图像的对比分析，相应地拍摄图像需要做调整以包含特征点或标记点。
26.本发明的有益之处在于：将基于计算机的视觉图像识别检测技术运用在垂直搬运机器人运行状态的检测控制中，包含对齿轮齿条的工作状态(磨损、断齿)、链轮链条的工作状态(伸张、松弛、断裂)、升降平台的位置等各种关键零部件状态信息的检测控制，实时动态反馈机器人的运行状态信息，及时采取位置补偿、预警信息报告或者紧急制动等措施，解决不能及时了解齿轮齿条、链轮链条的工作状态和机器人定位不准的问题。
27.为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是垂直搬运机器人的结构示意图。
30.图2是第一视觉检测单元的设置位置示意图。
31.图3是第二视觉检测单元的设置位置示意图。
32.图4是第二视觉检测单元的拍摄范围示意图。
33.图5是视觉检测方法的步骤示意图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.实施例1
36.参照图1和图2，在本发明一较佳实施例中涉及的一种垂直搬运机器人运行状态视觉检测系统，包括升降平台1和视觉检测模块2，所述视觉检测模块2包括第一视觉检测单元21，所述第一视觉检测单元21直接或间接与所述升降平台1连接，所述第一视觉检测单元21与所述升降平台1同步运动，所述升降平台1的侧面可转动连接有齿轮3，齿条4与齿轮3传动连接，所述齿轮3转动驱动所述升降平台1沿所述齿条4运动，所述齿条4连接在机架内侧；
37.所述第一视觉检测单元的拍摄方向朝向所述齿轮3、齿条4、链轮、链条或升降平台1，所述第一视觉检测单元21用于获取齿轮3、齿条4、链轮、链条或升降平台1的第一图像信息并将将第一图像信息中的齿轮3、齿条4、链轮、链条或升降平台1与预设图像进行对比，对齿轮3、齿条4、链轮、链条或升降平台1的工作状态进行判定，然后将判定结果发送至主机，
所述主机用于根据判定结果中的工作状态，控制齿轮3或链轮进行位置补偿、紧急制动。
38.在上述实施例中，所述第一检测单元21可滑动和/可转动的与所述升降平台1连接，在实际实施过程中，第一检测单元可滑动和/可转动的与电机5连接，调节第一检测单元21在电机5上的位置以调节第一检测单元21的拍摄方向和/或拍摄范围。
39.在本实施例中，第一视觉检测单元21跟随齿轮3一起在垂直方向运动，实现了在不停机情况下齿轮3状态检测，便于及时采取相应处理齿轮3异常的措施，检测及时性好。能够对齿轮3和链条产生的微小异常进行快速的识别，改变现有技术中采用人工定期检查带来的，检查滞后，缺陷无法及时发现，并且需要进行停机检查，影响立体仓库的正常使用的缺陷。
40.实施例2
41.参照图1、图2、图3和图4，其主要特征与实施例1相同，不同之处在于，所述视觉检测模块2还包括第二视觉检测单元22，所述第二视觉检测单元22连接在机架6顶部，所述第二视觉检测单元22的拍摄方向朝向所述齿轮3、所述齿条4、所述链轮、所述链条或所述升降平台1，所述升降平台1的上表面设置有标记物，所述第二视觉检测单元22的拍摄方向覆盖所述标记物。
42.在上述实施例中，所述第二视觉检测单元22的数量设置有多个，多个所述第二检测单元22环绕所述升降平台1设置。
43.在本实施例中，升降平台1任一时刻的位置信息均可通过第一视觉检测单元21和第二视觉检测单元22计算得出，不论垂直搬运机器人是处于动态还是静态作业中，感知性好；采取计算机视觉的齿轮状态检测与升降位置信息获取减少了人工介入，同时由于所有齿轮3状态和升降平台1的位置信息均输入主机中，利于整体对仓库运行状态的监测与控制，监控更加智能。
44.实施例3
45.参照图5，本发明还涉及一种视觉检测方法，包括以下步骤：
46.向主机输入预设指令或主机循环触发预设指令，主机分析预设指令并形成控制信号，控制信号发送至电机5，电机驱动齿轮3转动，驱动升降平台1运动，同时通过视觉检测模块2对齿轮3、齿条4、链轮、链条或升降平台1的状态信息和位置信息进行检测，然后根据检测结果判定齿轮3、齿条4、链轮、链条或升降平台1是否处于正常状态，如处于非正常状态，则通过主机采取位置补偿、预警或者停机操作。
47.第二视觉检测单元22持续拍摄并分析齿条4的状态信息，拍摄包含齿形、齿面的图像，与理想标准的齿形、齿面数据进行对比，当实际值与理想值的偏差超出预设范围时，及时向主机的控制系统报告异常类别以及出现异常的位置，而后，第一视觉检测单元21根据第二视觉检测单元22检测的出现异常的位置，调动升降平台1移动到距离异常位置设定高度的预设位置，第一视觉检测单元21在小范围的空间移动，针对异常类别在异常出现位置的设定区域内，再次拍摄包含齿形、齿面的图像，与理想标准的齿形、齿面数据进行对比，向主机报告实际值与理想值的偏差值，指导主机采取位置补偿、预警或者停机。
48.在上述实施例中，还包括通过第一视觉检测单元21或第二检测单元22拍摄链轮与链条的轮廓图像信息，与链轮与链条的形状尺寸进行对比，当实际链轮与链条的轮廓形状超出理想的设定范围时，及时向主机报告异常类别，指导主机进行位置补偿、预警或停机，
链轮链条的状态包括链条伸张、松弛、松脱、断裂和链轮断齿。
49.在上述实施例中，还包括通过第二视觉检测单元22对升降平台1的位置进行判定，继而动态地标定出升降平台1实际的位置，作为控制电机5运动的反馈信号，与电机5的控制信号形成控制闭环，控制电机5运作，所述电机5与齿轮3传动连接。
50.在上述实施例中，通过第二视觉检测单元22对升降平台1的位置进行判定的方法包括，在设定时间间隔内同时拍摄多张包含升降平台1上齿轮3、机架上齿条的图像或升降平台1上的标记点7，通过对图像的对比计算，结合第一检测单元和第二检测单元中相机布置的几何位置关系，分析不同时间间隔升降平台所处的位置。对比计算主要包括先拍摄设定距离的预设标记点，并记录预设标记点的尺寸和角度，在将运动后的升降平台1上的标记点的尺寸和角度与预设标记点的尺寸和角度进行对比，计算出升降平台1的位置和是否发生偏转。
51.在上述实施例中，还包括按照齿轮3的中心、电机上的某一特征点或者升降平台上的标识物进行图像的对比分析，相应地拍摄图像需要做调整以包含特征点或标记点7。
52.在本实施例中，用基于计算机图像处理的视觉检测代替传统的人工目视检测，可做到齿轮3状态短时快速的感知，特别是在拥有多个垂直搬运机器人的立体仓库中，全部的齿轮状态可以迅速获取，获取效率高；升降平台实际的工作位置可以通过视觉检测系统较为及时准确的计算得出，形成位置的闭环反馈控制。
53.在其它实施例中，还包括对升降平台1的状态进行判断，由主机给出相应的指令，表明垂直搬运机器人在某一段时间暂时处于静止工作状态，其运动与否以及是否到达设定位置，主机可以通过限位元器件获取升降平台1的位置信息。还包括根据环境光对相机获取的照片进行光线削弱或光线补偿。
54.本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种垂直搬运机器人运行状态视觉检测系统，包括升降平台和视觉检测模块，其特征在于：所述视觉检测模块包括第一视觉检测单元，所述第一视觉检测单元直接或间接与所述升降平台连接，所述第一视觉检测单元与所述升降平台同步运动，所述升降平台的侧面可转动连接有齿轮，齿条与齿轮传动连接，所述齿轮转动驱动所述升降平台沿所述齿条运动，所述齿条连接在机架内侧；所述第一视觉检测单元的拍摄方向朝向所述齿轮、齿条、链轮、链条或升降平台，所述第一视觉检测单元用于获取齿轮、齿条、链轮、链条或升降平台的第一图像信息并将将第一图像信息中的齿轮、齿条、链轮、链条或升降平台与预设图像进行对比，对齿轮、齿条、链轮、链条或升降平台的工作状态进行判定，然后将判定结果发送至主机，所述主机用于根据判定结果中的工作状态，控制齿轮或链轮进行位置补偿、紧急制动。2.根据权利要求1所述的垂直搬运机器人运行状态视觉检测系统，其特征在于：所述视觉检测模块还包括第二视觉检测单元，所述第二视觉检测单元连接在机架顶部，所述第二视觉检测单元的拍摄方向朝向所述齿轮、所述齿条、所述链轮、所述链条或所述升降平台，所述升降平台的上表面设置有标记物，所述第二视觉检测单元的拍摄方向覆盖所述标记物。3.根据权利要求2所述的垂直搬运机器人运行状态视觉检测系统，其特征在于：所述第二视觉检测单元的数量设置有多个，多个所述第二检测单元环绕所述升降平台设置。4.根据权利要求1所述的垂直搬运机器人运行状态视觉检测系统，其特征在于：所述第一检测单元可滑动和/可转动的与所述升降平台连接，调节第一检测单元在所述升降平台上的位置以调节第一检测单元的拍摄方向和/或拍摄范围。5.一种视觉检测方法，应用于权利要求1-4任一项所述的垂直搬运机器人运行状态视觉检测系统，其特征在于，包括以下步骤：s1、第二视觉检测单元持续拍摄并分析齿条的状态信息，拍摄包含齿形、齿面的图像，与理想标准的齿形、齿面数据进行对比，当实际值与理想值的偏差超出预设范围时，及时向主机的控制系统报告异常类别以及出现异常的位置，而后，s2、第一视觉检测单元根据第二视觉检测单元检测的出现异常的位置，调动升降平台移动到距离异常位置设定高度的预设位置，第一视觉检测单元在小范围的空间移动针对异常类别在异常出现位置的设定区域内，再次拍摄包含齿形、齿面的图像，与理想标准的齿形、齿面数据进行对比，向主机报告实际值与理想值的偏差值，指导主机采取位置补偿、预警或者停机。6.根据权利要求5所述的视觉检测方法，其特征在于，还包括通过第一视觉检测单元或第二检测单元拍摄链轮与链条的轮廓图像信息，与链轮与链条的形状尺寸进行对比，当实际链轮与链条的轮廓形状超出理想的设定范围时，及时向主机报告异常类别，指导主机进行位置补偿、预警或停机，链轮链条的状态包括链条伸张、松弛、松脱、断裂和链轮断齿。7.根据权利要求6所述的视觉检测方法，其特征在于，还包括通过第二视觉检测单元对升降平台的位置进行判定，继而动态地标定出升降平台实际的位置，作为控制电机运动的反馈信号，与电机的控制信号形成控制闭环，控制电机运作，所述电机与齿轮传动连接。8.根据权利要求7所述的视觉检测方法，其特征在于，通过第二视觉检测单元对升降平台的位置进行判定的方法包括，在设定时间间隔内同时拍摄多张包含升降平台上齿轮、机
架上齿条的图像或升降平台上的标记点，通过图像的对比计算，结合相机布置的几何位置关系，分析不同时间间隔升降平台所处的位置。9.根据权利要求7所述的视觉检测方法，其特征在于，还包括按照齿轮的中心、电机上的某一特征点或者升降平台上的标识物进行图像的对比分析，相应地拍摄图像需要做调整以包含特征点或标记点。

技术总结
本发明涉及的一种垂直搬运机器人运行状态视觉检测系统及检测方法，包括升降平台和视觉检测模块，视觉检测模块包括第一视觉检测单元，第一视觉检测单元直接或间接与升降平台连接，第一视觉检测单元与升降平台同步运动，升降平台的侧面可转动连接有齿轮，齿条与齿轮传动连接。本发明的有益之处在于：将基于计算机的视觉图像识别检测技术运用在垂直搬运机器人运行状态的检测控制中，包含对齿轮齿条的工作状态、链轮链条的工作状态、升降平台的位置等各种关键零部件状态信息的检测控制，实时动态反馈机器人的运行状态信息，及时采取位置补偿、预警信息报告或者紧急制动等措施，解决不能及时了解齿轮齿条、链轮链条的工作状态和机器人定位不准的问题。器人定位不准的问题。器人定位不准的问题。


技术研发人员：程昌顺 郭科 郭筱松 朱琪 卜浩飞 李宜傲
受保护的技术使用者：苏州魔仓机器人有限公司
技术研发日：2023.06.16
技术公布日：2023/8/28