一种堆叠物体无序抓取方法及系统与流程

1.本发明涉及物品自动抓取技术领域，尤其涉及一种堆叠物体无序抓取方法及系统。


背景技术：

2.现有的堆叠物体无序抓取系统大部分用的是二维视觉技术，不易获取堆叠物体的深度信息，且不容易区分堆叠的堆叠物体，抓取的精度低。


技术实现要素：

3.本发明所要解决的技术问题是提供一种堆叠物体无序抓取方法及系统，以提高抓取的精度和准确率。
4.第一方面，本发明提供了一种堆叠物体无序抓取方法，包括以下步骤：三维点云信息获取：获取激光雷达发射于堆叠物体上的线激光的二维激光扫描数据，将所述二维激光扫描数据转换为对应的三维点云数据；点云位姿获取：对相机采集的激光图像进行处理，根据所述三维点云数据进行ppf特征提取，获取对应的位姿信息；机器人运动控制：检测机器人的关节状态，根据获得的位姿信息规划机器人的运动轨迹，控制机器人根据所述运动轨迹进行运动。
5.第二方面，本发明还提供了一种堆叠物体无序抓取系统，包括三维视觉功能模块、点云位姿获取模块及机器人跟踪抓取模块，所述三维视觉功能模块包括相机和激光雷达，用于获取激光雷达发射于堆叠物体上的线激光的二维激光扫描数据，将所述二维激光扫描数据转换为对应的三维点云数据，获取相机采集的堆叠物体上的激光图像；所述点云位姿获取模块用于对相机采集的激光图像进行处理，根据所述三维点云数据进行ppf特征提取，获取对应的位姿信息；所述机器人跟踪抓取模块用于检测机器人的关节状态，根据获得的位姿信息规划机器人的运动轨迹，控制机器人根据所述运动轨迹进行运动。
6.本发明的有益技术效果在于：本发明的堆叠物体无序抓取方法通过利用激光雷达获取堆叠物体上的线激光的二维激光扫描数据并将其转换为对应的三维点云数据，以提高定位精度，且不易受影响，成本低，对相机采集的激光图像进行处理并根据三维点云数据提取ppf特征，获取对应的位姿信息，根据位姿信息规划机器人的运动轨迹并控制机器人根据运动轨迹进行运动，实现利用三维点云进行位姿获取，从而提高抓取准确率。本发明的堆叠物体无序抓取系统也具有上述功能。
附图说明
7.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
8.图1为本发明实施例提供的堆叠物体无序抓取方法的流程示意图；
9.图2为本发明实施例提供的堆叠物体无序抓取方法的子流程示意图
10.图3为本发明实施例提供的堆叠物体无序抓取方法的ppf特征提取的示意图；
11.图4为本发明实施例提供的堆叠物体无序抓取系统的框架示意图。
具体实施方式
12.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
13.请参阅图1所示，图1为本发明实施例提供的堆叠物体无序抓取方法的流程示意图，所述堆叠物体无序抓取方法包括以下步骤：
14.步骤s11、三维点云信息获取：获取激光雷达发射于堆叠物体上的线激光的二维激光扫描数据，将所述二维激光扫描数据转换为对应的三维点云数据；其中，所述二维激光扫描数据包括激光的角度和距离测量值；
15.步骤s12、点云位姿获取：对相机采集的激光图像进行处理，根据所述三维点云数据进行ppf(point pairfeature，点对)特征提取，获取对应的位姿信息；
16.步骤s13、机器人运动控制：检测机器人的关节状态，根据获得的位姿信息规划机器人的运动轨迹，控制机器人根据所述运动轨迹进行运动。
17.其中，激光雷达用于发射线激光并接收激光数据，相机可采集发射于堆叠物体上的线激光的图像。所述无序抓取方法通过利用激光雷达获取堆叠物体上的线激光的二维激光扫描数据并将其转换为对应的三维点云数据，以提高定位精度，且不易受影响，成本低，对相机采集的激光图像进行处理并根据三维点云数据提取ppf特征，获取对应的位姿信息，根据位姿信息规划机器人的运动轨迹并控制机器人根据运动轨迹进行运动，利用三维点云进行位姿获取可提高抓取准确率。
18.结合图2，所述步骤s11具体包括：
19.步骤s111、二维激光扫描数据获取：采用激光雷达获取发射于堆叠物体上的线激光的二维激光扫描数据；
20.步骤s112、灰度图像或二值图像获取：采用opencv图像库对获得的所述二维激光扫描数据进行处理，以转换获得灰度图像或二值图像；
21.步骤s113、三维点云数据获取：采用三角测量法将获得的所述二维激光扫描数据从二维空间转换至三维空间，结合pcl点云库，获取所述二维激光扫描数据对应的三维点云数据；其中，可采用pcl点云库中的pcl::triangulate函数将所述二维激光扫描数据转换成对应的三维点云数据。
22.具体地，所述步骤s113后还可包括：
23.堆叠物体识别：对所述三维点云数据进行处理和分析，识别所述三维点云数据中的堆叠物体和环境，获取净堆叠物体三维点云。其中，可对三维点云数据进行滤波、特征提取和分割处理，以便理解和识别三维点云数据中的堆叠物体和环境，获得净堆叠物体三维点云。净堆叠物体三维点云是指三维点云数据中与环境的三维点云分离获得的堆叠物体的三维点云。
24.具体地，所述堆叠物体识别的步骤后还可包括：
25.对所述净堆叠物体三维点云进行建模，获得堆叠物体三维模型，根据所述堆叠物体三维模型进行可视化操作，展示所述堆叠物体三维模型。其中，可通过pcl点云库中的函数进行三维建模和可视化操作，以便更好地理解和展示点云中的信息。
26.具体地，所述步骤s11前还可包括：
27.对相机进行标定获得相机的内外参数；
28.控制线激光雷达发射线激光于堆叠物体上。
29.具体地，所述步骤s11后还可包括：
30.控制相机采集堆叠物体上的激光图像，根据采集到的激光图像获取堆叠物体的点云。其中，根据采集到的激光图像可获得堆叠物体的深度图像，深度图像中包含堆叠物体的高度信息，从而可根据堆叠物体的深度图像获取堆叠物体的点云，堆叠物体的点云和转换获得的二维激光扫描数据对应的三维点云数据为同一点云数据。堆叠物体的点云为场景点云，即所述三维点云数据为场景点云。
31.具体地，所述步骤s12前还包括：
32.点云预处理：对获得的所述三维点云数据进行降采样，并对降采样后的三维点云数据采用ransac算法进行预处理，获得预处理后的三维点云。通过对三维点云数据进行降采样和ransac算法处理，以在保证基本点云信息的基础上，降低点云的数量，提高工作效率。
33.点云分割：对获得的预处理后的三维点云进行分割，将预处理后的三维点云划分至对应的同质区域，以获得场景点云和模板点云；其中，同质是指具有相似性质，则划分至同一同质区域的点云具有相似的性质，模板点云为堆叠物体的三维点云。
34.具体地，所述步骤s12包括：
35.ppf特征提取：采用ppf算法采样获取场景点云和模板点云之间对应的ppf特征，并将获得的ppf特征写入哈希表。其中，ppf特征以特征为键而点对为值的形式写入哈希表。堆叠物体的点云为场景点云，则场景点云为所述三维点云数据，模板点云是指堆叠物体中的单个物体的点云。具体地，结合图3，可采用公式(1)计算获取场景点云和模板点云之间对应的ppf特征：
[0036][0037]
式中，f(m1,m2)为场景点云和模板点云之间对应的ppf特征，和分别对应为场景点云的点m1和模板点云的点m2的法线，||d||2为该点对之间的欧式距离，和分别为对应向量之间的夹角。
[0038]
采样匹配：在场景点云中选取场景采样点，对所述场景采样点于模板点云中分别多次匹配不同的模板匹配点以形成多个不同的采样点对，于哈希表中查找与所述采样点对相似的相似点对，记录各采样点对和查找到的对应的相似点对之间的旋转角，根据相似点对的相似采样点和旋转角构造投票表，根据霍夫投票规则，选择最高票的相似采样点和旋转角。其中，场景采样点和相似采样点的法向量与世界坐标系的x轴对齐，旋转角是绕x轴旋转的。相似采样点是指于哈希表中查找到的与采样点对相似的相似点对中的与场景采样点对应的点。霍夫投票中的投票表是指一个二维矩阵，用于记录点云中每个点对应的霍夫变
换空间的投票情况。在本实施例中，投票表实际上是为了统计点云中每个点对应的变换矩阵。
[0039]
点对距离计算：采用icp算法对所述场景采样点对应的最高票的相似采样点和旋转角进行迭代，计算获取堆叠物体的位姿。
[0040]
优选地，所述点对距离计算的步骤具体为：
[0041]
对模板点云和场景点云分别构建模板点云k维树和场景点云k维树；
[0042]
遍历所述模板点云k维树和场景点云k维树求取模板点云和场景点云之间各点对应的最近点点对；
[0043]
采用奇异值分解算法从获得的模板点云和场景点云之间各点对应的最近点点对中计算获取堆叠物体的位姿。
[0044]
其中，通过对模板点云和场景点云分别构建模板点云k维树和场景点云k维树以形成双向k维树，可确定对应的最近点点对，大幅减少迭代时间，同时减少错误的临近点搜索，提高点云查找效率和准确率。
[0045]
具体地，所述遍历所述模板点云k维树和场景点云k维树求取模板点云和场景点云之间各点对应的最近点点对的步骤可具体为：
[0046]
最近点获取：在场景点云的k维树中搜索与随机模板点最近的场景点，在模板点云的k维树中搜索离该与随机模板点最近的场景点最近的模板点；其中，模板点为模板点云中的点，随机模板点是指随机的模板点，场景点为场景点云中的点。
[0047]
最近点判断：判断随机模板点是否为在模板点云的k维树中搜索到的离该与随机模板点最近的场景点最近的模板点；若是，记录随机模板点及对应的场景点；若否，执行随机模板点更新的步骤；其中，当随机模板点为在模板点云的k维树中搜索到的离该与随机模板点最近的场景点最近的模板点时，则说明随机模板点和在场景点云的k维树中搜索到的该与随机模板点最近的场景点为具有对应关系的最近点。
[0048]
随机模板点更新：判断是否存在未搜索的随机模板点，若是，更新随机模板点，并返回执行所述最近点获取的步骤；若不存在未搜索的随机模板点，则结束操作。
[0049]
请参阅图4所示，图4是本发明实施例提供的堆叠物体无序抓取系统的框架示意图，所述堆叠物体无序抓取系统10包括三维视觉功能模块11、点云位姿获取模块12及机器人跟踪抓取模块13，所述三维视觉功能模块11包括相机和激光雷达，用于获取激光雷达发射于堆叠物体上的线激光的二维激光扫描数据，将所述二维激光扫描数据转换为对应的三维点云数据，获取相机采集的堆叠物体上的激光图像；所述点云位姿获取模块12用于对相机采集的激光图像进行处理，根据所述三维点云数据进行ppf特征提取，获取对应的位姿信息；所述机器人跟踪抓取模块13用于检测机器人的关节状态，根据获得的位姿信息规划机器人的运动轨迹，控制机器人根据所述运动轨迹进行运动。
[0050]
其中，激光雷达用于发射激光并接收激光数据，所述堆叠物体无序抓取系统通过三维视觉功能模块利用激光雷达获取堆叠物体上的线激光的二维激光扫描数据并将其转换为对应的三维点云数据，以提高定位精度，且不易受影响，成本低；通过点云位姿获取模块对相机采集的激光图像进行处理并根据三维点云数据提取ppf特征，获取对应的位姿信息，通过机器人跟踪抓取模块根据位姿信息规划机器人的运动轨迹并控制机器人根据运动轨迹进行运动，实现利用三维点云进行位姿获取，从而提高抓取准确率。
[0051]
综上所述，本发明的堆叠物体无序抓取方法通过利用激光雷达获取堆叠物体上的线激光的二维激光扫描数据并将其转换为对应的三维点云数据，以提高定位精度，且不易受影响，成本低，对相机采集的激光图像进行处理并根据三维点云数据提取ppf特征，获取对应的位姿信息，根据位姿信息规划机器人的运动轨迹并控制机器人根据运动轨迹进行运动，实现利用三维点云进行位姿获取，从而提高抓取准确率。本发明的堆叠物体无序抓取系统也具有上述功能。
[0052]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种堆叠物体无序抓取方法，其特征在于，包括以下步骤：三维点云信息获取：获取激光雷达发射于堆叠物体上的线激光的二维激光扫描数据，将所述二维激光扫描数据转换为对应的三维点云数据；点云位姿获取：对相机采集的激光图像进行处理，根据所述三维点云数据进行ppf特征提取，获取对应的位姿信息；机器人运动控制：检测机器人的关节状态，根据获得的位姿信息规划机器人的运动轨迹，控制机器人根据所述运动轨迹进行运动。2.根据权利要求1所述的堆叠物体无序抓取方法，其特征在于，所述三维点云信息获取的步骤具体包括：二维激光扫描数据获取：采用激光雷达获取发射于堆叠物体上的线激光的二维激光扫描数据；灰度图像或二值图像获取：采用opencv图像库对获得的所述二维激光扫描数据进行处理，以转换获得灰度图像或二值图像；三维点云数据获取：采用三角测量法将获得的所述二维激光扫描数据从二维空间转换至三维空间，结合pcl点云库，获取所述二维激光扫描数据对应的三维点云数据。3.根据权利要求2所述的堆叠物体无序抓取方法，其特征在于，所述三维点云数据获取的步骤后还包括：堆叠物体识别：对所述三维点云数据进行处理和分析，识别所述三维点云数据中的堆叠物体和环境，获取净堆叠物体三维点云。4.根据权利要求3所述的堆叠物体无序抓取方法，其特征在于，所述堆叠物体识别的步骤后还包括：对所述净堆叠物体三维点云进行建模，获得堆叠物体三维模型，根据所述堆叠物体三维模型进行可视化操作，展示所述堆叠物体三维模型。5.根据权利要求1所述的堆叠物体无序抓取方法，其特征在于，所述点云位姿获取的步骤前还包括：点云预处理：对获得的所述三维点云数据进行降采样，并对降采样后的三维点云数据采用ransac算法进行预处理，获得预处理后的三维点云；点云分割：对获得的预处理后的三维点云进行分割，将预处理后的三维点云划分至对应的同质区域，以获得场景点云和模板点云。6.根据权利要求5所述的堆叠物体无序抓取方法，其特征在于，所述点云位姿获取的步骤包括：ppf特征提取：采用ppf算法采样获取场景点云和模板点云之间对应的ppf特征，并将获得的ppf特征写入哈希表；采样匹配：在场景点云中选取场景采样点，对所述场景采样点于模板点云中分别多次匹配不同的模板匹配点以形成多个不同的采样点对，于哈希表中查找与所述采样点对相似的相似点对，记录各采样点对和查找到的对应的相似点对之间的旋转角，根据相似点对的相似采样点和旋转角构造投票表，根据霍夫投票规则，选择最高票的相似采样点和旋转角；点对距离计算：采用icp算法对所述场景采样点对应的最高票的相似采样点和旋转角进行迭代，计算获取堆叠物体的位姿。
7.根据权利要求6所述的堆叠物体无序抓取方法，其特征在于，所述点对距离计算的步骤具体为：对模板点云和场景点云分别构建模板点云k维树和场景点云k维树；遍历所述模板点云k维树和场景点云k维树求取模板点云和场景点云之间各点对应的最近点点对；采用奇异值分解算法从获得的模板点云和场景点云之间各点对应的最近点点对中计算获取堆叠物体的位姿。8.根据权利要求1所述的堆叠物体无序抓取方法，其特征在于，所述遍历所述模板点云k维树和场景点云k维树求取模板点云和场景点云之间各点对应的最近点点对的步骤具体为：最近点获取：在场景点云的k维树中搜索与随机模板点最近的场景点，在模板点云的k维树中搜索离该与随机模板点最近的场景点最近的模板点；最近点判断：判断随机模板点是否为在模板点云的k维树中搜索到的离该与随机模板点最近的场景点最近的模板点；若是，记录随机模板点及对应的场景点；若否，执行随机模板点更新的步骤；随机模板点更新：判断是否存在未搜索的随机模板点，若是，更新随机模板点，并返回执行所述最近点获取的步骤；若不存在未搜索的随机模板点，则结束操作。9.一种堆叠物体无序抓取系统，其特征在于，包括：三维视觉功能模块，包括相机和激光雷达，用于获取激光雷达发射于堆叠物体上的线激光的二维激光扫描数据，将所述二维激光扫描数据转换为对应的三维点云数据，获取相机采集的堆叠物体上的激光图像；点云位姿获取模块，用于对相机采集的激光图像进行处理，根据所述三维点云数据进行ppf特征提取，获取对应的位姿信息；机器人跟踪抓取模块，用于检测机器人的关节状态，根据获得的位姿信息规划机器人的运动轨迹，控制机器人根据所述运动轨迹进行运动。

技术总结
本发明公开了一种堆叠物体无序抓取方法，包括以下步骤：三维点云信息获取：获取激光雷达发射于堆叠物体上的线激光的二维激光扫描数据，将所述二维激光扫描数据转换为对应的三维点云数据；点云位姿获取：对相机采集的激光图像进行处理，根据所述三维点云数据进行PPF特征提取，获取对应的位姿信息；机器人运动控制：检测机器人的关节状态，根据获得的位姿信息规划机器人的运动轨迹，控制机器人根据所述运动轨迹进行运动。本发明的堆叠物体无序抓取方法通过利用激光雷达获取堆叠物体上的线激光的二维激光扫描数据并将其转换为对应的三维点云数据，以提高定位精度，且不易受影响，成本低。本发明还公开了一种堆叠物体无序抓取系统。统。统。


技术研发人员：丁克 丁兢 刘芊伟 李翔 马洁 王丰 叶闯 张成 林锦辉 胡财荣 陆俊君 淳豪 张敏 王凯
受保护的技术使用者：佛山显扬科技有限公司
技术研发日：2023.06.13
技术公布日：2023/8/1