一种未知噪音环境无序堆叠工件位姿估计方法

1.本发明涉及计算机视觉点云处理领域，具体来说，涉及一种未知噪音环境无序堆叠工件位姿估计方法。


背景技术：

2.工业分拣场景中的工件大多是多目标、无序的、堆叠的。早期的研究，通常会将场景分割算法与单目标的位姿估计算法相结合，以此来解决这种多目标的位姿估计问题。单目标的位姿估计算法通常采用点云模板匹配的方式来实现，这要求待匹配的场景点云有一定的完整性，因此其匹配效果很大程度上由场景分割的结果来决定。目前很多场景分割算法只能适用于多目标分离的场景，无法应对紧密堆叠的场景，有些基于图像的场景分割算法虽然堆叠物体分割有较好的效果，但是其依赖于物体的颜色信息，这对工业场景中的工件而言并不适用。许多研究工作都采用投票聚类的方式来实现多目标物体的位姿估计任务。这类方法通过分析局部点的特征得到可能的位姿，再对这些位姿采用聚类的方式得到每一个物体的位姿，这种方法充分利用了场景中每一处的信息，并能聚合出其中正确的信息。然而，这些方法大都采用了仿真数据进行研究，并没有考虑工业场景中可能出现的未知噪声情况，噪声的存在会影响数据特征的提取，进而影响最终的结果。目前的噪声处理算法虽然能一定程度减少噪声影响，但其结果却无法达到仿真数据的程度，因此其无法很好的和这些基于仿真数据研究的位姿估计方法相结合。
3.在处理带噪声场景的物体抓取位姿预测中，一种方法是噪声数据不参与位姿估计网络的训练，通过仿真数据训练出位姿估计网络，在预测时，通过预处理对点云进行去噪，再将去噪后的点云数据丢进网络中进行预测。这种方法需要去噪后的点云数据尽量接近无噪声的仿真数据，对于一些噪声程度较大的场景很难取得好的效果。另外一种方法，是将带噪声的数据与不带噪声的数据一起喂到网络中训练，由网络直接分析噪声数据的特征。这种方法训练得到的模型往往只能适用于训练集中出现过的已知噪声场景，难以适用于未知的噪声。因此为了提升网络的泛化性，需要尽可能多地模拟实际场景中的每一种噪声并加入训练集，这个过程通常比较困难。


技术实现要素：

4.为了解决上述技术问题，发明人针对未知噪声无序堆叠场景位姿估计研究时，发现现有技术中该项缺陷是未知噪声环境下位姿估计效果不佳。
5.发明人经过试验研究发现，将噪声去除网络和位姿估计网络结合训练，可以实现未知噪声环境高精度位姿估计。进而，本发明提供一种未知噪音环境无序堆叠工件位姿估计方法。
6.本发明的技术方案是这样实现的：一种未知噪音环境无序堆叠工件位姿估计方法，该方法包括如下步骤：
7.步骤1：对ipa数据集进行扩展，加入泊松、高斯和高斯混合噪声，构建带噪声点云
数据集(noise-ipa-binpicking)；
8.步骤2：搭建噪声去除网络模型；
9.步骤3：搭建位姿估计网络模型；
10.步骤4：对噪声去除网络和位姿估计网络进行训练，获得训练后的噪声去除网络和位姿估计网络；
11.步骤5：利用测试集进行模型验证，得到未知噪声位姿估计结果。
12.进一步的，步骤1中，所述扩展ipa数据集即使用一些学术上常用的噪声算法进行数据集的扩充，用来模拟不同情况、不同程度的噪声，添加以下7种不同的噪声情况：no_noise(无噪声)，2d_gauss_small(二维高斯小噪声)，2d_gauss_big(二维高斯大噪声)，2d_poisson(二维泊松噪声)，3d_gauss_small(三维高斯小噪声)，3d_gauss_big(三维高斯大噪声)，3d_gauss_mixed(三维高斯混合噪声)。
13.进一步，步骤2包括：
14.步骤2-1：输入np*3维点云，通过kd-tree进行数据处理，邻域点的数量固定控制为nb，将点云数据提取成np个大小为nb*3的邻域点云；
15.步骤2-2：将np个大小为nb*3的邻域点云输入pcpnet进行局部特征提取，提取到np*ne的点云特征；
16.步骤2-3：将np*ne的点云特征输入到全连接层进行邻域中心点噪声偏移预测，原始的噪声点云noise_cloud减去这个噪声偏移可以得到去噪点云数据denoise_cloud；
17.步骤3搭建位姿估计网络模型包括：
18.将np*3的去噪点云输入pointnet++进行特征提取，然后将提取到的np*ne维特征输入到3个不同的mlp层，分别用来逐点回归可见性、平移、旋转信息，融合旋转平移信息得到4*4的旋转平移矩阵，完成位姿估计。
19.进一步，步骤3包括：
20.步骤3-1：将np*3的去噪点云数据通过pointnet++进行特征提取，得到维度大小为np*ne的特征；
21.步骤3-2：将np*ne特征输入到三个mlp(mlp_vis，mlp_trans，mlp_rot)，全连接层mlp_vis回归逐点的可见性信息，全连接层mlp_trans与mlp_rot回归到每个点的三维旋转信息与三维平移信息；
22.进一步，步骤4中，进行噪声去除和位姿估计网络训练，损失函数loss为：
23.进行噪声去除网络模型训练，损失函数loss为：
[0024][0025]
其中，表示预测的第i个点的噪声偏移，表示真实的第i个点的噪声偏移。
[0026]
进行位姿估计网络模型训练，损失函数loss为：
[0027]
l＝l
p
+α*lv[0028]
其中，α是常数，用以控制2个loss之间的比重，需要根据具体实验调整。
[0029]
可见性的loss计算公式如下：
[0030]
[0031]
式中，表示预测的第i个点的可见性，表示真实的第i个点的可见性。
[0032]
位姿信息的loss计算公式如下：
[0033][0034]
式中，r(p
pred
)表示预测位姿的集合，r(p
gt
)表示真实位姿的集合
[0035][0036]
进一步，步骤5中，测试集数据输入噪声去除和位姿估计模型，得到关系抽取结果；采用精确率(precision)、召回率(recall)作为评估指标，计算公式如下：
[0037][0038][0039]
本发明的有益效果：鉴于现有技术中存在的不足，本技术基于位姿估计相关方法的研究成果，针对位姿估计在未知噪声环境下位姿估计中出现的主要问题，设计了一种未知噪音环境无序堆叠工件位姿估计方法，依此训练出模型，本技术的模型方法对未知噪声环境位姿估计具有如下有益效果：
[0040]
提出了一种适用于堆叠场景的未知噪声位姿估计网络，融合了去噪模块和位姿估计模块。
[0041]
本发明充分考虑噪声去除和位姿估计，提高堆叠场景的未知噪声位姿估计精度。
附图说明
[0042]
图1为一种未知噪音环境无序堆叠工件位姿估计方法技术路线图。
[0043]
图2为一种未知噪音环境无序堆叠工件位姿估计方法网络。
具体实施方式
[0044]
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0045]
实施例一
[0046]
如图1所示，本发明实施例提供一种未知噪音环境无序堆叠工件位姿估计方法，包括下述步骤：
[0047]
步骤1：对ipa数据集进行扩展，加入泊松、高斯和高斯混合噪声，构建带噪声点云数据集(noise-ipa-binpicking)；；
[0048]
步骤2：搭建噪声去除网络模型；
[0049]
步骤3：搭建位姿估计网络模型；
[0050]
步骤4：对噪声去除网络和位姿估计网络进行训练，获得训练后的噪声去除网络和位姿估计网络；
[0051]
步骤5：利用测试集进行模型验证，得到未知噪声位姿估计结果。
[0052]
在一个实施例中，上述步骤1所述扩展ipa数据集即使用一些学术上常用的噪声算法进行数据集的扩充，用来模拟不同情况、不同程度的噪声，添加以下7种不同的噪声情况：no_noise(无噪声)，2d_gauss_small(二维高斯小噪声)，2d_gauss_big(二维高斯大噪声)，2d_poisson(二维泊松噪声)，3d_gauss_small(三维高斯小噪声)，3d_gauss_big(三维高斯大噪声)，3d_gauss_mixed(三维高斯混合噪声)。
[0053]
在一个实施例中，上述步骤2：搭建位姿估计网络模型，具体包括：
[0054]
步骤21：输入np*3维点云，通过kd-tree进行数据处理，邻域点的数量固定控制为nb，将点云数据提取成np个大小为nb*3的邻域点云；
[0055]
步骤22：将np个大小为nb*3的邻域点云输入pcpnet进行局部特征提取，提取到np*ne的点云特征；
[0056]
步骤23：将np*ne的点云特征输入到全连接层进行邻域中心点噪声偏移预测，原始的噪声点云noise_cloud减去这个噪声偏移可以得到去噪点云数据denoise_cloud；
[0057]
在一个实施例中，上述步骤3：将np*3的去噪点云输入pointnet++进行特征提取，然后将提取到的np*ne维特征输入到3个不同的mlp层，分别用来逐点回归可见性、平移、旋转信息，融合旋转平移信息得到4*4的旋转平移矩阵，完成位姿估计，如图2所示，具体包括：
[0058]
进一步，步骤3包括：
[0059]
步骤31：将np*3的去噪点云数据通过pointnet++进行特征提取，得到维度大小为np*ne的特征；
[0060]
步骤32：将np*ne特征输入到三个mlp(mlp_vis，mlp_trans，mlp_rot)，全连接层mlp_vis回归逐点的可见性信息，全连接层mlp_trans与mlp_rot回归到每个点的三维旋转信息与三维平移信息；
[0061]
在一个实施例中，上述步骤4：对噪声去除网络和位姿估计网络进行训练，获得训练后的噪声去除网络和位姿估计网络。损失函数loss为：
[0062]
进行噪声去除网络模型训练，损失函数loss为：
[0063][0064]
其中，表示预测的第i个点的噪声偏移，表示真实的第i个点的噪声偏移。
[0065]
进行位姿估计网络模型训练，损失函数loss为：
[0066]
l＝l
p
+α*lv[0067]
其中，α是常数，用以控制2个loss之间的比重，需要根据具体实验调整。
[0068]
可见性的loss计算公式如下：
[0069][0070]
式中，表示预测的第i个点的可见性，表示真实的第i个点的可见性。
[0071]
位姿信息的loss计算公式如下：
[0072][0073]
式中，r(p
pred
)表示预测位姿的集合，r(p
gt
)表示真实位姿的集合
[0074][0075]
在一个实施例中，上述步骤5：利用测试集进行模型验证，得到未知噪声位姿估计结果。选取了精确率(precision)、召回率(recall)作为评估指标，公式如下：
[0076][0077][0078]
本发明公开的一种未知噪音环境无序堆叠工件位姿估计方法，能够通过噪声去除网络完成点云去噪，位姿估计模块完成位姿估计，融合噪声去除和位姿估计实现未知噪声环境下堆叠场景的位姿估计。
[0079]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种未知噪音环境无序堆叠工件位姿估计方法，该方法包括如下步骤：步骤1：对ipa数据集进行扩展，加入泊松、高斯和高斯混合噪声，构建带噪声点云数据集(noise-ipa-binpicking)；；步骤2：搭建噪声去除网络模型；步骤3：搭建位姿估计网络模型；步骤4：对噪声去除网络和位姿估计网络进行训练，获得训练后的噪声去除网络和位姿估计网络；步骤5：利用测试集进行模型验证，得到未知噪声位姿估计结果。2.根据权利要求1所述的一种未知噪音环境无序堆叠工件位姿估计方法，所述步骤1，具体包括：所述扩展ipa数据集即使用一些学术上常用的噪声算法进行数据集的扩充，用来模拟不同情况、不同程度的噪声，扩展。3.根据权利要求1所述的一种未知噪音环境无序堆叠工件位姿估计方法，所述步骤2具体包括：步骤2-1：通过kd-tree进行数据处理，kd-tree是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构，其目的为快速检索某一个点周围的邻域点。噪声点云数据经过kd-tree的查找之后可以得到每一个点周围的邻域，邻域点的数量固定控制为nb，因此可以将点云数据提取成np个大小为nb*3的邻域点云；步骤2-2：将np个大小为nb*3的邻域点云输入pcpnet进行局部特征提取，提取到np*ne的点云特征；步骤2-3：将np*ne的点云特征输入到全连接层进行邻域中心点噪声偏移预测，原始的噪声点云noise_cloud减去这个噪声偏移可以得到去噪点云数据denoise_cloud。4.根据权利要求1所述的一种未知噪音环境无序堆叠工件位姿估计方法，其特征在于，所述步骤3具体包括：步骤3-1：将np*3的去噪点云数据通过pointnet++进行特征提取，得到维度大小为np*ne的特征；步骤3-2：将np*ne特征输入到三个mlp(mlp_vis，mlp_trans，mlp_rot)，全连接层mlp_vis回归逐点的可见性信息，全连接层mlp_trans与mlp_rot回归到每个点的三维旋转信息与三维平移信息。5.根据权利要求1所述的一种未知噪音环境无序堆叠工件位姿估计方法，其特征在于，所述步骤4具体包括：进行噪声去除网络模型训练，损失函数loss为：其中，表示预测的第i个点的噪声偏移，表示真实的第i个点的噪声偏移。进行位姿估计网络模型训练，损失函数loss为：l＝l
p
+α*lv其中，α是常数，用以控制2个loss之间的比重，需要根据具体实验调整。可见性的loss计算公式如下：
式中，表示预测的第i个点的可见性，表示真实的第i个点的可见性。位姿信息的loss计算公式如下：式中，r(p
pred
)表示预测位姿的集合，r(p
gt
)表示真实位姿的集合6.根据权利要求1所述的一种未知噪音环境无序堆叠工件位姿估计方法，其特征在于，所述步骤5具体包括：测试集数据输入噪声去除和位姿估计融合模型，得到未知噪声环境位姿估计结果；采用精确率(precision)、召回率(recall)作为评估指标。

技术总结
本发明公开了属于计算机视觉点云处理领域一种未知噪音环境无序堆叠工件位姿估计方法，该方法包括如下步骤：步骤1：对IPA数据集进行扩展，加入泊松、高斯和高斯混合噪声，构建带噪声点云数据集(noise-IPA-binpicking)；步骤2：搭建噪声去除网络模型；步骤3：搭建位姿估计网络模型；步骤4：对噪声去除网络和位姿估计网络进行训练，获得训练后的噪声去除网络和位姿估计网络；步骤5：利用测试集进行模型验证，得到未知噪声位姿估计结果。到未知噪声位姿估计结果。到未知噪声位姿估计结果。


技术研发人员：石敏 侯京召 朱登明
受保护的技术使用者：华北电力大学
技术研发日：2023.06.12
技术公布日：2023/9/20