基于轻量级特征融合网络的类别级物体6D位姿估计方法

基于轻量级特征融合网络的类别级物体6d位姿估计方法
技术领域
1.本技术属于机器人环境感知技术领域，具体涉及一种基于轻量级特征融合网络的类别级物体6d位姿估计方法。


背景技术：

2.随着机器人技术的不断发展，基于三维视觉的机器人环境感知技术以其使用范围广这一特点，现已渗透到各个领域，如智能制造、智能物流等。物体6d位姿估计的任务就是估计从物体坐标系到相机坐标系的刚性变换，即物体坐标系到相机坐标系的旋转和平移变换。6d物体姿态估计具有强大的现实意义，估计6d物体的姿态引起了研究人员的更多关注，它也在许多实际应用中得到越来越广泛的应用，例如机器人操作、自动驾驶和增强现实。
3.现有的位姿估计方法根据对物体的泛化能力不同，可以分为实例级物体6d位姿估计和类别级物体6d位姿估计。实例级6d姿态估计是指基于拥有物体的三维模型对物体实例进行姿态预测，实例级6d姿态估计只能估计在训练过程中出现的物体实例，主流方法可分为三类：基于对应的方法、基于模板的方法和基于投票的方法。基于对应的方法是通过寻找观测点云和物体模型点云之间的对应关系，进而通过pnp算法后得到物体6d位姿。基于模板的方式是从标记好6d位姿的模板中，选择与当前观测物体最接近的模板，并将其6d位姿作为预测的6d位姿。基于投票的方法是指物体点云上的每个3d点云通过投票，贡献于最终的6d位姿估计。类别级位姿估计可以估计训练过程中出现过物体类别内所有实例，现有方法是通过提取物体实例的rgb特征和点云特征，将同一类别的不同实例转换到nocs空间来实现类别内不同实例的泛化，最后通过点云配准算法求得物体6d位姿。
4.现有专利大多数使用物体的rgb-d信息提取物体特征，这导致了更复杂的网络模型，降低了实时性；并且现有基于形状先验的6d位姿估计方法未能充分挖掘形状先验和物体之间的几何关系，导致6d位姿估计精度低，无法满足高精度需求。
5.名词解释：
6.形状先验：数据形式是点云，可以视为某一类物体的平均形状，提供了某类物体的几何先验信息。
7.全连接层：神经网络中的一种常见的层类型，也称为密集连接层。全连接层可以将输入特征与每个神经元之间的连接权重进行矩阵乘法和偏置加法操作，从而得到输出结果。


技术实现要素：

8.本发明公开了一种基于轻量级特征融合网络的类别级物体6d位姿估计方法，其构建了端到端的轻量级特征融合网络，有效的将物体点云特征和形状先验特征进行融合，在6d位姿估计准确性上得到了显著的提升，从而可以有效解决背景技术中涉及的至少一个技术问题。
9.为实现上述目的，本发明的技术方案为：
10.一种基于轻量级特征融合网络的类别级物体6d位姿估计方法，包括以下步骤：
11.步骤s1，通过三维相机获取物体的深度图像，根据相机内部参数将深度图进行反投影得到物体点云；
12.步骤s2，将物体点云和形状先验输入至pointnet++网络，提取物体点云几何特征和形状先验几何特征；
13.步骤s3，将物体点云几何特征和形状先验几何特征输至特征融合网络进行密集融合；
14.步骤s4，将进行密集融合后得到的融合特征输入多层感知机并进行平均池化，得到物体点云全局特征和形状先验全局特征，并通过变形网络重建得到重建物体模型；
15.步骤s5，将物体点云几何特征、物体点云全局特征、形状先验几何特征以及形状先验全局特征通过位姿回归，得到物体的6d位姿。
16.作为本发明的一种优选改进，在步骤s2中，先通过均匀下采样的方式对物体点云和形状先验采样1024个点，然后基于pointnet++网络利用度量空间距离自适应组合多尺度特征，得到物体点云和形状先验的几何特征。
17.作为本发明的一种优选改进，步骤s3具体包括以下步骤：
18.步骤s31，通过余弦相似度衡量物体点云几何特征fo＝{y1,y2,y3…
,yn}和形状先验几何特征fr＝{x1,x2,x3…
,xm}之间的相关性f(xi,yi)，由下式表示：
[0019][0020]
其中，n表示物体点云采样的总点数，m表示形状先验采样的总点数，yi表示物体点云中第i个采样点的特征向量，xi表示形状先验中第i个采样点的特征向量；
[0021]
步骤s32，通过构建多层感知机计算物体点云和形状先验之间的相关性特征fd＝{d1，d2，d3，
…
，dk}＝mlp(f(xi，yi))；
[0022]
步骤s33，将物体点云几何特征fo、形状先验几何特征fr以及相关性特征fd进行逐点密集融合，由下式表示：
[0023]fr
→o＝{(x1,y1,d1),(x2,y2,d2),
…
,(xn,yn,dn)}
[0024]fo
→r＝{(y1,x1,d1),(y2,x2,d2),
…
,(yn,xn,dn)}
[0025]
其中，fr→o表示融合了fr和fd的物体点云特征，fo→r表示融合了fo和fd的形状先验特征。
[0026]
作为本发明的一种优选改进，步骤s4具体包括以下步骤：
[0027]
步骤s41，将物体点云特征fr→o、形状先验特征fo→r分别输入多层感知机并进行平均池化后得到物体点云全局特征go和形状先验全局特征gr；
[0028]
步骤s42，将形状先验、形状先验几何特征fr、形状先验全局特征gr、物体点云几何特征fo和物体点云全局特征go作为变形网络输入；
[0029]
步骤s43，所述形状先验几何特征fr、形状先验全局特征gr和物体点云全局特征go构成形状先验融合特征，所述物体点云几何特征fo、物体点云全局特征go和形状先验全局特征gr构成物体实例融合特征，通过由卷积神经网络构成的变形模块得到重建物体模型；
[0030]
步骤s44，设置重建损失缩小重建物体模型与物体真实模型之间的差距，所述重建
损失是重建物体模型与物体真实模型之间的倒角距离，表达式如下所示：
[0031][0032]
其中，l
cd
表示重建损失，d
cd
表示倒角距离，表示物体真实模型，表示重建物体模型。
[0033]
作为本发明的一种优选改进，步骤s5具体包括以下步骤：
[0034]
步骤s51，将形状先验几何特征fr、形状先验全局特征gr、物体点云几何特征fo以及物体点云全局特征go进行拼接后输至多层感知机网络并进行平均池化；
[0035]
步骤s52，将池化后得到的特征送入全连接层，解算得到物体6d位姿。
[0036]
本发明的有益效果：本发明构建了端到端的轻量级特征融合网络，有效的将物体点云特征和形状先验特征进行融合，将形状先验几何特征引入到实例中，使其形状信息更加可靠，并将实例的几何信息融合到形状先验中，使其对类别内的不同实例有更好的泛化效果，并在6d位姿估计准确性、速度等性能上得到了显著的提升。
附图说明
[0037]
图1为本发明实施例提供的流程框架图；
[0038]
图2为本发明实施例提供的pointnet++网络结构图；
[0039]
图3为本发明实施例提供的多层感知机网络结构图；
[0040]
图4为本发明实施例提供的特征融合网络结构图。
具体实施方式
[0041]
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0042]
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0043]
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0044]
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0045]
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普
通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0046]
参阅图1至4所示，本发明提出了一种基于轻量级特征融合网络的类别级物体6d位姿估计方法，包括以下步骤：
[0047]
步骤s1，通过三维相机获取物体的深度图像，根据已知的相机内部参数将深度图进行反投影得到物体点云；
[0048]
步骤s2，将物体点云和形状先验输入至pointnet++网络，提取物体点云几何特征和形状先验几何特征；
[0049]
在该步骤中，首先通过均匀下采样的方式对物体点云和形状先验采样1024个点，然后将其输入至pointnet++网络，pointnet++利用度量空间距离自适应组合多尺度特征，得到物体点云和形状先验的几何特征。
[0050]
步骤s3，将物体点云几何特征和形状先验几何特征输至特征融合网络进行密集融合，具体包括以下步骤：
[0051]
步骤s31，通过余弦相似度衡量物体点云几何特征fo＝{y1,y2,y3…
,yn}和形状先验几何特征fr＝{x1,x2,x3…
,xm}之间的相关性，由下式表示：
[0052][0053]
其中，n表示物体点云采样的总点数，yn表示物体点云中第n个采样点的特征向量，yi表示n个物体点云中第i个采样点的特征向量，m表示形状先验采样的总点数，xm表示形状先验中第m个采样点的特征向量，xi表示m个形状先验中第i个采样点的特征向量；物体点云采样的总点数与形状先验采样的总点数相同，即n＝m。
[0054]
步骤s32，通过构建多层感知机计算物体点云和形状先验之间的相关性特征fd＝{d1，d2，d3，
…
，dk}＝mlp(f(xi，yi))；
[0055]
步骤s33，将物体点云几何特征fo、形状先验几何特征fr以及相关性特征fd进行逐点密集融合，由下式表示：
[0056]fr
→o＝{(x1,y1,d1),(x2,y2,d2),
…
,(xn,yn,dn)}
[0057]fo
→r＝{(y1,x1,d1),(y2,x2,d2),
…
,(yn,xn,dn)}
[0058]
其中，fr→o表示融合了fr和fd的物体点云特征，fo→r表示融合了fo和fd的形状先验特征。
[0059]
步骤s4，将进行密集融合后得到的融合特征输入多层感知机并进行平均池化，得到物体点云全局特征和形状先验全局特征，并通过变形网络重建得到重建物体模型，具体包括以下步骤：
[0060]
步骤s41，将进行密集融合后得到的物体点云特征fr→o、形状先验特征fo→r分别输入多层感知机并进行平均池化后得到物体点云全局特征go和形状先验全局特征gr；
[0061]
步骤s42，将形状先验pr∈rm×3、形状先验几何特征fr、形状先验全局特征gr、物体点云几何特征fo和物体点云全局特征go作为变形网络输入；
[0062]
步骤s43，所述形状先验几何特征fr、形状先验全局特征gr和物体点云全局特征go构成形状先验融合特征，所述物体点云几何特征fo、物体点云全局特征go和形状先验全局特
征gr构成物体实例融合特征，通过由卷积神经网络构成的变形模块得到重建物体模型；
[0063]
步骤s44，设置重建损失缩小重建物体模型与物体真实模型之间的差距，所述重建损失是重建物体模型与物体真实模型之间的倒角距离，表达式如下所示：
[0064][0065]
其中，l
cd
表示重建损失，d
cd
表示倒角距离，表示物体真实模型，表示重建物体模型。
[0066]
步骤s5，将物体点云几何特征fo、物体点云全局特征go，形状先验几何特征fr以及形状先验全局特征gr通过位姿回归获得物体的6d位姿；
[0067]
步骤s51，将形状先验几何特征fr、形状先验全局特征gr、物体点云几何特征fo以及物体点云全局特征go进行拼接后输至多层感知机网络并进行平均池化；
[0068]
步骤s52，将池化后得到的特征送入全连接层，解算得到物体6d位姿。
[0069]
本发明的有益效果：本发明构建了端到端的轻量级特征融合网络，有效的将物体点云特征和形状先验特征进行融合，将形状先验几何特征引入到实例中，使其形状信息更加可靠，并将实例的几何信息融合到形状先验中，使其对类别内的不同实例有更好的泛化效果，并在6d位姿估计准确性、速度等性能上得到了显著的提升。
[0070]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。

技术特征：
1.一种基于轻量级特征融合网络的类别级物体6d位姿估计方法，其特征在于，包括以下步骤：步骤s1，通过三维相机获取物体的深度图像，根据相机内部参数将深度图进行反投影得到物体点云；步骤s2，将物体点云和形状先验输入至pointnet++网络，提取物体点云几何特征和形状先验几何特征；步骤s3，将物体点云几何特征和形状先验几何特征输至特征融合网络进行密集融合；步骤s4，将进行密集融合后得到的融合特征输入多层感知机并进行平均池化，得到物体点云全局特征和形状先验全局特征，并通过变形网络重建得到重建物体模型；步骤s5，将物体点云几何特征、物体点云全局特征、形状先验几何特征以及形状先验全局特征通过位姿回归，得到物体的6d位姿。2.根据权利要求1所述的方法，其特征在于，在步骤s2中，先通过均匀下采样的方式对物体点云和形状先验采样1024个点，然后基于pointnet++网络利用度量空间距离自适应组合多尺度特征，得到物体点云和形状先验的几何特征。3.根据权利要求2所述的方法，其特征在于，步骤s3具体包括以下步骤：步骤s31，通过余弦相似度衡量物体点云几何特征f
o
＝{y1,y2,y3…
,y
n
}和形状先验几何特征f
r
＝{x1,x2,x3…
,x
m
}之间的相关性f(x
i
,y
i
)，由下式表示：其中，n表示物体点云采样的总点数，m表示形状先验采样的总点数，y
i
表示物体点云中第i个采样点的特征向量，x
i
表示形状先验中第i个采样点的特征向量；步骤s32，通过构建多层感知机计算物体点云和形状先验之间的相关性特征f
d
＝{d1，d2，d3，
…
，d
k
}＝mlp(f(x
i
，y
i
))；步骤s33，将物体点云几何特征f
o
、形状先验几何特征f
r
以及相关性特征f
d
进行逐点密集融合，由下式表示：f
r
→
o
＝{(x1,y1,d1),(x2,y2,d2),
…
,(x
n
,y
n
,d
n
)}f
o
→
r
＝{(y1,x1,d1),(y2,x2,d2),
…
,(y
n
,x
n
,d
n
)}其中，f
r
→
o
表示融合了f
r
和f
d
的物体点云特征，f
o
→
r
表示融合了f
o
和f
d
的形状先验特征。4.根据权利要求3所述的方法，其特征在于，步骤s4具体包括以下步骤：步骤s41，将物体点云特征f
r
→
o
、形状先验特征f
o
→
r
分别输入多层感知机并进行平均池化后得到物体点云全局特征g
o
和形状先验全局特征g
r
；步骤s42，将形状先验、形状先验几何特征f
r
、形状先验全局特征g
r
、物体点云几何特征f
o
和物体点云全局特征g
o
作为变形网络输入；步骤s43，所述形状先验几何特征f
r
、形状先验全局特征g
r
和物体点云全局特征g
o
构成形状先验融合特征，所述物体点云几何特征f
o
、物体点云全局特征g
o
和形状先验全局特征g
r
构成物体实例融合特征，通过由卷积神经网络构成的变形模块得到重建物体模型；步骤s44，设置重建损失缩小重建物体模型与物体真实模型之间的差距，所述重建损失是重建物体模型与物体真实模型之间的倒角距离，表达式如下所示：
其中，l
cd
表示重建损失，d
cd
表示倒角距离，表示物体真实模型，表示重建物体模型。5.根据权利要求4所述的方法，其特征在于，步骤s5具体包括以下步骤：步骤s51，将形状先验几何特征f
r
、形状先验全局特征g
r
、物体点云几何特征f
o
以及物体点云全局特征g
o
进行拼接后输至多层感知机网络并进行平均池化；步骤s52，将池化后得到的特征送入全连接层，解算得到物体6d位姿。

技术总结
本发明公开了一种基于轻量级特征融合网络的类别级物体6D位姿估计方法，通过将相机采集的物体深度图像经过反投影得到物体点云，然后使用PointNet++网络提取物体点云和形状先验的几何特征，并将其送入轻量级特征融合编码器中进行密集融合，将融合后得到的特征输至多层感知机并进行平均池化得到全局特征，最后，根据几何特征和全局特征重建物体模型，并通过位姿回归求解6D位姿。本发明有效的将物体点云特征和形状先验特征进行融合，将形状先验几何特征引入到实例中，使其形状信息更加可靠；将实例的几何信息融合到形状先验中，使其对类别内的不同实例有更好的泛化效果，并在6D位姿估计准确性、速度等性能上得到了显著的提升。速度等性能上得到了显著的提升。速度等性能上得到了显著的提升。


技术研发人员：孙炜 杨慧 刘剑 刘崇沛
受保护的技术使用者：湖南大学
技术研发日：2023.07.31
技术公布日：2023/9/26