一种基于4D毫米波雷达点云的3D目标检测方法

一种基于4d毫米波雷达点云的3d目标检测方法
技术领域
1.本发明属于自动驾驶感知领域，具体涉及一种基于4d毫米波雷达点云的3d目标检测方法，尤其是涉及一种基于深度学习的4d毫米波雷达点云特征提取与目标检测技术。


背景技术：

2.近年来，自动驾驶因其减轻驾驶员负担、提高行车安全的潜力而受到越来越多的关注。在现代自动驾驶系统中，感知系统是不可或缺的组成部分，旨在准确估计周围环境的状态，并为预测和规划提供可靠的观察结果。自动驾驶场景下的3d目标检测的主要任务是通过对不同传感器输入数据的处理,输出目标物体的类别和精确位置。一般来说用到的传感器主要有，激光雷达，毫米波雷达，摄像头等。
3.目前的3d目标检测算法的研究主要集中在lidar和camera和他们的融合方面，主要是因为lidar生成的点云能够提供目标物体的精确的位置，形状信息。然而激光雷达受限于其高昂的成本以及对雨、雾强光等恶劣天气条件影响大的原因，并不是一个很好的解决方案。基于摄像头所提供图片的2d目标检测的研究目前已经发展的较为成熟。但是摄像头仅仅能够提供2d平面的语义特征，对3d目标检测所需要的深度、方位等空间信息帮助很小，并且同激光雷达一样受光线和天气的影响大。传统低成本的毫米波radar(x,y,v)对恶劣天气条件鲁棒性高，而且能够提供自动驾驶环境下重要的目标物体速度信息，但是受限于当时雷达技术水平的原因，传统的雷达角分辨率底且缺少高度信息其产生的点云十分稀疏，因此很少用作3d目标检测。新一代的4dradar有望解决这个问题。
4.4d毫米波雷达的四个维度是距离，方位角、仰角和多普勒速度，通过公式转换可以将其转换到常用的3d坐标系下(x,y,z,v)表示。新一代的高分辨率4d毫米波成像雷达的出现弥补了传统毫米波雷达的低清晰度、缺少高度信息的短板，有着于激光雷达相似的点云输出能力。4d毫米波雷达与激光雷达相比，量产成本接近于传统毫米波雷达，并且受天气影响小，能够实现全天候安全、高速的运行，另外利用毫米波雷达的多普勒效应能够精确地估计目标的速度，方向。为此，对其开展深入研究具有非常重要的研究价值和应用前景。


技术实现要素：

5.发明目的：本发明提供一种基于4d毫米波雷达的目标检测方法，使用4d毫米波雷达点云增密模块和多尺度注意力特征提取模块解决当前4d毫米波雷达点云较为稀疏，缺少目标语义信息等问题。
6.技术方案：一种基于4d毫米波雷达点云的3d目标检测方法，所述方法通过4d毫米波雷达点云增密模块和多尺度注意力特征提取模块进行4d毫米波雷达点云特征的提取，实现目标物体3d包围框的回归，包括如下步骤：
7.(1)输入的4d毫米波雷达点云进行增密操作，将每一个原始雷达点作为关键点，每一个关键点都有相应的三维位置向量vi和特征向量fi，对于每个关键点进行偏移处理，随后将关键点和原始点云进行相加，得到密集的4d毫米波雷达点云数据；
8.(2)用步骤(1)得到的点云数据将整个点云空间分为l*w*h的体素，然后对每个体素中的点做特征平均，得到每一个体素的特征，并将体素中的点送入3d骨干网络；
9.(3)基于三维稀疏卷积对3d骨干网络进行3d稀疏特征的采样，包括基于spatially sparse convolution执行步长以1、或2的整数倍进行采样，还包括在3d稀疏特征的融合处理上，将体素的特征采样划分为两个及以上的分支进行处理，最后将不同的分支下的3d稀疏特征转为体素下的3d特征，并在高度的维度上拼接，得到不同尺度不同高度下的3d特征；
10.(4)根据步骤(3)得到的3d特征利用seattention中的squeeze and excitation操作，提取全局信息并生成权重向量，接着将权重向量与原始3d特征在高度的维度上相乘，包括对其中的部分特征进行增强，得到特征增强后的3d特征；
11.(5)将含有高度的3d特征压缩为2d的bev特征，在获得bev的特征数据后，对该特征在bev的视角上进行特征提取、拼接，最后送入检测头；
12.(6)检测头rpn网络生成三个分支，分别对目标物体的3d框位置大小、分类、方向进行预测。
13.进一步的，步骤(1)对于关键点的处理包括如下具体步骤：
14.(11)对每个关键点的三维位置向量和特征向量执行偏移计算，得到新的特征向量f'i，计算表达式如下所示：
[0015][0016]
其中，relu为激活函数，w
offset
为一个可学习的权重矩阵，n(i)为第i个关键点的相邻点云；
[0017]
(12)计算经步骤(11)处理得到的新的关键点的位置向量v'i：
[0018]v′i＝vi+tanh(w
align
[f
′i])
[0019]
其中，tanh为激活函数，w
align
为一个可学习的权重矩阵，对点云空间中每一个关键点做偏移并与原始点云相加，得到密集的4d毫米波雷达点云数据。
[0020]
步骤(3)所述的三维稀疏卷积包括spatially sparse convolution和submanifold sparse convolution两种方式。
[0021]
更进一步的说，步骤(3)对于3d骨干网络包括采用3x3x3的三维稀疏卷积对网络进行下采样为1x,2x,4x,8x的3d稀疏特征，然后选择2x，4x,8x三个尺度的特征进行融合；
[0022]
分支一：将2x特征先进行一次步长为2的spatially sparse convolution下采样，接着分支一的特征再进行一次步长为1的稀疏卷积，获得尺度与4x相同稀疏特征；
[0023]
分支二：将4x特征使用一次步长为1的稀疏卷积获得更为密集的稀疏特征；
[0024]
分支三：使用sparse inverse convolution上采样，得到与分支一和分支二二相同尺度的3d稀疏特征，然后将三个分支得到的3d稀疏特征转为体素下的3d特征，并将三者在高度的维度上拼接，得到不同尺度不同高度下的3d特征。
[0025]
进一步的，步骤(5)具体是对特征图进行不同尺度的下采样，接着对不同尺度的进行多次卷积提取信息，然后再进行上采用后在通道维度进行拼接。
[0026]
有益效果：与现有技术相比，本发明所提供的方法首先是对于4d毫米波雷达点云进行增密操作，然后在体素特征的提取上进行三维的稀疏卷积和压缩至二维空间进行处理，其中还进行了三维空间下稀疏特征的增强，不仅仅是4d毫米波雷达点云对于3d目标检
测能力和质量的提升，还相比现有技术在精度和网络模型的运行效率上也有很大的提升，具有较佳的应用前景和应用意义。
附图说明
[0027]
图1是实施例中本发明所述方法的实施流程图；
[0028]
图2是本发明所述实施实现的目标网络模型结构图；
[0029]
图3是对于实施例中系数点云增密模块的示意图；
[0030]
图4是本发明中稀疏卷积示意图；
[0031]
图5是实施例中的目标检测结果示意图。
具体实施方式
[0032]
为详细的说明本发明所公开的技术方案，下面结合说明书附图做进一步的描述。
[0033]
本发明提供的是一种基于4d毫米波雷达的目标检测方法，结合现有技术及本领域技术人员应的得知的技术基础，本发明的实施的执行步骤如下所示：
[0034]
步骤1、对输入的4d毫米波雷达点云进行增密操作，如图3所示，首先将每一个原始雷达点作为关键点(图中
★
作为其中一个关键点用作说明)，每一个关键点都有相应的三维位置向量vi和特征向量fi。然后利用公式(1)得到新的特征向量f'i：
[0035][0036]
其中，relu为激活函数，w
offset
为一个可学习的权重矩阵，n(i)为第i个关键点的相邻点云(使用球查询方法得到，即图三中球内的点云)。然后利用公式(2)得到新的关键点(图三中
■
点)的位置向量ν'i：
[0037]
ν
′i＝vi+tanh(w
align
[f
′i])
[0038]
其中，tanh为激活函数，w
align
为一个可学习的权重矩阵。对点云空间中每一个关键点做偏移并与原始点云相加，得到密集的4d毫米波雷达点云数据。
[0039]
步骤2、利用步骤1得到的点云数据将整个点云空间分为l*w*h的体素，然后对每个体素中的点做特征平均，得到每一个体素的特征。并将体素中的点送入3d骨干网络。
[0040]
步骤3、采用一系列的3x3x3的三维稀疏卷积对网络进行下采样为1x,2x,4x,8x的3d稀疏特征。3dbackbone模块中主要用到的方法是3d稀疏卷积，
[0041]
如图4所示稀疏卷积有两种一种是spatially sparse convolution，住在这种卷积情况下，只要卷积核范围内覆盖一个非空体素，就可以计算出卷积结果。另一种是submanifold sparse convolution，只有当卷积核的中心覆盖一个非空体素时，卷积输出才会被计算。在这种情况下输入体素的数量与输出体素相同。
[0042]
考虑到平衡特征的精度和网络的运算效率，如图2，本发明对选择2x，4x,8x三个尺度的特征进行融合。分支一将2x特征先进行一次步长为2的spatially sparse convolution下采样，接着对这一分支的特征再进行一次步长为1的稀疏卷积，获得尺度与4x相同稀疏特征。
[0043]
在此说明的是，因为4dradar的点云非常稀疏，连续使用两次spatially sparse convolution不仅能够获得更大的感受野，同时能够得到更为密集的稀疏特征。对于分支二
的4x特征本发明仅使用一次步长为1的稀疏卷积获得更为密集的稀疏特征。分支三则使用sparse inverse convolution上采样，得到与分支一二相同尺度的3d稀疏特征，然后将三个分支得到的3d稀疏特征转为体素下的3d特征，并将三者在高度的维度上拼接。得到不同尺度不同高度下的3d特征。
[0044]
对于当前的一阶段的3d目标检测算法来说，普遍是将含有高度的3d特征直接压缩为2d的bev特征，这主要是因为在道路场景下几乎没有目标物体在高度上重叠，bev基本无竖向遮挡的表示所有目标物体，但是在高度压缩的过程中会造成一些目标物体重要的高度信息损失。因此受到senet与epsanet的启发设计了一种多尺度下的注意力模块，对3d特征做不同尺度不同高度的注意力增强，减少高度压缩过程中特征损失。
[0045]
步骤4、如图2所示，本模块首先利用se attention中的squeeze and excitation操作，提取全局信息并生成权重向量，接着将权重向量与原始3d特征在高度的维度上相乘，对较重要高度上的特征进行增强，得到特征增强后的3d特征。
[0046]
步骤5、在获得bev的特征数据后，对该特征在bev的视角上进行特征提取。首先对特征图进行不同尺度的下采样，接着对不同尺度的进行多次卷积提取信息，然后再进行上采用后在通道维度进行拼接。接着送入检测头
[0047]
步骤6、检测头rpn网络生成三个分支，分别对目标物体的3d框位置大小、分类、方向进行预测。
[0048]
经过实验，本发明方法具有出色的目标检测能力，如图5所示，可以精确的预测目标车辆的位置大小分类信息。

技术特征：
1.一种基于4d毫米波雷达点云的3d目标检测方法，其特征在于：所述方法通过4d毫米波雷达点云增密模块和多尺度注意力特征提取模块进行4d毫米波雷达点云特征的提取，实现目标物体3d包围框的回归，包括如下步骤：(1)输入的4d毫米波雷达点云进行增密操作，将每一个原始雷达点作为关键点，每一个关键点都有相应的三维位置向量v
i
和特征向量f
i
，对于每个关键点进行偏移处理，随后将关键点和原始点云进行相加，得到密集的4d毫米波雷达点云数据；(2)用步骤(1)得到的点云数据将整个点云空间分为l*w*h的体素，然后对每个体素中的点做特征平均，得到每一个体素的特征，并将体素中的点送入3d骨干网络；(3)基于三维稀疏卷积对3d骨干网络进行3d稀疏特征的采样，包括基于spatially sparse convolution执行步长以1、或2的整数倍进行采样，还包括在3d稀疏特征的融合处理上，将体素的特征采样划分为两个及以上的分支进行处理，最后将不同的分支下的3d稀疏特征转为体素下的3d特征，并在高度的维度上拼接，得到不同尺度不同高度下的3d特征；(4)根据步骤(3)得到的3d特征利用se attention中的squeeze and excitation操作，提取全局信息并生成权重向量，接着将权重向量与原始3d特征在高度的维度上相乘，包括对其中的部分特征进行增强，得到特征增强后的3d特征；(5)将含有高度的3d特征压缩为2d的bev特征，在获得bev的特征数据后，对该特征在bev的视角上进行特征提取、拼接，最后送入检测头；(6)检测头rpn网络生成三个分支，分别对目标物体的3d框位置大小、分类、方向进行预测。2.根据权利要求1所述的基于4d毫米波雷达点云的3d目标检测方法，其特征在于：步骤(1)对于关键点的处理包括如下具体步骤：(11)对每个关键点的三维位置向量和特征向量执行偏移计算，得到新的特征向量f
′
i
，计算表达式如下所示：其中，relu为激活函数，w
offset
为一个可学习的权重矩阵，n(i)为第i个关键点的相邻点云；(12)计算经步骤(11)处理得到的新的关键点的位置向量ν'
i
：v
′
i
＝v
i
+tanh(w
align
[f
′
i
])其中，tanh为激活函数，w
align
为一个可学习的权重矩阵，对点云空间中每一个关键点做偏移并与原始点云相加，得到密集的4d毫米波雷达点云数据。3.根据权利要求1所述的基于4d毫米波雷达点云的3d目标检测方法，其特征在于：步骤(3)所述的三维稀疏卷积包括spatially sparse convolution和submanifold sparse convolution两种方式。4.根据权利要求3所述的基于4d毫米波雷达点云的3d目标检测方法，其特征在于：对于3d骨干网络包括采用3x3x3的三维稀疏卷积对网络进行下采样为1x,2x,4x,8x的3d稀疏特征，然后选择2x，4x,8x三个尺度的特征进行融合；分支一：将2x特征先进行一次步长为2的spatially sparse convolution下采样，接着
分支一的特征再进行一次步长为1的稀疏卷积，获得尺度与4x相同稀疏特征；分支二：将4x特征使用一次步长为1的稀疏卷积获得更为密集的稀疏特征；分支三：使用sparse inverse convolution上采样，得到与分支一和分支二二相同尺度的3d稀疏特征，然后将三个分支得到的3d稀疏特征转为体素下的3d特征，并将三者在高度的维度上拼接，得到不同尺度不同高度下的3d特征。5.根据权利要求1所述的基于4d毫米波雷达点云的3d目标检测方法，其特征在于：步骤(5)具体是对特征图进行不同尺度的下采样，接着对不同尺度的进行多次卷积提取信息，然后再进行上采用后在通道维度进行拼接。

技术总结
本发明公开了一种基于4D毫米波雷达点云的3D目标检测方法，通过4D毫米波雷达点云增密模块和多尺度注意力特征提取模块解决当前4D毫米波雷达点云较为稀疏，缺少目标语义信息等问题。该方法包括对输入的4D毫米波雷达点云进行增密，然后将点云空间的体素中的点做特征平均，并将体素中的点送入3D骨干网络进行卷积处理，进而得到不同尺度不同高度下的3D特征，最后得到BEV的特征数据后进行特征提取，实现目标物体的3D框位置大小、分类、方向的预测。方向的预测。方向的预测。


技术研发人员：郝洁 周一男 吴强
受保护的技术使用者：南京航空航天大学
技术研发日：2023.04.14
技术公布日：2023/7/28