点云目标检测模型构建方法、点云目标检测方法及装置与流程
未命名
09-23
阅读:48
评论:0
1.本技术涉及机器学习技术领域,尤其涉及一种点云目标检测模型构建方法、点云目标检测方法及装置。
背景技术:
2.目前,随着汽车智能化的快速发展,越来越多的汽车上搭载了自动驾驶系统。自动驾驶系统利用各种传感器感知车辆周围的环境情况,如基于激光雷达传感器获取驾驶环境的激光点云数据,进而通过对激光点云数据进行目标检测,确定驾驶环境信息。
3.但是,激光雷达传感器的固有特性以及不可控的环境遮挡,原始点云很有可能会不完整,此外,在数据样本标记阶段,不同的标注人员主观估计3d点云中目标的形状和位置时,会出现歧义;由于遮挡、信号丢失或手动标注错误问题的出现,引起3d真实标签的模糊或不准确,这会影响这类确定性的检测器的整个学习过程,会在训练期间使3d对象检测网络混淆,从而降低检测精度。因此,急需一种优化的点云目标检测模型构建方法,对提高模型的检测精度有重要意义。
技术实现要素:
4.本技术提供一种点云目标检测模型构建方法、点云目标检测方法及装置,以解决现有技术降低了点云数据目标检测精度等缺陷。
5.本技术第一个方面提供一种点云目标检测模型构建方法,包括:
6.获取点云数据样本及所述点云数据样本对应的真值标签;
7.将所述点云数据样本,输入到生成模型,以基于所述生成模型,确定所述点云数据样本的不确定性标签;
8.基于所述点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。
9.可选的,所述基于所述生成模型,确定所述点云数据样本的不确定性标签,包括:
10.基于所述生成模型,对所述点云数据样本进行点云特征提取,以得到目标点云特征;
11.根据目标点云特征,确定所述点云数据样本的目标框信息;
12.根据所述目标框信息与所述真值标签之间的方差,确定所述点云数据样本的框分布信息;
13.根据所述点云数据样本的框分布信息,确定所述点云数据样本的不确定性标签。
14.可选的,所述基于所述点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型,包括:
15.将所述点云数据样本,输入至待训练的点云目标检测模型,以得到对应的预测结果;
16.根据所述预测结果、真值标签及不确定性标签,确定所述点云目标检测模型的当
前预测损失值;
17.根据所述点云目标检测模型的当前预测损失值,对所述点云目标检测模型进行迭代训练,以得到所述目标点云目标检测模型。
18.可选的,所述根据所述预测结果、真值标签及不确定性标签,确定所述点云目标检测模型的当前预测损失值,包括:
19.基于预设第一损失函数,根据所述预测结果和真值标签,确定第一损失值;
20.基于预设第二损失函数,根据所述预测结果和不确定性标签,确定第二损失值;
21.根据所述第一损失值和第二损失值,确定所述点云目标检测模型的当前预测损失值。
22.可选的,所述方法还包括:
23.获取生成模型训练样本;其中,所述生成模型训练样本包括点云数据及对应的真值标签;
24.基于所述生成模型训练样本,对初始生成模型进行训练,得到用于生成不确定性标签的生成模型。
25.可选的,所述生成模型包括回归网络、先验网络、上下文编辑器及预测网络。
26.本技术第二个方面提供一种点云目标检测方法,包括:
27.获取待测点云数据;
28.基于如上第一个方面以及第一个方面各种可能的设计所述的点云目标检测模型构建方法所构建的目标点云目标检测模型,对所述待测点云数据进行目标检测,以得到所述待测点云数据的目标检测结果。
29.本技术第三个方面提供一种点云目标检测模型构建装置,包括:
30.第一获取模块,用于获取点云数据样本及所述点云数据样本对应的真值标签;
31.生成模块,用于将所述点云数据样本,输入到生成模型,以基于所述生成模型,确定所述点云数据样本的不确定性标签;
32.构建模块,用于基于所述点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。
33.可选的,所述生成模块,具体用于:
34.基于所述生成模型,对所述点云数据样本进行点云特征提取,以得到目标点云特征;
35.根据目标点云特征,确定所述点云数据样本的目标框信息;
36.根据所述目标框信息与所述真值标签之间的方差,确定所述点云数据样本的框分布信息;
37.根据所述点云数据样本的框分布信息,确定所述点云数据样本的不确定性标签。
38.可选的,所述构建模块,具体用于:
39.将所述点云数据样本,输入至待训练的点云目标检测模型,以得到对应的预测结果;
40.根据所述预测结果、真值标签及不确定性标签,确定所述点云目标检测模型的当前预测损失值;
41.根据所述点云目标检测模型的当前预测损失值,对所述点云目标检测模型进行迭
代训练,以得到所述目标点云目标检测模型。
42.可选的,所述构建模块,具体用于:
43.基于预设第一损失函数,根据所述预测结果和真值标签,确定第一损失值;
44.基于预设第二损失函数,根据所述预测结果和不确定性标签,确定第二损失值;
45.根据所述第一损失值和第二损失值,确定所述点云目标检测模型的当前预测损失值。
46.可选的,所述生成模块,还用于:
47.获取生成模型训练样本;其中,所述生成模型训练样本包括点云数据及对应的真值标签;
48.基于所述生成模型训练样本,对初始生成模型进行训练,得到用于生成不确定性标签的生成模型。
49.可选的,所述生成模型包括回归网络、先验网络、上下文编辑器及预测网络。
50.本技术第四个方面提供一种点云目标检测装置,包括:
51.第二获取模块,用于获取待测点云数据;
52.检测模块,用于基于如第三个方面以及第三个方面各种可能的设计所述的点云目标检测模型构建装置所构建的目标点云目标检测模型,对所述待测点云数据进行目标检测,以得到所述待测点云数据的目标检测结果。
53.本技术第五个方面提供一种电子设备,包括:至少一个处理器和存储器;
54.所述存储器存储计算机执行指令;
55.所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法或如上第二个方面以及第二个方面各种可能的设计所述的方法。
56.本技术第六个方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一个方面以及第一个方面各种可能的设计所述的方法或如上第二个方面以及第二个方面各种可能的设计所述的方法。
57.本技术技术方案,具有如下优点:
58.本技术提供一种点云目标检测模型构建方法、点云目标检测方法及装置,该点云目标检测模型构建方法包括:获取点云数据样本及点云数据样本对应的真值标签;将点云数据样本,输入到生成模型,以基于生成模型,确定点云数据样本的不确定性标签;基于点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。上述方案提供的方法,通过先基于生成模型生成点云数据样本的不确定性标签,以联合不确定性标签和真值标签,训练点云目标检测模型,提高了目标点云目标检测模型对点云数据的目标检测精度。
附图说明
59.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
60.图1为本技术实施例提供的点云目标检测模型构建方法的流程示意图;
61.图2为申请实施例提供的生成模型的结构示意图;
62.图3为本技术实施例提供的回归网络的结构示意图;
63.图4为本技术实施例提供的先验网络的结构示意图;
64.图5为本技术实施例提供的上下文编辑器的结构示意图;
65.图6为本技术实施例提供的预测网络的结构示意图;
66.图7为本技术实施例提供的生成模型的预测流程示意图;
67.图8为本技术实施例提供的点云目标检测模型构建方法的整体流程示意图;
68.图9为本技术实施例提供的点云目标检测方法的流程示意图;
69.图10为本技术实施例提供的点云目标检测模型构建装置的结构示意图;
70.图11为本技术实施例提供的点云目标检测装置的结构示意图;
71.图12为本技术实施例提供的电子设备的结构示意图。
72.通过上述附图,已示出本技术明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
73.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
74.此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
75.在现有技术中,激光雷达传感器的固有特性以及不可控的环境遮挡,原始点云很有可能会不完整,此外,在数据样本标记阶段,不同的标注人员主观估计3d点云中目标的形状和位置时,会出现歧义;由于遮挡、信号丢失或手动标注错误问题的出现,引起3d真实标签的模糊或不准确,这会影响这类确定性的检测器的整个学习过程,会在训练期间使3d对象检测网络混淆,从而降低检测精度。
76.针对上述问题,本技术实施例提供的点云目标检测模型构建方法、点云目标检测方法及装置,通过获取点云数据样本及点云数据样本对应的真值标签;将点云数据样本,输入到生成模型,以基于生成模型,确定点云数据样本的不确定性标签;基于点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。上述方案提供的方法,通过先基于生成模型生成点云数据样本的不确定性标签,以联合不确定性标签和真值标签,训练点云目标检测模型,提高了目标点云目标检测模型对点云数据的目标检测精度。
77.下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明实施例进行描述。
78.本技术实施例提供了一种点云目标检测模型构建方法,用于构建能够对点云数据
进行目标检测的点云目标检测模型。本技术实施例的执行主体为电子设备,比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于构建点云目标检测模型的电子设备。
79.如图1所示,为本技术实施例提供的点云目标检测模型构建方法的流程示意图,该方法包括:
80.步骤101,获取点云数据样本及点云数据样本对应的真值标签。
81.其中,真值标签至少包括点云数据样本中目标框的信息,如目标框的位置、大小和朝向等。
82.步骤102,将点云数据样本,输入到生成模型,以基于生成模型,确定点云数据样本的不确定性标签。
83.具体地,可以基于预先训练好的生成模型,对点云数据样本进行点云特征提取,进而根据提取结果,预测点云数据样本的目标框(预测框),进而根据该预测框,确定点云数据样本的不确定性标签。
84.步骤103,基于点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。
85.具体地,可以将生成模型生成的不确定性标签映射至真值标签,以使待训练的点云目标检测模型可以联合真值标签及不确定性标签一起进行模型训练,以提高最终得到的目标点云目标检测模型的检测精度。
86.在上述实施例的基础上,作为一种可实施的方式,在一实施例中,基于生成模型,确定点云数据样本的不确定性标签,包括:
87.步骤1021,基于生成模型,对点云数据样本进行点云特征提取,以得到目标点云特征;
88.步骤1022,根据目标点云特征,确定点云数据样本的目标框信息;
89.步骤1023,根据目标框信息与真值标签之间的方差,确定点云数据样本的框分布信息;
90.步骤1024,根据点云数据样本的框分布信息,确定点云数据样本的不确定性标签。
91.具体地,目标框信息包括生成模型当前所预测的预测框的位置、大小和朝向等,具体可以根据目标框信息与真值标签之间的方差,确定当前预测框与真值标签之间的偏差,以得到点云数据样本的框分布信息,进而根据点云数据样本的框分布信息,确定点云数据样本的不确定性标签。
92.其中,不确定性标签也可称之为假标签,即不确定性标签是与真值标签高度相似的假标签。基于联合真值标签及不确定性标签一起对点云目标检测模型进行模型训练,使点云目标检测模型根据其当前确定的目标检测结果,确定当前目标检测结果与真值标签之间的相似度以及当前目标检测结果与真值标签之间的相似度,进而根据相似度计算结果,对点云目标检测模型进行进一步的优化。
93.具体地,在一实施例中,还可以获取生成模型训练样本;其中,生成模型训练样本包括点云数据及对应的真值标签;基于生成模型训练样本,对初始生成模型进行训练,得到用于生成不确定性标签的生成模型。
94.其中,生成模型包括回归网络、先验网络、上下文编辑器及预测网络。
95.具体地,如图2所示,为申请实施例提供的生成模型的结构示意图,x表示点云数据
(点云数据样本),y表示点云数据样本的真值标签,z表示中间变量,生成模型是用于对点云对象和可能合理的边界框标签之间的一对多关系进行建模,生成模型引入了一个潜在变量u来捕获点云对象的潜在合理边界框上的分布。将标签不确定性问题表述为潜在合理边界框的多样性,并在基于学习的框架中建模3d对象与其潜在合理真实框之间的一对多关系。生成模型倾向于输出边界框的概率分布,而不是直接以确定的方式回归确定的框坐标。例如,检测头预测边界框分布的均值和方差。
96.其中,如图3所示,为本技术实施例提供的回归网络的结构示意图,x为输入点云数据;pointnet为点云特征提取网络,由一维卷积、一维归一化,最大值池化和全连接层组成;y为经过参数化处理的真值标签;concat操作将经过参数化处理的真值标签和点云经过特征提取后得到的目标点云特征在通道维度拼接在一起;mlp为多层全连接层;μ为点云数据处理后的分布均值(三维向量);σ为点云数据处理后的分布方差(三维向量)。如图4所示,为本技术实施例提供的先验网络的结构示意图,x为输入点云数据;pointnet为点云特征提取网络,由一维卷积、一维归一化、最大值池化和全连接层组成;mlp为多层全连接层;μ为点云数据处理后的分布均值(三维向量);σ为点云数据处理后的分布方差(三维向量)。如图5所示,为本技术实施例提供的上下文编辑器的结构示意图,x为输入点云数据;pointnet为点云特征提取网络,由一维卷积、一维归一化,最大值池化和全连接层组成;fx为点云数据输出特征(目标点云特征)。如图6所示,为本技术实施例提供的预测网络的结构示意图,fx为点云数据输出特征;u为回归网络输出的均值和方差处理成的中间变量;mlp为多层全连接层;为预测的标签数据,即预测框的位置、大小和朝向信息。
97.具体地,针对生成模型的训练,具体可以采用预设生成损失函数loss计算kl散度损失(用于计算回归网络输出的均值和方差处理成的中间变量q和先验网络输出的均值和方差处理成的中间变量p之间的kl散度损失值)、回归损失(用于计算框的位置、大小和朝向信息回归);x为点云数据,a为真值标注框(真值标签),为经过参数化处理后的真值标注框(真值标签),为预测网络生成的预测框。
98.其中,预设生成损失函数loss为:
99.l=l
rec
+γl
kl
[0100][0101]
如果则
[0102]
其中γ和β均为常量参数,l
kl
表示kl散度损失值。
[0103]
具体地,可以将生成模型改造为概率对象检测器,可以让检测头估计边界框上以σ为方差,μ为均值的高斯概率分布:
[0104]
kl散度旨在通过最小化和的散度来使得两个分布更相似。
[0105][0106]
其中,σ为方差,μ为均值。
[0107]
具体地,在利用训练好的生成模型生成不确定性标签时,固定先验网络和上下文编码器参数。如图7所示,为本技术实施例提供的生成模型的预测流程示意图,点云数据样本经过先验网络和上下文编码器,得到预测框的位置、大小和朝向信息,求解预测框的位
置、大小和朝向信息的方差得到框分布信息,即得到不确定性标签;在推理过程中,采用蒙特卡罗方法通过多次采样z得到多个边界框预测,并近似得到其方差作为标签不确定性来指导下游检测任务中定位不确定性估计的学习。
[0108]
在上述实施例的基础上,作为一种可实施的方式,在一实施例中,基于点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型,包括:
[0109]
步骤1031,将点云数据样本,输入至待训练的点云目标检测模型,以得到对应的预测结果;
[0110]
步骤1032,根据预测结果、真值标签及不确定性标签,确定点云目标检测模型的当前预测损失值;
[0111]
步骤1033,根据点云目标检测模型的当前预测损失值,对点云目标检测模型进行迭代训练,以得到目标点云目标检测模型。
[0112]
具体地,可以通过键值查询匹配,将生成的不确定性标签映射到目标原始标签中,以供后面点云目标检测模型训练使用。
[0113]
具体地,在一实施例中,可以基于预设第一损失函数,根据预测结果和真值标签,确定第一损失值;基于预设第二损失函数,根据预测结果和不确定性标签,确定第二损失值;根据第一损失值和第二损失值,确定点云目标检测模型的当前预测损失值。
[0114]
具体地,待训练的点云目标检测模型的在接收到点云数据样本,经过点云目标检测计算,输出对应的预测结果,预测结果包括box_preds和box_std_preds(两个输出维度大小一样)。
[0115]
box_preds和真值标签box_reg_targets一起通过smooth-l1(第一损失函数)计算box回归损失l1_loss_src(第一损失值);
[0116]
定位损失为loc_loss_src=exp(-box_std_preds)*l1_loss_src;
[0117]
不确定性标签lable_var_log=log(gt_uncertaintys+1e-10),其中gt_uncertaintys为生成模型预测生成的预测框的方差,lable_var_log即为第二损失值。
[0118]
loc_loss_square=exp(lable_var_log-box_std_preds)*reg_weights;
[0119]
loc_loss_log=-0.5*(lable_var_log-box_std_preds)*reg_weights。
[0120]
其中,box_preds为点云目标检测模型预测输出的检测结果(包括矩形框中心点坐标、长宽高和朝向角),用于和真值框计算损失;
[0121]
box_std_preds为模型(点云目标检测模型)预测输出的检测框(检测结果)方差信息(包括矩形框中心点坐标、长宽高和朝向角的方差)用于和生成模型预测生成的预测框(不确定性标签)的方差计算损失;
[0122]
box_reg_targets为真值标签表征的真值框信息(包括矩形框中心点坐标、长宽高和朝向角);
[0123]
smooth-l1为平滑的l1损失函数;
[0124]
exp为以e为底的指数;log为以10为底的自然对数;
[0125]
reg_weights为权重系数,是表示框中心点坐标、长宽高和朝向角的方差权重;上式中两个reg_weights权重是一样的。点云目标检测模型的当前预测损失值包括loc_loss_square、loc_loss_src及loc_loss_log。
[0126]
示例性的,如图8所示,为本技术实施例提供的点云目标检测模型构建方法的整体流程示意图,如图8所示的方法为如图1所示的方法的一种示例性的实施方式,二者实现原理相同,不再赘述。
[0127]
本技术实施例提供的点云目标检测模型构建方法,通过获取点云数据样本及点云数据样本对应的真值标签;将点云数据样本,输入到生成模型,以基于生成模型,确定点云数据样本的不确定性标签;基于点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。上述方案提供的方法,通过先基于生成模型生成点云数据样本的不确定性标签,以联合不确定性标签和真值标签,训练点云目标检测模型,提高了目标点云目标检测模型对点云数据的目标检测精度。
[0128]
本技术实施例提供了一种点云目标检测方法,用于对点云数据进行目标检测。本技术实施例的执行主体为电子设备,比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于对点云数据进行目标检测的电子设备。
[0129]
如图9所示,为本技术实施例提供的点云目标检测方法的流程示意图,该方法包括:
[0130]
步骤901,获取待测点云数据;
[0131]
步骤902,基于目标点云目标检测模型,对待测点云数据进行目标检测,以得到待测点云数据的目标检测结果。
[0132]
其中,由于本技术实施例采用的目标点云目标检测模型是基于生成模型生成点云数据样本的不确定性标签和真值标签联合训练得到的,具备较高的检测精度,所以本技术实施例最终得到的目标检测结果的准确度也相对较高。经过实验证明,方差作为标签不确定性来指导下游检测任务中定位不确定性估计的学习起到了很好的作用,不是对所有标签视为确定的,生成模型为稀疏点云和不完整轮廓表示的对象生成不同的预测,并为具有高质量点云的对象生成和真值标签一致的边界框。生成模型将单个目标的多个输出的方差计算为标签不确定性,将其扩展为辅助回归目标,以增强3d目标检测任务的性能。成功将生成模型生成的目标多样性合理边界框映射到真值目标标注框里面,将其扩展为辅助回归目标,通过目标多样性合理边界框和真值目标标注框一起优化训练点云目标检测模型,在不增加模型大小和推理耗时的情况下,增强了3d点云目标检测任务的性能,其检测精度map提升了1.6%。
[0133]
本技术实施例提供的点云目标检测方法,通过获取待测点云数据;基于目标点云目标检测模型,对待测点云数据进行目标检测,以得到待测点云数据的目标检测结果,提高了最终得到的目标检测结果的准确性。
[0134]
本技术实施例提供了一种点云目标检测模型构建装置,用于执行上述实施例提供的点云目标检测模型构建方法。
[0135]
如图10所示,为本技术实施例提供的点云目标检测模型构建装置的结构示意图。该点云目标检测模型构建装置包括:第一获取模块、生成模块及构建模块。
[0136]
其中,第一获取模块,用于获取点云数据样本及点云数据样本对应的真值标签;生成模块,用于将点云数据样本,输入到生成模型,以基于生成模型,确定点云数据样本的不确定性标签;构建模块,用于基于点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。
[0137]
具体地,在一实施例中,生成模块,具体用于:
[0138]
基于生成模型,对点云数据样本进行点云特征提取,以得到目标点云特征;
[0139]
根据目标点云特征,确定点云数据样本的目标框信息;
[0140]
根据目标框信息与真值标签之间的方差,确定点云数据样本的框分布信息;
[0141]
根据点云数据样本的框分布信息,确定点云数据样本的不确定性标签。
[0142]
具体地,在一实施例中,构建模块,具体用于:
[0143]
将点云数据样本,输入至待训练的点云目标检测模型,以得到对应的预测结果;
[0144]
根据预测结果、真值标签及不确定性标签,确定点云目标检测模型的当前预测损失值;
[0145]
根据点云目标检测模型的当前预测损失值,对点云目标检测模型进行迭代训练,以得到目标点云目标检测模型。
[0146]
具体地,在一实施例中,构建模块,具体用于:
[0147]
基于预设第一损失函数,根据预测结果和真值标签,确定第一损失值;
[0148]
基于预设第二损失函数,根据预测结果和不确定性标签,确定第二损失值;
[0149]
根据第一损失值和第二损失值,确定点云目标检测模型的当前预测损失值。
[0150]
具体地,在一实施例中,生成模块,还用于:
[0151]
获取生成模型训练样本;其中,生成模型训练样本包括点云数据及对应的真值标签;
[0152]
基于生成模型训练样本,对初始生成模型进行训练,得到用于生成不确定性标签的生成模型。
[0153]
具体地,在一实施例中,生成模型包括回归网络、先验网络、上下文编辑器及预测网络。
[0154]
关于本实施例中的点云目标检测模型构建装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0155]
本技术实施例提供的点云目标检测模型构建装置,用于执行上述实施例提供的点云目标检测模型构建方法,其实现方式与原理相同,不再赘述。
[0156]
本技术实施例提供了一种点云目标检测模型构建装置,用于执行上述实施例提供的点云目标检测模型构建方法。
[0157]
如图11所示,为本技术实施例提供的点云目标检测装置的结构示意图。该点云目标检测装置包括:第二获取模块及检测模块。
[0158]
其中,第二获取模块,用于获取待测点云数据;检测模块,用于基于目标点云目标检测模型,对待测点云数据进行目标检测,以得到待测点云数据的目标检测结果。
[0159]
关于本实施例中的点云目标检测装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0160]
本技术实施例提供的点云目标检测装置,用于执行上述实施例提供的点云目标检测方法,其实现方式与原理相同,不再赘述。
[0161]
本技术实施例提供了一种电子设备,用于执行上述实施例提供的点云目标检测模型构建方法及点云目标检测方法。
[0162]
如图12所示,为本技术实施例提供的电子设备的结构示意图。该电子设备包括:至
少一个处理器和存储器。
[0163]
存储器存储计算机执行指令;至少一个处理器执行存储器存储的计算机执行指令,使得至少一个处理器执行如上实施例提供的点云目标检测模型构建方法及点云目标检测方法。
[0164]
本技术实施例提供的一种电子设备,用于执行上述实施例提供的点云目标检测模型构建方法及点云目标检测方法,其实现方式与原理相同,不再赘述。
[0165]
本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上任一实施例提供的点云目标检测模型构建方法及点云目标检测方法。
[0166]
本技术实施例的包含计算机可执行指令的存储介质,可用于存储前述实施例中提供的点云目标检测模型构建方法及点云目标检测方法的计算机执行指令,其实现方式与原理相同,不再赘述。
[0167]
在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0168]
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0169]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
[0170]
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本技术各个实施例所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0171]
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0172]
最后应说明的是:以上各实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述各实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
技术特征:
1.一种点云目标检测模型构建方法,其特征在于,包括:获取点云数据样本及所述点云数据样本对应的真值标签;将所述点云数据样本,输入到生成模型,以基于所述生成模型,确定所述点云数据样本的不确定性标签;基于所述点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。2.根据权利要求1所述的方法,其特征在于,所述基于所述生成模型,确定所述点云数据样本的不确定性标签,包括:基于所述生成模型,对所述点云数据样本进行点云特征提取,以得到目标点云特征;根据目标点云特征,确定所述点云数据样本的目标框信息;根据所述目标框信息与所述真值标签之间的方差,确定所述点云数据样本的框分布信息;根据所述点云数据样本的框分布信息,确定所述点云数据样本的不确定性标签。3.根据权利要求1所述的方法,其特征在于,所述基于所述点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型,包括:将所述点云数据样本,输入至待训练的点云目标检测模型,以得到对应的预测结果;根据所述预测结果、真值标签及不确定性标签,确定所述点云目标检测模型的当前预测损失值;根据所述点云目标检测模型的当前预测损失值,对所述点云目标检测模型进行迭代训练,以得到所述目标点云目标检测模型。4.根据权利要求3所述的方法,其特征在于,所述根据所述预测结果、真值标签及不确定性标签,确定所述点云目标检测模型的当前预测损失值,包括:基于预设第一损失函数,根据所述预测结果和真值标签,确定第一损失值;基于预设第二损失函数,根据所述预测结果和不确定性标签,确定第二损失值;根据所述第一损失值和第二损失值,确定所述点云目标检测模型的当前预测损失值。5.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取生成模型训练样本;其中,所述生成模型训练样本包括点云数据及对应的真值标签;基于所述生成模型训练样本,对初始生成模型进行训练,得到用于生成不确定性标签的生成模型。6.根据权利要求5所述的方法,其特征在于,所述生成模型包括回归网络、先验网络、上下文编辑器及预测网络。7.一种点云目标检测方法,其特征在于,包括:获取待测点云数据;基于如权利要求1至6任一项所述的点云目标检测模型构建方法所构建的目标点云目标检测模型,对所述待测点云数据进行目标检测,以得到所述待测点云数据的目标检测结果。8.一种点云目标检测模型构建装置,其特征在于,包括:第一获取模块,用于获取点云数据样本及所述点云数据样本对应的真值标签;
生成模块,用于将所述点云数据样本,输入到生成模型,以基于所述生成模型,确定所述点云数据样本的不确定性标签;构建模块,用于基于所述点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。9.一种点云目标检测装置,其特征在于,包括:第二获取模块,用于获取待测点云数据;检测模块,用于基于如权利要求7所述的点云目标检测模型构建装置所构建的目标点云目标检测模型,对所述待测点云数据进行目标检测,以得到所述待测点云数据的目标检测结果。10.一种电子设备,其特征在于,包括:至少一个处理器和存储器;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1至6任一项所述的方法或如权利要求7所述的方法。
技术总结
本申请提供一种点云目标检测模型构建方法、点云目标检测方法及装置,该点云目标检测模型构建方法包括:获取点云数据样本及点云数据样本对应的真值标签;将点云数据样本,输入到生成模型,以基于生成模型,确定点云数据样本的不确定性标签;基于点云数据样本、真值标签及不确定性标签,训练点云目标检测模型,以得到目标点云目标检测模型。上述方案提供的方法,通过先基于生成模型生成点云数据样本的不确定性标签,以联合不确定性标签和真值标签,训练点云目标检测模型,提高了目标点云目标检测模型对点云数据的目标检测精度。测模型对点云数据的目标检测精度。测模型对点云数据的目标检测精度。
技术研发人员:李银 胡仁强
受保护的技术使用者:深圳海星智驾科技有限公司
技术研发日:2023.06.28
技术公布日:2023/9/22
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/