基于多尺度ROI投影的物体检测任务BEV特征提取方法及系统与流程

基于多尺度roi投影的物体检测任务bev特征提取方法及系统
技术领域
1.本发明涉及机器视觉技术领域，尤其涉及基于多尺度roi投影的物体检测任务bev特征提取方法及系统。


背景技术：

2.激光雷达传感器可以提供比传统二维相机更高的定位精度，使其成为自动驾驶视觉感知系统的一种理想的补充。基于激光雷达的三维(3d)物体检测可以从原始激光雷达点云中估计出物体的位置、方向和语义类别，近年来在产业中得到了广泛应用。
3.然而，室外激光雷达点云具有稀疏性、遮挡和分布不均等自然属性。使得从大场景点云中进行物体检测是存在挑战性的。在近年来公开的大规模自动驾驶数据集(如waymo、nuscenes和kitti等)的基础上，基于激光雷达点云的3d检测任务取得了巨大进展。然而，传统的3d检测器都是建立在足够规模的标注数据之上的。尽管随着激光雷达的普及，3d数据采集变得更加容易，但大规模点云数据的精准标注则需要耗费大量人工成本和时间成本。而且即使采用这种高成本的标注数据进行3d检测器的训练，不同地理环境或不同传感器配置所导致的雷达数据域差异也会导致在一个数据集上训练的检测器通常在另一个数据集上表现欠佳。因此，如何从大量未标注的室外点云数据中学习到具有泛化性、迁移性的点云特征，从而提高物体检测精度，是实现自动驾驶的安全性的关键问题。
4.为了高效利用大规模未标注数据，自监督学习提供了一种可行的技术方案。目前，面向大场景点云的自监督学习通常有两种范式，即基于重构的方法和基于对比学习的方法。理想的自监督学习技术应当能够有效地提高少量有标注数据的下游任务性能，并且在未标注的同类数据上实现较合理的迁移性能。
5.其中，在基于对比学习的方法中需要考虑两个关键问题，即如何确定对比学习中的对比实例，以及如何提高检测器在未标注数据上的定位精度。在对比实例的确定方面，现有的对比学习方法通常将整个视图(例如整张图像或整场点云)描述为一个全局特征，这类方法更适合于物体实例级别的分类任务。对于户外检测任务，它需要从稀疏和不均匀分布的点云中定位和识别出各种运动物体。因而，它需要更加细粒度的区分实例。已有的基于对比学习的大场景点云预训练方法通常从原始输入空间(坐标空间)中采集子区域作为对比实例。具体而言，将原始点云划分为具有固定大小和固定数量的实例(如球状的或长方体状的)。然而，具有固定尺寸的坐标空间实例难以平衡局部细节和全场景信息，并且可能忽略不同子区域之间的语义关联性。
6.在提高模型的检测精度方面，现有的面向大场景点云的对比学习没有考虑到与检测任务相关的预训练目标。这类方法可以学习到有区分性的点云特征，但其学习到的特征与具体的物体检测任务关系并不明显。其次，随机从原始空间采集子区域作为对比样本的方法可能给模型的训练带来模糊性干扰。因为具有相似几何特征的子区域也可能被分配为负样本；并且随机采集样本的方法很可能采集到大量简单的背景样本，不利于挖掘到有助于训练的困难样本。此外，固定尺寸和固定数量的样本定义难以平衡大尺度目标(如汽车)
与细粒度目标(如行人)的检测。


技术实现要素：

7.本发明提出了一种针对大场景点云物体检测的基于多尺度roi投影的物体检测任务bev特征提取方法，旨在提供面向自动驾驶场景的物体检测预训练框架，减少人工标注成本，并且使3d检测器在不同自动驾驶数据集上更加有效。
8.本发明在第一方面提供了一种基于多尺度roi投影的物体检测任务bev特征提取方法，包括：
9.将原始点云进行转换操作得到增强点云，利用3d骨干网络分别对所述原始点云和所述增强点云进行bev特征转换，得到原始bev特征图和增强bev特征图；
10.根据待检测物体的目标尺度，将原始bev特征图和增强bev特征图划分成多个子区域，所述子区域的大小与所述目标尺度正相关；
11.计算每个子区域的roi得分，基于所述roi得分，从所述子区域中确定roi候选子区域，将所述roi候选子区域对应的bev特征确定为对比学习中的对比实例；
12.利用所述对比实例进行物体检测模型预训练，并基于联合损失函数对预训练的模型进行优化更新。
13.优选地，所述计算每个子区域的roi得分，基于所述roi得分，从所述子区域中确定roi候选子区域，进一步包括：
14.将所述原始bev特征图和增强bev特征图中分别输入投影层和全连接层，得到每个子区域的roi得分，分别形成原始得分图和增强得分图(so，sa)，获取所述得分图(so，sa)中最大的k个roi得分对应的子区域，作为所述roi候选子区域，其中k为预定义的候选子区域数量。
15.优选地，确定所述物体检测模型的联合损失函数，进一步包括：
16.计算所述原始得分图和增强得分图(so，sa)之间的二元交叉熵损失，作为roi损失函数：
17.l
roi
＝bce(so，sa)。
18.根据所述对比实例计算对比损失函数l
cl
：
[0019][0020]
其中为所述原始bev特征图中的对比实例，为所述原始bev特征图中的对比实例，为预测器对的预测后的实例；
[0021]
根据所述roi损失函数和对比损失函数来计算所述物体检测模型的所述联合损失函数：
[0022]
loss＝αl
roi
+βl
cl
；
[0023]
其中α，β为所述联合损失函数的平衡参数。
[0024]
本发明在第二方面提供了一种基于多尺度roi投影的物体检测任务bev特征提取系统，包括：
[0025]
bev特征提取模块，用于将原始点云进行转换操作得到增强点云，利用3d骨干网络
分别对所述原始点云和所述增强点云进行bev特征转换，得到原始bev特征图和增强bev特征图；
[0026]
多尺度roi投影模块，根据待检测物体的目标尺度，将原始bev特征图和增强bev特征图划分成多个子区域，所述子区域大小与所述目标尺度正相关；
[0027]
roi区域感知对比学习模块，计算每个子区域的roi得分，基于所述roi得分，从所述子区域中确定roi候选子区域，将所述roi候选子区域对应的bev特征确定为对比学习中的对比实例；
[0028]
模型训练更新模块，利用所述对比实例进行物体检测模型预训练，并基于联合损失函数对预训练的模型进行优化更新。
[0029]
本发明又一方面提供了一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行前述第一方面的方法。
[0030]
本发明又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行前述第一方面的方法。
[0031]
本发明的有益效果是：本发明从bev特征空间确定对比学习实例，并采用专门用于3d物体检测的基于roi区域感知的自监督对比学习框架，通过对从bev特征空间中采样的每个候选子区域进行打分，以筛选出信息丰富的、与检测任务相关的roi特征，并采用多尺度的对比学习方式，能够更好地考虑局部细节和全场景信息，以及相邻子区域之间的语义关联，使得bev空间上的roi区域与物体检测任务更加相关，避免采集到大量无关的负样本，在训练优化损失函数的驱动下，随着训练的进行，模型可以更加准确地自动定位出有效的roi区域，并在细粒度目标与较大尺度目标两方面进行更好的平衡，更有效地同时挖掘出大尺度物体与细粒度物体特征。
附图说明
[0032]
图1是本发明所述的基于roi区域感知的自监督对比学习框架示意图。
[0033]
图2本发明所述的基于多尺度roi投影的物体检测任务bev特征提取方法的流程图。
[0034]
图3是本发明所述的基于多尺度roi投影的物体检测任务bev特征提取方法与现有技术的对比示意图。
[0035]
图4是本发明所述的roi投影模块定位能力可视化效果示意图。
具体实施方式
[0036]
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
[0037]
本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。
[0038]
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。
[0039]
存储器可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory，rom)。存储器可用于存储指令、程序、代码、代码集或指令。
[0040]
显示屏用于显示各个应用程序的用户界面。
[0041]
除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。
[0042]
本发明提出了一种针对大场景点云物体检测的新型自监督对比学习框架(bev-cl)，旨在实现面向自动驾驶场景的物体检测预训练，通过对比学习区分来自不同bev空间位置的实例特征，同时保持相同位置对应的实例具有相似的特征。在大量未标注点云数据上进行对比学习预训练，为下游检测任务提供较好的初始化模型参数，从而减少人工标注成本，并且使3d检测器在不同自动驾驶数据集上更加有效。
[0043]
发明人通过长期研究发现，bev(birds-eye-view鸟瞰视图)特征比低级的几何特征更具有迁移性。经过3d、2d编码器，每一个bev子区域天然地包含了邻域信息，因而更加适合作为对比实例。为了确定对比学习中的对比实例，本发明在bev特征空间中重新定义对比实例。为了避免随机采集对比样本可能采集到大量简单的背景样本，本发明将roi(感兴趣区域)引导的bev特征子区域定义为对比学习实例，由此使得bev空间上的roi区域与物体检测任务更加相关，并且通过roi可以过滤掉大部分简单的背景负样本，进而挖掘出难样本，有利于对比学习模型的训练。此外，为了提高模型的检测精度，针对行人、自行车、汽车三类常见的自动驾驶参与者，本发明提出了多尺度的对比实例。具体而言，根据不同物体的大小定义不同尺寸的roi区域，并根据roi得分分别采集出三类对比样本，使模型自动定位有效的roi区域，为检测任务提供更强的空间线索。
[0044]
本发明提出了bev-cl框架由两条神经网络分支组成，分别表述为目标网络(target)以及在线网络(online)，总体架构如图1所示。为了简化描述，本发明将下分支online网络定义为一个两阶段结构，包括3d骨干网络(backbone)e
θ
和roi投影模块(projector)。上分支target网络共享所述下分支online网络的相同网络结构，即包括3d骨干网络(backbone)e
δ
和roi投影模块。
[0045]
其中参数δ采用动量更新的方式，即：
[0046]
δ
←
τδ+(1-τ)θ
[0047]
其中τ∈[0，1]是预定义的温度参数，δ和θ分别表示3d骨干网络e
δ
和e
θ
对应的可学习参数。
[0048]
本发明提出的bev-cl框架在网络分支中均设置两个关键模块，即多尺度roi投影模块与roi区域感知对比学习模块。
[0049]
实施例一
[0050]
如图2所示，本发明第一方面提供了一种基于多尺度roi投影的物体检测任务bev特征提取方法，包括：
[0051]
s201、将原始点云进行转换操作得到增强点云，利用3d骨干网络分别对所述原始点云和所述增强点云进行bev特征转换，得到原始bev特征图和增强bev特征图。
[0052]
户外激光雷达扫描通常包含各种带有噪声背景的移动物体。如果从原始的3d坐标空间中进行细粒度的对比实例采样，则容易采集到各种噪声信息。简单的全局bev特征
(f
ori
，f
aug
)也不适用于较细粒度的物体检测任务。本发明使学习到的检测模型能够自动发现与检测任务密切相关的、有效的roi区域。因此，本发明从bev特征空间中进行对比实例采样。
[0053]
在预训练阶段，将原始点云p
ori
输入到target网络，为online网络提供较稳定的回归目标。然后，从预定义的增强空间中随机选择一种数据增强操作t，以获得与原始点云相关的增强后的点云变体p
aug
＝t(p
ori
)作为online网络的输入。对于从同一个3d场景采样的配对视图(p
ori
，p
aug
)，本发明将其分别输入到目标网络和在线网络中各自包含的3d backbone骨干网络中，以获得各自的bev特征f
ori
与f
aug
。基于配对的特征图(f
ori
，f
aug
)进行对比学习。
[0054]
s202、根据待检测物体的目标尺度，将原始bev特征图和增强bev特征图划分成多个子区域，所述子区域大小与所述目标尺度正相关。
[0055]
为了更加准确地同时定位出较大目标(如汽车)与较小目标(如行人)，本发明在所述roi投影模块中采用多尺度的roi投影。针对各种实例类别的不同的目标尺寸大小(例如汽车、行人、自行车是三类最常见的实例)，将每个bev特征图f
ori
，f
aug
∈rw×h×c划分出不同尺寸大小的候选子区域，用于在后续的步骤中分别获得相应尺度的roi得分图以及roi损失函数。
[0056]
s203、计算每个子区域的roi得分，基于所述roi得分，从所述子区域中确定roi候选子区域，将所述roi候选子区域对应的bev特征确定为对比学习中的对比实例。
[0057]
本发明采用多尺度roi投影模块，对bev特征图上每个划分的子区域进行打分，根据得分排序获得k个roi候选子区域。这k个候选子区域特征进一步形成对比学习中的对比实例(称为roi引导的对比实例)，这些实例对应了原始点云输入中最可能存在检测目标的区域，因而更加适用于检测任务。
[0058]
具体而言，多尺度roi投影模块首先将每个bev特征图f
ori
，f
aug
∈rw×h×c划分成n个大小为w
×
h的子区域特征图，其中w、h、c分别表示bev特征图f
ori
的宽度、高度和特征通道数量，w、h分别表示划分的子区域的宽度和高度。然后对每个子区域应用共享的投影模块projector，通过投影运算得到n个roi子区域特征(fo，fa)∈rn×c。fo，fa分别为target网络和online网络中计算得到的roi子区域特征。随后，采用共享的全连接层fc(fully connected layer)，计算每个子区域特征(fo，fa)相关的roi得分，分别形成原始得分图和增强得分图，表示为得分图(so，sa)∈rn×1。so，sa分别为target网络和online网络的roi投影模块中计算得到的roi得分。
[0059]
s204、利用所述对比实例进行物体检测模型预训练，确定所述物体检测模型的联合损失函数，并基于所述联合损失函数对预训练的模型进行优化更新。
[0060]
在roi区域感知对比学习模块，根据roi得分图(so，sa)，获取最大的k个得分对应的前k个候选特征，最终被选定为对比学习实例：k为预定义的候选子区域数量。此外，为了使模型的训练更加稳定，实际情况下可以采用target网络的得分图so，选择online网络中相同位置处的roi子区域特征fa作为对比学习实例通过对比实例的预训练，使得原始bev特征图中的某个实例与增强bev特征图上相同空间位置处的正样本特征相似，而与其他不同空间位置处的负样本特征尽量远离。
[0061]
为了精确定位roi区域，本发明进一步引入roi损失函数，并通过计算两个得分图(so，sa)之间的二元交叉熵(bce)损失l
roi
来实现精确定位。
[0062]
l
roi
＝bce(so，sa)(1)
[0063]
在进一步优选的实施例中，
[0064]
作为进一步的实施例，基于对比学习架构byol，本发明对实例额外增加一个轻量级的预测器predictor，用于对进行预测，得到预测后的实例随后，将对比损失函数l
cl
定义为与之间的余弦距离：
[0065][0066]
最终，模型的联合损失函数定义为：
[0067]
loss＝αl
roi
+βl
cl
(3)
[0068]
其中α，β为联合损失函数的平衡参数。
[0069]
根据所述联合损失函数来优化更新模型参数，使模型能力接近下游物体检测任务目标。在得到预训练后的模型之后，便可以将该模型应用于下游物体检测任务，采用少量的有标注的训练数据，即可达到普通的需要大量训练数据的有监督学习模型的性能，显著减少了人工标注成本。
[0070]
可以看出，通过本发明的上述方法，能够实现如下技术效果：
[0071]
首先，本发明从bev特征空间确定对比学习实例，并采用专门用于3d物体检测的基于roi区域感知的自监督对比学习框架，相对于现有技术中的固定尺寸和固定数量的对比实例，采用roi区域感知机制能够更好地考虑局部细节和全场景信息，以及相邻子区域之间的语义关联，使得bev空间上的roi区域与物体检测任务密切相关。
[0072]
其次，本发明采用roi投影模块，通过对从bev特征空间中采样的每个候选子区域进行打分，以筛选出信息丰富的、与检测任务相关的roi特征。与现有技术相比较，能够避免采集到大量无关的负样本，在训练优化损失函数的驱动下，随着训练的进行，模型可以更加准确地自动定位出有效的roi区域，减少了人工标注成本。
[0073]
此外，针对常见的自动驾驶参与者，本发明采用多尺度的对比学习机制。与现有技术相比较，能够在细粒度目标与较大尺度目标两方面进行更好的平衡，更有效地同时挖掘出大尺度物体与细粒度物体特征。
[0074]
如图4所示，左侧图是输入的原始点云的两个具体示例，右侧图是两个示例分别对应的roi得分的可视化效果。可以看出，roi投影模块筛选出的区域与真实的物体位置是强相关的，证实了roi投影模块可以定位出大部分的有效区域，为模型的训练提供了更加有效的对比实例，验证了本方案的可行性。
[0075]
实施例二
[0076]
本发明的另一方面还包括与前述实施例一的基于多尺度roi投影的物体检测任务bev特征提取方法完全对应一致的功能模块架构，即提供了一种基于多尺度roi投影的物体检测任务bev特征提取系统，包括：
[0077]
bev特征提取模块，用于将原始点云进行转换操作得到增强点云，利用3d骨干网络分别对所述原始点云和所述增强点云进行bev特征转换，得到原始bev特征图和增强bev特
征图。
[0078]
多尺度roi投影模块，根据待检测物体的目标尺度，将原始bev特征图和增强bev特征图划分成多个子区域，所述子区域大小与所述目标尺度正相关。
[0079]
roi区域感知对比学习模块，计算每个子区域的roi得分，基于所述roi得分，从所述子区域中确定roi候选子区域，将所述roi候选子区域对应的bev特征确定为对比学习中的对比实例。
[0080]
模型训练更新模块，利用所述对比实例进行物体检测模型预训练，确定所述物体检测模型的联合损失函数，并基于所述联合损失函数对预训练的模型进行优化更新。
[0081]
该系统可通过上述实施例二提供的基于多尺度roi投影的物体检测任务bev特征提取方法实现，具体的实现方式可参见实施例二中的描述，在此不再赘述。
[0082]
实施例三
[0083]
本发明还提供了一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行前述实施例一中的任一种方法。其中处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。处理器可以为中央处理器(central processing unit，cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0084]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本技术实施例中的基于多尺度roi投影的物体检测任务bev特征提取方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
[0085]
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0086]
实施例四
[0087]
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例一中的任意一种方法。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、软盘、硬盘、可移动存储盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质。
[0088]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明
进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种基于多尺度roi投影的物体检测任务bev特征提取方法，其特征在于，包括：将原始点云进行转换操作得到增强点云，利用3d骨干网络分别对所述原始点云和所述增强点云进行bev特征转换，得到原始bev特征图和增强bev特征图；根据待检测物体的目标尺度，将原始bev特征图和增强bev特征图划分成多个子区域，所述子区域的大小与所述目标尺度正相关；计算每个子区域的roi得分，基于所述roi得分，从所述子区域中确定roi候选子区域，将所述roi候选子区域对应的bev特征确定为对比学习中的对比实例；利用所述对比实例进行物体检测模型预训练，确定所述物体检测模型的联合损失函数，并基于所述联合损失函数对预训练的模型进行优化更新。2.根据权利要求1所述的基于多尺度roi投影的物体检测任务bev特征提取方法，其特征在于，所述计算每个子区域的roi得分，基于所述roi得分，从所述子区域中确定roi候选子区域，进一步包括：将所述原始bev特征图和增强bev特征图中分别输入投影层和全连接层，得到每个子区域的roi得分，分别形成原始得分图和增强得分图(s
o
，s
a
)，获取所述得分图(s
o
，s
a
)中最大的k个roi得分对应的子区域，作为所述roi候选子区域，其中k为预定义的候选子区域数量。3.根据权利要求2所述的基于多尺度roi投影的物体检测任务bev特征提取方法，其特征在于，所述确定所述物体检测模型的联合损失函数，进一步包括：计算所述原始得分图和增强得分图(s
o
，s
a
)之间的二元交叉熵损失，作为roi损失函数：l
roi
＝bce(s
o
，s
a
)；根据所述对比实例计算对比损失函数l
cl
：其中为所述原始bev特征图中的对比实例，为所述原始bev特征图中的对比实例，为预测器对的预测后的实例；根据所述roi损失函数和对比损失函数来计算所述联合损失函数：loss＝αl
roi
+βl
cl
；其中α，β为所述联合损失函数的平衡参数。4.一种基于多尺度roi投影的物体检测任务bev特征提取系统，其特征在于，包括：bev特征提取模块，用于将原始点云进行转换操作得到增强点云，利用3d骨干网络分别对所述原始点云和所述增强点云进行bev特征转换，得到原始bev特征图和增强bev特征图；多尺度roi投影模块，根据待检测物体的目标尺度，将原始bev特征图和增强bev特征图划分成多个子区域，所述子区域大小与所述目标尺度正相关；roi区域感知对比学习模块，计算每个子区域的roi得分，基于所述roi得分，从所述子区域中确定roi候选子区域，将所述roi候选子区域对应的bev特征确定为对比学习中的对比实例；模型训练更新模块，利用所述对比实例进行物体检测模型预训练，确定所述物体检测模型的联合损失函数，并基于所述联合损失函数对预训练的模型进行优化更新。5.根据权利要求4所述的基于多尺度roi投影的物体检测任务bev特征提取系统，其特
征在于，所述roi区域感知对比学习模块，进一步用于：将所述原始bev特征图和增强bev特征图中分别输入投影层和全连接层，得到每个子区域的roi得分，分别形成原始得分图和增强得分图(s
o
，s
a
)，获取所述得分图(s
o
，s
a
)中最大的k个roi得分对应的子区域，作为所述的roi候选子区域，其中k为预定义的候选子区域数量。6.根据权利要求5所述的基于多尺度roi投影的物体检测任务bev特征提取系统，其特征在于，所述模型训练更新模块，进一步用于：计算所述原始得分图和增强得分图(s
o
，s
a
)之间的二元交叉熵损失，作为roi损失函数：l
roi
＝bce(s
o
，s
a
)根据所述对比实例计算对比损失函数l
cl
：其中为所述原始bev特征图中的对比实例，为所述原始bev特征图中的对比实例，为预测器对的预测后的实例；根据所述roi损失函数和对比损失函数来计算所述联合损失函数：loss＝αl
roi
+βl
cl
；其中α，β为联合损失函数的平衡参数。7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1至3任一项所述的基于多尺度roi投影的物体检测任务bev特征提取方法。8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1至3任一项所述的基于多尺度roi投影的物体检测任务bev特征提取方法。

技术总结
本发明公开了基于多尺度ROI投影的物体检测任务BEV特征提取方法及系统，属于机器视觉技术领域。该方法包括将原始点云进行转换操作得到增强点云，利用3D骨干网络分别对原始点云和增强点云进行BEV特征转换；根据待检测物体的目标尺度将原始BEV特征图和增强BEV特征图划分成多个子区域；计算每个子区域的ROI得分，基于ROI得分确定ROI候选子区域，将对应BEV特征确定为对比学习实例；利用对比实例进行物体检测模型预训练，对预训练模型进行优化更新。本发明能够使得BEV空间上的ROI区域与物体检测任务更加相关，有利于大场景点云对比学习模型的训练，减少了人工标注成本。减少了人工标注成本。减少了人工标注成本。


技术研发人员：唐路路 韩乔岳 崔玉峰 黄铁军
受保护的技术使用者：北京智源人工智能研究院
技术研发日：2023.06.26
技术公布日：2023/8/31