一种基于激光雷达与相机结合的路面状态预测方法和系统

1.本发明属于无人驾驶技术领域，尤其涉及一种基于激光雷达与相机结合的路面状态预测方法和系统。


背景技术：

2.无人驾驶技术依靠车载传感系统来接收道路状况信号，感知道路环境，自动规划行车路线并控制车辆，以此到达预定目标位置。为了更好地获取道路信息，传感技术是至关重要的。无人驾驶的兴起带动了对于传感技术的不断钻研，更合适更先进的传感器乃至多传感器融合技术已经开始被运用到无人驾驶汽车上。
3.现有技术中，专利号为cn202110798161.x一种基于红外激光的新型公路路面状态监测方法，其基于光学原理，提出一种基于红外激光的新型公路路面状态监测方法，其技术方案为：基于水、冰、雪的红外光谱特性实现了路面状况的非接触测量。首先将筛选出来的红外光分别通过三个红外激光发射器照射至路面监测区域，形成照射面，然后接收经过照射面反射及吸收和散射后的光信号，根据信号的大小关系可以判别路面状态。通过对水、冰、雪各自独立检测，以及增加路面温度以及空气环境温湿度检测，以及厚度辅助检测等多要素综合判别路面状态。
4.但是与摄像头传感器相比，激光雷达传感器不能提供周围环境的颜色信息；并且上述技术中只考虑平地路面状态分析，在颠簸、上下坡路等复杂路面上进行前向探测和避障时，激光雷达探测信息困难，激光雷达性能会大大下降，对无人车的安全性造成较大的影响。
5.事实上，单一的相机路况识别只能得到2d的图像，单一的激光雷达路况识别只能得到3d的点云数据，这两种情况都会出现一定的数据流失：激光雷达得到的数据会在路况颠簸等情况下会出现探测信息的困难，相机只能得到表面单一的2d图像，对于隐藏障碍的识别存在一定的困难。


技术实现要素：

6.本发明实施例的目的在于提供一种基于激光雷达与相机结合的路面状态预测方法和系统，旨在解决背景技术中确定的现有技术所存在的技术问题。
7.本发明实施例是这样实现的，一种基于激光雷达与相机结合的路面状态预测方法，所述方法包括：
8.获取激光雷达与相机的激光雷达数据和相机图像信息；
9.对相机图像信息进行处理，输出相机图像信息在bev空间中的3d感知结果和定位；
10.对激光雷达数据进行处理，将激光雷达数据在bev空间中进行表示；
11.对bev空间中的相机图像信息和激光雷达数据进行卡尔曼滤波融合，得到路面的状态预测结果。
12.本发明实施例的另一目的在于提供一种基于激光雷达与相机结合的路面状态预
测系统，所述系统包括：
13.数据获取模块，用于获取激光雷达与相机的激光雷达数据和相机图像信息；
14.图像处理模块，用于对相机图像信息进行处理，输出相机图像信息在bev空间中的3d感知结果和定位；
15.点云数据处理模块，用于对激光雷达数据进行处理，将激光雷达数据在bev空间中进行表示；
16.融合输出模块，用于对bev空间中的相机图像信息和激光雷达数据进行卡尔曼滤波融合，得到路面的状态预测结果。
17.本发明实施例对于相机的图像信息，可以预测二维图像上网格的深度分布并提取二维图像深度信息，从而重建丢失的三维信息，将二维图像变换到bev空间(鸟瞰图)中，使用bev构建的场景很直观且有利于融合，同时更有利于后续对于场景的规划和控制，然后将获取的参数通过卡尔曼滤波进行融合，能有效实现对路面状态，特别是隐藏障碍的识别。
附图说明
18.图1为本发明实施例提供的一种基于激光雷达与相机结合的路面状态预测方法的流程图；
19.图2为本发明实施例提供的输出相机图像信息在bev空间中的3d感知结果和定位的流程图；
20.图3为本发明实施例提供的将激光雷达数据在bev空间中进行表示的流程图；
21.图4为本发明实施例提供的将所述三维特征信息转化为bev特征数据的流程图；
22.图5为本发明实施例提供的得到激光雷达数据在二维空间的bev特征的流程图；
23.图6为本发明实施例提供的一种基于激光雷达与相机结合的路面状态预测系统的结构框图；
24.图7为本发明实施例提供的图像处理模块的结构框图；
25.图8为本发明实施例提供的点云数据处理模块的结构框图；
26.图9为本发明实施例提供的bev特征转化单元的结构框图；
27.图10为本发明实施例提供的bev特征提取单元的结构框图；
28.图11为一个实施例中计算机设备的内部结构框图。
具体实施方式
29.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
30.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
31.如图1所示，在一个实施例中，提出了一种基于激光雷达与相机结合的路面状态预测方法，具体可以包括以下步骤：
32.步骤s100，获取激光雷达与相机的激光雷达数据和相机图像信息。
33.本发明实施例中，可以利用传感器分别获取来自相机的图像信息与激光雷达的点云信息。其中相机获取的是路面的二维信息，激光雷达可以获取路面的三维信息。
34.步骤s200，对相机图像信息进行处理，输出相机图像信息在bev空间中的3d感知结果和定位。
35.本发明实施例中，对于相机的图像信息，基于transformerbev系统可以预测二维图像上网格的深度分布并提取二维图像深度信息，从而重建丢失的三维信息，将二维图像变换到bev空间中。
36.步骤s300，对激光雷达数据进行处理，将激光雷达数据在bev空间中进行表示。
37.本发明实施例中，激光雷达数据输入的原始数据通过上下两层分支分别数据转换，提取相应的特征后，综合两种特征进行目标识别。
38.步骤s400，对bev空间中的相机图像信息和激光雷达数据进行卡尔曼滤波融合，得到路面的状态预测结果。
39.本发明实施例中，由于激光雷达数据和相机图像信息在bev空间中的表达存在区别，因此通过卡尔曼滤波融合上述特征，来得到路面的状态预测结果。
40.在一个实施例中，如图2所示，步骤s200具体可以包括以下步骤：
41.步骤s201，获取待处理的相机图像信息。
42.步骤s202，对相机图像信息进行二维特征提取和视图转换，以输出相机图像信息在bev空间中的3d感知结果。
43.本发明实施例中，由于相机的3d感知与2d感知具有相同的输入，因此一般特征提取程序可以表述为：
[0044][0045]
其中，f
2d
表示2d特征，l表示图像，m
feat
表示2d特性提取器，(u,v)表示2d平面上的坐标，*表示一个或多个图像和相应的2d特征。在2d特征提取器中，存在大量2d感知经验，以主干预训练的形式可以在3d感知中考虑。
[0046]
本发明实施例中，视图转换是构建三维信息的主要步骤，与2d感知系统有很大区别。请注意，并非所有3d感知方法都有视图变换，有些方法直接从2d空间中的特征检测3d空间中的目标。执行视图转换通常分为两种方法：一种是执行从3d空间到2d空间的转换，另一种是从2d空间到3d空间的转换。这两种方法要么使用3d空间中的物理先验，要么使用3d监督。本发明实施例所述的视图转换可以表述为：
[0047][0048]
其中f
3d
表示3d(或体素)特征，(x,y,z)表示3d空间中的坐标，m
trans
表示视图转换模块，表示以(x,y,z)表示的对应2d坐标，[r,t]和k是定义的相机外参和内参。3d解码器接收2d/3d空间中的特征，并输出3d感知结果，例如3d bbox、bev地图分割、3d车道线关键点等等。
[0049]
步骤s203，在bev空间内执行目标检测，以获取相机图像信息在bev空间中的定位信息。
[0050]
本发明实施例中，在bev空间内执行目标检测可以通过三维信息解码器来实现，本
发明实施例在此不进行多余解释。
[0051]
在一个实施例中，如图3所示，步骤s300具体可以包括以下步骤：
[0052]
步骤s301，获取待处理的激光雷达数据。
[0053]
步骤s302，对激光雷达数据进行体素化，提取激光雷达数据的三维特征信息，再将所述三维特征信息转化为bev特征数据。
[0054]
本发明实施例中，体素化可以将物体的几何形式表示转换成最接近该物体的体素表示形式，产生体数据，包含模型的表面信息和内部属性。据此可以从激光雷达的点云数据中提取出三维特征信息，进而将其转化为bev特征数据。
[0055]
步骤s303，将激光雷达数据离散到bev网格中，然后将其输入至二维卷积网络中处理，得到二维空间的bev特征。
[0056]
本发明实施例中，步骤s302和步骤s303是两个并行的步骤，即称为上层分支和下层分支，上层分支在三维空间提取点云特征，提供更准确的检测结果；下层分支提取二维空间的bev特征，提供更高效的网络。
[0057]
在一个实施例中，如图4所示，步骤s302具体可以包括以下步骤：
[0058]
步骤s3021，基于体素的方法将激光雷达数据体素化成为离散的网格。
[0059]
本发明实施例中，基于体素的方法将点体素化为离散网格，可更有效的表示离散连续三维坐标。
[0060]
步骤s3022，通过三维卷积或三维稀疏卷积来提取点云特征。
[0061]
步骤s3023，将提取得到的点云特征转化为bev特征数据。
[0062]
在一个实施例中，如图5所示，步骤s303具体可以包括以下步骤：
[0063]
步骤s3031，通过mv3d方法对激光雷达数据进行点云转换。
[0064]
步骤s3032，利用bev网格中的统计量来表示点云，将离散后的点变成bev网格的高度、强度和密度特征，将激光雷达数据转换为bev表示。
[0065]
步骤s3033，通过二维卷积网络提取二维空间的bev特征。
[0066]
本发明实施例中，由于三维空间中的体素稀疏且不规则，此时应用三维卷积效率较低。通过mv3d方法对激光雷达数据进行点云转换，在将点离散到bev网格中之后，根据网格中的点获得高度、强度和密度的特征，以表示网格特征。
[0067]
在一个实施例中，对bev空间中的相机图像信息和激光雷达数据进行卡尔曼滤波融合，得到路面的状态预测结果的，具体步骤可以为：
[0068]
假设系统模型和测量模型分别为：
[0069]
x
k+1
＝akxk+bkuk+w
k wk∈(0,qk)
[0070]
zk＝hkxk+v
k vk∈(0,rk)
[0071]
式中，wk和vk是协方差矩阵，其分别是qk和rk的与x0无关及彼此无关的白躁声序列，xk为状态向量，zk为测量向量，ak为状态转换矩阵，hk为测量向量zk和状态向量xk的理想联系矩阵，bk、uk为输入向量。
[0072]
其中，xk实际上即为系统模型，可以表达每一个时刻(k时刻)的系统真实状态，可以计算得出，zk实际上即为测量模型，可以表达k时刻对系统真实值的测量结果。
[0073]
卡尔曼滤波的实现步骤为：
[0074]
(1)初始化输入先验估计及其误差协方差
[0075]
(2)计算卡尔曼增益：
[0076][0077]
(3)通过测量向量zk更新状态估计
[0078][0079]
(4)计算更新状态估计的误差协方差
[0080][0081]
(5)状态估计的更新
[0082][0083]
(6)跳转至步骤(2)不断迭代。
[0084]
本发明实施例中，q为过程激励噪声的协方差矩阵，它是状态转移矩阵与实际过程之间的误差，q一般是对角阵，且对角线上的值很小，便于快速收敛，在本发明实施例中，q是随时间k变化的，即qk。
[0085]
在实际应用时，首先用运动学方程去表达加速度，然后使用该信息去推导协方差矩阵q，假设过程激励噪声μ为高斯噪声，并且是零均值高斯白噪声，μ∽n(0，q)。对于同一个物体的初始和最终的速度，从运动学方程中可以根据上一时刻的状态变量推导出当前的位置(p
x
,py)和速度v，包括加速度a。
[0086][0087]
由于速度并不是匀速的，并且加速度是已知的，因此可以将它添加到噪声μ的部分。
[0088][0089]
将噪声μ分为两部分：g是一个4*2的不包括随机变量的矩阵，a是一个2*1的包含随机加速度的矩阵。
[0090][0091]
因此在噪声向量的基础上，可以定义一个新的协方差矩阵q，该协方差矩阵由噪声向量的期望值定义。因为g是不含有随机变量的，因此可以将其移到期望值计算的外部。
[0092]
q＝e[μμ
t
]＝e[gaa
tgt
]
[0093][0094]
定义ax和ay是互不相关的噪声，因此σ
axy
＝0。
[0095][0096]
本发明实施例中，r表示测量噪声协方差矩阵，代表从激光传感器接收到的位置测量结果中的不确定性。它是一个数值，这是和仪器相关的一个特性，作为已知条件输入滤波器。需要注意的是这个值过大过小都会使滤波效果变差，且r取值越小收敛越快，所以可以通过实验手段寻找合适的r值再利用它进行真实的滤波。
[0097]
定义2d激光传感器的测量模型，测量值向量z，测量矩阵h，协方差矩阵r。虽然激光雷达给出的是点云数据，但可以通过目标检测得到目标的位置(p
x
,py)。
[0098][0099]
对于激光雷达，有一个2d测量向量。每个位置分量(p
x
,py)都受到随机噪声的影响，因此噪声向量w有着和z一样的维度，因此得到测量值噪声的协方差矩阵r为：
[0100][0101]
r矩阵的取值由传感器的自身标定值决定。
[0102]
pk为k时刻的先验估计协方差矩阵。
[0103]
如图6所示，在一个实施例中，提供了一种基于激光雷达与相机结合的路面状态预测系统，具体可以包括数据获取模块100、图像处理模块200、点云数据处理模块300和融合输出模块400。
[0104]
所述数据获取模块100，用于获取激光雷达与相机的激光雷达数据和相机图像信息。
[0105]
所述图像处理模块200，用于对相机图像信息进行处理，输出相机图像信息在bev空间中的3d感知结果和定位。
[0106]
所述点云数据处理模块300，用于对激光雷达数据进行处理，将激光雷达数据在bev空间中进行表示。
[0107]
所述融合输出模块400，用于对bev空间中的相机图像信息和激光雷达数据进行卡
尔曼滤波融合，得到路面的状态预测结果。
[0108]
如图7所示，在一个实施例中，所述图像处理模块200具体包括相机图像获取单元201、bev处理单元202和定位信息输出单元203。
[0109]
所述相机图像获取单元201，用于获取待处理的相机图像信息。
[0110]
所述bev处理单元202，用于对相机图像信息进行二维特征提取和视图转换，以输出相机图像信息在bev空间中的3d感知结果。
[0111]
所述定位信息输出单元203，用于在bev空间内执行目标检测，以获取相机图像信息在bev空间中的定位信息。
[0112]
如图8所示，在一个实施例中，所述点云数据处理模块300具体包括点云数据获取单元301、bev特征转化单元302和bev特征提取单元303。
[0113]
所述点云数据获取单元301，用于获取待处理的激光雷达数据。
[0114]
所述bev特征转化单元302，用于对激光雷达数据进行体素化，提取激光雷达数据的三维特征信息，再将所述三维特征信息转化为bev特征数据。
[0115]
所述bev特征提取单元303，用于将激光雷达数据离散到bev网格中，然后将其输入至二维卷积网络中处理，得到二维空间的bev特征。
[0116]
如图9所示，在一个实施例中，所述bev特征转化单元302具体包括体素化子单元3021、点云特征提取子单元3022和特征转化子单元3023。
[0117]
所述体素化子单元3021，用于基于体素的方法将激光雷达数据体素化成为离散的网格。
[0118]
所述点云特征提取子单元3022，用于通过三维卷积或三维稀疏卷积来提取点云特征。
[0119]
所述特征转化子单元3023，用于将提取得到的点云特征转化为bev特征数据。
[0120]
如图10所示，在一个实施例中，所述bev特征提取单元303具体包括点云转换子单元3031、点云bev表示子单元3032和bev特征提取子单元3033。
[0121]
所述点云转换子单元3031，用于通过mv3d方法对激光雷达数据进行点云转换。
[0122]
所述点云bev表示子单元3032，用于利用bev网格中的统计量来表示点云，将离散后的点变成bev网格的高度、强度和密度特征，将激光雷达数据转换为bev表示。
[0123]
所述bev特征提取子单元3033，用于通过二维卷积网络提取二维空间的bev特征。
[0124]
图11示出了一个实施例中计算机设备的内部结构图，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于激光雷达与相机结合的路面状态预测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于激光雷达与相机结合的路面状态预测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0125]
本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设
备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0126]
在一个实施例中，本技术提供的基于激光雷达与相机结合的路面状态预测系统可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该基于激光雷达与相机结合的路面状态预测系统的各个程序模块，比如，图6所示的数据获取模块100、图像处理模块200、点云数据处理模块300和融合输出模块400。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本技术各个实施例的基于激光雷达与相机结合的路面状态预测方法中的步骤。
[0127]
例如，图11所示的计算机设备可以通过如图6所示的基于激光雷达与相机结合的路面状态预测系统中的数据获取模块100执行步骤s100。计算机设备可通过图像处理模块200执行步骤s200。计算机设备可通过点云数据处理模块300执行步骤s300。
[0128]
在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0129]
步骤s100，获取激光雷达与相机的激光雷达数据和相机图像信息。
[0130]
步骤s200，对相机图像信息进行处理，输出相机图像信息在bev空间中的3d感知结果和定位。
[0131]
步骤s300，对激光雷达数据进行处理，将激光雷达数据在bev空间中进行表示。
[0132]
步骤s400，对bev空间中的相机图像信息和激光雷达数据进行卡尔曼滤波融合，得到路面的状态预测结果。
[0133]
在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
[0134]
步骤s100，获取激光雷达与相机的激光雷达数据和相机图像信息。
[0135]
步骤s200，对相机图像信息进行处理，输出相机图像信息在bev空间中的3d感知结果和定位。
[0136]
步骤s300，对激光雷达数据进行处理，将激光雷达数据在bev空间中进行表示。
[0137]
步骤s400，对bev空间中的相机图像信息和激光雷达数据进行卡尔曼滤波融合，得到路面的状态预测结果。
[0138]
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0139]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编
程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0140]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0141]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
[0142]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于激光雷达与相机结合的路面状态预测方法，其特征在于，所述方法包括：获取激光雷达与相机的激光雷达数据和相机图像信息；对相机图像信息进行处理，输出相机图像信息在bev空间中的3d感知结果和定位；对激光雷达数据进行处理，将激光雷达数据在bev空间中进行表示；对bev空间中的相机图像信息和激光雷达数据进行卡尔曼滤波融合，得到路面的状态预测结果。2.根据权利要求1所述的方法，其特征在于，所述对相机图像信息进行处理，输出相机图像信息在bev空间中的3d感知结果和定位的步骤，具体包括：获取待处理的相机图像信息；对相机图像信息进行二维特征提取和视图转换，以输出相机图像信息在bev空间中的3d感知结果；在bev空间内执行目标检测，以获取相机图像信息在bev空间中的定位信息。3.根据权利要求1所述的方法，其特征在于，所述对激光雷达数据进行处理，将激光雷达数据在bev空间中进行表示的步骤，具体包括：获取待处理的激光雷达数据；对激光雷达数据进行体素化，提取激光雷达数据的三维特征信息，再将所述三维特征信息转化为bev特征数据；将激光雷达数据离散到bev网格中，然后将其输入至二维卷积网络中处理，得到二维空间的bev特征。4.根据权利要求3所述的方法，其特征在于，所述对激光雷达数据进行体素化，提取激光雷达数据的三维特征信息，再将所述三维特征信息转化为bev特征数据的步骤，具体包括：基于体素的方法将激光雷达数据体素化成为离散的网格；通过三维卷积或三维稀疏卷积来提取点云特征；将提取得到的点云特征转化为bev特征数据。5.根据权利要求3所述的方法，其特征在于，所述将激光雷达数据离散到bev网格中，然后将其输入至二维卷积网络中处理，得到二维空间的bev特征的步骤，具体包括：通过mv3d方法对激光雷达数据进行点云转换；利用bev网格中的统计量来表示点云，将离散后的点变成bev网格的高度、强度和密度特征，将激光雷达数据转换为bev表示；通过二维卷积网络提取二维空间的bev特征。6.一种基于激光雷达与相机结合的路面状态预测系统，其特征在于，所述系统包括：数据获取模块，用于获取激光雷达与相机的激光雷达数据和相机图像信息；图像处理模块，用于对相机图像信息进行处理，输出相机图像信息在bev空间中的3d感知结果和定位；点云数据处理模块，用于对激光雷达数据进行处理，将激光雷达数据在bev空间中进行表示；融合输出模块，用于对bev空间中的相机图像信息和激光雷达数据进行卡尔曼滤波融合，得到路面的状态预测结果。
7.根据权利要求6所述的系统，其特征在于，所述图像处理模块具体包括：相机图像获取单元，用于获取待处理的相机图像信息；bev处理单元，用于对相机图像信息进行二维特征提取和视图转换，以输出相机图像信息在bev空间中的3d感知结果；定位信息输出单元，用于在bev空间内执行目标检测，以获取相机图像信息在bev空间中的定位信息。8.根据权利要求6所述的系统，其特征在于，所述点云数据处理模块具体包括：点云数据获取单元，用于获取待处理的激光雷达数据；bev特征转化单元，用于对激光雷达数据进行体素化，提取激光雷达数据的三维特征信息，再将所述三维特征信息转化为bev特征数据；bev特征提取单元，用于将激光雷达数据离散到bev网格中，然后将其输入至二维卷积网络中处理，得到二维空间的bev特征。9.根据权利要求8所述的系统，其特征在于，所述bev特征转化单元具体包括：体素化子单元，用于基于体素的方法将激光雷达数据体素化成为离散的网格；点云特征提取子单元，用于通过三维卷积或三维稀疏卷积来提取点云特征；特征转化子单元，用于将提取得到的点云特征转化为bev特征数据。10.根据权利要求6所述的系统，其特征在于，所述bev特征提取单元具体包括：点云转换子单元，用于通过mv3d方法对激光雷达数据进行点云转换；点云bev表示子单元，用于利用bev网格中的统计量来表示点云，将离散后的点变成bev网格的高度、强度和密度特征，将激光雷达数据转换为bev表示；bev特征提取子单元，用于通过二维卷积网络提取二维空间的bev特征。

技术总结
本发明适用于无人驾驶技术领域，提供了一种基于激光雷达与相机结合的路面状态预测方法和系统，所述方法包括：获取激光雷达与相机的激光雷达数据和相机图像信息；对相机图像信息进行处理，输出相机图像信息在BEV空间中的3D感知结果和定位；对激光雷达数据进行处理，将激光雷达数据在BEV空间中进行表示；对BEV空间中的相机图像信息和激光雷达数据进行卡尔曼滤波融合，得到路面的状态预测结果，本发明实施例对于相机的图像信息，可以预测二维图像上网格的深度分布并提取二维图像深度信息，从而重建丢失的三维信息，将二维图像变换到BEV空间(鸟瞰图)中，能有效实现对路面状态，特别是隐藏障碍的识别。是隐藏障碍的识别。是隐藏障碍的识别。


技术研发人员：许志超 施润 吴欣杰 戴迪康 杨璐嘉 汪林斌 李江晨 俞少华
受保护的技术使用者：南京理工大学
技术研发日：2023.05.15
技术公布日：2023/8/21