一种基于车载激光雷达的跨模态车辆测速方法

1.本发明涉及交通管理和智能交通领域，具体涉及一种基于车载激光雷达的跨模态车辆测速方法。


背景技术：

2.目前的车辆测速主要有线圈测速、雷达测速、激光测速、摄像头测速等，其中线圈测速需线圈埋入车道，会损害沥青使路面受损且安装维护过程中影响交通且易受冰冻和路面下沉等因素影响，容易损坏且维修难度大、维护成本高，当车流拥堵时，检测精度会大大下降；雷达测速可以测量远距离和高速行驶的车辆的速度，虽然测速精度较高，但需要专门的设备和传感器，成本也较高；基于摄像头的车辆测速可以实现对车辆通过的时间和位置进行实时测量，并计算车辆的速度，虽然成本较低，但测速精度受到视野范围和图像分辨率的限制。
3.相比于以上方法，本技术提出基于车载激光雷达的跨模态车辆测速方法无需对道路进行损坏性改造，避免了沥青路面受损和维护成本高的问题，同时在无需额外设备和传感器情况下能在测速精度方面提供可靠的结果，最后与基于摄像头的测速方法相比，本方法利用车载激光雷达的高精度距离和角度信息，克服了视野范围和图像分辨率限制，可适用于各种车辆形状和颜色，实现非接触式测速。因此，本技术方法具有明显的对比性和优势，可广泛应用于交通管理、智能车辆等领域，具备更广阔的应用前景。


技术实现要素：

4.根据以上目前测速方法所涉及到的问题，本技术提出了一种基于车载激光雷达的跨模态车辆测速方法。
5.本技术的具体步骤如下：
6.步骤1：车载激光雷达是一种安装在车辆上的传感器，用于获取车辆周围环境的三维点云数据。通过车载激光雷达获取多帧当前交通道路场景的三维点云数据集并进行预处理；
7.步骤2：将点云数据转换为二维深度图形成跨模态数据集，通过yolov8进行网络训练。
8.步骤3：根据步骤2，在获取到的多帧连续的二维深度图中，利用yolov8结合目标跟踪算法，使用预训练好的模型进行车辆目标检测和跟踪。
9.步骤4：根据步骤3，获取目标车辆的形心坐标，通过计算相邻帧二维深度图的距离差和时间差实现对车辆的测速。
10.进一步的，步骤1通过车载激光雷达获取到点云数据集进行处理，根据点云数据的局部密度和几何形态变化采用自适应滤波方法动态调整滤波半径和方向，从而去除点云噪声和无关点，进而实现提高点云数据的准确性和质量。
11.具体详细描述为：
12.步骤1.1：对点云进行体素化处理，将点云数据转化成三维体素网格结构，从而便于进行空间分析和处理，针对下一步的滤波操作提高点云处理的效率和精度。
13.步骤1.2：对每个体素中心点计算其邻域内的点云法线来确定滤波的方向。
14.步骤1.3：对每个体素的邻域内的点云数据采用逆行加权平均处理来计算滤波后的点云位置和属性值。
15.进一步的，根据具体的应用场景和需求，步骤2中形成跨模态数据集的二维深度图主要是通过选择适当的投影范围或适当的投影参数等方式进行投影，具体包含以下工作：
16.一方面，当点云数据集分辨率较低、点云密度不足以支持全密集投影又或点云数据集规模较大（包含数百万或数千万个点云数据）时，导致全密集投影的计算复杂度会很高且难以实现实时处理时，需采用稀疏投影来提高二维深度图的生成效率和质量。
17.具体详细描述为：
18.（1）通过点云特征选择需要投影的点云数据。
19.（2）将点云数据通过车载激光雷达的内参和外参从激光雷达坐标系变换到投影坐标系。
20.（3）对变换后的点云数据采用基于距离的稀疏化处理方法去除部分点云数据，从而减少二维深度图的大小和复杂度。
21.（4）将稀疏化后的点云数据投影成二维深度图，形成跨模态数据集。
22.另一方面，在一些需要进行精细检测的场景中，需要提供高质量和全面的二维深度图来实现准确的车辆目标检测和跟踪又或当需要对交通场景的二维深度图进行后处理、分析和应用时，步骤2中可采用稠密投影方法来提供更为精细和全面的二维深度图，从而形成更精准的跨模态数据集。
23.具体详细描述为：
24.（1）对步骤1预处理过的点云的三维坐标进行归一化，对于投影到同一体素的多个点只需为相应体素指定最小深度值。
25.（2）通过局部最小值池化操作对网格进行致密化来保证视觉的连续性，进而在保证背景体素为空的前提下稀疏点之间的原始空体素可以被合理的深度值进行有效填充，从而可以得到更密集更平滑的空间表示。
26.（3）上一步骤的局部池化操作可能在某些三维曲面上引入伪影, 故采用非参数的高斯核进行形状平滑和噪声滤波, 来获得一个更紧凑和平滑的形状。
27.（4）压缩网络的深度以及维度来进行跨模态工作从而获得投影的二维深度图，得到所需的跨模态数据集。
28.进一步的，步骤2在完成投影获取到所需的跨模态数据集后，通过标注软件对跨模态数据集中的车辆进行标注，进而利用yolov8进行网络训练获取到预训练模型。
29.进一步的，步骤3中使用基于深度学习的方法进行车辆目标检测和跟踪，本技术选择使用yolov8结合目标跟踪算法进行车辆目标检测和跟踪。
30.具体详细描述为：
31.步骤3.1：将稀疏投影或稠密投影生成的二维深度图作为输入数据。
32.步骤3.2：使用预训练好的模型输入到yolov8中，对输入数据进行车辆目标检测，yolov8算法使用单个神经网络，直接在整个二维深度图上预测边界框和类别概率，可以快
速高效地进行车辆目标检测。
33.步骤3.3：在检测到车辆后，使用目标跟踪算法对车辆进行跟踪和实时更新。
34.进一步的，步骤4主要是通过计算车辆的形心坐标作为车辆测速目标点。具体实现方法如下：
35.步骤4.1：在跟踪到车辆后，通过目标检测和跟踪算法，计算车辆的形心坐标作为车辆测速目标点。
36.步骤4.2：根据车辆测速目标点的坐标位置，计算相邻帧二维深度图测速目标点的相对距离差。可使用欧几里得的距离公式，即：
37.其中和分别表示两个车辆测速目标点的坐标位置。
38.步骤4.3：根据多帧连续的二维深度图，计算相邻帧二维深度图之间的时间差，即，其中和分别表示相邻帧二维深度图的时间戳。
39.步骤4.4：根据距离差和时间差计算车辆的速度。速度计算公式为：
40.其中表示车辆的相对速度。
41.故车辆相对于地面的绝对速度可以计算为：
42.其中表示车载激光雷达相对地面的速度。
43.考虑到车辆可能存在加速和减速的情况，本技术选择多帧二维深度图进行平滑处理，以获得更稳定和准确的车辆速度。
附图说明
44.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
45.图1为本技术基于车载激光雷达的跨模态车辆测速方法的流程图
46.图2为本技术基于车载激光雷达的跨模态车辆测速方法的网络架构图。
47.图3为本技术进行交通场景下车辆目标检测和跟踪的流程图。
48.图4为本技术实施例的道路交通场景二维深度图。
49.图5为本技术采用目标检测算法的网络架构图。
50.图6为本技术采用目标跟踪的算法结构图。
具体实施方式
51.下面结合实施例并参照附图对本技术作进一步详细描述。
52.本技术的一个实施例，为一种基于车载激光雷达的跨模态车辆测速方法。其总体流程如图1所示，包括以下步骤：
53.步骤1：车载激光雷达是一种安装在车辆上的传感器，用于获取车辆周围环境的三维点云数据。利用车载激光雷达获取多帧当前交通道路场景的三维点云数据，进而对获取
到的数据集进行数据预处理。
54.步骤2：将步骤1预处理好的点云数据转换为二维深度图形成跨模态数据集，并通过yolov8进行网络训练。
55.步骤3：在获取到的多帧连续的二维深度图中，利用yolov8结合目标跟踪算法，使用预训练好的模型进行车辆目标检测和跟踪。
56.步骤4：根据步骤3，获取目标车辆的形心坐标，通过计算相邻帧二维深度图的距离差和时间差实现对车辆的测速。
57.进一步的，步骤1中预处理的步骤主要包括：
58.步骤1.1：对点云进行体素化处理，将点云数据转化成三维体素网格结构，从而便于进行空间分析和处理，针对下一步的滤波操作可通过此步骤来提高点云处理的效率和精度。
59.对于点云中的每个点，计算其在体素网格中所对应的体素坐标，对于点云中的一个点，其对应的体素坐标为：
60.其中，为体素的边长，、和分别为体素坐标系的原点。
61.将点分配到体素中，可以通过将体素内的点数量加1来实现：
62.其中，为体素内的点的数量。
63.通过以上公式，可以将点云数据转化为体素网格结构，方便后续的处理和分析。
64.步骤1.2：对每个体素中心点计算其邻域内的点云法线来确定滤波的方向。
65.对于每个体素，找到其邻域内的所有点，计算这些点的平均法线向量，将平均法线向量归一化，得到单位向量，然后确定滤波方向，选择的垂直方向作为滤波方向。
66.具体实现公式如下：
67.对于某个体素，假设其邻域内有个点，每个点的法线向量为，则该体素的平均法线向量为：
68.将平均法线向量归一化，得到单位向量：
69.选择的垂直方向作为滤波方向，可使用以下公式：
70.其中，为滤波方向，和分别为单位向量在轴和轴上的分量。
71.通过以上公式，可根据邻域内点云的法线方向来确定滤波方向，以达到对点云数据进行平滑处理的目的。
72.步骤1.3：对于每个体素，根据其邻域内的点云数据，使用逆行加权平均处理来计算滤波后的点云位置和属性值。
73.具体实现公式如下：
74.假设一个体素的邻域内有个点，每个点的坐标为，权重为，则该体素滤波后的位置和属性值的计算公式为：
75.其中，为滤波后的位置，为滤波后的属性值，为第个点的权重，为第个点的位置，为第个点的属性值，表示求和操作。
76.这个过程可以实现对点云数据的平滑处理，以去除噪声和减少数据的不确定性。
77.进一步的，步骤2中对于投影生成二维深度图可详细描述为：
78.一方面，当点云数据集分辨率较低，点云密度不足以支持全密集投影又或点云数据集规模较大时，采用稀疏投影来提高二维深度图的生成效率和质量，从而获得所需的跨模态数据集。
79.另一方面，在一些需要进行精细检测的场景中，需要提供高质量和全面的二维深度图来实现准确的车辆目标检测和跟踪又或当需要对交通场景的二维深度图进行后处理、分析和应用时，采用稠密投影方可提供更为精细和全面的二维深度图构成的跨模态数据集。
80.涉及到点云数据从激光雷达坐标系变换到投影坐标系的公式为：
81.其中，表示在激光雷达坐标系下的点云坐标，表示在投影坐标系下的点云坐标，和分别为激光雷达坐标系到投影坐标系的旋转矩阵和平移向量。
82.具体来说，旋转矩阵可以通过以下公式计算：
83.其中，、、分别为绕、、轴的旋转矩阵，可以通过激光雷达的安装姿态和对准情况确定。
84.平移向量可根据激光雷达和投影坐标系之间的平移关系来计算，需要在实际测量中通过标定等方法确定。
85.通过以上公式，可以将激光雷达坐标系下的点云数据变换到投影坐标系下，以便进行后续的处理和分析。
86.进一步的，步骤2和3中涉及到的yolov8算法流程如图3所示，包含以下步骤：
87.步骤3.1：对二维深度图构成的跨模态数据集进行处理，如调整二维深度图大小、归一化、裁剪等，将处理后的二维深度图作为输入数据。
88.首先根据具体需求将二维深度图缩小到指定的大小以适应车辆目标检测模型的输入大小。
89.其次对二维深度图进行归一化，可以提高模型的稳定性和收敛速度。
90.最后根据车辆目标检测任务的需求对二维深度图进行裁剪，提取感兴趣的区域。
91.步骤3.2：用预处理好的跨模态数据集通过yolov8进行网络训练。
92.通过对点云生成的二维深度图（如图4所示）进行车辆标注，将自己标注好的车辆数据集作为训练数据。
93.步骤3.3：通过将预训练好的模型输入到yolov8进行车辆目标检测。
94.如图4所示，yolov8的骨干网络采用cspdarknet，瓶颈部分采用梯度流更丰富的c2f结构，对不同尺度模型调整了不同的通道数，大幅提升了模型性能。
95.一方面，算法的核心主要是基于的目标检测算法，其使用卷积神经网络来预测目标框和目标类别，其中是一组预定义的目标框，在每个单元格中都会预定多个来适应不同大小和形状的车辆目标。
96.另一方面，采用了动态的任务对齐分配策略：
97.是标注类别对应的预测分值，是预测框和真实框的，两者相乘就可以衡量对齐程度，和 为权重超参，可以同时控制分类得分和的优化来实现 ，引导网络动态的关注于高质量的。
98.步骤3.4：在检测到车辆后使用目标跟踪算法对车辆进行跟踪和实时更新。
99.因yolov8本身不能实现目标跟踪，故采用了和基于深度学习的目标跟踪算法结合的方式实现目标的实时跟踪和状态更新。
100.基于深度学习的目标跟踪算法结构如图6所示，算法流程具体详细描述为：
101.（1）预测状态：上一轮迭代产生的车辆轨迹经过卡尔曼滤波的预测，计算出本轮的平均和协方差，数据的状态（确定和不确定）是不变的。
102.（2）第一次匹配：将（1）中的车辆轨迹和本轮目标检测器检测出“检测”一起送入级联进行匹配，产生三种状态的结果：未匹配的车辆轨迹、未匹配的检测、已匹配的车辆轨迹。
103.（3）第二次匹配：（2）的检测会有遗漏，将其与（1）中未确定的车辆轨迹合并，用iou 匹配再匹配一遍得出比较靠谱的未匹配的车辆轨迹、未匹配的检测、已匹配的车辆轨迹。
104.（4）处理失效对象：未匹配的车辆轨迹中还没确定的和已确定但是寿命超过阈值的状态设为删除。
105.（5）输出结果并为下一轮准备数据，其中合并了下面三个来源的车辆轨迹：（3）和（4）中的已匹配的车辆轨迹合并，进行卡尔曼滤波的更新，同时寿命+1，输出车辆轨迹；（3）中的未匹配的detections新建出车辆轨迹；（4）中已确定而且未超龄的车辆轨迹。
106.这三个来源的车辆轨迹合在一起作为本轮的输出同时也是下一次迭代的输入，继续1。
107.步骤3.5：最后输出对车辆目标的检测跟踪结果。
108.进一步的，步骤4选择车辆测速目标点具体实现方法如下：
109.步骤4.1：在跟踪到车辆后，通过目标检测和跟踪算法，计算车辆的形心坐标作为车辆测速目标点。
110.步骤4.2：根据车辆测速目标点的坐标位置，计算相邻帧二维深度图的测速目标点的相对距离差。可以使用欧几里得的距离公式，即：
111.其中和分别表示两个测速目标点的坐标位置。
112.步骤4.3：根据多帧连续的二维深度图，计算相邻帧二维深度图之间的时间差，即，其中和分别表示相邻帧二维深度图的时间戳。
113.步骤4.4：根据距离差和时间差计算车辆的速度。速度计算公式为：
114.其中表示车辆的相对速度。
115.故车辆相对于地面的绝对速度可以计算为：
116.其中表示车载激光雷达相对地面的速度。
117.考虑到车辆可能存在加速和减速的情况，本技术选择多帧二维深度图进行平滑处理，以获得更稳定和准确的车辆速度。
118.以上所述已关于具体实施例描述了该方法及系统的相关算法具体流程以及关于投影问题考虑到的解决方案。并非上述一般性描述中的所有要素都是必需的，特定的数据处理细节或设备的一部分可能不是必需的，并且除了描述的那些之外可执行一个或多个进一步所包括的要素。此外，上述公开的实施例仅是说明性的，因为所公开的主题可以以受益于这里的教导的本领域技术人员显而易见的不同但等同的方式进行修改和实施。除了在权利要求书中描述的以外，没有意图限制在此示出的构造或设计的细节。因此明显的是，上面公开的实施例可以被改变或修改，并且所有这样的变化被认为在所公开的主题的范围内。

技术特征：
1.一种基于车载激光雷达的跨模态车辆测速方法,其特征在于，包括以下步骤：步骤1：通过车载激光雷达获取多帧当前交通道路场景的三维点云数据集并进行预处理；步骤2：将点云数据转换为二维深度图形成跨模态数据集，通过yolov8进行网络训练；步骤3：根据步骤2，在获取到的多帧连续的二维深度图中，利用yolov8结合目标跟踪算法，使用预训练好的模型进行车辆目标检测和跟踪；步骤4：根据步骤3，获取目标车辆的形心坐标，通过计算相邻帧二维深度图的距离差和时间差实现对车辆的测速。2.如权利要求1所述的一种基于车载激光雷达的跨模态车辆测速方法，其特征在于，根据具体的应用场景和需求，步骤2中形成跨模态数据集的二维深度图主要是通过选择适当的投影范围或适当的投影参数等方式进行投影。3.如权利要求1所述的一种基于车载激光雷达的跨模态车辆测速方法，其特征在于，当点云数据集分辨率较低、点云密度不足以支持全密集投影又或点云数据集规模较大（包含数百万或数千万个点云数据）时，导致全密集投影的计算复杂度会很高且难以实现实时处理时，需采用稀疏投影来提高二维深度图的生成效率和质量。具体详细描述为：（1）通过点云特征选择需要投影的点云数据；（2）将点云数据通过车载激光雷达的内参和外参从激光雷达坐标系变换到投影坐标系；（3）对变换后的点云数据采用基于距离的稀疏化处理方法去除部分点云数据，从而减少二维深度图的大小和复杂度；（4）将稀疏化后的点云数据投影成二维深度图，形成跨模态数据集。4.如权利要求1所述的一种基于车载激光雷达的跨模态车辆测速方法,其特征在于，在一些需要进行精细检测的场景中，需要提供高质量和全面的二维深度图来实现准确的目标检测和跟踪又或当需要对交通场景的二维深度图进行后处理、分析和应用时，步骤2中可采用稠密投影方法来提供更为精细和全面的二维深度图，从而形成更精准的跨模态数据集。具体详细描述为：（1）对步骤1预处理过的点云的三维坐标进行归一化，对于投影到同一体素的多个点只需为相应体素指定最小深度值；（2）通过局部最小值池化操作对网格进行致密化来保证视觉的连续性，进而在保证背景体素为空的前提下稀疏点之间的原始空体素可以被合理的深度值进行有效填充，从而可以得到更密集更平滑的空间表示；（3）上一步骤的局部池化操作可能在某些三维曲面上引入伪影, 故采用非参数的高斯核进行形状平滑和噪声滤波, 来获得一个更紧凑和平滑的形状；（4）压缩网络的深度以及维度来进行跨模态工作从而获得投影的二维深度图，得到所需的跨模态数据集。5.如权利要求1所述的一种基于车载激光雷达的跨模态车辆测速方法,其特征在于，对步骤2中形成跨模态数据集的二维深度图进行标注，通过yolov8进行网络训练，获取到预训练模型。

技术总结
本申请提出的一种基于车载激光雷达的跨模态车辆测速方法，通过车载激光雷达获取数据，并将其转化为二维深度图进行车辆检测跟踪，从而实现实时或近实时的情况下车与车之间的测速分析。该方法适用于不同种类和尺寸的车辆，不受车辆形状和颜色等因素的影响，并且无需与车辆直接接触即可进行测速。与传统测速方法相比，具有以下优点：非接触式测速、数据获取方便、适用范围广、实时性强和成本较低，具有广泛的应用前景，可用于交通管理、智能车辆等领域。域。域。


技术研发人员：韩瑞智 廉扬 韩士元 何光明 季书成 赵晶航 高笑天 陈月辉
受保护的技术使用者：济南大学
技术研发日：2023.08.08
技术公布日：2023/10/15