激光雷达与相机外参标定精度评定方法及装置与流程

1.本发明涉及参数标定技术领域，尤其是涉及一种激光雷达与相机外参标定精度评定方法、装置、设备及存储介质。


背景技术：

2.自动驾驶领域中，常用到多线激光雷达与相机传感器。在数据融合时需要对雷达与相机进行外参标定，多线激光雷达与相机标定外参的精度需要进行评定。
3.目前，多线激光雷达与相机的外参标定质量判断，一般采用激光点云投影图片方式，根据点云在图片中的重合程度，人工观察进行判断外参标定的质量。这种外参标定精度验证方式存在费时费力、不具备定量描述的缺点。


技术实现要素：

4.本发明旨在提供一种激光雷达与相机外参标定精度评定方法、装置、设备及存储介质，以解决上述技术问题，从而能够提高雷达与相机外参标定精度验证的效率，并能够对雷达与相机外参标定精度进行定量化描述。
5.为了解决上述技术问题，本发明提供了一种激光雷达与相机外参标定精度评定方法，包括：
6.获取相机针对于标定板录制的图像数据，并获取激光雷达针对于所述标定板录制的点云数据；
7.基于所述图像数据获取标定板图像，根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息；
8.基于所述点云数据提取所述标定板中目标位置的点云坐标信息，根据雷达与相机的标定外参以及相机内参将所述点云坐标信息变换为标定板中目标位置的第二像素坐标信息；
9.计算所述第一像素坐标信息与第二像素坐标信息的误差信息，根据所述误差信息确定外参标定精度评定结果。
10.进一步地，所述根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息，具体包括：
11.获取所述标定板图像的标记信息，根据预先确定的标记信息与目标位置的位置关系获取目标位置从世界坐标信息到相机坐标系的姿态变换信息；
12.根据相机内参将所述姿态变换信息变换至像素坐标系，获取得到标定板中目标位置在像素坐标系的第一像素坐标信息。
13.进一步地，所述基于所述点云数据提取所述标定板中目标位置的点云坐标信息，具体包括：
14.基于激光雷达的录制停留时间筛选出从预设录制位置录制的针对于标定板目标位置的所有点云数据，并将同一录制位置对应的多帧点云数据进行合并为单帧点云数据；
15.根据获取到的rt矩阵将所述单帧点云数据从三维空间变换为二维平面，基于标定板的尺度信息，使用一个外切空心圆的矩形框在标定板所在的激光点云二维平面按照一定步长进行滑动，当所述矩形框的点云面积最小时获取得到标定板中的目标位置；
16.根据所述rt矩阵的逆矩阵对所述标定板中的目标位置进行转换，得到所述标定板中目标位置的点云坐标信息。
17.进一步地，所述计算所述第一像素坐标信息与第二像素坐标信息的误差信息，具体包括：
18.分别移动雷达和相机至不同的录制位置，获取多组第一像素坐标信息和第二像素坐标信息，并计算多组第一像素坐标信息和第二像素坐标信息的平均误差，作为所述第一像素坐标信息与第二像素坐标信息的误差信息。
19.进一步地，所述根据所述误差信息确定外参标定精度评定结果，具体包括：
20.将所述误差信息与预设的误差标准信息进行比对，获取得到雷达与相机的外参标定精度评定结果。
21.进一步地，所述标定板的标记信息为预先设置在标定板上的多个ar码。
22.进一步地，所述标定板中的目标位置为位于标定板中心位置的空心圆。
23.本发明还提供一种激光雷达与相机外参标定精度评定装置，包括：
24.数据获取模块，用于获取相机针对于标定板录制的图像数据，并获取激光雷达针对于所述标定板录制的点云数据；
25.第一坐标获取模块，用于基于所述图像数据获取标定板图像，根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息；
26.第二坐标获取模块，用于基于所述点云数据提取所述标定板中目标位置的点云坐标信息，根据雷达与相机的标定外参以及相机内参将所述点云坐标信息变换为标定板中目标位置的第二像素坐标信息；
27.标定精度评定模块，用于计算所述第一像素坐标信息与第二像素坐标信息的误差信息，根据所述误差信息确定外参标定精度评定结果。
28.本发明还提供一种终端设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现任一项所述的激光雷达与相机外参标定精度评定方法。
29.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述的激光雷达与相机外参标定精度评定方法。
30.与现有技术相比，本发明具有如下有益效果：
31.本发明提供了一种激光雷达与相机外参标定精度评定方法、装置、设备及存储介质，所述方法包括：获取相机针对于标定板录制的图像数据，并获取激光雷达针对于所述标定板录制的点云数据；基于所述图像数据获取标定板图像，根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息；基于所述点云数据提取所述标定板中目标位置的点云坐标信息，根据雷达与相机的标定外参以及相机内参将所述点云坐标信息变换为标定板中目标位置的第二像素坐标信息；计算所述第一像素坐标信息与第二像素坐标信息的误差信息，根据所述误差信息确定外参标定精度评定结果。本发明通过坐标变换的方式对雷达的点云数据和相机的图像数据进行误差计算，从而能够对雷达与相机外参标定精度进行定量化描述，并且有效提高了雷达与相机外参标定精度验证的效率。
附图说明
32.图1是本发明提供的激光雷达与相机外参标定精度评定方法的流程示意图之一；
33.图2是本发明提供的激光雷达与相机外参标定精度评定方法的流程示意图之二；
34.图3是本发明提供的标定板结构示意图；
35.图4是本发明提供的激光线圈与标定板面相切示意图；
36.图5是本发明提供的坐标转换过程示意图；
37.图6是本发明提供的激光雷达与相机外参标定精度评定装置的结构示意图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.请参见图1，本发明实施例提供了一种激光雷达与相机外参标定精度评定方法，可以包括步骤：
40.s1、获取相机针对于标定板录制的图像数据，并获取激光雷达针对于所述标定板录制的点云数据；
41.s2、基于所述图像数据获取标定板图像，根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息；
42.s3、基于所述点云数据提取所述标定板中目标位置的点云坐标信息，根据雷达与相机的标定外参以及相机内参将所述点云坐标信息变换为标定板中目标位置的第二像素坐标信息；
43.s4、计算所述第一像素坐标信息与第二像素坐标信息的误差信息，根据所述误差信息确定外参标定精度评定结果。
44.在本发明实施例中，进一步地，所述根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息，具体包括：
45.获取所述标定板图像的标记信息，根据预先确定的标记信息与目标位置的位置关系获取目标位置从世界坐标信息到相机坐标系的姿态变换信息；
46.根据相机内参将所述姿态变换信息变换至像素坐标系，获取得到标定板中目标位置在像素坐标系的第一像素坐标信息。
47.在本发明实施例中，进一步地，所述基于所述点云数据提取所述标定板中目标位置的点云坐标信息，具体包括：
48.基于激光雷达的录制停留时间筛选出从预设录制位置录制的针对于标定板目标位置的所有点云数据，并将同一录制位置对应的多帧点云数据进行合并为单帧点云数据；
49.根据获取到的rt矩阵将所述单帧点云数据从三维空间变换为二维平面，基于标定板的尺度信息，使用一个外切空心圆的矩形框在标定板所在的激光点云二维平面按照一定步长进行滑动，当所述矩形框的点云面积最小时获取得到标定板中的目标位置；
50.根据所述rt矩阵的逆矩阵对所述标定板中的目标位置进行转换，得到所述标定板中目标位置的点云坐标信息。
51.在本发明实施例中，进一步地，所述计算所述第一像素坐标信息与第二像素坐标信息的误差信息，具体包括：
52.分别移动雷达和相机至不同的录制位置，获取多组第一像素坐标信息和第二像素坐标信息，并计算多组第一像素坐标信息和第二像素坐标信息的平均误差，作为所述第一像素坐标信息与第二像素坐标信息的误差信息。
53.在本发明实施例中，进一步地，所述根据所述误差信息确定外参标定精度评定结果，具体包括：
54.将所述误差信息与预设的误差标准信息进行比对，获取得到雷达与相机的外参标定精度评定结果。
55.在本发明实施例中，进一步地，所述标定板的标记信息为预先设置在标定板上的多个ar码。
56.在本发明实施例中，进一步地，所述标定板中的目标位置为位于标定板中心位置的空心圆。
57.请参见图2，基于上述方案，为便于更好的理解本发明实施例提供的激光雷达与相机外参标定精度评定方法，以下进行详细说明：
58.本发明实施例可以通过以下步骤实现：
59.1)选取专用标定板：
60.可以采用矩阵硬板，中心位置有掏空的同心圆，四角贴有ar码，并且各个组成部分尺寸和相对位置可知，如图3所示。
61.2)录制方式：
62.2-1)标定板相对多线激光雷达位置远近根据实际使用要求进行确定；
63.2-2)标定板面与多线激光线圈尽量相切，打在标定板面的激光线数尽量多；
64.如图4所示，从俯视图看，左侧为激光线圈，这里只是画出其中一线作为展示，右侧为标定板；
65.2-3)标定板需要在目标相机的fov范围内；
66.2-4)数据录制时，同一位置需要静止录制5秒后再转移到下一采集位置。
67.3)根据图片ar码信息，提取圆心的像素坐标：
68.3-1)选择一帧图片，从图片中识别四角ar，获取ar码对应的位置信息；
69.原理：
70.3-1-1)ar可以提供从自身码位置到相机的位姿变换信息；
71.3-1-2)opencv提供了ar码识别接口，从而可以获取标定板四处ar码位置得到相机的姿态变换信息；
72.3-2)将ar对应的位置信息，计算出中心点(圆心)位置信息；
73.3-2-1)由于四个ar码在标定板上位置已知(人工确定ar码贴的位置)，并且圆在标定板位置可知，那么四个ar码的位置与圆心的位置关系也可确定，从而计算出圆心到相机的姿态变换信息(也就是圆心从世界坐标系到相机坐标系的姿态变换信息)；
74.3-3)将圆心位置信息转换像素坐标系信息；
75.3-3-1)根据上一步骤获取到的标定板圆心到相机(这里指的是相机坐标系)姿态变换信息；位置信息和像素坐标系关系可以从图5中摄像机坐标到像素坐标的关系进行理
解，数学关系可以从5-2-2)中式子进行理解。
76.3-3-2)根据相机标定程序，可以获取相机的内参；
77.3-3-3)根据相机的内参可以将相机坐标系变换到图像坐标系，再变换到像素坐标系；
78.3-3-4)从而实现获取标定板圆心在像素坐标系ouv的坐标信息。
79.4)根据多线激光点云信息，提取点云圆心坐标：
80.4-1)选择对应图片位置的对应所有点云数据；
81.4-1-1)根据标定板在图片中的fov和激光点距离条件约束，相机和激光雷达数据同步录制，标定板的所摆放位置会暂停5秒，根据录制时间，进行标定板的点云数据选择；
82.4-2)为了让点云足够稠密，提取的圆心精度更高，需要将挑选出来的点云数据合并成一帧点云进行点云提取；
83.4-2-1)根据pcl库提供的接口，对上一步获取的多帧标定板激光点云进行写入并输出成单帧标定板激光点云；
84.4-3)合并后的点云进行点云圆心坐标提取；
85.4-3-1)根据上一步获取的标定板激光点，利用pcl的平面方程拟合接口，对标定板激光点云进行平面拟合，获取平面方程；
86.4-3-2)根据平面方程，将激光点云投影平面方程的所在平面上，获取对应的rt，实现标定板激光点云从3d空间点往2d平面点变换；
87.4-3-3)在2d平面，根据已知的标定板的尺度信息，使用一个外切空心圆的矩形框在标定板所在的激光点云平面按照一定步长进行滑动；由于空心圆位置没有激光点，所以矩形框的点云面积最小时，就是空心圆所在位置；根据pcl的圆拟合接口，获取圆心位置；
88.4-3-4)根据4-3-2)获取rt的逆矩阵，计算圆心位置在3d空间中的坐标。
89.5)根据标定外参与相机内参，将点云圆心变换到像素坐标系下，获取像素坐标；
90.5-1)根据标定工具获取标定的lidar-camera(激光雷达-相机)外参与相机内参；
91.5-2)根据标定外参和相机内参，将点云的圆心坐标变换到像素坐标系下；
92.5-2-1)lidar-camera外参，目的是获取世界坐标系到相机坐标系(又称，摄像机坐标系)的变换矩阵，世界坐标系到像素坐标系的基本转换关系如图5所示。
93.5-2-2)上述四大坐标系变换关系数学描述如下：
[0094][0095]
5-2-3)至此，可以获取标定板激光点云的空心圆圆心在像素坐标系的像素坐标。
[0096]
6)计算两者的像素平均偏差：
[0097]
6-1)通过计算多个位置(这里指的是步骤2)所描述的采集位置)在像素坐标系0uv下，opencv获取的图片圆心位置的像素坐标(u1,v1)与pcl获取的激光点云空圆心坐标变换到像素坐标系下的像素坐标(u2,v2)uv的像素误差(|u1-u2|，|v1-v2|)。
[0098]
6-2)计算像素坐标系空心圆心的像素平均误差，从而作为衡量lidar-camera标定外参精度的指标。
[0099]
与现有技术相比，本发明实施例能够定量化描述lidar-camera标定外参的精度，从而能够高效评估lidar-camera标定外参的精度情况。
[0100]
需要说明的是，对于以上方法或流程实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0101]
请参见图6，本发明实施例还提供一种激光雷达与相机外参标定精度评定装置，包括：
[0102]
数据获取模块1，用于获取相机针对于标定板录制的图像数据，并获取激光雷达针对于所述标定板录制的点云数据；
[0103]
第一坐标获取模块2，用于基于所述图像数据获取标定板图像，根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息；
[0104]
第二坐标获取模块3，用于基于所述点云数据提取所述标定板中目标位置的点云坐标信息，根据雷达与相机的标定外参以及相机内参将所述点云坐标信息变换为标定板中目标位置的第二像素坐标信息；
[0105]
标定精度评定模块4，用于计算所述第一像素坐标信息与第二像素坐标信息的误差信息，根据所述误差信息确定外参标定精度评定结果。
[0106]
可以理解的是上述装置项实施例，是与本发明方法项实施例相对应的，本发明实施例提供的一种激光雷达与相机外参标定精度评定装置，可以实现本发明任意一项方法项实施例提供的激光雷达与相机外参标定精度评定方法。
[0107]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述的激光雷达与相机外参标定精度评定方法。
[0108]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0109]
所述领域的技术人员可以清楚地了解到，为了方便和简洁，上述描述的装置的具体工作过程，可参考前述方法实施例中对应的过程，在此不再赘述。
[0110]
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述
终端设备可包括，但不仅限于，处理器、存储器。
[0111]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
[0112]
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0113]
所述存储介质为计算机可读存储介质，所述计算机程序存储在所述计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0114]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种激光雷达与相机外参标定精度评定方法，其特征在于，包括：获取相机针对于标定板录制的图像数据，并获取激光雷达针对于所述标定板录制的点云数据；基于所述图像数据获取标定板图像，根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息；基于所述点云数据提取所述标定板中目标位置的点云坐标信息，根据雷达与相机的标定外参以及相机内参将所述点云坐标信息变换为标定板中目标位置的第二像素坐标信息；计算所述第一像素坐标信息与第二像素坐标信息的误差信息，根据所述误差信息确定外参标定精度评定结果。2.根据权利要求1所述的激光雷达与相机外参标定精度评定方法，其特征在于，所述根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息，具体包括：获取所述标定板图像的标记信息，根据预先确定的标记信息与目标位置的位置关系获取目标位置从世界坐标信息到相机坐标系的姿态变换信息；根据相机内参将所述姿态变换信息变换至像素坐标系，获取得到标定板中目标位置在像素坐标系的第一像素坐标信息。3.根据权利要求1所述的激光雷达与相机外参标定精度评定方法，其特征在于，所述基于所述点云数据提取所述标定板中目标位置的点云坐标信息，具体包括：基于激光雷达的录制停留时间筛选出从预设录制位置录制的针对于标定板目标位置的所有点云数据，并将同一录制位置对应的多帧点云数据进行合并为单帧点云数据；根据获取到的rt矩阵将所述单帧点云数据从三维空间变换为二维平面，基于标定板的尺度信息，使用一个外切空心圆的矩形框在标定板所在的激光点云二维平面按照一定步长进行滑动，当所述矩形框的点云面积最小时获取得到标定板中的目标位置；根据所述rt矩阵的逆矩阵对所述标定板中的目标位置进行转换，得到所述标定板中目标位置的点云坐标信息。4.根据权利要求1所述的激光雷达与相机外参标定精度评定方法，其特征在于，所述计算所述第一像素坐标信息与第二像素坐标信息的误差信息，具体包括：分别移动雷达和相机至不同的录制位置，获取多组第一像素坐标信息和第二像素坐标信息，并计算多组第一像素坐标信息和第二像素坐标信息的平均误差，作为所述第一像素坐标信息与第二像素坐标信息的误差信息。5.根据权利要求1所述的激光雷达与相机外参标定精度评定方法，其特征在于，所述根据所述误差信息确定外参标定精度评定结果，具体包括：将所述误差信息与预设的误差标准信息进行比对，获取得到雷达与相机的外参标定精度评定结果。6.根据权利要求1所述的激光雷达与相机外参标定精度评定方法，其特征在于，所述标定板的标记信息为预先设置在标定板上的多个ar码。7.根据权利要求1所述的激光雷达与相机外参标定精度评定方法，其特征在于，所述标定板中的目标位置为位于标定板中心位置的空心圆。8.一种激光雷达与相机外参标定精度评定装置，其特征在于，包括：
数据获取模块，用于获取相机针对于标定板录制的图像数据，并获取激光雷达针对于所述标定板录制的点云数据；第一坐标获取模块，用于基于所述图像数据获取标定板图像，根据所述标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息；第二坐标获取模块，用于基于所述点云数据提取所述标定板中目标位置的点云坐标信息，根据雷达与相机的标定外参以及相机内参将所述点云坐标信息变换为标定板中目标位置的第二像素坐标信息；标定精度评定模块，用于计算所述第一像素坐标信息与第二像素坐标信息的误差信息，根据所述误差信息确定外参标定精度评定结果。9.一种终端设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的激光雷达与相机外参标定精度评定方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的激光雷达与相机外参标定精度评定方法。

技术总结
本发明提供一种激光雷达与相机外参标定精度评定方法、装置、设备及存储介质，所述方法包括：获取相机针对于标定板录制的图像数据，并获取激光雷达针对于标定板录制的点云数据；基于图像数据获取标定板图像，根据标定板图像中的标定板的标记信息获取标定板中目标位置的第一像素坐标信息；基于点云数据提取标定板中目标位置的点云坐标信息，根据雷达与相机的标定外参以及相机内参将点云坐标信息变换为标定板中目标位置的第二像素坐标信息；计算第一像素坐标信息与第二像素坐标信息的误差信息，根据误差信息确定外参标定精度评定结果。本发明能够对雷达与相机外参标定精度进行定量化描述，并且有效提高了雷达与相机外参标定精度验证的效率。精度验证的效率。精度验证的效率。


技术研发人员：杨亮鸿 刘国清 杨广 王启程 郑伟
受保护的技术使用者：湖南佑湘网联智能科技有限公司
技术研发日：2023.04.21
技术公布日：2023/7/25