一种旋转激光雷达相机组合的标定与融合方法

1.本技术属于激光雷达相机标定及真彩点云融合领域，特别涉及一种旋转激光雷达相机组合的标定与融合方法。


背景技术：

2.在机器人感知、三维场景重建等应用中，通常用激光雷达和相机采集同一场景的数据进行联合标定，建立激光雷达扫描点与图像平面中像素点之间的空间对应关系，融合生成三维真彩点云即实景模型。此方法与传统的rgb-d相机相比，具有更高的视深精度和更低的光敏度，并且为了提高扫描分辨率，改善大多数商用激光雷达目前只能获得稀疏数据的状况，引入转台与激光雷达共同构成激光雷达转台系统进行采集。
3.总的来说，用于密集重建和着色系统的标定与融合方法依赖于两个校准。一个是激光雷达转台系统的校准，它决定了三维几何测量精度；另一个是激光雷达和相机之间的联合校准，它影响着色的效果。在现有技术中这两个校准方案，还存在三维几何测量精度低、着色的效果不佳等问题，另外，现有方案中较少涉及激光雷达测量中存在的边缘效应。典型的边缘效应如图2所示，边缘上的测量范围介于前景和背景目标的距离之间，也称为混合像素。由于点云特征定位不可避免地涉及到边缘提取，如果处理不当，边缘效应可能会降低标定的精度和三维重建效果。
4.因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。


技术实现要素：

5.本技术的目的是提供了一种旋转激光雷达相机组合的标定与融合方法，以解决现有技术中存在的三维几何测量精度低、着色的效果不佳，以及边缘效应降低标定的精度和三维重建效果的问题。
6.本技术的技术方案是：
7.一种旋转激光雷达相机组合的标定与融合方法，包括：
8.步骤一、通过多源感知系统的激光雷达以及相机分别对棋盘孔标定板进行数据采集；
9.其中，所述多源感知系统包括：转台、激光雷达、一个或者多个相机，所述激光雷达以及所述相机设置在所述转台上，通过所述转台带动所述激光雷达以及所述相机绕采集旋转轴共同转动，所述激光雷达与所述相机的相对位置不变，且视场有重合；
10.步骤二、对所述激光雷达采集的棋盘孔标定板点云进行特征提取，得到在固定扫描坐标系中的棋盘孔标定板角点的位置；
11.步骤三、根据所述棋盘孔标定板角点的位置，对所述多源感知系统的激光雷达以及转台进行联合标定，得到第一旋转平移参数；
12.步骤四、根据所述棋盘孔标定板角点的位置，对所述多源感知系统的激光雷达以及相机进行联合标定，得到第二旋转平移参数；
13.步骤五、根据所述第一旋转平移参数以及所述第二旋转平移参数，将激光雷达以及相机采集的数据进行融合，生成三维实景模型。
14.在本技术的至少一个实施例中，所述棋盘孔标定板为具有预定厚度的面板，所述棋盘孔标定板的前平面设置有黑白相间的棋盘格图案，各个所述棋盘格四角上的点定义为棋盘孔标定板角点，其中，
15.在各个黑色棋盘格中开设圆柱孔，所述圆柱孔的中心与对应的所述黑色棋盘格的中心重合，且所有圆柱孔的孔径均相等。
16.在本技术的至少一个实施例中，所述棋盘孔标定板为具有预定厚度的面板，所述棋盘孔标定板的前平面设置有黑白相间的棋盘格图案，各个所述棋盘格四角上的点定义为棋盘孔标定板角点，其中，
17.在各个白色棋盘格中开设圆柱孔，所述圆柱孔的中心与对应的所述白色棋盘格的中心重合，且所有圆柱孔的孔径均相等。
18.在本技术的至少一个实施例中，步骤二中，所述对所述激光雷达采集的棋盘孔标定板点云进行特征提取，得到在固定扫描坐标系中的棋盘孔标定板角点的位置，包括：
19.s2.1、将所述激光雷达采集的棋盘孔标定板点云从激光雷达坐标系转换到固定扫描坐标系中；
20.s2.2、消除所述固定扫描坐标系中的棋盘孔标定板点云的边缘效应；
21.s2.3、通过消除边缘效应后的棋盘孔标定板点云，拟合计算出棋盘孔标定板上的圆柱孔与前平面相交圆的圆心；
22.s2.4、对于任意棋盘孔标定板角点，计算该角点斜对角两个相邻的圆柱孔与前平面相交圆的圆心的坐标的平均值，得到所有棋盘孔标定板角点的坐标。
23.在本技术的至少一个实施例中，s2.1中，所述将所述激光雷达采集的棋盘孔标定板点云从激光雷达坐标系转换到固定扫描坐标系中，包括：
24.s2.1.1、建立激光雷达坐标系{a}以及固定扫描坐标系{b}；其中，
25.所述激光雷达坐标系{a}的原点为激光雷达发射激光束的中心，z轴垂直于激光雷达扫描平面，y轴为激光雷达正前方扫描中线，x轴根据右手定则确定；
26.所述固定扫描坐标系{b}的原点为多源感知系统的采集旋转轴中点，x轴为采集旋转轴，z轴为多源感知系统的安装平面的垂直向量，y轴根据右手定则确定；
27.s2.1.2、定义所述激光雷达坐标系{a}的y轴与多源感知系统的安装平面平行时受控角度为θ＝0
°
，所述激光雷达坐标系{a}到所述固定扫描坐标系{b}的旋转量为(γ
bax
，γ
bay
，γ
baz
)
t
，平移量为(t
bax
，t
bay
，t
baz
)
t
；
28.将激光雷达采集的旋转受控角度θ后激光雷达坐标系{a
θ
}中的点转换为固定扫描坐标系{b}中的点bp：
[0029][0030]
其中，r
bx
(θ)为激光雷达坐标系{a}随转台以受控角度θ沿轴旋转时的旋转矩阵。
[0031]
在本技术的至少一个实施例中，s2.2中，所述消除所述固定扫描坐标系中的棋盘孔标定板点云的边缘效应，包括：
[0032]
s2.2.1、确定所述固定扫描坐标系中的棋盘孔标定板点云的边缘点集，包括：
[0033]
对固定扫描坐标系{b}中的任意点bp在水平方向用i、垂直方向用j进行检索得到点p
i，j
，以及点p
i，j
的相邻点p
m，n
；
[0034]
若点p
i，j
周围存在一个相邻点p
m，n
，能够满足|r
i，j-r
m，n
|＞δd，则点p
i，j
∈φe；
[0035]
其中，r
i，j
为固定扫描坐标系{b}的原点到点p
i，j
之间的距离，r
m，n
为固定扫描坐标系{b}的原点到相邻点p
m，n
之间的距离，δd为r
i，j
与r
m，n
之间的允许差，φe为边缘点集；
[0036]
s2.2.2、确定所述固定扫描坐标系中的棋盘孔标定板点云的棋盘孔标定板前平面法向量，包括：
[0037]
获取所述固定扫描坐标系中的棋盘孔标定板集合ψb，在棋盘孔标定板集合ψb的前平面上均匀的选择n
bp
个点p
bp，l
，其中l＝1，2，...，n
bp
，得到棋盘孔标定板前平面集合ψ
bp
；
[0038]
计算棋盘孔标定板前平面集合ψ
bp
的协方差矩阵的最小特征值，所述最小特征值对应的特征向量即为棋盘孔标定板前平面法向量
[0039][0040]
其中，棋盘孔标定板前平面中心点p
bpa
，是棋盘孔标定板前平面集合ψ
bp
中所有点的平均位置；
[0041]
s2.2.3、通过边缘点集以及棋盘孔标定板前平面法向量消除边缘效应，包括：
[0042]
通过边缘点集φe与棋盘孔标定板集合ψb求交集，得到棋盘孔标定板上的边缘点集φ
ec
，边缘点集φ
ec
中共有n
ec
个点；
[0043]
遍历棋盘孔标定板上的边缘点集φ
ec
的点p
ec，l
，l＝1，2，...，n
ec
；若满足则p
ec，l
∈φ
eb
；
[0044]
即若任意点p
ec，l
与棋盘孔标定板前平面中心点p
bpa
在棋盘孔标定板前平面法向量方向上的距离大于棋盘孔标定板厚度db，则剔除该点，消除边缘效应，得到去噪后的棋盘孔标定板边缘点集φ
eb
。
[0045]
在本技术的至少一个实施例中，s2.3中，所述通过消除边缘效应后的棋盘孔标定板点云，拟合计算出棋盘孔标定板上的圆柱孔与前平面相交圆的圆心，包括：
[0046]
定义棋盘孔标定板上的圆柱孔为半径相同的圆柱体，圆柱体轴线的方向与棋盘孔标定板前平面法向量相同，从去噪后的棋盘孔标定板边缘点集φ
eb
中提取棋盘孔标定板上所有圆柱孔的点集φ
eh
；
[0047]
定义棋盘孔标定板上每个圆柱孔的点集为φ
eh，x
，x＝1，2，...nk，其中，x为从上到下从左到右顺序的不同的圆柱孔，nk为棋盘孔标定板上所有圆柱孔的数量；
[0048]
将每个圆柱体的点集φ
eh，x
中的点表示为p
eh-x，l
，l＝1，2，...，n
ehx
，其中，n
ehx
为每
个圆柱体的点集φ
eh，x
中包含的点云数量；
[0049]
计算出每个圆柱体与前平面相交圆的圆心p
cc，x
，使得该圆柱体的点集φ
eh，x
中的点p
eh-x，l
与圆心p
cc，x
在棋盘孔标定板前平面法向量方向上的距离之和的平均值最小，且满足点p
cc，x
始终在棋盘孔标定板前平面上：
[0050][0051]
遍历所有圆柱孔，得到棋盘孔标定板前平面上所有圆柱孔的圆心p
cc，x
的集合φ
cc
。
[0052]
在本技术的至少一个实施例中，步骤三中，所述根据所述棋盘孔标定板角点的位置，对所述多源感知系统的激光雷达以及转台进行联合标定，得到第一旋转平移参数，包括：
[0053]
s3.1、将棋盘孔标定板移动nb次，获取每个移动位置的nm个棋盘孔标定板角点，以及nb个棋盘孔标定板角点的点集；
[0054]
s3.2、计算任意两个移动位置中对应的棋盘孔标定板角点在固定扫描坐标系下的距离与实际距离的误差：
[0055][0056]
其中，p
cor-p，k
为在第p个移动位置时第k个棋盘孔标定板角点在固定扫描坐标系中的位置，p
cor-q，k
为在第q个移动位置时第k个棋盘孔标定板角点在固定扫描坐标系中的位置，p
tcor-p，k
为动捕设备采集到的在第p个移动位置时第k个棋盘孔标定板角点的实际位置，p
tcor-q，k
为动捕设备采集到的在第q个移动位置时第k个棋盘孔标定板角点的实际位置；
[0057]
计算出误差e
lm
最小时，所述激光雷达坐标系{a}到所述固定扫描坐标系{b}的第一旋转平移参数(
γbax
，
γbay
，
γbaz
，t
bax
，t
bay
，t
baz
)
t
。
[0058]
在本技术的至少一个实施例中，步骤四中，所述根据所述棋盘孔标定板角点的位置，对所述多源感知系统的激光雷达以及相机进行联合标定，得到第二旋转平移参数，包括：
[0059]
s4.1、将棋盘孔标定板移动nb次，获取每个移动位置的nm个棋盘孔标定板角点，以及nb个棋盘孔标定板角点的点集；
[0060]
s4.2、建立每个相机的相机坐标系{c}，其中，所述相机坐标系{c}的原点为相机的焦点，z轴为相机的光轴，x轴和y轴分别与相机图像的x轴、y轴平行；
[0061]
s4.3、定义所述固定扫描坐标系{b}到所述相机坐标系{c}的旋转量为(γ
cbx
，γ
cby
，γ
cbz
)
t
，平移量为(t
cbx
，t
cby
，t
cbz
)
t
；
[0062]
计算在第p个移动位置时第k个棋盘孔标定板角点投影在相机像素平面上的投影点：
[0063]
[0064]
其中，i
pcor-p，k
为相机像素平面上的投影点的位置，p
cor-p，k
为在第p个移动位置时第k个棋盘孔标定板角点在固定扫描坐标系下的位置，z
cor-p，k
为p
cor-p，k
在相机坐标系中的z轴上的值，kc为相机的内部参数矩阵；
[0065]
计算相机像素平面上的投影点的位置i
pcor-p，k
与相机图像中对应的棋盘孔标定板角点的像素位置i
icor-p，k
的像素差e
cb
：
[0066][0067]
计算出像素差e
cb
最小时，所述固定扫描坐标系{b}到所述相机坐标系{c}的第二旋转平移参数(γ
cbx
，γ
cby
，γ
cbz
，t
cbx
，t
cby
，t
cbz
)
t
。
[0068]
在本技术的至少一个实施例中，步骤五中，所述根据所述第一旋转平移参数以及所述第二旋转平移参数，将激光雷达以及相机采集的数据进行融合，生成三维实景模型，包括：
[0069]
s5.1、根据所述第一旋转平移参数以及所述第二旋转平移参数，将激光雷达采集的旋转受控角度θ后激光雷达坐标系{a
θ
}中的点转换为相机坐标系{c}中的点cp：
[0070][0071]
s5.2、将相机坐标系{c}中的点cp通过经典针孔相机模型投影得到该点在相机像素平面上的坐标(u
l
，v
l
)，根据坐标(u
l
，v
l
)检索得到像素坐标上对应的颜色；
[0072]
s5.3、将已知颜色信息的点cp反投影至固定扫描坐标系{b}中，得到具有颜色信息的三维实景模型。
[0073]
发明至少存在以下有益技术效果：
[0074]
本技术的旋转激光雷达相机组合的标定与融合方法，
[0075]
1.在对激光雷达扫描得到的点云进行特征提取处理过程中，利用边缘点集和棋盘孔标定板前平面表达公式自动消除边缘效应，减少边缘特征点误选率，提高特征点提取准确度。
[0076]
2.激光雷达转台标定的误差和激光雷达相机标定的重投影误差均能达到优异的精度。
[0077]
3.真彩点云融合精度显著提高。
附图说明
[0078]
图1是本技术一个实施方式的旋转激光雷达相机组合的标定与融合方法流程图；
[0079]
图2是典型的边缘效应示意图；
[0080]
图3是本技术一个实施方式的棋盘孔标定板示意图；
[0081]
图4是本技术一个实施方式的获取固定扫描坐标系中的棋盘孔标定板角点流程图；
[0082]
图5是本技术一个实施方式的坐标系示意图。
具体实施方式
[0083]
为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本技术的实施例进行详细说明。
[0084]
在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术保护范围的限制。
[0085]
下面结合附图1及图3至图5对本技术做进一步详细说明。
[0086]
本技术提供了一种旋转激光雷达相机组合的标定与融合方法，如图1所示，包括以下步骤：
[0087]
步骤一、通过多源感知系统的激光雷达以及相机分别对棋盘孔标定板进行数据采集；
[0088]
其中，多源感知系统包括：转台、激光雷达、一个或者多个相机，激光雷达以及相机设置在转台上，通过转台带动激光雷达以及相机绕采集旋转轴共同转动，激光雷达与相机的相对位置不变，且视场有重合；
[0089]
步骤二、对激光雷达采集的棋盘孔标定板点云进行特征提取，得到在固定扫描坐标系中的棋盘孔标定板角点的位置；
[0090]
步骤三、根据棋盘孔标定板角点的位置，对多源感知系统的激光雷达以及转台进行联合标定，得到第一旋转平移参数；
[0091]
步骤四、根据棋盘孔标定板角点的位置，对多源感知系统的激光雷达以及相机进行联合标定，得到第二旋转平移参数；
[0092]
步骤五、根据第一旋转平移参数以及第二旋转平移参数，将激光雷达以及相机采集的数据进行融合，生成三维实景模型。
[0093]
本技术的旋转激光雷达相机组合的标定与融合方法，首先通过多源感知系统的激光雷达以及相机分别对棋盘孔标定板进行数据采集，棋盘孔标定板为具有预定厚度的平整面板，在棋盘孔标定板的前平面设置有黑白相间的棋盘格图案，将各个棋盘格四角上的点定义为棋盘孔标定板角点。在棋盘孔标定板的黑色棋盘格和白色棋盘格中任选一种，在相同颜色的所有棋盘格中开设圆柱孔，圆柱孔的中心与该圆柱孔所在的棋盘格的中心重合，且所有圆柱孔的孔径均相等。在本技术的一个实施方式中，如图3所示，在所有黑色棋盘格中开设圆柱孔。
[0094]
本技术的旋转激光雷达相机组合的标定与融合方法，对激光雷达采集的棋盘孔标定板点云进行特征提取，得到在固定扫描坐标系中的棋盘孔标定板角点的位置，如图4所示，具体包括：
[0095]
s2.1、将激光雷达采集的棋盘孔标定板点云从激光雷达坐标系转换到固定扫描坐标系中，包括：
[0096]
s2.1.1、建立激光雷达坐标系{a}以及固定扫描坐标系{b}；如图5所示，其中，
[0097]
激光雷达坐标系{a}的原点为激光雷达发射激光束的中心，z轴垂直于激光雷达扫描平面，y轴为激光雷达正前方扫描中线，x轴根据右手定则确定；
[0098]
固定扫描坐标系{b}固定不动，固定扫描坐标系{b}的原点为多源感知系统的采集旋转轴中点，x轴为采集旋转轴，z轴为多源感知系统的安装平面的垂直向量，y轴根据右手定则确定；
[0099]
s2.1.2、定义激光雷达坐标系{a}的y轴与多源感知系统的安装平面平行时受控角度为θ＝0
°
，激光雷达坐标系{a}到固定扫描坐标系{b}的旋转量为(γ
bax
，γ
bay
，γ
baz
)1，平移量为(t
bax
，t
bay
，t
baz
)1；
[0100]
将激光雷达采集的旋转受控角度θ后激光雷达坐标系{a
θ
}中的点转换为固定扫描坐标系{b}中的点bp：
[0101][0102]
其中，r
bx
(θ)为激光雷达坐标系{a}随转台以受控角度θ沿轴旋转时的旋转矩阵。
[0103]
s2.2、消除固定扫描坐标系中的棋盘孔标定板点云的边缘效应，包括：
[0104]
s2.2.1、确定固定扫描坐标系中的棋盘孔标定板点云的边缘点集，包括：
[0105]
对固定扫描坐标系{b}中的任意点bp在水平方向用i、垂直方向用j进行检索得到点p
i，j
，以及点p
i，j
的相邻点p
m，n
；
[0106]
若点p
i，j
周围存在一个相邻点p
m，n
，能够满足|r
i，j-r
m，n
|＞δd，则点p
i，j
∈φe；
[0107]
其中，r
i，j
为固定扫描坐标系{b}的原点到点p
i，j
之间的距离，r
m，n
为固定扫描坐标系{b}的原点到相邻点p
m，n
之间的距离，δd为r
i，j
与r
m，n
之间的允许差，φe为边缘点集；
[0108]
s2.2.2、确定固定扫描坐标系中的棋盘孔标定板点云的棋盘孔标定板前平面法向量，包括：
[0109]
提取棋盘孔标定板区域的点云，得到固定扫描坐标系中的棋盘孔标定板集合ψb，在棋盘孔标定板集合ψb的前平面上均匀的选择n
bp
个点p
bp，l
，其中l＝1，2，...，n
bp
，得到棋盘孔标定板前平面集合ψ
bp
；
[0110]
计算棋盘孔标定板前平面集合ψ
bp
的协方差矩阵的最小特征值，最小特征值对应的特征向量即为棋盘孔标定板前平面法向量
[0111][0112]
其中，棋盘孔标定板前平面中心点p
bpa
，是棋盘孔标定板前平面集合ψ
bp
中所有点
的平均位置，最终棋盘孔标定板前平面由和p
bpa
确定表示。
[0113]
s2.2.3、通过边缘点集以及棋盘孔标定板前平面法向量消除边缘效应，包括：
[0114]
通过边缘点集φe与棋盘孔标定板集合ψb求交集，得到棋盘孔标定板上的边缘点集φ
ec
，边缘点集φ
ec
中共有n
ec
个点；
[0115]
遍历棋盘孔标定板上的边缘点集φ
ec
的点p
ec，l
，l＝1，2，...，n
ec
；若满足则p
ec，l
∈φ
eb
；
[0116]
即若任意点p
ec，l
与棋盘孔标定板前平面中心点p
bpa
在棋盘孔标定板前平面法向量方向上的距离大于棋盘孔标定板厚度db，则剔除该点，消除边缘效应，得到去噪后的棋盘孔标定板边缘点集φ
eb
。
[0117]
s2.3、通过消除边缘效应后的棋盘孔标定板点云，拟合计算出棋盘孔标定板上的圆柱孔与前平面相交圆的圆心，包括：
[0118]
定义棋盘孔标定板上的圆柱孔为半径相同的圆柱体，圆柱体轴线的方向与棋盘孔标定板前平面法向量相同，从去噪后的棋盘孔标定板边缘点集φ
eb
中提取棋盘孔标定板上所有圆柱孔的点集φ
eh
；
[0119]
定义棋盘孔标定板上每个圆柱孔的点集为φ
eh，x
，x＝1，2，...nk，其中，x为从上到下从左到右顺序的不同的圆柱孔，nk为棋盘孔标定板上所有圆柱孔的数量；
[0120]
将每个圆柱体的点集φ
eh，x
中的点表示为p
eh-x，l
，l＝1，2，...，n
ehx
，其中，n
ehx
为每个圆柱体的点集φ
eh，x
中包含的点云数量；
[0121]
计算出每个圆柱体与前平面相交圆的圆心p
cc，x
，使得该圆柱体的点集φ
eh，x
中的点p
eh-x，l
与圆心p
cc，x
在棋盘孔标定板前平面法向量方向上的距离之和的平均值最小，且满足点p
cc，x
始终在棋盘孔标定板前平面上：
[0122][0123]
遍历所有圆柱孔，得到棋盘孔标定板前平面上所有圆柱孔的圆心p
cc，x
的集合φ
cc
。
[0124]
s2.4、对于任意棋盘孔标定板角点，计算该角点斜对角两个相邻的圆柱孔与前平面相交圆的圆心的坐标的平均值，得到所有棋盘孔标定板角点的坐标。
[0125]
本技术通过在激光雷达扫描得到的点云进行特征提取过程中，消除了边缘效应，能够提高后续标定的精度，并达到更好的三维重建效果。
[0126]
本技术的旋转激光雷达相机组合的标定与融合方法，根据棋盘孔标定板角点的位置，对多源感知系统的激光雷达以及转台进行联合标定，得到第一旋转平移参数，具体包括：
[0127]
s3.1、将棋盘孔标定板移动nb次，获取每个移动位置的nm个棋盘孔标定板角点，以及nb个棋盘孔标定板角点的点集；
[0128]
多次变动棋盘孔标定板的位置，根据步骤二的方式获取每个移动位置的nm个棋盘孔标定板角点，以及nb个棋盘孔标定板角点的点集；
[0129]
s3.2、计算任意两个移动位置中对应的棋盘孔标定板角点在固定扫描坐标系下的距离与实际距离的误差：
[0130][0131]
其中，p
cor-p，k
为在第p个移动位置时第k个棋盘孔标定板角点在固定扫描坐标系中的位置，p
cor-q，k
为在第q个移动位置时第k个棋盘孔标定板角点在固定扫描坐标系中的位置，p
tcor-p，k
为动捕设备采集到的在第p个移动位置时第k个棋盘孔标定板角点的实际位置，p
tcor-q，k
为动捕设备采集到的在第q个移动位置时第k个棋盘孔标定板角点的实际位置；
[0132]
得到的误差e
lm
为旋转量(γ
bax
，γ
bay
，γ
baz
)
t
和平移量(t
bax
，t
bay
，t
baz
)
t
的函数，求解成本函数误差e
lm
最小化的非线性优化问题；
[0133]
计算出误差e
lm
最小时，激光雷达坐标系{a}到固定扫描坐标系{b}的第一旋转平移参数(γ
bax
，γ
bay
，γ
baz
，t
bax
，t
bay
，t
baz
)
t
。
[0134]
本技术的旋转激光雷达相机组合的标定与融合方法，通过上述对多源感知系统的激光雷达以及转台进行联合标定，从而提高三维几何测量精度。
[0135]
本技术的旋转激光雷达相机组合的标定与融合方法，根据棋盘孔标定板角点的位置，对多源感知系统的激光雷达以及相机进行联合标定，得到第二旋转平移参数，具体包括：
[0136]
s4.1、将棋盘孔标定板移动nb次，获取每个移动位置的nm个棋盘孔标定板角点，以及nb个棋盘孔标定板角点的点集；
[0137]
多次变动棋盘孔标定板的位置，根据步骤二的方式获取每个移动位置的nm个棋盘孔标定板角点，以及nb个棋盘孔标定板角点的点集；
[0138]
s4.2、建立每个相机的相机坐标系{c}，其中，相机坐标系{c}的原点为相机的焦点，z轴为相机的光轴，x轴和y轴分别与相机图像的x轴、y轴平行；
[0139]
s4.3、定义固定扫描坐标系{b}到相机坐标系{c}的旋转欧拉角为(γ
cbx
，γ
cby
，γ
cbz
)
t
，平移量为(t
cbx
，t
cby
，t
cbz
)
t
；
[0140]
结合经典针孔相机模型，计算在第p个移动位置时第k个棋盘孔标定板角点投影在相机像素平面上的投影点：
[0141][0142]
其中，i
pcor-p，k
为相机像素平面上的投影点的位置，p
cor-p，k
为在第p个移动位置时第k个棋盘孔标定板角点在固定扫描坐标系下的位置，z
cor-p，k
为p
cor-p，k
在相机坐标系中的z轴上的值，kc为相机的内部参数矩阵；
[0143]
计算相机像素平面上的投影点的位置i
pcor-p，k
与相机图像中对应的棋盘孔标定板角点的像素位置i
icor-p，k
的像素差e
cb
：
[0144][0145]
求解成本函数e
cb
最小化的非线性优化问题，计算出像素差e
cb
最小时，固定扫描坐标系{b}到相机坐标系{c}的第二旋转平移参数(γ
cbx
，γ
cby
，γ
cbz
，t
cbx
，t
cby
，t
cbz
)
t
。
[0146]
本技术的旋转激光雷达相机组合的标定与融合方法，通过对多源感知系统的激光雷达以及相机进行联合标定，从而提高着色的效果。
[0147]
本技术的旋转激光雷达相机组合的标定与融合方法，根据第一旋转平移参数以及第二旋转平移参数，将激光雷达以及相机采集的数据进行融合，生成三维实景模型，包括：
[0148]
s5.1、根据第一旋转平移参数以及第二旋转平移参数，将激光雷达采集的旋转受控角度θ后激光雷达坐标系{a
θ
}中的点转换为相机坐标系{c}中的点cp：
[0149][0150]
s5.2、将相机坐标系{c}中的点cp通过经典针孔相机模型投影得到该点在相机像素平面上的坐标(u
l
，v
l
)，根据坐标(u
l
，v
l
)检索得到像素坐标上对应的颜色，即点cp的颜色；
[0151]
s5.3、将已知颜色信息的点cp反投影至固定扫描坐标系{b}中，得到具有颜色信息的三维真彩点云即获得三维实景模型。
[0152]
本技术的旋转激光雷达相机组合的标定与融合方法，能够针对集成了转台、激光雷达、一个或者多个彩色相机的多源感知系统进行标定，并根据标定得到的旋转平移参数，将激光雷达以及相机采集的数据融合生成精度更高的三维真彩点云。本技术在对激光雷达扫描得到的点云进行特征提取处理过程中，利用边缘点集和棋盘孔标定板前平面表达公式自动消除边缘效应，减少边缘特征点误选率，提高特征点提取准确度；激光雷达转台标定的误差和激光雷达相机标定的重投影误差均能达到优异的精度；真彩点云融合精度显著提高。
[0153]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种旋转激光雷达相机组合的标定与融合方法，其特征在于，包括：步骤一、通过多源感知系统的激光雷达以及相机分别对棋盘孔标定板进行数据采集；其中，所述多源感知系统包括：转台、激光雷达、一个或者多个相机，所述激光雷达以及所述相机设置在所述转台上，通过所述转台带动所述激光雷达以及所述相机绕采集旋转轴共同转动，所述激光雷达与所述相机的相对位置不变，且视场有重合；步骤二、对所述激光雷达采集的棋盘孔标定板点云进行特征提取，得到在固定扫描坐标系中的棋盘孔标定板角点的位置；步骤三、根据所述棋盘孔标定板角点的位置，对所述多源感知系统的激光雷达以及转台进行联合标定，得到第一旋转平移参数；步骤四、根据所述棋盘孔标定板角点的位置，对所述多源感知系统的激光雷达以及相机进行联合标定，得到第二旋转平移参数；步骤五、根据所述第一旋转平移参数以及所述第二旋转平移参数，将激光雷达以及相机采集的数据进行融合，生成三维实景模型。2.根据权利要求1所述的旋转激光雷达相机组合的标定与融合方法，其特征在于，所述棋盘孔标定板为具有预定厚度的面板，所述棋盘孔标定板的前平面设置有黑白相间的棋盘格图案，各个所述棋盘格四角上的点定义为棋盘孔标定板角点，其中，在各个黑色棋盘格中开设圆柱孔，所述圆柱孔的中心与对应的所述黑色棋盘格的中心重合，且所有圆柱孔的孔径均相等。3.根据权利要求1所述的旋转激光雷达相机组合的标定与融合方法，其特征在于，所述棋盘孔标定板为具有预定厚度的面板，所述棋盘孔标定板的前平面设置有黑白相间的棋盘格图案，各个所述棋盘格四角上的点定义为棋盘孔标定板角点，其中，在各个白色棋盘格中开设圆柱孔，所述圆柱孔的中心与对应的所述白色棋盘格的中心重合，且所有圆柱孔的孔径均相等。4.根据权利要求2或3所述的旋转激光雷达相机组合的标定与融合方法，其特征在于，步骤二中，所述对所述激光雷达采集的棋盘孔标定板点云进行特征提取，得到在固定扫描坐标系中的棋盘孔标定板角点的位置，包括：s2.1、将所述激光雷达采集的棋盘孔标定板点云从激光雷达坐标系转换到固定扫描坐标系中；s2.2、消除所述固定扫描坐标系中的棋盘孔标定板点云的边缘效应；s2.3、通过消除边缘效应后的棋盘孔标定板点云，拟合计算出棋盘孔标定板上的圆柱孔与前平面相交圆的圆心；s2.4、对于任意棋盘孔标定板角点，计算该角点斜对角两个相邻的圆柱孔与前平面相交圆的圆心的坐标的平均值，得到所有棋盘孔标定板角点的坐标。5.根据权利要求4所述的旋转激光雷达相机组合的标定与融合方法，其特征在于，s2.1中，所述将所述激光雷达采集的棋盘孔标定板点云从激光雷达坐标系转换到固定扫描坐标系中，包括：s2.1.1、建立激光雷达坐标系{a}以及固定扫描坐标系{b}；其中，所述激光雷达坐标系{a}的原点为激光雷达发射激光束的中心，z轴垂直于激光雷达扫描平面，y轴为激光雷达正前方扫描中线，x轴根据右手定则确定；
所述固定扫描坐标系{b}的原点为多源感知系统的采集旋转轴中点，x轴为采集旋转轴，z轴为多源感知系统的安装平面的垂直向量，y轴根据右手定则确定；s2.1.2、定义所述激光雷达坐标系{a}的y轴与多源感知系统的安装平面平行时受控角度为θ＝0
°
，所述激光雷达坐标系{a}到所述固定扫描坐标系{b}的旋转量为(γ
bax
，γ
bay
，γ
baz
)
t
，平移量为(t
bax
，t
bay
，t
baz
)
t
；将激光雷达采集的旋转受控角度θ后激光雷达坐标系{a
θ
}中的点转换为固定扫描坐标系{b}中的点
b
p：其中，r
bx
(θ)为激光雷达坐标系{a}随转台以受控角度θ沿轴旋转时的旋转矩阵。6.根据权利要求4所述的旋转激光雷达相机组合的标定与融合方法，其特征在于，s2.2中，所述消除所述固定扫描坐标系中的棋盘孔标定板点云的边缘效应，包括：s2.2.1、确定所述固定扫描坐标系中的棋盘孔标定板点云的边缘点集，包括：对固定扫描坐标系{b}中的任意点
b
p在水平方向用i、垂直方向用j进行检索得到点p
i，j
，以及点p
i，j
的相邻点p
m，n
；若点p
i，j
周围存在一个相邻点p
m，n
，能够满足|r
i，j-r
m，n
|＞δ
d
，则点p
i，j
∈φ
e
；其中，r
i，j
为固定扫描坐标系{b}的原点到点p
i，j
之间的距离，r
m，n
为固定扫描坐标系{b}的原点到相邻点p
m，n
之间的距离，δ
d
为r
i，j
与r
m，n
之间的允许差，φ
e
为边缘点集；s2.2.2、确定所述固定扫描坐标系中的棋盘孔标定板点云的棋盘孔标定板前平面法向量，包括：获取所述固定扫描坐标系中的棋盘孔标定板集合ψ
b
，在棋盘孔标定板集合ψ
b
的前平面上均匀的选择n
bp
个点p
bp，l
，其中l＝1，2，...，n
bp
，得到棋盘孔标定板前平面集合ψ
bp
；计算棋盘孔标定板前平面集合ψ
bp
的协方差矩阵的最小特征值，所述最小特征值对应的特征向量即为棋盘孔标定板前平面法向量对应的特征向量即为棋盘孔标定板前平面法向量其中，棋盘孔标定板前平面中心点p
bpa
，是棋盘孔标定板前平面集合ψ
bp
中所有点的平均位置；s2.2.3、通过边缘点集以及棋盘孔标定板前平面法向量消除边缘效应，包括：通过边缘点集φ
e
与棋盘孔标定板集合ψ
b
求交集，得到棋盘孔标定板上的边缘点集φ
ec
，边缘点集φ
ec
中共有n
ec
个点；遍历棋盘孔标定板上的边缘点集φ
ec
的点p
ec，l
，l＝1，2，...，n
ec
；若满足则p
ec，l
∈φ
eb
；
即若任意点p
ec，l
与棋盘孔标定板前平面中心点p
bpa
在棋盘孔标定板前平面法向量方向上的距离大于棋盘孔标定板厚度d
b
，则剔除该点，消除边缘效应，得到去噪后的棋盘孔标定板边缘点集φ
eb
。7.根据权利要求4所述的旋转激光雷达相机组合的标定与融合方法，其特征在于，s2.3中，所述通过消除边缘效应后的棋盘孔标定板点云，拟合计算出棋盘孔标定板上的圆柱孔与前平面相交圆的圆心，包括：定义棋盘孔标定板上的圆柱孔为半径相同的圆柱体，圆柱体轴线的方向与棋盘孔标定板前平面法向量相同，从去噪后的棋盘孔标定板边缘点集φ
eb
中提取棋盘孔标定板上所有圆柱孔的点集φ
eh
；定义棋盘孔标定板上每个圆柱孔的点集为φ
eh，x
，x＝1，2，...n
k
，其中，x为从上到下从左到右顺序的不同的圆柱孔，n
k
为棋盘孔标定板上所有圆柱孔的数量；将每个圆柱体的点集φ
eh，x
中的点表示为p
eh-x，l
，l＝1，2，...，n
ehx
，其中，n
ehx
为每个圆柱体的点集φ
eh，x
中包含的点云数量；计算出每个圆柱体与前平面相交圆的圆心p
cc，x
，使得该圆柱体的点集φ
eh，x
中的点p
eh-x，l
与圆心p
cc，x
在棋盘孔标定板前平面法向量方向上的距离之和的平均值最小，且满足点p
cc，x
始终在棋盘孔标定板前平面上：遍历所有圆柱孔，得到棋盘孔标定板前平面上所有圆柱孔的圆心p
cc，x
的集合φ
cc
。8.根据权利要求1所述的旋转激光雷达相机组合的标定与融合方法，其特征在于，步骤三中，所述根据所述棋盘孔标定板角点的位置，对所述多源感知系统的激光雷达以及转台进行联合标定，得到第一旋转平移参数，包括：s3.1、将棋盘孔标定板移动n
b
次，获取每个移动位置的n
m
个棋盘孔标定板角点，以及n
b
个棋盘孔标定板角点的点集；s3.2、计算任意两个移动位置中对应的棋盘孔标定板角点在固定扫描坐标系下的距离与实际距离的误差：其中，p
cor-p，k
为在第p个移动位置时第k个棋盘孔标定板角点在固定扫描坐标系中的位置，p
cor-q，k
为在第q个移动位置时第k个棋盘孔标定板角点在固定扫描坐标系中的位置，p
tcor-p，k
为动捕设备采集到的在第p个移动位置时第k个棋盘孔标定板角点的实际位置，p
tcor-q，k
为动捕设备采集到的在第q个移动位置时第k个棋盘孔标定板角点的实际位置；计算出误差e
lm
最小时，所述激光雷达坐标系{a}到所述固定扫描坐标系{b}的第一旋转平移参数(γ
bax
，γ
bay
，γ
baz
，t
bax
，t
bay
，t
baz
)
t
。9.根据权利要求1所述的旋转激光雷达相机组合的标定与融合方法，其特征在于，步骤
四中，所述根据所述棋盘孔标定板角点的位置，对所述多源感知系统的激光雷达以及相机进行联合标定，得到第二旋转平移参数，包括：s4.1、将棋盘孔标定板移动n
b
次，获取每个移动位置的n
m
个棋盘孔标定板角点，以及n
b
个棋盘孔标定板角点的点集；s4.2、建立每个相机的相机坐标系{c}，其中，所述相机坐标系{c}的原点为相机的焦点，z轴为相机的光轴，x轴和y轴分别与相机图像的x轴、y轴平行；s4.3、定义所述固定扫描坐标系{b}到所述相机坐标系{c}的旋转量为(γ
cbx
，γ
cby
，γ
cbz
)
t
，平移量为(t
cbx
，t
cby
，t
cbz
)
t
；计算在第p个移动位置时第k个棋盘孔标定板角点投影在相机像素平面上的投影点：其中，i
pcor-p，k
为相机像素平面上的投影点的位置，p
cor-p，k
为在第p个移动位置时第k个棋盘孔标定板角点在固定扫描坐标系下的位置，z
cor-p，k
为p
cor-p，k
在相机坐标系中的z轴上的值，k
c
为相机的内部参数矩阵；计算相机像素平面上的投影点的位置i
pcor-p，k
与相机图像中对应的棋盘孔标定板角点的像素位置i
icor-p，k
的像素差e
cb
：计算出像素差e
cb
最小时，所述固定扫描坐标系{b}到所述相机坐标系{c}的第二旋转平移参数(γ
cbx
，γ
cby
，γ
cbz
，t
cbx
，t
cby
，t
cbz
)
t
。10.根据权利要求1所述的旋转激光雷达相机组合的标定与融合方法，其特征在于，步骤五中，所述根据所述第一旋转平移参数以及所述第二旋转平移参数，将激光雷达以及相机采集的数据进行融合，生成三维实景模型，包括：s5.1、根据所述第一旋转平移参数以及所述第二旋转平移参数，将激光雷达采集的旋转受控角度θ后激光雷达坐标系{a
θ
}中的点转换为相机坐标系{c}中的点
c
p：s5.2、将相机坐标系{c}中的点
c
p通过经典针孔相机模型投影得到该点在相机像素平面上的坐标(u
l
，v
l
)，根据坐标(u
l
，v
l
)检索得到像素坐标上对应的颜色；s5.3、将已知颜色信息的点
c
p反投影至固定扫描坐标系{b}中，得到具有颜色信息的三维实景模型。

技术总结
本申请属于激光雷达相机标定及真彩点云融合领域，特别涉及一种旋转激光雷达相机组合的标定与融合方法。包括：步骤一、通过多源感知系统的激光雷达以及相机分别对棋盘孔标定板进行数据采集；步骤二、对激光雷达采集的棋盘孔标定板点云进行特征提取，得到在固定扫描坐标系中的棋盘孔标定板角点的位置；步骤三、根据棋盘孔标定板角点的位置，对多源感知系统的激光雷达以及转台进行联合标定，得到第一旋转平移参数；步骤四、根据棋盘孔标定板角点的位置，对多源感知系统的激光雷达以及相机进行联合标定，得到第二旋转平移参数；步骤五、根据第一旋转平移参数以及第二旋转平移参数，将激光雷达以及相机采集的数据进行融合，生成三维实景模型。景模型。景模型。


技术研发人员：解杨敏 高云涵 林轶丽 周芷欣
受保护的技术使用者：上海大学
技术研发日：2023.04.06
技术公布日：2023/8/1