一种相机与4D毫米波雷达数据融合与目标检测方法与流程

一种相机与4d毫米波雷达数据融合与目标检测方法
技术领域
1.本发明涉及自动驾驶、目标检测、视频监控的技术领域，尤其涉及一种相机与4d毫米波雷达数据融合与目标检测方法。


背景技术：

2.以自动驾驶领域为例，目前主流的感知融合技术是采用相机、激光雷达、毫米波雷达进行数据融合。
3.单用相机图像数据，无法准确获取目标的空间距离；单一的视觉相机传感器检测识别精度不够高，稳定性也比较差，检测纵向距离范围也比较近，相机容易受到光线、天气等因素的影响，尤其在晚上、下雨天。
4.采用激光雷达与相机数据融合的方式，识别和定位效果都比较好，激光雷达虽然能探测到空间三维信息，准确率更高，但是容易受到下雨天，雾霾天气环境的约束，成本非常高，还容易损坏。
5.毫米波雷达受光照和天气的因素影响比较小，稳定性比较高，并且测距精度也比较高，距离也比较远，但是目前毫米波雷达分辨比较低，对金属比较敏感，进而识别性能比较差，并且不能够识别目标的特征信息，目前市场上普遍使用3d毫米波雷达，可以输出目标速度、距离、水平角等信息，无法采集目标的高度信息，这种数据融合的方式，经常无法判断静止目标或高处目标，存在一定的安全风险。


技术实现要素：

6.本发明旨在解决现有技术的不足，而提供一种相机与4d毫米波雷达数据融合与目标检测方法。
7.本发明为实现上述目的，采用以下技术方案：
8.一种相机与4d毫米波雷达数据融合与目标检测方法，包括以下步骤：
9.s1、相机采集前方的图像，对前方的环境进行目标感知，感知的目标包括人员、车辆；
10.s2、4d毫米波雷达探照前方环境，4d毫米波雷达输出目标的距离、速度、水平角、高度这四个维度的数据；
11.s3、相机和4d毫米波雷达进行联合标定，通过时空同步算法，对图像数据和4d毫米波雷达采集的点云数据进行时空同步；
12.s4、时空同步后，通过神经网络检测图像中的目标，并通过融合决策算法，确定目标的信息。
13.步骤s3中，相机和4d毫米波雷达进行联合标定采用的时空同步算法，通过相机、4d毫米波雷达数据时间戳进行数据时间同步，具体为：
14.通过标定板对相机、4d毫米波雷达进行空间标定，在相机端构建相机空间坐标系，以相机镜头光心处为相机空间坐标系原点，x轴和y轴分别平行于图像横轴、纵轴，z轴沿光
心穿过镜头向外；
15.在4d毫米波雷达端构建雷达空间坐标系，以雷达发射平面中心为雷达坐标系原点，x轴和y轴分别平行于相机坐标系x轴、y轴，z轴垂直于雷达发射平面；
16.相机采集标定板图像数据，4d毫米波雷达采集标定板的空间数据，包括距离、速度、水平角、高度，多次移动标定板的位置，采集多对图像和4d毫米波雷达数据，标定板在每对图像与4d毫米波雷达数据中的关系是对应的，将4d毫米波雷达数据在两个确定的空间平面上进行降维，得到两组降维后的雷达数据，使用降维后的雷达数据与图像进行空间标定。
17.降维的雷达数据与两个确定的空间平面，分别为：
18.第一组降维的雷达数据，通过数据中的水平角这一维度，计算出所有雷达目标点到雷达发射平面中心线的距离，然后将4d毫米波雷达数据投影到雷达空间坐标系中x/y轴平面中，该雷达空间坐标系中x/y轴平面是一个确定的空间平面，称为雷达平面；
19.第二组降维的雷达数据，删除数据中的高度这一维度，将4d毫米波雷达数据投影到大地平面中，该大地平面是一个确定的空间平面，称为大地平面。
20.使用降维后的雷达数据与图像进行空间标定，按以下步骤进行：
21.p1、在采集的多对图像和4d毫米波雷达数据中，进行如下操作：
22.p11、在相机图像中找到标定板，并记录标定板中心的像素坐标，多张图像中标定板的像素坐标，构成像素矩阵；
23.p12、在4d毫米波雷达中找到标定板的点云信息，并将此点的信息在两个确定的平面中进行降维，得到其在两个确定平面中的信息，多个标定板的点云坐标降维后，分别在两个平面中构成一个点云矩阵；
24.p2、通过张正友标定法提前标定相机内参数据，可得到图像像素坐标与相机空间坐标的对应关系，之后通过像素矩阵、雷达平面中的点云矩阵计算图像与雷达平面的单应性变换关系，通过像素矩阵、大地平面中的点云矩阵计算图像与大地平面的单应性变换关系，完成标定工作。
25.步骤s4中，融合决策算法，按以下步骤进行：
26.相机与4d毫米波雷达已完成时空标定，图像中识别目标并对目标进行框选，4d毫米波雷达数据均降维至两个确定的平面，也就是雷达平面、大地平面；
27.通过图像与雷达平面的单应性变换关系，将雷达平面中的点云均投影到图像平面中，并筛选出落入图像识别框选范围内的点群q1；
28.通过图像与大地平面的单应性变换关系，将大地平面中的点云均投影到图像平面中，并筛选出落在图像识别框下边框上下一定范围内的点q2；
29.将q1，q2中的点进行回溯，若q1、q2中分别包含原4d毫米波雷达点云数据在两个确定平面中的投影点，则认为4d毫米波雷达中的该点云就是图像目标对应的目标点，可进行数据融合。
30.步骤s4中，目标的信息包括目标的空间位置关系、目标的空间高度。
31.目标的空间位置关系包括目标的距离、速度、水平角度。
32.因为4d毫米波雷达中点云数据的高度无法准确代表目标高度信息，因此需要进行计算来确定目标的空间高度，具体步骤为：
33.图像目标最终对应成功的点云中，记录其高度；记录图像中目标框的像素高度；记
录该点云降维在雷达平面后，投影到图像时，该点与图像目标框下边框的像素高度，可计算：
[0034][0035]
得到目标实际的空间高度。
[0036]
本发明的有益效果是：本发明将图像目标数据与4d毫米波雷达数据进行标定、融合、分析，以此来确定图像目标在空间中位置信息、高度信息，不仅可以实现融合检测的功能，还可以避免应目标高度不明确导致的安全问题。
附图说明
[0037]
图1为本发明的流程示意图；
[0038]
以下将结合本发明的实施例参照附图进行详细叙述。
具体实施方式
[0039]
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
[0040]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
[0041]
下面结合附图和实施例对本发明作进一步说明：
[0042]
基于4d毫米波雷达技术的突破，目前市场上逐渐开始有4d毫米波设备的应用，其可以输出目标速度、距离、水平角、高度信息。4d毫米波雷达与相机数据融合的方式，既能解决激光雷达成本高的问题，又能解决3d毫米波雷达与相机数据融合无高度信息的问题。相机与4d毫米波雷达数据融合，在三维目标检测方面将会成为重要的融合检测手段，将会得到快速的发展。
[0043]
本发明就针对性的提出了一种相机与4d毫米波雷达数据融合与目标检测方法，4d毫米波雷达可输出目标的距离、速度、水平角、高度四个维度的数据，如图1所示，具体过程如下，
[0044]
相机采集前方的图像，对前方的环境进行人员、车辆等目标感知；4d毫米波雷达探照前方环境；
[0045]
相机和4d毫米波雷达进行联合标定，通过时空同步算法，对图像数据和4d毫米波雷达采集的点云数据进行时空同步；
[0046]
时空同步后，通过神经网络检测图像中的目标，并通过融合决策算法，确定目标的空间位置关系、目标高度等信息。
[0047]
相机和4d毫米波雷达进行联合标定采用的时空同步算法，通过相机、4d毫米波雷达数据时间戳进行数据时间同步，通过小型标定板对相机、4d毫米波雷达进行空间标定，小型标定板为黑色、10cm*10cm的方格板。
[0048]
相机采集标定板图像数据，4d毫米波雷达采集标定板的空间数据(距离、速度、水平角、高度)。多次移动小型标定板的位置，采集多对图像(map1，map2，map3，...，mapn)和4d毫米波雷达数据(point1，point2，point3，...，pointn)，标定板在每对图像与4d毫米波雷达数据中的关系是对应的，即map1中标定板像素数据与point1中雷达数据是对应的、map2中标定板像素数据与point2中雷达数据是对应的，以此类推。将4d毫米波雷达数据在两个确定的空间平面上进行降维，得到两组降维后的雷达数据，使用降维后的雷达数据与图像进行空间标定。
[0049]
降维的雷达数据与两个确定的空间平面，分别为：
[0050]
第一组降维的雷达数据，通过数据中的水平角这一维度，计算出所有雷达目标点到雷达发射平面中心线(即z轴)的距离，然后将4d毫米波雷达数据投影到雷达空间坐标系中x/y轴平面中，该雷达空间坐标系中x/y轴平面就是两个确定的空间平面之一，简称雷达平面；
[0051]
第二组降维的雷达数据，删除数据中的高度这一维度，相当于将4d毫米波雷达数据投影到大地平面中，该大地平面也是两个确定的空间平面之一，简称大地平面。
[0052]
使用降维后的雷达数据与图像进行空间标定，按以下步骤进行：
[0053]
在采集的多对图像和4d毫米波雷达数据中，分别做如下操作：
[0054]
在相机图像中找到小型标定板，并记录小型标定板中心的像素坐标。多张图像中小型标定板的像素坐标，构成像素矩阵m[pixel(u1,v1),pixel(u2,v2),pixel(u3,v3),...,pixel(un,vn)]；
[0055]
在4d毫米波雷达中找到小型标定板的点云信息，并将此点的信息在两个确定的平面中进行降维，得到其在两个确定平面中的信息。多个小型标定板的点云坐标，降维后，分别在两个平面中构成一个点云矩阵：在雷达平面降维后的点云矩阵prader[prader1,prader2,prader3,...,pradern]＝prader[point(x1,y1)，point(x2,y2)，point(x3,y3)，...，point(xn,yn)]，在大地平面降维后的点云矩阵pland[pland1,pland2,pland3,...,plandn]＝pland[point(x1,z1)，point(x2,z2)，point(x3,z3)，...，point(xn,zn)]。
[0056]
通过张正友标定法提前标定相机内参数据，可得到图像像素坐标与相机空间坐标的对应关系。之后，通过像素矩阵、雷达平面中的点云矩阵计算图像与雷达平面的单应性变换关系，通过像素矩阵、大地平面中的点云矩阵计算图像与大地平面的单应性变换关系，完成标定工作。
[0057]
融合决策算法，按以下步骤进行：
[0058]
相机与4d毫米波雷达已完成时空标定，图像中识别目标并对目标进行框选，4d毫米波雷达数据均降维至两个确定的平面(雷达平面、大地平面)；
[0059]
通过图像与雷达平面的单应性变换关系，将雷达平面中的点云均投影到图像平面中，并筛选出落入图像识别框选范围内的点群q1，假设q1＝{prader1,prader3,prader6}；
[0060]
通过图像与大地平面的单应性变换关系，将大地平面中的点云均投影到图像平面中，并筛选出落在图像识别框下边框上下小范围内的点q2＝{pland2,pland3}；
[0061]
将q1，q2中的点进行回溯，若q1、q2中分别包含原4d毫米波雷达点云数据在两个确定平面中的投影点，则认为4d毫米波雷达中的该点云就是图像目标对应的目标点，即q1中
prader3与q2中pland3均来自于4d毫米波雷达中同一点云，认为该点云便是图像目标对应的点云。
[0062]
目标的空间位置关系、目标的空间高度等信息，其包含：
[0063]
目标位置关系包括目标的距离、速度、水平角度；
[0064]
因为4d毫米波雷达中点云数据的高度无法准确代表目标高度信息，因此需要计算确定目标的空间高度：
[0065]
图像目标最终对应成功的点云中，记录其高度；记录图像中目标框的像素高度；记录该点云降维在雷达平面后，投影到图像时，该点与图像目标框下边框的像素高度，可计算：
[0066][0067]
得到目标实际的空间高度。
[0068]
相机可以采用长焦相机、短焦相机两中类型，分别于4d毫米波雷达数据进行融合，得到两组融合结果，再将该两组结果进行结合，此方式可以大大增加相机、4d毫米波雷达目标检测的范围和距离。
[0069]
本发明将图像目标数据与4d毫米波雷达数据进行标定、融合、分析，以此来确定图像目标在空间中位置信息、高度信息，不仅可以实现融合检测的功能，还可以避免应目标高度不明确导致的安全问题。
[0070]
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进直接应用于其它场合的，均在本发明的保护范围之内。

技术特征：
1.一种相机与4d毫米波雷达数据融合与目标检测方法，其特征在于，包括以下步骤：s1、相机采集前方的图像，对前方的环境进行目标感知；s2、4d毫米波雷达探照前方环境，4d毫米波雷达输出目标的距离、速度、水平角、高度这四个维度的数据；s3、相机和4d毫米波雷达进行联合标定，通过时空同步算法，对图像数据和4d毫米波雷达采集的点云数据进行时空同步；s4、时空同步后，通过神经网络检测图像中的目标，并通过融合决策算法，确定目标的信息。2.根据权利要求1所述的一种相机与4d毫米波雷达数据融合与目标检测方法，其特征在于，步骤s3中，相机和4d毫米波雷达进行联合标定采用的时空同步算法，通过相机、4d毫米波雷达数据时间戳进行数据时间同步，具体为：通过标定板对相机、4d毫米波雷达进行空间标定，在相机端构建相机空间坐标系，以相机镜头光心处为相机空间坐标系原点，x轴和y轴分别平行于图像横轴、纵轴，z轴沿光心穿过镜头向外；在4d毫米波雷达端构建雷达空间坐标系，以雷达发射平面中心为雷达坐标系原点，x轴和y轴分别平行于相机坐标系x轴、y轴，z轴垂直于雷达发射平面；相机采集标定板图像数据，4d毫米波雷达采集标定板的空间数据，包括距离、速度、水平角、高度，多次移动标定板的位置，采集多对图像和4d毫米波雷达数据，标定板在每对图像与4d毫米波雷达数据中的关系是对应的，将4d毫米波雷达数据在两个确定的空间平面上进行降维，得到两组降维后的雷达数据，使用降维后的雷达数据与图像进行空间标定。3.根据权利要求2所述的一种相机与4d毫米波雷达数据融合与目标检测方法，其特征在于，降维的雷达数据与两个确定的空间平面，分别为：第一组降维的雷达数据，通过数据中的水平角这一维度，计算出所有雷达目标点到雷达发射平面中心线的距离，然后将4d毫米波雷达数据投影到雷达空间坐标系中x/y轴平面中，该雷达空间坐标系中x/y轴平面是一个确定的空间平面，称为雷达平面；第二组降维的雷达数据，删除数据中的高度这一维度，将4d毫米波雷达数据投影到大地平面中，该大地平面是一个确定的空间平面，称为大地平面。4.根据权利要求3所述的一种相机与4d毫米波雷达数据融合与目标检测方法，其特征在于，使用降维后的雷达数据与图像进行空间标定，按以下步骤进行：p1、在采集的多对图像和4d毫米波雷达数据中，进行如下操作：p11、在相机图像中找到标定板，并记录标定板中心的像素坐标，多张图像中标定板的像素坐标，构成像素矩阵；p12、在4d毫米波雷达中找到标定板的点云信息，并将此点的信息在两个确定的平面中进行降维，得到其在两个确定平面中的信息，多个标定板的点云坐标降维后，分别在两个平面中构成一个点云矩阵；p2、通过张正友标定法提前标定相机内参数据，可得到图像像素坐标与相机空间坐标
的对应关系，之后通过像素矩阵、雷达平面中的点云矩阵计算图像与雷达平面的单应性变换关系，通过像素矩阵、大地平面中的点云矩阵计算图像与大地平面的单应性变换关系，完成标定工作。5.根据权利要求4所述的一种相机与4d毫米波雷达数据融合与目标检测方法，其特征在于，步骤s4中，融合决策算法，按以下步骤进行：相机与4d毫米波雷达已完成时空标定，图像中识别目标并对目标进行框选，4d毫米波雷达数据均降维至两个确定的平面，也就是雷达平面、大地平面；通过图像与雷达平面的单应性变换关系，将雷达平面中的点云均投影到图像平面中，并筛选出落入图像识别框选范围内的点群q1；通过图像与大地平面的单应性变换关系，将大地平面中的点云均投影到图像平面中，并筛选出落在图像识别框下边框上下一定范围内的点q2；将q1，q2中的点进行回溯，若q1、q2中分别包含原4d毫米波雷达点云数据在两个确定平面中的投影点，则认为4d毫米波雷达中的该点云就是图像目标对应的目标点，可进行数据融合。6.根据权利要求5所述的一种相机与4d毫米波雷达数据融合与目标检测方法，其特征在于，步骤s4中，目标的信息包括目标的空间位置关系、目标的空间高度。7.根据权利要求6所述的一种相机与4d毫米波雷达数据融合与目标检测方法，其特征在于，目标的空间位置关系包括目标的距离、速度、水平角度。8.根据权利要求7所述的一种相机与4d毫米波雷达数据融合与目标检测方法，其特征在于，因为4d毫米波雷达中点云数据的高度无法准确代表目标高度信息，因此需要进行计算来确定目标的空间高度，具体步骤为：图像目标最终对应成功的点云中，记录其高度；记录图像中目标框的像素高度；记录该点云降维在雷达平面后，投影到图像时，该点与图像目标框下边框的像素高度，可计算：得到目标实际的空间高度。9.根据权利要求8所述的一种相机与4d毫米波雷达数据融合与目标检测方法，其特征在于，步骤s1中，感知的目标包括人员、车辆。

技术总结
本发明是一种相机与4D毫米波雷达数据融合与目标检测方法，包括以下步骤：相机采集前方的图像，对前方的环境进行目标感知，感知的目标包括人员、车辆；4D毫米波雷达探照前方环境，4D毫米波雷达输出目标的距离、速度、水平角、高度这四个维度的数据；相机和4D毫米波雷达进行联合标定，通过时空同步算法，对图像数据和4D毫米波雷达采集的点云数据进行时空同步；时空同步后，通过神经网络检测图像中的目标，并通过融合决策算法，确定目标的信息。本发明将图像目标数据与4D毫米波雷达数据进行标定、融合、分析，以此来确定图像目标在空间中位置信息、高度信息，不仅可以实现融合检测的功能，还可以避免应目标高度不明确导致的安全问题。题。题。


技术研发人员：关腾腾 刘兵 曾建波 黄朝晖
受保护的技术使用者：天津新松智能科技有限公司
技术研发日：2023.07.21
技术公布日：2023/9/22