目标融合方法、装置、电子设备及存储介质与流程

1.本发明涉及自动驾驶技术领域，具体涉及一种目标融合方法、装置、电子设备及存储介质。


背景技术：

2.随着自动驾驶技术的不断发展，自动驾驶车辆在人们的日常生活中越来越普及。而目标信息融合的准确度对自动驾驶的安全性至关重要，如果目标信息融合误差较大，会严重影响到自动驾驶车辆的安全性。
3.在现有技术中，通常是基于视觉传感器和毫米波雷达来进行目标信息融合。但由于视觉传感器在弯道等特殊场景中，对目标的识别距离较短、识别稳定程度较差、目标属性与真实情况容易出现较大差异，甚至目标位置与车道线相对关系也会随着弯道的变化而变化，尤其在弯道曲率较大的情况下，视觉传感器因横向运动模型不准，导致弯道下横向速度分解不准确，出现弯道越大，最终输出目标与实际差异越大的情况，因此，现有的目标信息融合方式在弯道等特殊场景下的融合结果准确度较低。


技术实现要素：

4.本发明的目的之一在于提供一种目标融合方法，以解决现有的目标信息融合方式在弯道等特殊场景下的融合结果准确度较低的问题；目的之二在于提供一种目标融合装置；目的之三在于提供一种电子设备；目的之四在于提供一种存储介质。
5.为了实现上述目的，本发明采用的技术方案如下：
6.一种目标融合方法，所述方法包括：获取多个传感器对应的多个目标，其中，所述多个目标包括激光雷达对应的第一类目标、毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标；将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果；根据所述数据关联结果，对关联成功的目标进行融合，得到融合目标。
7.根据上述技术手段，可以将毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标分别与激光雷达对应的第一类目标进行数据关联和融合，即以激光雷达对应的第一类目标作为数据关联和融合的依据。这样，可以充分利用激光雷达在弯道场景下的高精度测距特性和高稳定输出目标特性，避免了现有技术中以视觉传感器对应的第三类目标作为数据关联和融合的依据而导致的融合结果准确度较低的问题，从而提高车辆在弯道等特殊场景下行驶时的目标融合结果的准确度，进而提高车辆的安全性。
8.进一步，所述将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果，包括：将所述第一类目标确定为初始目标；基于所述初始目标和预设的椭圆门限，从所述第二类目标和所述第三类目标中筛选出候选目标集合；确定所述候选目标集合中各候选目标分别与所述初始目标之间的马氏距离、运动趋势和目标类型匹配结果；根据所述马氏距离、所述运动趋势和所述目标类型匹配结果，确定所述初始目标
对应的最优候选目标；对所述初始目标和所述最优候选目标进行数据关联，得到所述数据关联结果。
9.根据上述技术手段，可以以激光雷达对应的第一类目标作为数据关联的依据，从毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标中，筛选出最优候选目标来与第一类目标进行数据关联，从而尽可能减小弯道场景下视觉传感器对应的第三类目标的误差干扰，提高目标数据关联的准确性。
10.进一步，所述对所述初始目标和所述最优候选目标进行数据关联，得到所述数据关联结果，包括：获取各传感器预先设计的关联匹配算法和关联参数，其中，不同传感器对应的关联匹配算法和关联参数不同；根据所述初始目标对应的关联匹配算法和关联参数，以及所述最优候选目标对应的关联匹配算法和关联参数，对所述初始目标和所述最优候选目标进行数据关联，得到所述数据关联结果。
11.根据上述技术手段，可以为不同的传感器设置不同的关联匹配算法和关联参数，因而在数据关联过程中，既可以执行各传感器通用的关联算法，又能执行各传感器自身对应的关联匹配算法和关联参数，解决了各传感器工作原理及实际性能差异巨大带来的关联困难的问题。
12.进一步，所述根据所述数据关联结果，对关联成功的目标进行融合，得到融合目标，包括：获取车辆当前所处的道路场景，其中，所述道路场景为弯道场景或者直道场景；根据所述道路场景，对所述数据关联结果中所述初始目标的目标属性权重值和所述最优候选目标的目标属性权重值进行调整；基于调整后的目标属性权重值，对所述初始目标和所述最优候选目标进行融合，得到所述融合目标。
13.根据上述技术手段，可以在不同的道路场景下对初始目标的目标属性权重值和最优候选目标的目标属性权重值进行动态调整，使得融合目标总体性能达到一个较高的水平。
14.进一步，所述根据所述道路场景，对所述数据关联结果中所述初始目标的目标属性权重值和所述最优候选目标的目标属性权重值进行调整，包括：
15.在所述道路场景为弯道场景的情况下，将所述初始目标的位置属性权重值和所述最优候选目标的速度属性权重值增大，并将所述最优候选目标的位置属性权重值和所述初始目标的速度属性权重值减小，其中，所述位置属性权重值和所述速度属性权重值均属于所述目标属性权重值。
16.根据上述技术手段，可以在弯道场景下，将所述初始目标的位置属性权重值和所述最优候选目标的速度属性权重值增大，并将所述最优候选目标的位置属性权重值和所述初始目标的速度属性权重值减小，充分利用了各传感器在不同目标属性上的优势。
17.进一步，在所述根据所述数据关联结果，对关联成功的目标进行融合，得到融合目标之后，所述方法还包括：
18.在所述融合目标融合有所述第三类目标的数据的情况下，确定所述融合目标的中心点是否落入视觉目标框内，其中，所述视觉目标框是指所述第三类目标在视觉图像投影平面上投影得到的二维框；在确定所述融合目标的中心点落入所述视觉目标框内的情况下，将所述融合目标保留；在确定所述融合目标的中心点未落入所述视觉目标框内的情况下，将所述融合目标剔除。
19.根据上述技术手段，可以使用视觉目标框对融合目标进行合理性判断，实现虚目标校验。
20.进一步，在所述将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果之前，所述方法还包括：按照预先定义的数据格式，分别对所述第一类目标、所述第二类目标和所述第三类目标对应的数据进行格式转换；将格式转换后的所述第一类目标、所述第二类目标和所述第三类目标进行时空同步；所述将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果，包括：对时空同步后的所述第一类目标、所述第二类目标和所述第三类目标进行数据关联，得到所述数据关联结果。
21.根据上述技术手段，可以在进行数据关联之前，对第一类目标、第二类目标和第三类目标进行数据格式转换和时空同步，以此提高数据关联的准确性。
22.一种目标融合装置，所述装置包括：获取模块，用于获取多个传感器对应的多个目标，其中，所述多个目标包括激光雷达对应的第一类目标、毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标；关联模块，用于将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果；融合模块，用于根据所述数据关联结果，对关联成功的目标进行融合，得到融合目标。
23.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现前述目标融合方法的步骤。
24.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述目标融合方法的步骤。
25.本发明的有益效果：
26.(1)本发明可以将毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标分别与激光雷达对应的第一类目标进行数据关联和融合，即以激光雷达对应的第一类目标作为数据关联和融合的依据。这样，可以充分利用激光雷达在弯道场景下的高精度测距特性和高稳定输出目标特性，避免了现有技术中以视觉传感器对应的第三类目标作为数据关联和融合的依据而导致的融合结果准确度较低的问题，从而提高车辆在弯道等特殊场景下行驶时的目标融合结果的准确度，进而提高车辆的安全性；
27.(2)本发明可以为不同的传感器设置不同的关联匹配算法和关联参数，因而在数据关联过程中，既可以执行各传感器通用的关联算法，又能执行各传感器自身对应的关联匹配算法和关联参数，解决了各传感器工作原理及实际性能差异巨大带来的关联困难的问题；
28.(3)本发明可以使用视觉目标框对融合目标进行合理性判断，实现虚目标校验。
附图说明
29.图1为本发明实施例提供的一种目标融合方法的流程示意图；
30.图2为本发明实施例提供的一种车辆的结构示意图；
31.图3为本发明实施例提供的一种目标融合装置的结构示意图；
32.图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
33.以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
34.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
35.参见图1，图1为本发明实施例提供的一种目标融合方法的流程示意图。如图1所示，该目标融合方法可以包括如下步骤：
36.步骤101、获取多个传感器对应的多个目标，其中，多个目标包括激光雷达对应的第一类目标、毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标。
37.具体地，上述多个传感器可以包括但不限于激光雷达、毫米波雷达和视觉传感器等多种传感器，其中，激光雷达可以采用激光对目标进行探测，得到第一类目标；毫米波雷达可以采用毫米波对目标进行探测，得到第二类目标；视觉传感器可以采用图像视觉分析对目标进行探测，得到第三类目标。
38.步骤102、将第二类目标和第三类目标分别与第一类目标进行数据关联，得到数据关联结果。
39.需要说明的是，由工程经验可知，在直道场景下各传感器的目标位置、速度差异不大，融合信息较准。但在弯道场景下且没有激光雷达的系统中，由于第三类目标较之第二类目标普遍存在较大的距离误差，因此常常导致利用视觉传感器新建的第三类目标难以关联上毫米波雷达对应的第二类目标，从而使得最终融合目标位置信息无法利用距离误差更小的毫米波信息进行矫正，因此出现弯道上最终输出的融合目标误差较大的情况。由于第三类目标位置误差的增大，无论如何调整对应的关联参数，均无法保证弯道及普通场景下匹配的准确性。因此，在本发明实施例中通过引入激光雷达，利用激光雷达新建的第一类目标进行数据关联。在弯道场景下进行数据关联时，可以将第二类目标和第三类目标分别与第一类目标进行数据关联，由于第二类目标与第一类目标偏差较小，第三类目标与第一类目标偏差较大，因而第一类目标通常会与第二类目标进行关联，避免了以视觉传感器对应的第三类目标作为数据关联和融合的依据而导致的融合结果准确度较低的问题。
40.步骤103、根据数据关联结果，对关联成功的目标进行融合，得到融合目标。
41.在完成数据关联后，每个数据关联结果包含有来自各传感器的目标，因而需要对每个数据关联结果中各传感器的目标进行融合，以得到融合目标。
42.在本实施例中，可以将毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标分别与激光雷达对应的第一类目标进行数据关联和融合，即以激光雷达对应的第一类目标作为数据关联和融合的依据。这样，可以充分利用激光雷达在弯道场景下的高精度测距特性和高稳定输出目标特性，避免了现有技术中以视觉传感器对应的第三类目标作为数据关联和融合的依据而导致的融合结果准确度较低的问题，从而提高车辆在弯道等特殊场
景下行驶时的目标融合结果的准确度，进而提高车辆的安全性。
43.进一步，上述步骤102、将第二类目标和第三类目标分别与第一类目标进行数据关联，得到数据关联结果，包括：
44.将第一类目标确定为初始目标；
45.基于初始目标和预设的椭圆门限，从第二类目标和第三类目标中筛选出候选目标集合；
46.确定候选目标集合中各候选目标分别与初始目标之间的马氏距离、运动趋势和目标类型匹配结果；
47.根据马氏距离、运动趋势和目标类型匹配结果，确定初始目标对应的最优候选目标；
48.对初始目标和最优候选目标进行数据关联，得到数据关联结果。
49.具体地，上述预设的椭圆门限的大小可以根据实际情况进行设置，本技术实施例不做具体限定。该椭圆门限用于从第二类目标和第三类目标中筛选出候选目标，形成候选目标集合。
50.需要说明的是，由于现有技术中没有激光雷达，获取最优候选目标的流程大致为：程序第一帧以视觉传感器新建的第三类目标作为初始目标，从第二帧起，以初始目标为中点，利用可根据纵向距离变化大小的椭圆门限，初步筛选可能匹配上的候选目标，形成候选目标集合。在候选目标集合中，依次计算初始目标与每一个候选目标的马氏距离。将马氏距离最小的候选目标作为最优候选目标，完成关联步骤。
51.而在本技术实施例中，则是以激光雷达新建的第一类目标作为初始目标，由于其位置精度高，因此可以在一个较小的椭圆门限内寻找视觉、毫米波等传感器的候选目标，形成候选目标集合。视觉传感器对应的第三类目标多在此阶段会被剔除，若没剔除，则正常采用并进行候选步骤。之后计算初始目标与候选目标集合中每一个候选目标的马氏距离。其中，马氏距离计算维度由横纵向距离、横纵向速度构成。与此同时，还需要考虑初始目标与候选目标集合中每一个候选目标是否具有相同运动趋势、是否具有相同目标类型，最终从候选目标集合中选取马氏距离最小、运动趋势相同，且目标类型相同的目标作为最优候选目标。在这一阶段，由于激光雷达与毫米波雷达的探测精度相似，因此常构成激光雷达与毫米波雷达关联的较优的情况，融合目标添加毫米波雷达的目标，输出精度、稳定性进一步提高。
52.这样，可以以激光雷达对应的第一类目标作为数据关联的依据，从毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标中，筛选出最优候选目标来与第一类目标进行数据关联，从而尽可能减小弯道场景下视觉传感器对应的第三类目标的误差干扰，提高目标数据关联的准确性。
53.进一步，上述步骤、对初始目标和最优候选目标进行数据关联，得到数据关联结果，包括：
54.获取各传感器预先设计的关联匹配算法和关联参数，其中，不同传感器对应的关联匹配算法和关联参数不同；
55.根据初始目标对应的关联匹配算法和关联参数，以及最优候选目标对应的关联匹配算法和关联参数，对初始目标和最优候选目标进行数据关联，得到数据关联结果。
56.在一实施例中，由于各传感器的工作原理及实际性能差异巨大，因此各传感器对应的关联匹配算法和关联参数需可以不同。例如，毫米波雷达的纵向测距精度较高，那么在使用椭圆门限筛选的时候，可适当减小门限范围，以求更少的候选目标进入候选目标集合；视觉传感器对应的第三类目标会有目标框相互重叠的情况，因此在关联时可以增加新增目标是否与已有目标相互重叠的逻辑，若检测到新增目标与已有目标相互重叠，则大概率为视觉虚目标导致，因此不进行关联。在设计各传感器对应的关联匹配算法时，可以采用c++抽象类设计抽象关联函数来实现，各传感器对应的关联匹配算法继承该抽象类，在每个周期内依次执行传感器关联算法，即可保证既运行通用关联算法，每个传感器又能运行各自针对性的算法、参数。
57.这样，可以为不同的传感器设置不同的关联匹配算法和关联参数，因而在数据关联过程中，既可以执行各传感器通用的关联算法，又能执行各传感器自身对应的关联匹配算法和关联参数，解决了各传感器工作原理及实际性能差异巨大带来的关联困难的问题。
58.进一步，上述步骤103、根据数据关联结果，对关联成功的目标进行融合，得到融合目标，包括：
59.获取车辆当前所处的道路场景，其中，道路场景为弯道场景或者直道场景；
60.根据道路场景，对数据关联结果中初始目标的目标属性权重值和最优候选目标的目标属性权重值进行调整；
61.基于调整后的目标属性权重值，对初始目标和最优候选目标进行融合，得到融合目标。
62.在一实施例中，每个融合目标包含有来自多个传感器的候选目标信息，利用这些信息即可进行候选的数据融合。目标融合采用的总体方针为：根据工程经验，不同目标属性(如位置、速度等属性)根据车辆当前所处的道路场景，可以动态调整各传感器的目标属性权重值。这样，可以在不同的道路场景下对初始目标的目标属性权重值和最优候选目标的目标属性权重值进行动态调整，使得融合目标总体性能达到一个较高的水平。
63.进一步，上述步骤、根据道路场景，对数据关联结果中初始目标的目标属性权重值和最优候选目标的目标属性权重值进行调整，包括：
64.在道路场景为弯道场景的情况下，将初始目标的位置属性权重值和最优候选目标的速度属性权重值增大，并将最优候选目标的位置属性权重值和初始目标的速度属性权重值减小，其中，位置属性权重值和速度属性权重值均属于目标属性权重值。
65.在一实施例中，由于在弯道场景下，激光雷达的目标横纵向位置准确，但速度收敛慢，且常出现速度误差大的情况，而毫米波雷达则在纵向位置、速度及横向速度上较准，因此融合算法中，最终融合目标的位置属性加大激光雷达的权重，而速度属性加大毫米波雷达权重，充分利用了各传感器在不同目标属性上的优势，使得输出目标总体性能达到一个较高的水平。
66.进一步，在上述步骤103、根据数据关联结果，对关联成功的目标进行融合，得到融合目标之后，该方法还包括：
67.在融合目标融合有第三类目标的数据的情况下，确定融合目标的中心点是否落入视觉目标框内，其中，视觉目标框是指第三类目标在视觉图像投影平面上投影得到的二维框；
68.在确定融合目标的中心点落入视觉目标框内的情况下，将融合目标保留；
69.在确定融合目标的中心点未落入视觉目标框内的情况下，将融合目标剔除。
70.在一实施例中，由于在弯道场景下，毫米波雷达的点云信息容易受环境干扰，激光易出现虚目标，因此可以引入视觉目标框(前提为第三类目标进入候选目标集合并最终被关联上)与第一类目标进行关联。虽然俯视图下，第三类目标的位置与第一类目标的位置差距较大，但在视觉图像投影平面上，第一类目标点的投影常仍可以投影到第三类目标自带的视觉目标框内。利用此特性，开发对应关联策略：每个运行周期判断第一类目标位置中点是否落入视觉目标框内，以此为匹配关联标准。通过此关联第三类目标的投影校验后，可以很大程度上避免弯道场景中，激光、毫米波将弯道护栏、灌木等大体积且连续障碍物识别为车等目标物的错误。
71.在本实施例中，利用视觉目标框对融合目标进行合理性判断，筛出剔除虚目标，可弥补激光雷达、毫米波雷达虚目标对功能的影响。
72.进一步，在上述步骤102、将第二类目标和第三类目标分别与第一类目标进行数据关联，得到数据关联结果之前，该方法还包括：
73.按照预先定义的数据格式，分别对第一类目标、第二类目标和第三类目标对应的数据进行格式转换；
74.将格式转换后的第一类目标、第二类目标和第三类目标进行时空同步；
75.将第二类目标和第三类目标分别与第一类目标进行数据关联，得到数据关联结果，包括：
76.对时空同步后的第一类目标、第二类目标和第三类目标进行数据关联，得到数据关联结果。
77.在一实施例中，每个传感器通常会发出的目标位置、目标速度、目标类型等原始信息，但由于传感器的类型、型号的不同，原始信息发送格式、表述方式也不相同，因此需预先定义统一的数据格式，接收到的原始信号按内容赋值到相应内部数据变量上，从而统一数据格式，实现软硬件隔离。同时，将所有传感器的采集数据以本车系统时间打上时间戳，以此实现时间同步。并且，由于各传感器安装于车身不同位置，其对目标的探测采用不同的坐标系，因此还需要通过旋转、平移的方式，将各传感的测量点移动到本车前保险杠中点，以此实现空间同步。
78.根据上述技术手段，可以在进行数据关联之前，对第一类目标、第二类目标和第三类目标进行数据格式转换和时空同步，以此提高数据关联的准确性。
79.在一实施例中，车辆可以包含前摄像头、前毫米波雷达、角雷达、周视摄像头、激光雷达、车身信息数据接收模块、各传感器对应的信息预处理模块，各传感器对应的数据关联模块，以及数据融合模块、合理性判断模块和融合目标输出模块，如图2所示。前摄像头、前毫米波雷达、角雷达、周视摄像头、激光雷达、车身信息作为融合目标的原始输入信息源，信息预处理模块负责将不同格式的数据转化为融合算法内部统一的数据格式，同时负责所有数据的时空对齐。数据关联模块负责匹配同一时刻各传感器输出结果，将不同传感器数据源目标匹配到一起进行数据融合，并增加激光雷达、毫米波雷达关联策略，最终得到弯道下仍准确的目标信息，为后续自动驾驶功能模块提供可靠的数据来源。
80.具体而言，前摄像头可以为800w像素可变焦距摄像头，用于探测车辆前方120
°
范
围内所有车辆、行人目标。前摄像头的目标识别算法可以采用地平线j5 bev框架数据结果，实现对结构化道路上目标车、行人、动物、骑行者的常规识别。该套算法通过了车规级安全认证，在满足性能需求的基础上，具备工程化的能力。该算法还可以通过以太网方式输出目标信息，此处的目标信息可以包括但不限于：目标位置、目标速度、目标长宽、目标跟踪编号、目标航向信息、目标类型等。
81.前毫米波雷达用于利用多普勒效应对车辆前方120
°
范围内的目标进行探测，即被测物体与本车在径向上速度差越大，探测越清晰，目标输出越准确。毫米波雷达需利用总线通信接口获取本车速度与航向信息，实时校准输出目标属性。由于前毫米波雷达需利用雷达散射截面(radar cross section，简称为rcs)进行目标识别跟踪，因此受环境影响较明显，横向位置、速度误差较大，纵向属性较准，且静止目标只能输出没有尺寸的一个点。
82.角雷达本质与前毫米波雷达一致，均是以多普勒效应对目标进行探测，区别是角雷达安装于本车前保两侧，探测范围左右各100
°
。角雷达需利用总线通信接口获取本车速度与航向信息，实时校准输出目标属性。同时为了避免路面噪波干扰，利用航迹推算、经验阈值等算法对目标进行滤波。此处的目标信息可以包括但不限于：目标位置、目标速度、目标长宽、目标跟踪编号等。
83.周视摄像头可以为200w像素摄像头，安装于本车左右两侧，主要用于探测本车左右两侧120
°
范围内所有车辆、行人目标。其探测范围是本车周边靠近本车的目标，并能输出以目标属性为基本单位的目标级信息。周视摄像头采用地平线j5bev框架作为目标识别算法，对结构化道路上目标输出性能良好，但对城区场景常出现虚目标、位置速度误差大等情况。
84.激光雷达可以安装与车前，用于对车前方的目标进行探测识别。具体地，激光雷达可以采用128线激光雷达，每100ms扫描前方目标并返回70万个点云数据，激光雷达后端实时采用深度学习与传统聚类算法结合的方式，识别点云特征，输出目标信息，按预先定义的协议传输到后端模块使用。
85.在上述前摄像头、前毫米波雷达、角雷达、周视摄像头和激光雷达组成的多传感器系统中，对同一目标的检测，各传感器的输出特性区别较大，通常会出现某一时刻某传感器未能探测到该目标，而其他传感器均能探测到的情况，因此针对此特性，还可以开发传感器输出信息有效统计模块。该模块对同一时刻下，所有传感器输出信息进行检索，输出为空则意味着对应传感器没检测到目标，此时该模块将为此传感器打上未检测标签，后续融合信息时则直接跳过该传感器，大大减少数据索引时间。
86.数据关联模块在进行数据关联和目标匹配时，匹配顺序按各传感器标志位进行，匹配通过则表明为同一目标，后端则利用该传感器数据进行数据融合，输出信息冗余度更高的目标数据。由于弯道目标横向速度分量普遍估计不准，导致视觉类传感器在此场景下输出位置及速度属性与真实差异巨大，甚至出现不识别、虚目标等情况。此时难以区分目标准确度优劣，因此在进行关联匹配时，常出现视觉与毫米波雷达目标相差过大，无法关联为同一目标的情况，且此时静止目标速度视觉类传感器检测误差大，常将静止目标识别为动态目标，最终导致后端融合算法在融合后数据属性也随之出现误差。而在本发明实施例中，利用激光雷达对应的第一类目标与毫米波雷达对应的第二类目标位置属性检测准确、差距较小的特性，在激光关联算法中引入毫米波雷达的匹配逻辑，当激光雷达检测到目标后融
合可输出目标，毫米波雷达数据则可修正激光雷达速度不准确的缺陷，最终可输出弯道下位置、速度较准的目标信息。
87.参见图3，图3为本发明实施例提供的一种目标融合装置的结构示意图。如图3所示，该目标融合装置300，包括：
88.获取模块301，用于获取多个传感器对应的多个目标，其中，多个目标包括激光雷达对应的第一类目标、毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标；
89.关联模块302，用于将第二类目标和第三类目标分别与第一类目标进行数据关联，得到数据关联结果；
90.融合模块303，用于根据数据关联结果，对关联成功的目标进行融合，得到融合目标。
91.进一步，关联模块302包括：
92.第一确定子模块，用于将第一类目标确定为初始目标；
93.筛选子模块，用于基于初始目标和预设的椭圆门限，从第二类目标和第三类目标中筛选出候选目标集合；
94.第二确定子模块，用于确定候选目标集合中各候选目标分别与初始目标之间的马氏距离、运动趋势和目标类型匹配结果；
95.第三确定子模块，用于根据马氏距离、运动趋势和目标类型匹配结果，确定初始目标对应的最优候选目标；
96.数据关联子模块，用于对初始目标和最优候选目标进行数据关联，得到数据关联结果。
97.进一步，数据关联子模块包括：
98.获取单元，用于获取各传感器预先设计的关联匹配算法和关联参数，其中，不同传感器对应的关联匹配算法和关联参数不同；
99.数据关联单元，用于根据初始目标对应的关联匹配算法和关联参数，以及最优候选目标对应的关联匹配算法和关联参数，对初始目标和最优候选目标进行数据关联，得到数据关联结果。
100.进一步，融合模块303包括：
101.获取子模块，用于获取车辆当前所处的道路场景，其中，道路场景为弯道场景或者直道场景；
102.调整子模块，用于根据道路场景，对数据关联结果中初始目标的目标属性权重值和最优候选目标的目标属性权重值进行调整；
103.融合子模块，用于基于调整后的目标属性权重值，对初始目标和最优候选目标进行融合，得到融合目标。
104.进一步，调整子模块包括：
105.调整单元，用于在道路场景为弯道场景的情况下，将初始目标的位置属性权重值和最优候选目标的速度属性权重值增大，并将最优候选目标的位置属性权重值和初始目标的速度属性权重值减小，其中，位置属性权重值和速度属性权重值均属于目标属性权重值。
106.进一步，该装置300包括：
107.确定模块，用于在融合目标融合有第三类目标的数据的情况下，确定融合目标的
中心点是否落入视觉目标框内，其中，视觉目标框是指第三类目标在视觉图像投影平面上投影得到的二维框；
108.保留模块，用于在确定融合目标的中心点落入视觉目标框内的情况下，将融合目标保留；
109.剔除模块，用于在确定融合目标的中心点未落入视觉目标框内的情况下，将融合目标剔除。
110.进一步，该装置300包括：
111.格式转换模块，用于按照预先定义的数据格式，分别对第一类目标、第二类目标和第三类目标对应的数据进行格式转换；
112.时空同步模块，用于将格式转换后的第一类目标、第二类目标和第三类目标进行时空同步；
113.关联模块302，还用于对时空同步后的第一类目标、第二类目标和第三类目标进行数据关联，得到数据关联结果。
114.需要说明的是，该装置300可以实现如前述任意一个方法实施例提供的目标融合方法的步骤，且能达到相同的技术效果，在此不再一一赘述。
115.如图4所示，本发明实施例还提供了一种电子设备，包括处理器411、通信接口412、存储器413和通信总线414，其中，处理器411，通信接口412，存储器413通过通信总线414完成相互间的通信，
116.存储器413，用于存放计算机程序；
117.在本发明一个实施例中，处理器411，用于执行存储器413上所存放的程序时，实现前述任意一个方法实施例提供的目标融合方法，包括：
118.获取多个传感器对应的多个目标，其中，多个目标包括激光雷达对应的第一类目标、毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标；
119.将第二类目标和第三类目标分别与第一类目标进行数据关联，得到数据关联结果；
120.根据数据关联结果，对关联成功的目标进行融合，得到融合目标。
121.除此之外，本发明实施例还提供了一种车辆，该车辆包括前述电子设备，该车辆可以实现如前述任意一个方法实施例提供的目标融合方法的步骤。
122.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的目标融合方法的步骤。
123.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
124.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的
一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种目标融合方法，其特征在于，所述方法包括：获取多个传感器对应的多个目标，其中，所述多个目标包括激光雷达对应的第一类目标、毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标；将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果；根据所述数据关联结果，对关联成功的目标进行融合，得到融合目标。2.根据权利要求1所述的方法，其特征在于，所述将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果，包括：将所述第一类目标确定为初始目标；基于所述初始目标和预设的椭圆门限，从所述第二类目标和所述第三类目标中筛选出候选目标集合；确定所述候选目标集合中各候选目标分别与所述初始目标之间的马氏距离、运动趋势和目标类型匹配结果；根据所述马氏距离、所述运动趋势和所述目标类型匹配结果，确定所述初始目标对应的最优候选目标；对所述初始目标和所述最优候选目标进行数据关联，得到所述数据关联结果。3.根据权利要求2所述的方法，其特征在于，所述对所述初始目标和所述最优候选目标进行数据关联，得到所述数据关联结果，包括：获取各传感器预先设计的关联匹配算法和关联参数，其中，不同传感器对应的关联匹配算法和关联参数不同；根据所述初始目标对应的关联匹配算法和关联参数，以及所述最优候选目标对应的关联匹配算法和关联参数，对所述初始目标和所述最优候选目标进行数据关联，得到所述数据关联结果。4.根据权利要求2所述的方法，其特征在于，所述根据所述数据关联结果，对关联成功的目标进行融合，得到融合目标，包括：获取车辆当前所处的道路场景，其中，所述道路场景为弯道场景或者直道场景；根据所述道路场景，对所述数据关联结果中所述初始目标的目标属性权重值和所述最优候选目标的目标属性权重值进行调整；基于调整后的目标属性权重值，对所述初始目标和所述最优候选目标进行融合，得到所述融合目标。5.根据权利要求4所述的方法，其特征在于，所述根据所述道路场景，对所述数据关联结果中所述初始目标的目标属性权重值和所述最优候选目标的目标属性权重值进行调整，包括：在所述道路场景为弯道场景的情况下，将所述初始目标的位置属性权重值和所述最优候选目标的速度属性权重值增大，并将所述最优候选目标的位置属性权重值和所述初始目标的速度属性权重值减小，其中，所述位置属性权重值和所述速度属性权重值均属于所述目标属性权重值。6.根据权利要求1所述的方法，其特征在于，在所述根据所述数据关联结果，对关联成功的目标进行融合，得到融合目标之后，所述方法还包括：
在所述融合目标融合有所述第三类目标的数据的情况下，确定所述融合目标的中心点是否落入视觉目标框内，其中，所述视觉目标框是指所述第三类目标在视觉图像投影平面上投影得到的二维框；在确定所述融合目标的中心点落入所述视觉目标框内的情况下，将所述融合目标保留；在确定所述融合目标的中心点未落入所述视觉目标框内的情况下，将所述融合目标剔除。7.根据权利要求1所述的方法，其特征在于，在所述将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果之前，所述方法还包括：按照预先定义的数据格式，分别对所述第一类目标、所述第二类目标和所述第三类目标对应的数据进行格式转换；将格式转换后的所述第一类目标、所述第二类目标和所述第三类目标进行时空同步；所述将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果，包括：对时空同步后的所述第一类目标、所述第二类目标和所述第三类目标进行数据关联，得到所述数据关联结果。8.一种目标融合装置，其特征在于，所述装置包括：获取模块，用于获取多个传感器对应的多个目标，其中，所述多个目标包括激光雷达对应的第一类目标、毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标；关联模块，用于将所述第二类目标和所述第三类目标分别与所述第一类目标进行数据关联，得到数据关联结果；融合模块，用于根据所述数据关联结果，对关联成功的目标进行融合，得到融合目标。9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的目标融合方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的目标融合方法的步骤。

技术总结
本发明涉及一种目标融合方法、装置、电子设备及存储介质，该方法包括：获取多个传感器对应的多个目标，其中，多个目标包括激光雷达对应的第一类目标、毫米波雷达对应的第二类目标和视觉传感器对应的第三类目标；将第二类目标和第三类目标分别与第一类目标进行数据关联，得到数据关联结果；根据数据关联结果，对关联成功的目标进行融合，得到融合目标。本发明可以以激光雷达对应的第一类目标作为数据关联和融合的依据，避免了现有技术中以视觉传感器对应的第三类目标作为数据关联和融合的依据而导致的融合结果准确度较低的问题，从而提高车辆在弯道等特殊场景下行驶时的目标融合结果的准确度。结果的准确度。结果的准确度。


技术研发人员：胡涛
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2023.07.06
技术公布日：2023/10/6