一种弱势目标检测的方法、系统及车辆与流程

1.本发明涉及自动驾驶感知技术领域，特别是涉及一种弱势目标检测的方法、系统及车辆。


背景技术：

2.随着科技的发展，汽车智能化成为关注的焦点。环境感知作为智能驾驶领域的核心技术之一，是汽车实现智能化的必经之路。感知在对周围世界建模的过程中，需要知道其他物体的地理位置、速度、运动方向、加速度等各种各样的信息，自动驾驶系统接收这些信息之后，再通过后续的规划和控制模块来对车的运动做真正的调节。其中，道路交通环境下的弱势目标检测，是车辆智能驾驶系统中环境感知的一项重要任务，也是下游进行路径规划，决策，控制的依据。
3.行人和自行车、摩托车、三轮车这一类低速行驶的交通工具所表现出的行为特点具有一定的危险性，主要包括：中途停驻型，前方车辆较多，停顿不前或犹豫不决；中途加快型，这类多半是走到马路中线后，看到汽车急速驶来，或绿灯闪烁时，加速通过；中途放慢型，这类通常先加速抢行穿越，待到达中线后发现路上没有汽车来往，于是减速稳步行进。因为其后续行为变化较大，难以准确预测和估计，且通过传感器让自动驾驶系统判断弱势群体的运动趋势并不容易。


技术实现要素：

4.有鉴于此，本发明提供一种弱势目标检测的方法、系统及车辆。通过添加新的属性约束，对弱势目标添加这类新的属性约束后不仅可以更好地检测弱势目标，还能精准测距，使自动驾驶车辆可以准确识别小目标障碍物，预测估计运动趋势，更好地避障，绕障。解决了遮挡、拥挤等复杂度高，难度大的场景下，弱势目标难以精准识别的问题，极大地提升了检测精度，拥有了在复杂场景下的自动驾驶能力。
5.第一方面，本技术提供一种弱势目标检测的方法，所述方法包括：
6.采集自车周围的图像数据；
7.对采集的所述图像数据进行预处理，获得目标图像数据；
8.将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束；
9.将包括所述2d弱势目标和与所述2d弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2d弱势目标对应的3d弱势目标。
10.可选地，所述方法还包括：
11.根据所述3d弱势目标，预测所述3d弱势目标与所述自车的距离，以及预测所述3d弱势目标的驾驶行为，获得预测结果；
12.根据所述预测结果，控制所述自车执行相应的控制策略。
13.可选地，所述将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述
2d弱势目标对应的属性约束，包括：
14.将所述目标图像数据输入第一预设模型，获得2d弱势目标及对应的目标标识；
15.在2d弱势目标的目标标识为第一类目标标识的情况下，获得与所述第一类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束和姿态属性约束；
16.在2d弱势目标的目标标识为第二类目标标识的情况下，获得与所述第二类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束。
17.可选地，所述第一预设模型的训练过程，如下步骤：
18.获取第一预设数量的训练集和第二预设数量的测试集；
19.通过所述训练集对初始预设模型进行训练，以标注所述训练集中样本的目标标识，以及与样本的目标标识对应的属性约束；
20.通过所述测试集对训练后的所述初始预测模型进行测试，获取训练后的所述初始预测模型的准确度；
21.在所述准确度超过预设阈值时，获得所述第一预设模型；
22.其中，所述测试集中的每个样本标注有所属于的目标标识，以及与目标标识对应的属性约束。
23.可选地，所述对采集的所述图像数据进行预处理，获得目标图像数据，包括：
24.对采集的所述图像数据进行预处理，获得第一目标图像数据；
25.对所述第一目标图像数据进行图像增强处理，获得目标图像数据。
26.可选地，所述拥挤属性约束为2d弱势目标是否被障碍物所遮挡，其中所述障碍物包括：行人、骑行者、自行车、三轮车；所述遮挡属性约束为2d弱势目标是否被非障碍物所遮挡；所述截断属性约束为2d弱势目标是否被图像截断；所述位置属性约束为2d弱势目标和所述自车是否在同一高度；所述姿态属性约束为2d弱势目标的姿态。
27.可选地，采集自车周围的图像数据的图像采集设备包括多个视角的图像采集设备；
28.所述多个视角的图像采集设备，包括：前广角相机、后广角相机、前鱼眼相机、后鱼眼相机、左侧向鱼眼相机、右侧向鱼眼相机。
29.本技术提供了一种弱势目标检测的方法。通过为检测到的弱势目标添加新的属性约束，通过这类属性约束不仅可以更好地检测弱势群体，还能精准测距，使自动驾驶车辆可以准确识别小目标障碍物，预测估计运动趋势，更好地避障，绕障。解决了遮挡、拥挤等复杂度高，难度大的场景下，弱势群体难以精准识别的问题，极大地提升了检测精度，拥有了在复杂场景下的自动驾驶能力。
30.另一方面，本技术提供一种弱势目标检测的系统，所述系统包括：
31.数据获取模块，用于采集自车周围的图像数据；
32.图像预处理模块，用于对采集的所述图像数据进行预处理，获得目标图像数据；
33.第一图像识别模块，用于将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束；
34.第二图像识别模块，用于将包括所述2d弱势目标和与所述2d弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2d弱势目标对应的3d弱势目标。
35.另一方面，本技术提供一种车辆，所述车辆包括如上述的弱势目标检测的系统，用
于执行如上述第一第一方面提供的方法中的步骤。
附图说明
36.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
37.图1是本技术一实施例示出的一种弱势目标检测的方法的流程图；
38.图2是本技术所提供的示出的一种弱势目标检测的系统的示意图。
具体实施方式
39.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
40.图1是本技术一实施例示出的一种弱势目标检测的方法的流程图。参照图1，本技术提供的弱势目标检测的方法包括以下步骤：
41.步骤s11：采集自车周围的图像数据；
42.步骤s12：对采集的所述图像数据进行预处理，获得目标图像数据；
43.步骤s13：将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束；
44.步骤s14：将包括所述2d弱势目标和与所述2d弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2d弱势目标对应的3d弱势目标。
45.在本实施例中，通过自车的车身周围的图像采集设备获取到车身周围的图像数据。对采集到的图像进行预处理，获得目标图像数据，以便于深度学习模型进行识别处理。将目标图像数据输入预先训练好的第一预设模型，该第一预设模型将输出识别到目标图像数据中的2d弱势目标和与该2d弱势目标对应的属性约束。将包括2d弱势目标和与该2d弱势目标对应的属性约束的目标图像数据输入预先训练好的第二预设模型，该第二预设模型将输出与该2d弱势目标对应的3d弱势目标。其中，弱势目标包括：行人、骑行者、自行车、三轮车。
46.本技术所提供的弱势目标检测的方法，通过为检测到的弱势目标添加新的属性约束，通过这类属性约束可以更准确地检测弱势群体。
47.在本技术中，所述方法还包括：步骤s15：根据所述3d弱势目标，预测所述3d弱势目标与所述自车的距离，以及预测所述3d弱势目标的驾驶行为，获得预测结果；根据所述预测结果，控制所述自车执行相应的控制策略。
48.在本实施例中，通过为2d弱势目标添加新的属性约束，使得识别到的2d弱势目标更加准确。同时，通过提前训练好的第二预设模型将2d弱势目标转化为3d弱势目标也将更为准确。由此根据该识别到的3d弱势目标，预测3d弱势目标与自车的距离，以及预测该3d弱势目标的驾驶行为，获得预测结果。根据该预测结果，控制自车执行相应的控制策略，以避
免自车与该3d弱势目标发生碰撞等。
49.示例地，在更为准确地识别到3d弱势目标后，通过模型识别到自车与3d弱势目标的距离，以及预测到该3d弱势目标的驾驶行为为急刹车或快速变换方向急转弯等，控制自车执行相应的制动或紧急避让该3d弱势目标的控制策略，以避免自车与该3d弱势目标发生碰撞。
50.本技术所提供的弱势目标检测的方法，通过预测到的更为准确的3d弱势目标，由此能够更为精准地检测到自车与该3d弱势目标的距离，使自动驾驶车辆可以准确识别到小目标障碍物，预测该类小目标障碍物的运动趋势，以使得自车能够更好地避障，绕障。
51.在本技术中，步骤s13具体包括：将所述目标图像数据输入第一预设模型，获得2d弱势目标及对应的目标标识；在2d弱势目标的目标标识为第一类目标标识的情况下，获得与所述第一类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束和姿态属性约束；在2d弱势目标的目标标识为第二类目标标识的情况下，获得与所述第二类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束。
52.在本实施例中，第一预设模型是提前训练好的用于识别2d弱势目标和对应的目标标识，以及与目标标识对应的属性约束的模型。通过将经过预处理后的目标图像数据输入到该第一预设模型中，该第一预设模型将识别到该目标图像数据中的各个2d弱势目标，并为之添加目标标识。在识别到所述目标图像数据中的目标标识为第一类目标标识的2d弱势目标的情况下，将获取到该2d弱势目标的相关属性约束的信息，包括：拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束和姿态属性约束。其中，第一类目标标识为行人。在识别到所述目标图像数据中的目标标识为第二类目标标识的2d弱势目标的情况下，将获取到该2d弱势目标的相关属性约束的信息，包括：拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束。其中，第二类目标标识为骑行者、自行车、三轮车。通过为2d弱势目标添加该多个新的属性约束，能够使识别到的2d弱势目标更为准确。通过第二预设模型将识别到的2d弱势目标转化为3d弱势目标也将更为准确，使得能够准确地识别到3d弱势目标到自车的距离，以及更为准确地预测到3d弱势目标的行为状态。
53.在本技术中，所述第一预设模型的训练过程，如下步骤：获取第一预设数量的训练集和第二预设数量的测试集；通过所述训练集对初始预设模型进行训练，以标注所述训练集中样本的目标标识，以及与样本的目标标识对应的属性约束；通过所述测试集对训练后的所述初始预测模型进行测试，获取训练后的所述初始预测模型的准确度；在所述准确度超过预设阈值时，获得所述第一预设模型；其中，所述测试集中的每个样本标注有所属于的目标标识，以及与目标标识对应的属性约束。
54.在本实施例中，第一预设模型是通过一个初始预测模型进行训练后获得的。首先获取第一预设数量的训练集和第二预设数量的测试集。通过第一预设数量的训练集对初始预测模型进行训练，用于识别样本数据中的2d弱势目标，并为各个2d弱势目标标记目标标识，并根据各个2d弱势目标的目标标识，确定各个2d弱势目标的属性约束信息。示例地，在识别到2d弱势目标后，确定2d弱势目标具体是行人、骑行者、自行车还是三轮车，并为各个2d弱势目标标记目标标识。在2d弱势目标的目标标识为行人时，确定该2d弱势目标的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束和姿态属性约束；在2d弱势目标的目标标识为骑行者，或自行车，或三轮车时，确定该2d弱势目标的拥挤属性约束、遮挡属性
约束、截断属性约束、位置属性约束。在每次完成对初始预测模型的训练后，通过第二预设数量的测试集对训练后的初始预测模型进行测试，获取训练后的初始预测模型的准确度，直至不断训练后的初始预测模型的准确度超过预设阈值时，获得训练好的第一预设模型。其中，测试集中的每个样本中的各个2d弱势目标标注有所属于的目标标识，同时具有该2d弱势目标的属性约束信息。
55.在本技术中，所述对采集的所述图像数据进行预处理，获得目标图像数据，包括：对采集的所述图像数据进行预处理，获得第一目标图像数据；对所述第一目标图像数据进行图像增强处理，获得目标图像数据。
56.在本实施例中，由于弱势目标属于小目标，其在图像中占比较小且不均衡，在进行数据预处理时，采用copy-paste，或mosaic方法对数据进行增强处理，有助于更准确地识别到2d弱势目标。由此，对采集到的图像数据进行预处理获得第一目标图像数据，然后对第一目标图像数据进行图像增强处理获得目标图像数据。
57.在本技术中，所述拥挤属性约束为2d弱势目标是否被障碍物所遮挡，其中所述障碍物包括：行人、骑行者、自行车、三轮车；所述遮挡属性约束为2d弱势目标是否被非障碍物所遮挡；所述截断属性约束为2d弱势目标是否被图像截断；所述位置属性约束为2d弱势目标和所述自车是否在同一高度；所述姿态属性约束为2d弱势目标的姿态。
58.在本实施例中，2d弱势目标的拥挤属性约束表现为2d弱势目标是否被障碍物所遮挡。其中，障碍物包括：行人、骑行者、自行车、三轮车。2d弱势目标的遮挡属性约束表现为2d弱势目标是否被非障碍物所遮挡。其中，非障碍物是指除障碍物外的其他物体。2d弱势目标的截断属性约束表现为2d弱势目标是否被图像截断，也就是图像采集设备所采集到的图像是有边界的，2d弱势目标的截断属性约束即为该2d弱势目标在一张采集的图像中是否只被采集到了一部分。2d弱势目标的位置属性约束表现为2d弱势目标和自车是否在同一水平高度。2d弱势目标的姿态属性约束表现为2d弱势目标的姿态，姿态属性约束只针对于行人这种第一类目标标识的2d弱势目标。姿态表现为站着，坐着，躺着，奔跑。
59.在本实施例中，在2d弱势目标的截断属性约束表现为被一张图像数据所截断时，将在后续通过第二预设模型构建与该2d弱势目标对应的3d弱势目标的过程中，获取其他包括该2d弱势目标的图像数据，用于构建对应于该2d弱势目标的3d弱势目标，由此构建的3d弱势目标将更为准确。示例地，自车的a摄像头采集到了1号2d弱势目标的前半段的1张图像数据，而自车的b摄像头采集到了1号2d弱势目标的后半段的另一张图像数据。在通过第一预设模型识别到上述1张图像数据中的该1号2d弱势目标后，确定到该1号2d弱势目标的截断属性约束表现为被图像截断。在将该1张图像数据发送给第二预设模型后，该第二预设模型将从多张图像数据中确定出包括该1号2d弱势目标，且该1号2d弱势目标也被截断的一张或多张图像数据，用于与上述该1张图像数据共同用于构建该1号2d弱势目标对应的3d弱势目标。或在将该1张图像数据发送给第二预设模型后，该第二预设模型将从多张图像数据中确定出包括该1号2d弱势目标，的一张或多张图像数据，用于与上述该1张图像数据构建该1号2d弱势目标对应的3d弱势目标。
60.在2d弱势目标的拥挤属性约束表现为2d弱势目标被障碍物所遮挡时，或在2d弱势目标的遮挡属性约束表现为2d弱势目标被非障碍物所遮挡时，通过第二预设模型对该2d弱势目标进行处理，剔除掉遮挡该2d弱势目标的障碍物或非障碍物，在剔除后，再构建该2d弱
势目标所对应的3d弱势目标，将使得构建的3d弱势目标将更为准确。
61.在2d弱势目标的位置属性约束表现为2d弱势目标和自车不在同一高度时，构建与该2d弱势目标对应的3d弱势目标，同时降低该3d弱势目标的危险等级；在2d弱势目标的位置属性约束表现为2d弱势目标和自车在同一高度时，构建与该2d弱势目标对应的3d弱势目标，同时升高该3d弱势目标的危险等级。
62.在2d弱势目标的姿态属性约束表现为2d弱势目标的姿态为坐着、躺着时，由于此时该2d弱势目标不对自车造成影响，为节省计算资源，第二预设模型无需构建与该2d弱势目标对应的3d弱势目标；在2d弱势目标的姿态属性约束表现为2d弱势目标的姿态为站着时，由于此时该2d弱势目标可能会对自车造成影响，第二预设模型构建与该2d弱势目标对应的3d弱势目标；在2d弱势目标的姿态属性约束表现为2d弱势目标的姿态为奔跑时，由于此时该2d弱势目标对自车行驶造成影响的概率增大，第二预设模型构建与该2d弱势目标对应的3d弱势目标，并为该2d弱势目标升高危险等级。同时，可根据多种类型的属性约束来决定是否构建2d弱势目标所对应的3d弱势目标，同时决定是否提升构建的3d弱势目标的危险等级。示例地，在2d弱势目标的姿态属性约束为奔跑，同时位置属性约束为该2d弱势目标与自车在同一高度时，为构建的与该2d弱势目标的危险等级提升至最高一级；而在2d弱势目标的姿态属性约束为奔跑，同时位置属性约束为该2d弱势目标与自车不在同一高度时，为构建的与该2d弱势目标的危险等级降低一级。而在2d弱势目标的姿态属性约束为行走，同时位置属性约束为该2d弱势目标与自车不在同一高度时，为构建的与该2d弱势目标的危险等级再降低一级等操作。
63.在本技术中，采集自车周围的图像数据的图像采集设备包括多个视角的图像采集设备；所述多个视角的图像采集设备，包括：前广角相机、后广角相机、前鱼眼相机、后鱼眼相机、左侧向鱼眼相机、右侧向鱼眼相机。
64.在本实施例中，图像数据通过自车车身周围布置的图像采集设备进行采集。包括设置在车身前方和后方的前广角相机、后广角相机、前鱼眼相机、后鱼眼相机，以及设置在车身左右两侧的左侧向鱼眼相机、右侧向鱼眼相机。通过车身周围布置的多个图像采集设备能够全方位地采集到车身周围的图像数据，能够更为准确地为识别到的2d弱势目标构建3d弱势目标，并准确地预测自车与3d弱势目标之间的距离和3d弱势目标的行为。
65.本技术提供的弱势目标检测的方法，通过为检测到的弱势目标添加新的属性约束，通过这类属性约束不仅可以更好地检测弱势群体，还能精准测距，使自动驾驶车辆可以准确识别小目标障碍物，预测估计运动趋势，更好地避障，绕障。解决了遮挡、拥挤等复杂度高，难度大的场景下，弱势群体难以精准识别的问题，极大地提升了检测精度，拥有了在复杂场景下的自动驾驶能力。
66.基于同一发明构思，本技术提出一种弱势目标检测的系统200，图2是本技术所提供的示出的一种弱势目标检测的系统的示意图。参照图2，所述系200包括：
67.数据获取模块201，用于采集自车周围的图像数据；
68.图像预处理模块202，用于对采集的所述图像数据进行预处理，获得目标图像数据；
69.第一图像识别模块203，用于将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束；
70.第二图像识别模块204，用于将包括所述2d弱势目标和与所述2d弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2d弱势目标对应的3d弱势目标。
71.可选地，所述系统还包括：
72.预测模块，用于根据所述3d弱势目标，预测所述3d弱势目标与所述自车的距离，以及预测所述3d弱势目标的驾驶行为，获得预测结果；
73.控制模块，用于根据所述预测结果，控制所述自车执行相应的控制策略。
74.所述第一图像识别模块203，包括：
75.图像识别子模块，用于将所述目标图像数据输入第一预设模型，获得2d弱势目标及对应的目标标识；
76.第一图像识别子模块，用于在2d弱势目标的目标标识为第一类目标标识的情况下，获得与所述第一类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束和姿态属性约束；在2d弱势目标的目标标识为第二类目标标识的情况下，获得与所述第二类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束。
77.可选地，所述第一图像识别模块203中的所述第一预设模型的训练过程如下步骤：获取第一预设数量的训练集和第二预设数量的测试集；
78.通过所述训练集对初始预设模型进行训练，以标注所述训练集中样本的目标标识，以及与样本的目标标识对应的属性约束；
79.通过所述测试集对训练后的所述初始预测模型进行测试，获取训练后的所述初始预测模型的准确度；
80.在所述准确度超过预设阈值时，获得所述第一预设模型；
81.其中，所述测试集中的每个样本标注有所属于的目标标识，以及与目标标识对应的属性约束。
82.可选地，所述系统中的图像预处理模块202，包括：
83.第一图像预处理模块，用于对采集的所述图像数据进行预处理，获得第一目标图像数据；
84.第二图像预处理模块，用于对所述第一目标图像数据进行图像增强处理，获得目标图像数据。
85.可选地，所述第一图像识别模块203识别到的所述属性约束包括拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束；其中，所述拥挤属性约束为2d弱势目标是否被障碍物所遮挡，其中所述障碍物包括：行人、骑行者、自行车、三轮车；所述遮挡属性约束为2d弱势目标是否被非障碍物所遮挡；所述截断属性约束为2d弱势目标是否被图像截断；所述位置属性约束为2d弱势目标和所述自车是否在同一高度；所述姿态属性约束为2d弱势目标的姿态。
86.可选地，所述数据获取模块201包括多个视角的图像采集设备；
87.所述多个视角的图像采集设备，包括：前广角相机、后广角相机、前鱼眼相机、后鱼眼相机、左侧向鱼眼相机、右侧向鱼眼相机。
88.本技术还提供一种车辆，所述车辆包括上述的弱势目标检测的系统，用于执行上述方法中的步骤。
89.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
90.尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
91.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
92.以上对本发明所提供的一种弱势目标检测的方法、系统及车辆，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种弱势目标检测的方法，其特征在于，所述方法包括：采集自车周围的图像数据；对采集的所述图像数据进行预处理，获得目标图像数据；将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束；将包括所述2d弱势目标和与所述2d弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2d弱势目标对应的3d弱势目标。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述3d弱势目标，预测所述3d弱势目标与所述自车的距离，以及预测所述3d弱势目标的驾驶行为，获得预测结果；根据所述预测结果，控制所述自车执行相应的控制策略。3.根据权利要求1所述的方法，其特征在于，所述将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束，包括：将所述目标图像数据输入第一预设模型，获得2d弱势目标及对应的目标标识；在2d弱势目标的目标标识为第一类目标标识的情况下，获得与所述第一类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束和姿态属性约束；在2d弱势目标的目标标识为第二类目标标识的情况下，获得与所述第二类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束。4.根据权利要求1所述的方法，其特征在于，所述第一预设模型的训练过程，如下步骤：获取第一预设数量的训练集和第二预设数量的测试集；通过所述训练集对初始预设模型进行训练，以标注所述训练集中样本的目标标识，以及与样本的目标标识对应的属性约束；通过所述测试集对训练后的所述初始预测模型进行测试，获取训练后的所述初始预测模型的准确度；在所述准确度超过预设阈值时，获得所述第一预设模型；其中，所述测试集中的每个样本标注有所属于的目标标识，以及与目标标识对应的属性约束。5.根据权利要求1所述的方法，其特征在于，所述对采集的所述图像数据进行预处理，获得目标图像数据，包括：对采集的所述图像数据进行预处理，获得第一目标图像数据；对所述第一目标图像数据进行图像增强处理，获得目标图像数据。6.根据权利要求1所述的方法，其特征在于，所述拥挤属性约束为2d弱势目标是否被障碍物所遮挡，其中所述障碍物包括：行人、骑行者、自行车、三轮车；所述遮挡属性约束为2d弱势目标是否被非障碍物所遮挡；所述截断属性约束为2d弱势目标是否被图像截断；所述位置属性约束为2d弱势目标和所述自车是否在同一高度；所述姿态属性约束为2d弱势目标的姿态。7.根据权利要求1所述的方法，其特征在于，采集自车周围的图像数据的图像采集设备包括多个视角的图像采集设备；所述多个视角的图像采集设备，包括：前广角相机、后广角相机、前鱼眼相机、后鱼眼相
机、左侧向鱼眼相机、右侧向鱼眼相机。8.一种弱势目标检测的系统，其特征在于，所述系统包括：数据获取模块，用于采集自车周围的图像数据；图像预处理模块，用于对采集的所述图像数据进行预处理，获得目标图像数据；第一图像识别模块，用于将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束；第二图像识别模块，用于将包括所述2d弱势目标和与所述2d弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2d弱势目标对应的3d弱势目标。9.一种车辆，其特征在于，所述车辆包括如权利要求8所述的弱势目标检测的系统，用于执行如权利要求1-7任一所述方法中的步骤。

技术总结
本申请提供一种弱势目标检测的方法、系统及车辆，所述方法包括：采集自车周围的图像数据；对采集的所述图像数据进行预处理，获得目标图像数据；将所述目标图像数据输入第一预设模型，获得2D弱势目标和与所述2D弱势目标对应的属性约束；将包括所述2D弱势目标和与所述2D弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2D弱势目标对应的3D弱势目标。旨在通过添加新的属性约束，实现对弱势目标更为准确地检测识别。现对弱势目标更为准确地检测识别。现对弱势目标更为准确地检测识别。


技术研发人员：赵亚培 徐振南 秦暕 王冬林
受保护的技术使用者：毫末智行科技有限公司
技术研发日：2022.03.11
技术公布日：2023/9/23