用于评估自动驾驶系统的方法、装置、设备和存储介质与流程

1.本公开的实施例涉及自动驾驶领域，并且更具体地涉及用于评估自动驾驶系统的方法、装置、设备和存储介质。


背景技术：

2.自动驾驶系统(autonomous driving system，ads)是一种集成感知模块、规划模块和控制模块的信息物理融合系统。随着自动驾驶系统的迅猛发展，高级别的自动驾驶系统已经日益成熟。但是，在自动驾驶系统被应用于安全攸关的场景之前，需要针对自动驾驶系统执行大量的测试，以评估自动驾驶系统的安全性和可靠性。
3.目前，在业界中缺少可以用于根据测试数据来合理地评估自动驾驶系统的评估基准。另一方面，由于缺乏合适的评估基准，使得对自动驾驶系统的优化缺少令人满意的参考标准。


技术实现要素：

4.根据本公开的示例实施例，提供了一种用于评估自动驾驶系统的方案。该方案利用驾驶员在行驶场景中的真实驾驶行为作为评估基准来评估自动驾驶系统，因此可以使得对自动驾驶系统的评估更加合理并且能够适应各种复杂场景。
5.在本公开的第一方面中，提供了一种用于评估自动驾驶系统的方法。该方法包括：获取行驶环境数据，所述行驶环境数据表征在车辆的行驶场景中的交通对象的行为；以及基于所述行驶环境数据来确定用于评估所述自动驾驶系统的模拟行驶数据，所述模拟行驶数据表征所述车辆在所述自动驾驶系统的控制下在所述行驶场景中的行驶行为。
6.在一些实施例中，该方法还包括：获取参考行驶数据，所述参考行驶数据基于所述车辆的驾驶员在所述行驶场景中的行驶行为而被确定；以及基于所述模拟行驶数据与所述参考行驶数据之间的差异来评估所述自动驾驶系统
7.在一些实施例中，所述交通对象包括在所述车辆周围的其它交通参与者，所述参考行驶数据和所述行驶环境数据从与所述行驶场景相关联的同一图像数据中被获取。
8.在一些实施例中，获取所述参考行驶数据包括：检测所述图像数据中的交通参与者和车道线；基于所述交通参与者的运动轨迹和所述车道线的走向，识别所述行驶场景；以及从所述图像数据中提取所述车辆在所述行驶场景中的运动数据，以作为所述参考行驶数据。
9.在一些实施例中，所述图像数据借助于航空器而被采集。
10.在一些实施例中，所述行驶场景包括在所述车辆前方的切入或切出。
11.在一些实施例中，确定所述模拟行驶数据包括：使用所述行驶环境数据来构建虚拟仿真环境；以及在所述虚拟仿真环境中测试所述自动驾驶系统，以获得所述模拟行驶数据。
12.在一些实施例中，该方法还包括：基于所述差异来优化所述自动驾驶系统的以下
至少一项：感知模块、规划模块或控制模块。
13.在本公开的第二方面中，提供了一种用于评估自动驾驶系统的装置。该装置包括：行驶环境数据获取模块，被配置为获取行驶环境数据，所述行驶环境数据表征在车辆的行驶场景中的交通对象的行为；以及模拟行驶数据确定模块，被配置为基于所述行驶环境数据来确定用于评估所述自动驾驶系统的模拟行驶数据，所述模拟行驶数据表征所述车辆在所述自动驾驶系统的控制下在所述行驶场景中的行驶行为。
14.在一些实施例中，该装置还包括：参考行驶数据获取模块，被配置为获取参考行驶数据，所述参考行驶数据基于所述车辆的驾驶员在所述行驶场景中的行驶行为而被确定；以及自动驾驶系统评估模块，被配置为基于所述模拟行驶数据与所述参考行驶数据之间的差异来评估所述自动驾驶系统。
15.在一些实施例中，所述交通对象包括在所述车辆周围的其它交通参与者，所述参考行驶数据和所述行驶环境数据从与所述行驶场景相关联的同一图像数据中被获取。
16.在一些实施例中，所述参考行驶数据获取模块包括：对象检测模块，被配置为检测所述图像数据中的交通参与者和车道线；行驶场景识别模块，被配置为基于所述交通参与者的运动轨迹和所述车道线的走向，识别所述行驶场景；以及运动数据提取模块，被配置为从所述图像数据中提取所述车辆在所述行驶场景中的运动数据，以作为所述参考行驶数据。
17.在一些实施例中，所述图像数据借助于航空器而被采集。
18.在一些实施例中，所述行驶场景包括在所述车辆前方的切入或切出。
19.在一些实施例中，所述模拟行驶数据确定模块包括：虚拟仿真环境构建模块，被配置为使用所述行驶环境数据来构建虚拟仿真环境；以及自动驾驶系统测试模块，被配置为在所述虚拟仿真环境中测试所述自动驾驶系统，以获得所述模拟行驶数据。
20.在一些实施例中，该装置还包括：自动驾驶系统优化模块，被配置为基于所述差异来优化所述自动驾驶系统的以下至少一项：感知模块、规划模块或控制模块。
21.在本公开的第三方面中，提供了一种用于评估自动驾驶系统的设备。该设备包括：至少一个处理单元；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行根据本公开的第一方面所述的方法。
22.在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由设备执行时使得所述设备执行根据本公开的第一方面所述的方法。
23.通过以上描述可以看到，根据本公开的各实施例的方案通过利用基于真实行驶场景获得的行驶环境数据来模拟自动驾驶系统的行驶行为，以评估自动驾驶系统。与传统已知的评估方案相比，根据本公开的各种实施例的方案可以以离线的方式执行对自动驾驶系统的测试，并且可以大幅提高测试效率、降低测试成本、覆盖尽可能多的行驶场景，从而有助于高效地测试自动驾驶系统，以评估自动驾驶系统的性能。
24.应当理解的是，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
25.结合附图并参考以下详细说明，本公开各实施例的上述和其它特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
26.图1示出了根据本公开的一些实施例的示例环境的框图；
27.图2示出了根据本公开的一些实施例的用于评估自动驾驶系统的方法的流程图；
28.图3示出了根据本公开的一些实施例的用于获取参考行驶数据的方法的流程图；
29.图4示出了根据本公开的一些实施例的用于评估自动驾驶系统的示例装置的框图；以及
30.图5示出了可以用于实施根据本公开的一些实施例的示例设备的示意性框图。
具体实施方式
31.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
32.在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其它明确的和隐含的定义。
33.如上所述，随着自动驾驶系统的快速发展，如何基于测试数据来合理地评估和优化自动驾驶系统已经成为当前的一个研究重点。
34.一种传统的方案是将在自动驾驶过程中是否出现诸如碰撞、违反交通规则之类的危险情况作为针对自动驾驶系统安全性的评估标准。但是，对于自动驾驶系统的实际应用而言，仅仅是避免发生碰撞和违反交通规则显然是不够的。因为诸如急刹车、急转弯之类的操作将会大幅降低车辆乘员的舒适性，同时也无法保证自动驾驶系统在各种复杂场景下的安全性和运行稳定性。
35.本公开的各实施例提供了一种用于评估自动驾驶系统的方案。根据本公开的各种实施例，通过利用基于真实行驶场景获得的行驶环境数据来模拟自动驾驶系统的行驶行为，以评估自动驾驶系统的性能。
36.通过下文描述将会理解，与已知传统方案相比，根据本公开的各种实施例的方案可以以离线的方式执行对自动驾驶系统的测试，并且可以大幅提高测试效率、降低测试成本、覆盖尽可能多的行驶场景，从而有助于高效地测试自动驾驶系统，以评估自动驾驶系统的性能。
37.以下将继续参考附图描述本公开的一些示例实施例。
38.图1示出了根据本公开的实施例的示例环境100的框图。如图1所示，示例环境100总体上可以包括车辆110、图像采集设备150、电子设备160、以及在车辆110周围的一个或多个交通对象。需要指出的是，车辆110可以包括任何适当类型的机动车辆或非机动车辆，其示例包括但不限于小汽车、轿车、卡车、公交车、电动车、摩托车、自行车，等等。还应当理解的是，车辆110仅仅是交通工具的一个示例。本公开的各实施例同样适用于除车辆之外的其
它交通工具，诸如船、火车、飞机等。本公开的范围在此方面不受限制。
39.在本公开的上下文中，“交通对象”表示车辆110所在的行驶环境中会对车辆110的行驶行为产生影响的对象，交通对象的示例包括但不限于其它交通参与者120-1和120-2(单独或统一地被称为其它交通参与者120)、行车道130-1和130-2(单独或统一地被称为行车道130)、车道线140-1、140-2和140-3(单独或统一地被称为车道线140)、交通信号灯、以及交通标志等等。
40.在图1中，借助于箭头线m1、m2和m3分别示出了车辆110的行驶轨迹、以及其它交通参与者120-1和120-2的行驶轨迹。可以看到，车辆110和其它交通参与者120-2在行车道130-1上保持直行，而其它交通参与者120-1即将执行变道，即，从行车道130-2行驶到行车道130-1上。这对应于在车辆110前方切入的行驶场景。应当理解的是，根据本公开的各实施例的方案还可以应用于诸如切出、启停等的其它任何合适的行驶场景，本公开的范围在此方面不受限制。
41.如图1所示，图像采集设备150可以用于采集车辆110所在的行驶环境的图像数据。虽然图像采集设备150在图1中被示出为一个无人机，但是图像采集设备150还可以被实现为其它任何合适的航空器，诸如气球、飞艇等，并且图像采集设备150也可以被实现为诸如车辆110上的传感器或者路侧的摄像头等的其它任何合适的环境感知设备。此外，图像采集设备150的数目也可以多于一个，本公开的范围在上述方面不受限制。
42.图像采集设备150可以与电子设备160耦联。在一些实施例中，电子设备160可以是诸如个人计算机、工作站、服务器等具有计算功能的设备。本公开的范围在此方面不受限制。
43.电子设备160可以从图像采集设备150获取各种不同行驶场景下车辆110的行驶数据以及行驶环境数据，以用于后续评估自动驾驶系统。这将在下文中结合图2至图3进一步详细描述。
44.图2示出了根据本公开的一些实施例的用于评估自动驾驶系统的方法200的流程图。在一些实施例中，方法200可以由如图1所示的电子设备160执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
45.在框202，电子设备160获取参考行驶数据，参考行驶数据基于车辆110的驾驶员在行驶场景中的行驶行为而被确定。参考行驶数据例如可以包括车辆110的行驶方向、速度、加速度、偏航角速度等信息，本公开的范围在此方面不受限制。
46.在框204，电子设备160获取行驶环境数据，行驶环境数据表征在车辆110的行驶场景中的交通对象的行为。行驶环境数据例如可以包括：其它车辆的行驶方向、速度、加速度和偏航角速度；行车道130的车道线140的走向；交通信号灯的状态；交通标志的信息等等，本公开的范围在此方面不受限制。
47.在一些实施例中，参考行驶数据和行驶环境数据可以从与行驶场景相关联的同一图像数据中被获取。这将在下文中结合图3进一步详细描述。通过这种方式，可以在同一时间采集多个对象的数据，从而可以提高获取数据的效率，并且可以降低数据采集的成本。
48.在一些实施例中，图像数据可以借助于航空器而被采集，即，图1中的图像采集设备150可以被实现为诸如无人机的航空器。发明人经研究发现，与传统的车端采集方案(例
如，借助于车辆110上的传感器等的数据采集方案)和场端采集方案(例如，借助于路侧的摄像头等的数据采集方案)相比，借助于航空器采集的图像数据具有如下优点：(1)数据采集时不易受到遮挡，因此通常不会存在视野盲区；(2)由于航空器本身在空中执行数据采集，而不会参与到实际交通中，因此所采集的图像数据可以更加真实地反映驾驶员的不受干扰的驾驶行为；(3)可以更加高效地采集诸如上下匝道等的特定路段的场景数据；(4)可以采集到在日常交通环境中相对较罕见的边角案例。
49.可以看到，由航空器采集的图像数据包含更加丰富的行驶场景和更加真实的交通数据，从而使得从这样的图像数据中所获取的参考行驶数据能够更加真实地反映驾驶员面对各种行驶场景的驾驶行为，因此可以为后续评估和优化自动驾驶系统提供具有较高参考价值的评估标准。此外，由于航空器可以采集到较少发生的边角案例，因此从这样的图像数据中可以提取针对边角案例的参考行驶数据和行驶环境数据，使得后续对自动驾驶系统的仿真测试所使用的场景能够尽可能地覆盖各种各样的真实行驶场景，从而可以更加全面地评估自动驾驶系统的安全性和可靠性。
50.在一些实施例中，参考行驶数据和行驶环境数据也可以从来自不同数据源的数据中被获取。例如，可以从车辆110上的传感器所采集的数据中分析提取参考行驶数据，并且可以从由路侧设备采集的数据中分析提取行驶环境数据。
51.应当理解的是，参考行驶数据和行驶环境数据还可以以其它任何合适的方式被获取，本公开的范围在此方面不受限制。
52.在框206，电子设备160基于行驶环境数据来确定用于评估自动驾驶系统的模拟行驶数据，模拟行驶数据表征车辆110在自动驾驶系统的控制下在行驶场景中的行驶行为。
53.在一些实施例中，电子设备160可以借助于虚拟仿真技术通过使用所获取的行驶环境数据来构建虚拟仿真环境。例如，电子设备160可以根据行驶环境数据来对仿真测试平台进行参数配置。示例性地，电子设备160可以设置包括行车道130、车道线140、天气、交通信号灯等的道路参数，以配置静态场景。电子设备160还可以设置被测系统周围的其它交通参与者120的行为和它们之间的动态关系，以配置动态场景。
54.在一些实施例中，电子设备160可以在虚拟仿真环境中测试自动驾驶系统，以获得模拟行驶数据。示例性地，电子设备160可以根据被测系统的测试需求来在所构建的虚拟仿真环境中开展具体的场景测试工作，并且记录被系统针对仿真平台输入信号的响应数据，以作为模拟行驶数据。通过这种方式，与诸如场地测试和道路测试的传统测试方案相比，根据本公开的实施例的方法可以以离线的方式执行对自动驾驶系统的测试，并且可以大幅提高测试效率、降低测试成本、覆盖尽可能多的行驶场景，从而有助于高效地测试自动驾驶系统，以评估自动驾驶系统的性能。
55.应当理解的是，还可以以其它任何合适的方式来基于行驶环境数据而确定模拟行驶数据，本公开的范围在此方面不受限制。
56.在框208，电子设备160基于模拟行驶数据与参考行驶数据之间的差异来评估自动驾驶系统。在一些实施例中，电子设备160可以基于模拟行驶数据和参考行驶数据来复现自动驾驶系统和驾驶员针对同一行驶场景的驾驶行为，并且通过比较这两种驾驶行为来评估自动驾驶系统是否能够较好地模拟驾驶员在该行驶场景下的驾驶行为，从而对自动驾驶系统在特定行驶场景下的安全性进行评估。在一些实施例中，电子设备160例如可以借助于诸
如反应时间、加速度、减速度等指标来定量地评估自动驾驶系统的表现，并且可以以综合得分或评估报告的形式来呈现评估结果。通过这种方式，根据本公开的实施例的方法可以更合理地评估自动驾驶系统在特定行驶场景下的安全性。
57.在一些实施例中，电子设备160还可以以与上文描述类似的方式针对从图像数据中识别的大量不同的行驶场景来比较自动驾驶系统与驾驶员的驾驶行为之间的差异。通过这种方式，根据本公开的实施例的方法可以较为全面地评估自动驾驶系统在各种行驶场景下的安全性，从而可以评估自动驾驶系统的运行稳定性。
58.应当理解的是，还可以以其它任何合适的方式来利用模拟行驶数据评估自动驾驶系统，本公开的范围在此方面不受限制。
59.在框210，电子设备160还可以基于模拟行驶数据与参考行驶数据之间的差异来优化自动驾驶系统的以下至少一项：感知模块、规划模块或控制模块。在一些实施例中，电子设备160可以根据自动驾驶系统与驾驶员的驾驶行为之间的差异来分析所记录的自动驾驶系统的数据，以确定该差异是由于何种原因而导致的，从而可以更加有针对性地优化自动驾驶系统，以提高自动驾驶系统的安全性和运行稳定性。
60.在下文描述中，以图1中所示的在车辆110前方的切入的行驶场景为例进行说明。示例性地，当通过比较发现与驾驶员的驾驶行为相比，车辆110的自动驾驶系统对于其它交通参与者120-1切入行车道130-1的响应较慢时，可以检查自动驾驶系统的各个模块是否存在设计缺陷。例如，这可能归因于以下至少一项：摄像头的视角太窄而导致的盲区；感知模块中软件算法的感知能力不足；规划模块中对于车辆110切入判断的阈值设置存在问题；或者控制模块中的执行器的延迟较大，等等。基于上述分析结果，可以有针对性地优化自动驾驶系统的感知模块、规划模块和/或控制模块，从而可以有效地提升自动驾驶系统的安全性和可靠性。
61.应当理解的是，还可以以其它任何合适的方式来利用模拟行驶数据优化自动驾驶系统，本公开的范围在此方面不受限制。
62.图3示出了根据本公开的一些实施例的用于获取参考行驶数据的方法300的流程图。例如，方法300可以作为如图2所示的框202的一种示例实现。在一些实施例中，方法300可以由如图1所示的电子设备160执行。应当理解的是，方法300还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
63.在框302，电子设备160检测图像数据中的交通参与者和车道线140。在一些实施例中，电子设备160可以借助于经训练的机器学习模型来检测图像数据中的交通参与者和车道线140。在一些实施例中，电子设备160可以通过使用传统视觉算法，根据颜色信息来从图像数据中识别车道线140并获取车道线140的走向等信息。在一些实施例中，电子设备160还可以从图像数据中提取车道线点集，并利用多项式拟合该车道线点集，以便于使用拟合得到的多项式来描述车道线140。
64.在框304，电子设备160基于交通参与者的运动轨迹和车道线140的走向，识别行驶场景。在此，交通参与者可以包括车辆110和在该车辆110周围的其它交通参与者120。在一些实施例中，电子设备160可以从图像数据中提取交通参与者和车道线140的结构化数据，该结构化数据可以指示交通参与者的运动轨迹和车道线140的走向。结构化数据例如可以包括：交通参与者的编号、横纵向位置、速度和加速度；周围交通参与者的编号；车道线140
的编号；以及车道线140位置，等等。本公开的范围在此方面不受限制。
65.在一些实施例中，电子设备160可以基于所提取的结构化数据，结合针对交通参与者的行为逻辑分析，来识别诸如在车辆110前方的切入或切出之类的一种或多种行驶场景。
66.在框306，电子设备160可以从图像数据中提取车辆110在行驶场景中的运动数据，以作为参考行驶数据。示例性地，电子设备160可以提取车辆110在行驶场景所持续的时间段中的横纵向位置、速度和加速度等数据来作为参考行驶数据。
67.在一些实施例中，电子设备160还可以针对同一行驶场景，提取来自多个车辆的多组运动数据，并且可以借助于数理统计方法来分析多组运动数据的分布，并且基于该分布来选择合适的运动数据作为参考行驶数据。通过这种方式，电子设备160可以将能够反映一般驾驶员的常规驾驶行为的数据确定为参考行驶数据，从而使得后续对自动驾驶系统的评估更为合理，同时还有利地为优化自动驾驶系统提供了极具参考价值的行为模型。
68.在一些实施例中，电子设备160还可以以与获取参考行驶数据类似的方式来从图像数据中提取其它交通参与者120在行驶场景中的运动数据、行车道130的车道线140的走向、交通信号灯的状态、交通标志的信息，等等，以作为参考行驶数据。本公开在此不再赘述。
69.在一些实施例中，电子设备160还可以从所采集的图像数据中分析得到不同场景类型，即，功能场景。然后，电子设备160可以分析这些不同场景类型中的关键参数，并通过对真实场景数据进行数理统计和/或理论分析来得到这些关键参数的分布范围，即，逻辑场景。随后，电子设备160可以从关键参数的分布范围中选择一组参数值作为一个用于测试的行驶场景，即，具体场景。通过这种方式，可以基于反映真实路况的图像数据来建立用于虚拟仿真技术的测试场景库，从而为后续利用虚拟仿真技术来测试、评估和/或优化自动驾驶系统提供了强有力的数据支撑。
70.应当理解的是，还可以以其它任何合适的方式来从原始采集的数据中识别行驶场景，并获取针对相应行驶场景的参考行驶数据和行驶环境数据，本公开的范围在此方面不受限制。
71.通过以上结合图1至图3的描述可以看到，根据本公开的各实施例的用于评估自动驾驶系统的方法通过针对同一行驶场景，将利用自动驾驶系统获得的行驶数据与驾驶员的真实驾驶行为进行比较，来评估自动驾驶系统。与常规的评估方案相比，由于驾驶员的真实驾驶行为蕴含了驾驶员应对相应行驶场景的丰富驾驶经验，因此利用驾驶员的驾驶行为作为评估的参考标准，可以使得对自动驾驶系统的评估更为科学和合理，从而可以提高对自动驾驶系统的评估质量。此外，还可以有利地为优化自动驾驶系统提供可靠的优化基准。
72.在上文中已经参考图1至图3详细描述了根据本公开的方法的示例实现，在下文中将描述相应的装置的实现。
73.图4示出了根据本公开的一些实施例的用于评估自动驾驶系统的示例装置400的框图。该装置400例如可以用于实现如图1所示的电子设备160。装置400可以包括行驶环境数据获取模块402，该行驶环境数据获取模块402被配置为获取行驶环境数据，行驶环境数据表征在车辆的行驶场景中的交通对象的行为。装置400还可以包括模拟行驶数据确定模块404，该模拟行驶数据确定模块404被配置为基于行驶环境数据来确定用于评估自动驾驶系统的模拟行驶数据，模拟行驶数据表征车辆在自动驾驶系统的控制下在行驶场景中的行
驶行为。
74.在一些实施例中，装置400还包括参考行驶数据获取模块，该参考行驶数据获取模块被配置为获取参考行驶数据，参考行驶数据基于车辆的驾驶员在行驶场景中的行驶行为而被确定；以及自动驾驶系统评估模块，该自动驾驶系统评估模块被配置为基于模拟行驶数据与参考行驶数据之间的差异来评估自动驾驶系统。
75.在一些实施例中，交通对象包括在车辆周围的其它交通参与者，参考行驶数据和行驶环境数据从与行驶场景相关联的同一图像数据中被获取。
76.在一些实施例中，参考行驶数据获取模块包括：对象检测模块，被配置为检测图像数据中的交通参与者和车道线；行驶场景识别模块，被配置为基于交通参与者的运动轨迹和车道线的走向，识别行驶场景；以及运动数据提取模块，被配置为从图像数据中提取车辆在行驶场景中的运动数据，以作为参考行驶数据。
77.在一些实施例中，图像数据借助于航空器而被采集。
78.在一些实施例中，行驶场景包括在车辆前方的切入或切出。
79.在一些实施例中，模拟行驶数据确定模块404包括：虚拟仿真环境构建模块，被配置为使用行驶环境数据来构建虚拟仿真环境；以及自动驾驶系统测试模块，被配置为在虚拟仿真环境中测试自动驾驶系统，以获得模拟行驶数据。
80.在一些实施例中，装置400还包括自动驾驶系统优化模块，该自动驾驶系统优化模块被配置为基于差异来优化自动驾驶系统的以下至少一项：感知模块、规划模块或控制模块。
81.装置400中所包括的模块和/或单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置400中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)，等等。
82.图4中所示的这些模块和/或单元可以部分或者全部地实现为硬件模块、软件模块、固件模块或者其任意组合。特别地，在某些实施例中，上文描述的流程、方法或过程可以由存储系统或与存储系统对应的主机或独立于存储系统的其它计算设备中的硬件来实现。
83.图5示出了可以用于实施根据本公开的一些实施例的示例设备500的示意性框图。设备500可以用于实现如图1所示的电子设备160。如图5所示，设备500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序指令，来执行各种适当的动作和处理。在ram 503中，还可存储设备500操作所需的各种程序和数据。cpu 501、rom 502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
84.设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其它设备交换信息/数据。
85.处理单元501执行上文所描述的各个方法和处理，例如方法200。例如，在一些实施
例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram 503并由cpu 501执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其它实施例中，cpu 501可以通过其它任何适当的方式(例如，借助于固件)而被配置为执行方法200。
86.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
87.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
88.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
89.此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
90.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

技术特征：
1.一种用于评估自动驾驶系统的方法，包括：获取行驶环境数据，所述行驶环境数据表征在车辆的行驶场景中的交通对象的行为；以及基于所述行驶环境数据来确定用于评估所述自动驾驶系统的模拟行驶数据，所述模拟行驶数据表征所述车辆在所述自动驾驶系统的控制下在所述行驶场景中的行驶行为。2.根据权利要求1所述的方法，还包括：获取参考行驶数据，所述参考行驶数据基于所述车辆的驾驶员在所述行驶场景中的行驶行为而被确定；以及基于所述模拟行驶数据与所述参考行驶数据之间的差异来评估所述自动驾驶系统。3.根据权利要求2所述的方法，其中所述交通对象包括在所述车辆周围的其它交通参与者，所述参考行驶数据和所述行驶环境数据从与所述行驶场景相关联的同一图像数据中被获取。4.根据权利要求3所述的方法，其中获取所述参考行驶数据包括：检测所述图像数据中的交通参与者和车道线；基于所述交通参与者的运动轨迹和所述车道线的走向，识别所述行驶场景；以及从所述图像数据中提取所述车辆在所述行驶场景中的运动数据，以作为所述参考行驶数据。5.根据权利要求3或4所述的方法，其中所述图像数据借助于航空器而被采集。6.根据权利要求1至4中任一项所述的方法，其中所述行驶场景包括在所述车辆前方的切入或切出。7.根据权利要求1至4中任一项所述的方法，其中确定所述模拟行驶数据包括：使用所述行驶环境数据来构建虚拟仿真环境；以及在所述虚拟仿真环境中测试所述自动驾驶系统，以获得所述模拟行驶数据。8.根据权利要求2至4中任一项所述的方法，还包括：基于所述差异来优化所述自动驾驶系统的以下至少一项：感知模块、规划模块或控制模块。9.一种用于评估自动驾驶系统的装置，包括：行驶环境数据获取模块，被配置为获取行驶环境数据，所述行驶环境数据表征在车辆的行驶场景中的交通对象的行为；以及模拟行驶数据确定模块，被配置为基于所述行驶环境数据来确定用于评估所述自动驾驶系统的模拟行驶数据，所述模拟行驶数据表征所述车辆在所述自动驾驶系统的控制下在所述行驶场景中的行驶行为。10.根据权利要求9所述的装置，还包括：参考行驶数据获取模块，被配置为获取参考行驶数据，所述参考行驶数据基于所述车辆的驾驶员在所述行驶场景中的行驶行为而被确定；以及自动驾驶系统评估模块，被配置为基于所述模拟行驶数据与所述参考行驶数据之间的差异来评估所述自动驾驶系统。11.根据权利要求10所述的装置，其中所述交通对象包括在所述车辆周围的其它交通参与者，所述参考行驶数据和所述行驶环境数据从与所述行驶场景相关联的同一图像数据
中被获取。12.根据权利要求11所述的装置，其中所述参考行驶数据获取模块包括：对象检测模块，被配置为检测所述图像数据中的交通参与者和车道线；行驶场景识别模块，被配置为基于所述交通参与者的运动轨迹和所述车道线的走向，识别所述行驶场景；以及运动数据提取模块，被配置为从所述图像数据中提取所述车辆在所述行驶场景中的运动数据，以作为所述参考行驶数据。13.根据权利要求11或12所述的装置，其中所述图像数据借助于航空器而被采集。14.根据权利要求9至12中任一项所述的装置，其中所述行驶场景包括在所述车辆前方的切入或切出。15.根据权利要求9至12中任一项所述的装置，其中所述模拟行驶数据确定模块包括：虚拟仿真环境构建模块，被配置为使用所述行驶环境数据来构建虚拟仿真环境；以及自动驾驶系统测试模块，被配置为在所述虚拟仿真环境中测试所述自动驾驶系统，以获得所述模拟行驶数据。16.根据权利要求10至12中任一项所述的装置，还包括：自动驾驶系统优化模块，被配置为基于所述差异来优化所述自动驾驶系统的以下至少一项：感知模块、规划模块或控制模块。17.一种用于评估自动驾驶系统的设备，包括：至少一个处理单元；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行根据权利要求1至8中任一项所述的方法。18.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在由设备执行时使所述设备执行根据权利要求1至8中任一项所述的方法。

技术总结
本公开的各实施例涉及用于评估自动驾驶系统的方法、装置、设备和存储介质。一种用于评估自动驾驶系统的方法包括：获取行驶环境数据，行驶环境数据表征在车辆的行驶场景中的交通对象的行为；以及基于行驶环境数据来确定用于评估自动驾驶系统的模拟行驶数据，模拟行驶数据表征车辆在自动驾驶系统的控制下在行驶场景中的行驶行为。以此方式，可以大幅提高测试效率，从而有助于高效地测试自动驾驶系统。从而有助于高效地测试自动驾驶系统。从而有助于高效地测试自动驾驶系统。


技术研发人员：乔剑峰
受保护的技术使用者：逸驾智能科技有限公司
技术研发日：2022.02.16
技术公布日：2023/8/28