经由多个模型向传感器数据添加标签并查询传感器数据的制作方法

1.本技术涉及经由多个模型向传感器数据添加标签并查询传感器数据。


背景技术：

2.自主运载工具通常使用传感器数据来感知该自主运载工具周围的区域。识别用于注释的传感器数据的子集以识别区域中的对象的特征或特性，这可能是困难且复杂的。


技术实现要素：

3.根据本发明的一个方面，提供了一种方法，其包括：利用至少一个处理器，接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。
4.根据本发明的一个方面，提供了一种系统，其包括：至少一个处理器，以及至少一个非暂时性存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时，使得所述至少一个处理器：接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。
5.根据本发明的一个方面，提供了至少一个非暂时性存储介质，其存储有指令，所述指令在由包括处理器的计算系统执行时，使得所述计算系统：接收在多个传感器数据捕获
期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。
6.根据本发明的一个方面，提供了一种方法，其包括：利用至少一个处理器，接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；以及至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合。
附图说明
7.图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
8.图2是包括自主系统的运载工具的一个或多于一个系统的图；
9.图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
10.图4是自主系统的一些组件的图；
11.图5是示出信号处理系统的示例的框图；
12.图6是示出示例传感器数据处理操作的流程图；
13.图7是示出示例过滤器的示例用户接口；
14.图8是示出用于过滤的传感器数据的可视化的示例用户接口；以及
15.图9是示出通过一个或多于一个处理器所实现的、用于基于用户指定类别来过滤传感器数据并发送符合用户指定类别的传感器数据捕获期的传感器数据的例程的示例的流程图。
具体实施方式
16.在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在
一些实例中，众所周知的结构和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
17.在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并且不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包括示意要素并且不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
18.此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任意此类连接要素并且不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
19.尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
20.在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任意和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包括”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并且不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
21.如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、发送、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，发送)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所发送的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元发送信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并且将处理后的信息发送至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
22.如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当
…
时”、“在
…
时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定
…
时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
[0023]
现在将详细参考实施例，其示例在附图中例例示。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、处理、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
[0024]
总体概述
[0025]
在一些方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现用于处理传感器数据的信号处理系统。传感器数据可以通过与传感器数据相关联的元数据(例如，数据捕获的时间、运载工具、运载工具行程、传感器和运载工具组等)所定义的多个捕获期(capture session)来收集。信号处理系统接收传感器数据，并且使用多个机器学习模型来处理(例如，挖掘)该传感器数据，以识别多个捕获期中的哪一个与特定捕获期集合(例如，特定类别)相对应。机器学习模型各自可以识别与传感器数据中所表示的多个捕获期集合中的特定捕获期集合相对应的一个或多于一个捕获期。多个机器学习模型中的各个机器学习模型可以是通过用于传感器数据的自定义搜索的信号处理系统来实现的自定义的集合特定的机器学习模型。信号处理系统可以基于捕获期的特定类别来过滤传感器数据，并且将经过滤的传感器数据发送到用户计算装置。例如，信号处理系统可以过滤传感器数据，并且提供经过滤的传感器数据以用于经过滤的传感器数据的注释。可以向用于计算机视觉的神经网络提供所注释的经过滤的传感器数据。可以使用注释和传感器数据来训练神经网络(例如，以识别传感器数据内的对象)。例如，数据可以包括用于在图像内识别停止标志、自行车、运载工具和限速标志等的注释。该注释可以由第三方作出，并且可能不可靠或不准确。此外，注释和/或传感器数据可能与特定神经网络不相关。识别特别相关的注释可能是昂贵且耗时的，因此，可以提供未过滤的传感器数据以用于注释，并且可以使用未过滤的所注释传感器数据来训练神经网络。用于训练神经网络的这样的处理可能是低效且耗时的，从而导致潜在低效地训练的神经网络。
[0026]
为了提供用于训练用于计算机视觉的神经网络的更高效处理，信号处理系统可以自动取入传感器数据，并且针对捕获期的多个类别来挖掘所取入的传感器数据。可以通过与传感器数据相关联的元数据(例如，数据捕获的时间、运载工具、运载工具行程、传感器、运载工具组或队列等)所定义的多个捕获期来收集传感器数据。信号处理系统挖掘传感器数据，以识别针对多个捕获期中的各个捕获期的类别。信号处理系统可以使用多个机器学习模型来挖掘传感器数据，以识别多个捕获期中的哪一个与特定类别(例如，特定捕获期集合)相对应。机器学习模型各自可以识别与传感器数据中所表示的特定类别(例如，分配给机器学习模型的类别)相对应的一个或多于一个捕获期。例如，多个机器学习模型各自可以是自定义的类别特定的机器学习模型。信号处理系统可以接收对捕获期的特定类别的选择。例如，信号处理系统可以向用户计算装置提供捕获期的多个类别，并且从用户计算装置
接收对捕获期的特定类别的选择。信号处理系统可以基于捕获期的用户指定类别来过滤传感器数据。通过过滤传感器数据，信号处理系统可以识别特定捕获期集合。信号处理系统可以将经过滤的传感器数据发送到用户计算装置。作为非限制性示例，信号处理系统可以基于确定为经过滤的传感器数据满足捕获期的特定类别，来将经过滤的传感器数据路由到计算装置以用于注释。
[0027]
借助本文所述的系统、方法和计算机程序产品的实现，系统可以从所接收的传感器数据集，审核大量(或全部)传感器。例如，系统能够审核所有所接收的传感器数据并过滤传感器数据，以识别用于注释的传感器数据的子集。通过过滤针对注释而提供的传感器数据，系统能够更高效地注释传感器数据，并且使用所注释传感器数据来更准确且高效地训练神经网络。此外，系统可以识别满足捕获期的特定类别的传感器数据。例如，如果传感器数据包括特定对象类(例如，以小于传感器数据的10％、25％和50％等的状态出现的对象类)、特定图像或场景(例如，神经网络先前误分类的图像或场景、或在质量保证期间标记的图像或场景)、特定环境特性(例如，在一天中的特定时间(诸如日落之后等)生成的传感器数据、特定运载工具机动动作(例如，用于识别车道改变的传感器数据)和特定行人机动动作(例如，用于识别人行横道中的行人的传感器数据)等，则传感器数据可以满足捕获期的特定类别。可以利用经过滤的传感器数据来训练神经网络，以识别与用户指定类别相关联的传感器数据的特定子集内的对象。因此，系统可以通过使得能够进行目标注释和用于神经网络的训练处理来改善注释处理和训练处理。这样的目标注释和训练处理可以改善注释和用于神经网络的训练处理的质量和效率。附加地，这样的目标注释和训练处理可以降低与训练处理相关联的成本。例如，系统能够通过过滤传感器数据来更快速且更准确地训练神经网络，以识别用于训练神经网络的特定传感器数据。
[0028]
经训练的神经网络可以用于识别传感器数据内的对象。在一些情况下，经训练的神经网络可以在自主系统内实现，以基于所接收的传感器数据来识别运载工具的环境内的对象。现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(v2i)装置110、网络112、远程自主运载工具(av)系统114、队列管理系统116和v2i系统118。运载工具102a-102n、运载工具到基础设施(v2i)装置110、网络112、自主运载工具(av)系统114、队列管理系统116和v2i系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，和/或建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(v2i)装置110、网络112、自主运载工具(av)系统114、队列管理系统116和v2i系统118中的至少一者互连。
[0029]
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与v2i装置110、远程av系统114、队列管理系统116和/或v2i系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，运载工具200集合中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个
或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
[0030]
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并且在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
[0031]
路线106a-106n(单独称为路线106且统称为路线106)各自与连接av可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载av的地点，并且第二状态或区包括搭载av的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
[0032]
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
[0033]
运载工具到基础设施(v2i)装置110(有时称为运载工具到万物(vehicle-to-everything)(v2x)装置)包括被配置为与运载工具102和/或v2i系统118进行通信的至少一个装置。在一些实施例中，v2i装置110被配置为与运载工具102、远程av系统114、队列管理系统116和/或v2i系统118经由网络112进行通信。在一些实施例中，v2i装置110包括射频识别(rfid)装置、标牌、照相机(例如，二维(2d)和/或3d(3d)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，v2i装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，v2i装置110被配置为与运载工具102、远程av系统114和/或队列管理系统116经由v2i系统118进行通信。在一些实施例中，v2i装置110被配置为与v2i系统118经由网络112进行通信。
[0034]
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(lte)网络、第三代(3g)网络、第四代(4g)网络、第五代(5g)网络、码分多址(cdma)网络等)、公共陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电
话网(例如，公共交换电话网(pstn))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
[0035]
远程av系统114包括被配置为与运载工具102、v2i装置110、网络112、队列管理系统116和/或v2i系统118经由网络112进行通信的至少一个装置。在示例中，远程av系统114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程av系统114与队列管理系统116位于同一位置。在一些实施例中，远程av系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程av系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
[0036]
队列管理系统116包括被配置为与运载工具102、v2i装置110、远程av系统114和/或v2i系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
[0037]
在一些实施例中，v2i系统118包括被配置为与运载工具102、v2i装置110、远程av系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，v2i系统118被配置为与v2i装置110经由不同于网络112的连接进行通信。在一些实施例中，v2i系统118包括服务器、服务器组和/或其他类似装置。在一些实施例中，v2i系统118与市政当局或私营机构(例如，用于维护v2i装置110的私营机构等)相关联。
[0038]
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一个要素集合可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
[0039]
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在一些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考sae国际标准j3016：道路上机动车自动驾驶系统相关术语的分类和定义(sae international's standard j3016：taxonomy and definitions for terms related to on-road motor vehicle automated driving systems)，其全部内容通过引用而被包括。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
[0040]
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、lidar传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)gps接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关
联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
[0041]
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(ccd)等的光传感器的数字照相机、热照相机、红外(ir)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，raw、jpeg和/或png等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并且将该图像数据发送到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
[0042]
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，raw、jpeg和/或png等)的一个或多于一个图像相关联的交通信号灯数据。在一些实施例中，生成tld数据的照相机202a与本文所述的包括照相机的其他系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
[0043]
激光检测和测距(lidar)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。lidar传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由lidar传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由lidar传感器202b发射的光遇到物理对象(例如，运载工具)并且被反射回到lidar传感器202b。在一些实施例中，由lidar传感器202b发射的光不会穿透该光遇到的物理对象。lidar传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与lidar传感器202b相关联的至少一个数据处理系统生成表示lidar传感器202b的视场中所包括的对象的图像
(例如，点云和/或组合点云等)。在一些示例中，与lidar传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定lidar传感器202b的视场中的物理对象的边界。
[0044]
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并且被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
[0045]
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并且生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并且基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
[0046]
通信装置202e包括被配置为与照相机202a、lidar传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(dbw)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(v2v)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
[0047]
自主运载工具计算202f包括被配置为与照相机202a、lidar传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或dbw系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程av系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、v2i装置(例如，与图1的v2i装置110相同或类似的v2i装置)和/或v2i系统(例如，与图1的v2i系统118相同或类似的v2i系统)进行通信。
[0048]
安全控制器202g包括被配置为与照相机202a、lidar传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或dbw系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或发送控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或
制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或发送的控制信号的控制信号。
[0049]
dbw系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，dbw系统202h包括被配置为生成和/或发送控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，dbw系统202h的一个或多于一个控制器被配置为生成和/或发送控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
[0050]
动力总成控制系统204包括被配置为与dbw系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从dbw系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
[0051]
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
[0052]
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(aeb)系统和/或再生制动系统等。
[0053]
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示)。在一些示例中，运载工具200包括诸如全球定位系统(gps)接收器、惯性测量单元(imu)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
[0054]
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)；以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器进行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
[0063]
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的组件集合(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组件集合进行的一个或多于一个功能。
[0064]
现在参考图4，例示自主运载工具计算400(有时称为“av堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集合成电路(asic)和/或现场可编程门阵列(fpga)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程av系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与v2i系统118相同或类似的v2i系统等)进行通信。
[0065]
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并且对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据发送到规划系统404。
[0066]
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
[0067]
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个lidar传感器(例如，lidar传感器202b)所生成的至少一个点云相关联的lidar数据。在一些示例中，定位系统406从多个lidar传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2d)和/或3d(3d)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的地点。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
[0068]
在另一示例中，定位系统406接收由全球定位系统(gps)接收器所生成的全球导航卫星系统(gnss)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的gnss数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
[0069]
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并且发送控制信号以使动力总成控制系统(例如，dbw系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408发送控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并且发送控制信号以使运载工具200的其他装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。
[0070]
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(mlp)、至少一个卷积神经网络(cnn)、至少一个递归神经网络(rnn)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
[0071]
数据库410存储发送至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储
与操作相关的数据和/或软件、并且使用自主运载工具计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2d和/或3d地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(state)(例如，国家)等的2d和/或3d地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个lidar传感器(例如，与lidar传感器202b相同或类似的lidar传感器)生成与表示该至少一个lidar传感器的视场中所包括的对象的图像相关联的数据。
[0072]
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程av系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或v2i系统(例如，与图1的v2i系统118相同或类似的v2i系统)等中。
[0073]
自定义用于识别用于注释的传感器数据的过滤器
[0074]
在自主运载工具移动通过区域时，运载工具可能遇到区域内的许多不同对象。为了识别这些对象，运载工具可以捕获与区域相关联的传感器数据(例如，区域的图像)。此外，运载工具可以实现机器学习模型以接收传感器数据并且识别区域的图像内的特定对象。由于运载工具在移动期间可能遇到许多不同对象(例如，鸟、行人、交通标志、其他运载工具、建筑物等)，因此使机器学习模型能够准确识别对象可能是重要的。例如，由于运载工具可以基于对象是鸟(例如，轻微转向)还是人(例如，制动)来选择不同的动作，因此机器学习模型能够在鸟和人之间进行区分可能是重要的。当遇到第二对象时，与遇到第一对象相关联的动作在实现时可能会产生不利影响。因此，机器学习模型准确识别区域的图像内的不同对象可能是重要的。为了准确地识别对象，可以在用于识别图像内的特定对象的注释的训练数据集上，训练机器学习模型。训练数据集可以包括已经被注释的传感器数据。
[0075]
然而，训练数据集可以是广泛的。例如，训练数据集可以包括由特定传感器在某时间段内生成的所有传感器数据。传感器数据可以包括针对特定行程、特定运载工具等而生成的所有传感器数据。因此，传感器数据可以包括与运载工具的不同操作条件相关联的传感器数据。例如，传感器数据可以包括用于识别不同对象和/或不同对象类的传感器数据、与不同环境特性(例如，一天中的时间、天气等)相关联的传感器数据、用于识别运载工具或行人的不同机动动作的传感器数据等。由于特定运载工具可能会遇到不同操作条件，因此使用训练数据集的特定部分来训练机器学习模型可能是重要的。例如，训练机器学习模型以识别人行横道中的行人可能是重要的，并且训练机器学习模型以基于各项与机器学习模型的相关性(例如，人行横道中的行人与机器学习模型的相关性、以及天空中的鸟与机器学习模型的相关性)来识别天空中的鸟可能不是重要的。
[0076]
由于训练数据集可以包括与多个操作条件相关联的所注释传感器数据，因此使用整个训练数据集来训练机器学习模型可能是低效的。在一些情况下，训练数据可以包括从多个运载工具上的捕获期生成的传感器数据。例如，训练数据可以包括在第一捕获期期间从第一运载工具生成的传感器数据以及在第二捕获期期间从第二运载工具生成的传感器
数据。由于潜在的训练数据量，使用整个训练数据集训练机器学习模型可能是低效且昂贵的。
[0077]
使用训练数据集进行训练，这可能使得系统训练机器学习模型以识别图像内的特定对象是低效且困难的。在一些情况下，一些系统可以向系统提供训练数据的一部分以供手动选择用于训练机器学习模型的特定图像。例如，用户可以向机器学习模型提供特定的训练数据以供训练。然而，由于机器学习模型可能需要训练多个图像以识别特定的对象，因此这样的手动选择用于训练机器学习模型的特定图像可能低效且成本高。
[0078]
附加地，训练数据内可能存在不准确性。例如，训练数据可以包括用于将第一对象识别为第一对象类型(例如，建筑物)的第一对象的第一注释，但第一对象可以是第二对象类型(例如，公共汽车)。由于可以由(例如，与第三方注释器相关联的)第三方计算装置提供和生成训练数据(例如，注释数据)，因此，验证注释数据是否正确并且过滤用于训练机器学习模型的训练数据，这可能是重要的。此外，如果在训练数据内存在不准确性，则机器学习模型可能被训练为误识别特定对象。训练数据内的不准确性的这种潜在存在可能会使感知系统难以准确且高效地识别区域的图像内的对象。为了识别训练数据内的不准确性，一些系统可以(例如，由审核者)向计算系统提供训练数据的一部分以用于质量保证。然而，由于质量保证的成本可能会随着提供给计算系统的训练数据量增加而显著增加，因此向计算系统提供训练数据以用于质量保证可能低效且成本高。
[0079]
由于用于注释传感器数据的处理可能耗时且昂贵，因此在提供用于注释的传感器数据之前对传感器数据进行过滤可能是重要的。如上所论述的，可能由第三方计算装置来提供和生成训练数据，并且对提供给第三方计算装置的传感器数据进行过滤使得限制由第三方计算装置提供和生成的训练数据可能是重要的。系统可能无法识别出用于注释的提供给第三方计算装置的传感器数据的一部分是否包括与特定机器学习模型相关的传感器数据的一部分。例如，系统可以识别传感器数据的特定部分，该特定部分包括与特定机器学习模型不相关的传感器数据(例如，传感器数据可以识别机器学习模型先前被训练以识别的对象，传感器数据可以识别机器学习在特定时间段内尚未遇到的对象，传感器数据可以与先前训练机器学习模型的操作条件相关联等)。虽然传感器数据的特定部分可以与特定机器学习模型不相关，但是第三方计算装置可以生成并提供用于识别传感器数据的特定部分的注释的训练数据，并且可以使用训练数据来训练机器学习模型。通过在与机器学习模型不相关的训练数据上训练机器学习模型，训练处理可能低效且耗时。由于系统可能无法快速且高效地训练机器学习模型，因此这也可能导致不足的用户体验。
[0080]
为了应对这些问题，感知系统可以使用用户指定类别来过滤用于注释的传感器数据。在一些情况下，感知系统可以使用多个机器学习模型来处理传感器数据，以识别传感器数据的捕获期集合。各个捕获期集合可以表示符合捕获期的特定类别的传感器数据，并且感知系统可以过滤传感器数据的全部或一部分以识别与用户指定类别相关联的传感器数据。通过基于用户指定类别而主动过滤传感器数据(而不是将所有传感器数据提供到第三方计算装置以用于注释)，感知系统可以增加用于机器学习模型的训练的、由第三方计算装置生成并提供的训练数据与机器学习模型相关的可能性。例如，感知系统可以过滤传感器数据以识别：用于识别以小于传感器数据的阈值(例如，10％、25％、35％、50％等)的状态出现的对象或对象类的传感器数据、用于识别机器学习模型已误分类的图像或场景的传感器
数据(例如，用于识别由机器学习模型误标记、遗漏或以其他方式误分类的对象的传感器数据)、用于识别运载工具或行人的特定机动动作的传感器数据等。这样的用于过滤针对注释而提供的传感器数据的处理可以降低成本并且提高与训练机器学习模型相关联的效率。
[0081]
如本文所述，信号处理系统可以接收大量传感器数据。信号处理系统可以处理(例如，挖掘、解析等)传感器数据，并且识别传感器数据的捕获期集合。信号处理系统可以利用所识别的捕获期集合来过滤传感器数据。信号处理系统可以获得对特定过滤器的选择，并且过滤传感器数据。因此，信号处理系统可以在将经过滤的传感器数据发送到计算系统以用于注释之前过滤传感器数据。
[0082]
如本文所述，可以在多个传感器数据捕获期(例如，数据捕获期)期间从多个传感器取入传感器数据。例如，传感器数据可以包括由照相机图像传感器生成的照相机数据、由激光雷达(lidar)传感器生成的激光雷达数据、由雷达传感器生成的雷达数据等。多个传感器数据捕获期中的各个传感器数据捕获期可以是捕获传感器数据期间的单独时间段、时间间隔、数据集合时间段和运载工具行程等。传感器数据的子集可以在特定传感器数据捕获期期间通过特定传感器来捕获。因此，可以通过多个传感器数据捕获期捕获传感器数据，并且通过信号处理系统来取入传感器数据作为传感器数据集。
[0083]
信号处理系统可以使用多个机器学习模型来处理(例如，挖掘)传感器数据。可以训练多个机器学习模型中的各个机器学习模型，以定义捕获期的特定类别，并且向传感器数据添加用于识别出传感器数据与捕获期的特定类别相对应的元数据。传感器数据可以符合基于机器学习模型的输出的捕获期的特定类别。例如，如果机器学习模型确定为传感器数据识别出特定对象或特定对象类(例如，自行车、冰淇淋车和盲人行人等)、识别出包括特定区域(例如，天空)的特定图像或场景、识别出特定环境特性(例如，一天中的时间、不良光照条件、雨、雪等)、识别出运载工具的特定机动动作(例如，运载工具的速率，运载工具的地点、运载工具的位置)、识别出对象的特定机动动作(例如，在人行横道上行走的行人)等，则传感器数据可以符合捕获期的特定类别。
[0084]
通过处理传感器数据，信号处理系统可以识别在传感器数据中表示的和/或由传感器数据表示的多个捕获期集合。捕获期集合各自可以表示来自符合捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据的子集。
[0085]
信号处理系统可向用户计算装置提供捕获期的类别。例如，信号处理系统可以生成并引起用于识别捕获期的类别的用户接口的显示。信号处理系统可以获得对捕获期的类别中的用户指定类别的选择。
[0086]
信号处理系统可以使用用户指定类别过滤传感器数据。通过过滤传感器数据，信号处理系统可以识别表示特定机器学习模型已确定的传感器数据符合用户指定类别的捕获期集合。因此，信号处理系统可以过滤传感器数据，以识别符合特定用户指定类别的传感器数据的子集。
[0087]
信号处理系统可将传感器数据的子集路由到用户计算装置。例如，信号处理系统可以生成和/或引起包括传感器数据的子集的可视化的用户接口的显示。信号处理系统可以将传感器数据的子集路由到用户计算装置以用于注释。响应于接收到传感器数据的子集，用户计算装置可以生成包括传感器数据的子集的注释的训练数据。用户计算装置可以路由用于机器学习模型的训练的训练数据。
[0088]
图5是示出信号处理环境500的示例的框图。在所示示例中，信号处理环境500包括与传感器504通信地耦接的信号处理系统502、数据取入系统507、计算装置510、计算装置516和训练机器学习模型524。在一些情况下，信号处理系统502可以接收来自多个传感器504的传感器数据。传感器504中的各个传感器可以提供用元数据加标签的传感器数据，以识别多个捕获期的特定捕获期。在一些情况下，信号处理系统502可以形成可以接收传感器数据并处理传感器数据的后端系统(例如，参考图4所描述的感知系统402的后端系统)的至少一部分。多个传感器中的各个传感器可以与运载工具的队列中的运载工具相关联(例如，附接到运载工具、监测运载工具的特征等)。信号处理系统502可以经由数据取入系统507来取入传感器数据506，并且获得用户指定类别512以过滤传感器数据506。信号处理系统502可以利用计算装置516路由用于生成注释522的经过滤的传感器数据。计算装置516可以生成注释522，并且提供注释522以对训练机器学习模型524进行训练。
[0089]
传感器504生成传感器数据506，并且将传感器数据506通信到数据取入系统507。传感器504可以包括照相机202a、lidar传感器202b、雷达传感器202c、地点传感器(例如，gps传感器)、加速度计、速率传感器、陀螺仪、位置传感器、天气传感器、雷达传感器、交通数据传感器等中的任意一个或任意组合。类似地，传感器数据506可以包括不同类型的传感器数据，诸如与照相机图像相关联的照相机数据、与雷达图像相关联的雷达数据、与激光雷达图像相关联的lidar数据、与地点传感器相关联的地点数据、与加速度计相关联的加速度数据、与速率传感器相关联的速率数据、与陀螺仪相关联的朝向数据、与位置传感器相关联的位置数据、与天气传感器相关联的天气数据、与雷达传感器相关联的雷达数据、与交通数据传感器相关联的交通数据等。传感器504可以基于一个或多于一个传感器信号处理设置(例如，白平衡、增益、色调、曝光、色彩平衡、饱和度等)来生成传感器数据506。
[0090]
传感器504可以在多个数据捕获期期间捕获传感器数据506。例如，传感器504可以在第一数据捕获期期间捕获传感器数据506的第一子集、在第二数据捕获期期间捕获传感器数据506的第二子集、在第三数据捕获期期间捕获传感器数据506的第三子集等。多个数据捕获期各自可以通过诸如运载工具行程(例如，从运载工具启动到运载工具关闭的时间段)等的时间段或任意其他时间段来定义。传感器数据506可以包括用于识别与传感器数据506相关联的数据捕获期的元数据。例如，传感器数据506可以包括用于识别出传感器数据506与特定传感器、特定运载工具、特定运载工具行程、特定运载工具行程的开始地点和/或停止地点、一个或多于一个运载工具行程的距离、特定导航命令的输入、特定运载工具行程期间的传感器和/或运载工具问题(例如，故障)相关联的元数据。由传感器504捕获的传感器数据506可以被分组到一个或多于一个捕获期中并且被提供给数据取入系统507。因此，在数据捕获期(例如，运载工具行程)期间，可以通过一个或多于一个传感器捕获传感器数据506的特定子集。例如，在六个运载工具行程期间，可以通过附接到第一运载工具的第一传感器和第二传感器来捕获传感器数据，并且在五个运载工具行程期间，可以通过附接到第二运载工具的第三传感器来捕获传感器数据。
[0091]
数据取入系统507可以自动取入由传感器504生成的原始(raw)日志数据(例如，传感器数据506)。在一些实施例中，数据取入系统507可以自动取入传感器数据506并且处理传感器数据506(例如，数据取入系统507可以对传感器数据506进行预处理)。数据取入系统507可以连续读取和处理原始日志数据，并且将所取入数据写入数据存储部。数据取入系统
507可以包括用于连续读取和处理原始日志数据并且写入所取入数据的多个并行处理。原始日志数据可以包括用于识别原始日志数据的一个或多于一个特征的元数据(例如，与原始日志数据相关联的运载工具、捕获原始日志数据的时间、与原始日志数据相关联的传感器、或与运载工具和/或传感器相关联的任意其他数据)。在一些情况下，数据取入系统507可以处理原始日志数据以将元数据写入原始日志数据和所生成的所取入数据。返回到先前的示例，在六个运载工具行程期间，可以通过附接到第一运载工具的第一传感器和第二传感器来捕获传感器数据，并且在五个运载工具行程期间，可以通过附接到第二运载工具的第三传感器来捕获传感器数据。传感器数据可以包括用于识别传感器数据的数据捕获的时间、各个运载工具行程的时间、各个传感器的标识符、各个运载工具的标识符等的元数据。在一些实施例中，数据取入系统507可以形成信号处理系统502的至少一部分。
[0092]
在一些实施例中，数据取入系统507和/或信号处理系统502可以从不同组件获得传感器数据506。此外，传感器504和/或不同组件可以在数据取入系统507和/或信号处理系统502获得传感器数据506之前进行初步信号处理以修改传感器数据506。
[0093]
数据取入系统507可以基于取入和/或处理传感器数据506生成与传感器504相关联的所取入数据514以及/或者将该所取入数据514提供给信号处理系统502。在一些实施例中，数据取入系统507和信号处理系统502可以进行分离的数据取入和查询处理。例如，数据取入系统507可以进行与信号处理系统502所进行的查询分离的数据取入。信号处理系统502(或其他相关系统)可以向数据取入系统507提供指令。该指令可以识别如何生成和/或提供所取入数据514。例如，该指令可以识别定义对象的规则、定义质量级别的错误定义、以及/或者用于生成所取入数据514的任意其他指令。
[0094]
计算装置510(例如，第三方计算装置)还可以从数据取入系统507接收所取入数据514。在一些实施例中，计算装置510可以接收传感器数据506。
[0095]
信号处理系统502包括用于挖掘所取入数据514的信号处理器508。信号处理系统502还可以包括多个机器学习模型(例如，多个神经网络)。信号处理器508可以利用多个机器学习模型来处理所取入数据514。信号处理器508可以是可扩展的系统，并且信号处理器508可以扩展和/或收缩多个机器学习模型。信号处理器508可以启动(例如，提供)附加的机器学习模型来处理所取入数据514。例如，信号处理器508可以利用多个机器学习模型来处理所取入数据514，以识别所取入数据514的多个特征。信号处理器508可以确定为多个机器学习模型未识别特定特征(例如，天空中的飞机)。在一些情况下，信号处理器508可以过滤传感器数据以识别没有分类别(例如未分类)的传感器数据(例如，尚未被多个机器学习模型分类、以及/或者已被通用机器学习模型而不是特定机器学习模型分类)。基于识别出多个机器学习模型未识别特定特征、以及/或者传感器数据的一部分尚未分类，信号处理器508可以启动新的机器学习模型来处理传感器数据。将要理解，信号处理器可以启动任意数量的机器学习模型。
[0096]
多个机器学习模型中的各个机器学习模型可以识别传感器数据是否符合捕获期的特定类别。例如，各个机器学习模型可以处理所取入数据514，并且确定所取入数据514是否符合与特定机器学习模型相对应的捕获期的类别。
[0097]
捕获期的类别可以包括具有以少于传感器数据的阈值量的状态出现的对象和/或对象类的传感器数据(例如，传感器数据506或不同的传感器数据)。例如，捕获期的类别可
以包括用于识别特定稀有对象类(例如，自行车、冰淇淋车和拄着拐杖的人)的传感器数据。
[0098]
捕获期的类别可以包括用于识别小于阈值的对象、对象类、场景和图像等的传感器数据，其中利用训练机器学习模型524(或不同的机器学习模型)针对这些对象、对象类、场景和图像等进行的分类与地面真值(ground truth)数据集匹配(例如，训练机器学习模型524正确地分类小于阈值的对象、对象类、场景、图像等)。捕获期的类别可以包括用于识别训练机器学习模型524所分类的与地面真值数据集(例如，由计算装置516提供的注释)不匹配的对象、对象类、场景、图像的传感器数据。例如，训练机器学习模型524将行走的行人分类为运载工具。多个机器学习模型可以接收用于识别利用训练机器学习模型524进行的分类与地面真值数据集匹配的且小于阈值的一个或多于一个对象、对象类、场景、图像等的数据，并且可以基于所接收的数据来定义捕获期的类别。
[0099]
捕获期的类别可以包括用于识别特定环境特征的传感器数据。例如，捕获期的类别可以包括用于识别特定天气条件(例如，下雪、下雨等)的传感器数据。在一些实施例中，捕获期的类别可以包括用于识别以少于运载工具行程的阈值量的状态发生的环境特性(例如，下雪)的传感器数据。
[0100]
捕获期的类别可以包括用于识别对象(例如，运载工具、不同的运载工具、行人、动物等)的特定机动动作的传感器数据。例如，捕获期的类别可以包括用于识别运载工具(例如，比特定阈值更快或更慢地移动的运载工具、执行诸如车道改变或无保护左转等的特定分类机动动作的运载工具等)的机动动作、行人(例如，进入人行横道的行人、在道路中行走的行人等)的机动动作、不同运载工具的机动动作(例如，启动引领运载工具的运载工具的制动)、动物(例如，进入道路的动物)的机动动作等的传感器数据。
[0101]
可以训练多个机器学习模型中的各个机器学习模型，以识别与捕获期的特定类别相关的传感器数据。例如，第一机器学习模型可以识别用于识别以特定速率行驶的运载工具的传感器数据，并且第二机器学习模型可以识别用于识别行人的传感器数据。
[0102]
捕获期的类别各自可以不专属于特定对象、特定对象类、特定图像、特定场景、特定传感器、特定运载工具、特定传感器数据捕获期和/或特定运载工具行程。捕获期的各个类别可以包括多个对象、多个对象类、多个图像、多个场景、来自多个传感器的数据、与多个运载工具相关联的数据、与多个传感器数据捕获期相关联的数据以及/或者与多个运载工具行程相关联的数据。
[0103]
多个机器学习模型可以识别捕获期的类别以用于对训练机器学习模型524进行训练。例如，多个机器学习模型可以识别传感器数据的一部分，并且对传感器数据的一部分加标签为包括人行横道。基于用户指定类别，可以向训练机器学习模型524提供被加标签为包括人行横道的传感器数据的一部分以用于训练。在一些情况下，多个机器学习模型可以包括训练机器学习模型。多个机器学习模型可以利用阈值置信度识别传感器数据的特定部分并对其加标签(例如，加标签为包括自行车)。可以对传感器数据的一部分进行注释，并且所注释传感器数据可以用于更新训练机器学习模型524。
[0104]
使用多个机器学习模型，信号处理器508可以处理所取入数据514。信号处理器508可以将所取入数据514提供给多个机器学习模型中的各个机器学习模型。各个机器学习模型可以从所取入数据514中识别一个或多于一个传感器数据捕获期以及/或者传感器数据捕获期的一个或多于一个部分是否符合捕获期的特定类别。信号处理器508可以使用多个
机器学习模型来识别传感器数据中所表示的多个捕获期集合。多个捕获期集合中的各个捕获期集合可以表示符合捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据。因此，信号处理器508可以识别所取入数据514中所表示的多个捕获期集合，并且各个捕获期集合可以符合捕获期的特定类别。
[0105]
返回到先前的示例，信号处理器508可以识别所取入数据514中所表示的捕获期集合。捕获期集合可以具有：包括用于识别狗的传感器数据的捕获期的第一类别、包括用于识别每小时行驶超过50英里的运载工具的传感器数据的捕获期的第二类别、包括用于识别人行横道中的行人的传感器数据的捕获期的第三类别、包括用于识别道路中的自行车的传感器数据的捕获期的第四类别等。捕获期集合还可以包括基于来自所取入数据的元数据的捕获期的类别，其中该所取入数据具有：包括在下午5：00和上午5：00之间捕获的传感器数据的捕获期的第一类别、包括与特定运载工具相关联的传感器数据的捕获期的第二类别等。
[0106]
信号处理器508可以写入用于识别与所取入数据514的各个部分相对应的捕获期的类别的元数据。例如，如果机器学习模型识别出所取入数据514的一部分对应于与用于识别自行车的传感器数据相对应的捕获期的第一类别、以及与用于识别每小时行驶超过50英里的运载工具的传感器数据相对应的捕获期的第二类别，则信号处理器508可以将用于识别捕获期的第一类别和第二类别的元数据写入所取入数据514的一部分。所取入数据514的各个部分可以与捕获期的一个或多于一个类别相对应。在一些情况下，所取入数据514的一部分可以不与捕获期的类别相对应。
[0107]
信号处理器508可以向计算装置510提供捕获期的类别。此外，信号处理器508可以生成用于识别捕获期的类别的用户接口。在一些情况下，信号处理器508可以经由用户接口提供所取入数据514的一个或多于一个特征以用于选择。例如，所取入数据514的一个或多于一个特征可以包括同与所取入数据514相关联的原始日志数据相关联的运载工具、原始日志数据的捕获时间、与原始日志数据相关联的传感器、或者与运载工具和/或传感器相关联的任意其他数据。信号处理器508可以使得计算装置510显示用户接口。计算装置可以从数据取入系统507接收所取入数据514，并且可以在用户接口中显示所取入数据514的至少一部分。
[0108]
用户接口可以包括用于使得用户能够选择特定类别的一个或多于一个可选参数。例如，可以经由用户接口将捕获期的类别显示为一个或多于一个可选过滤器。返回到先前的示例，用户接口可以识别包括用于识别狗的传感器数据的捕获期的第一类别、包括用于识别每小时行驶超过50英里的运载工具的传感器数据的捕获期的第二类别、包括用于识别人行横道中的行人的传感器数据的捕获期的第三类别、包括用于识别道路中的自行车的传感器数据的捕获期的第四类别、包括在下午5：00和上午5：00之间捕获的传感器数据的捕获期的第五类别、包括与特定运载工具相关联的传感器数据的捕获期的第六类别等。
[0109]
用户可以使用一个或多于一个可选参数来选择特定类别。基于该选择，计算装置510可以识别捕获期的类别中的用户指定类别512。计算装置510可以向信号处理系统502提供用户指定类别512。返回到先前的示例，用户可以请求对训练机器学习模型524的训练以在夜间以某速率行进时识别对象。例如，用户指定类别可以具有包括用于识别每小时行驶超过50英里的运载工具的传感器数据的捕获期的第二类别、以及包括在下午5：00和上午5：00之间捕获的传感器数据的捕获期的第五类别。
[0110]
信号处理系统502的信号处理器508可以从计算装置510接收用户指定类别512。在一些情况下，用户指定类别512可以识别捕获期的一个或多于一个类别。例如，用户指定类别512可以具有：包括人行横道中的行人的捕获期的第一类别、以及包括每小时行驶超过50英里的运载工具的捕获期的第二类别。在一些情况下，用户指定类别512可以识别所取入数据514的一个或多于一个特征。例如，用户指定类别512可以具有包括人行横道中的行人的捕获期的第一类别、以及包括在下午5：00和上午5：00之间捕获的传感器数据的所取入数据514的第一特征。
[0111]
信号处理器508可以使用用户指定类别512来过滤所取入数据514。例如，信号处理器508可以基于用户指定类别512来识别表示符合用户指定类别512的所取入数据514的一部分的捕获期集合。在一些实施例中，信号处理器508可以使用用户指定类别512过滤与所取入数据514不同的所取入数据集(例如，不同的传感器数据集)。用户指定类别512可以识别所取入数据514的一部分，并且信号处理器508可以识别出捕获期集合表示由用户指定类别识别的所取入数据514的一部分。所取入数据514的一部分可以包括跨多个传感器数据捕获期捕获的传感器数据。返回到先前的示例，所取入数据514的一部分可以包括与每小时行驶超过50英里的运载工具相关联的并且在下午5：00和上午5：00之间捕获的传感器数据。因此，信号处理器508可以识别所取入数据514的一部分。
[0112]
信号处理器508可以将所取入数据514的一部分发送到计算装置516。例如，计算装置516可以是终端(end)用户计算装置，并且信号处理器508可以将所取入数据514的一部分发送到终端用户计算装置。信号处理器508还可以向计算装置516发送用于指示计算装置516生成所取入数据514的一部分的注释的指令。信号处理系统502(或其他相关系统)可以向计算装置516提供指令。指令可以识别如何生成注释522。例如，指令可以包括定义用于注释的对象和注释的方式的注释规则(例如，注释规则可以定义注释的格式或样式)、定义注释错误和期望质量级别的错误定义、以及/或者用于生成注释522的任意其他指令。
[0113]
基于来自信号处理系统502的指令和所取入数据514的一部分，计算装置516可以针对信号处理系统502生成注释522。例如，用户可以使用计算装置516通过注释所取入数据514的一部分来生成注释522。注释522可以包括所注释传感器数据。此外，注释522可以包括利用所取入数据514的一部分所捕获的、区域的图像中的对象的一个或多于一个标识符。例如，注释522可以将利用所取入数据514的一部分所捕获的、区域的图像中的第一对象识别为“狗”，将第二对象识别为“运载工具”，并且将第三对象识别为“建筑物”等。将要理解，注释522可以包括更多、更少或不同的注释(例如，标识符、标记、激光雷达分割标记等)。
[0114]
注释522可以识别特定对象和针对该对象的注释。例如，注释522可以包括用于识别对象的标识符(例如，对象的坐标)和对象的注释的各个对象的多个字段值对。此外，可以以内存数据库格式或主存数据库格式来格式化注释522。
[0115]
在一些情况下，计算装置516可以包括用于生成注释522的网络。因此，信号处理器508可以识别用于注释的所取入数据514的一部分，并且计算装置516可以在没有人工干预的情况下自动注释所取入数据514的一部分，并且提供所注释的数据以用于训练机器学习模型524的训练。例如，计算装置516可以是信号处理系统502的一部分。计算装置516可以使用一个或多于一个网络(例如，一个或多于一个cnn)来实现。例如，计算装置516可以使用图像语义网络和/或激光雷达语义网络来实现。计算装置516可以接收所取入数据514的一部
分作为输入，并且输出语义图像和/或与语义图像相关联的语义数据。
[0116]
计算装置516可以包括图像特征提取网络。在一些情况下，图像特征提取网络可以使用deeplabv3+或psp+神经网络模型来实现。然而，将要理解，各种神经网络可以用于从图像中提取特征。在一些情况下，计算装置516可以与照相机图像相对应，然而，将要理解，各种类型的图像可以用作图像特征提取网络的输入。
[0117]
如本文所述，图像特征提取网络可以包括计算装置516中的可以用于识别和分类不同对象(例如，运载工具、行人、自行车、障碍物、锥形交通路标(traffic cone)、可驾驶表面、背景等)的一个或多于一个过滤器、卷积层、子采样层和/或全连接层。因此，在一些情况下，由图像特征提取网络输出的语义数据可以识别所取入数据514的一部分中的一个或多于一个对象以及针对各个对象的对象分类。
[0118]
语义图像可以包括像素的行。语义图像中的一部分或全部像素可以包括诸如一个或多于一个特征嵌入等的语义数据。在一些情况下，特征嵌入可以与一个或多于一个对象属性相关，诸如但不限于对象分类或用于识别对象的分类(有时称为对象的类)的类标记等(非限制性示例：运载工具、行人、自行车、障碍物、锥形交通路标、可驾驶表面、背景等)。对象分类可以包括指示正确预测了针对像素的所识别的对象分类的概率的概率值。
[0119]
计算装置516还可以包括3d边界框(3d bounding box)网络。3d边界框网络可以使用一个或多于一个cnn来实现，该一个或多于一个cnn可以被配置为接收所取入数据514的一部分作为输入，并且输出与从图像中提取的一个或多于一个特征相关联的特征数据(在本文中也可以被称为3d特征数据和/或3d语义数据)，以及/或者输出所注释图像，其中该所注释图像包括所取入数据514的一部分、以及与从图像中提取的一个或多于一个特征相关联的特征数据。
[0120]
如本文所述，3d边界框网络可以包括可以用于检测图像中对象的尺寸(诸如但不限于图像中对象的宽度、高度和/或长度等)的一个或多于一个滤波器、卷积层、子采样层和/或全连接层。3d边界框网络还可以确定或估计对象的运动参数，诸如但不限于对象的朝向、3d地点、移动、速度、轨迹等。3d边界框网络生成用于对象的、指示对象的尺寸和/或运动参数的3d边界框。
[0121]
所注释图像中的像素的一部分或全部可以包括附加数据。例如，所注释图像中的像素可以包括与至少一个类型的图像相关联的图像数据(例如，用于创建图像的图像中的至少一个图像的图像数据)、与图像相关联的图像语义数据(例如，由图像特征提取网络生成的语义数据，诸如对象的分类等)以及与对象的特征相关联的3d特性数据(例如，由3d边界框网络生成的特征数据)。例如，所注释图像中的像素可以包括针对地点(x，y，z)、反射率、强度、时间戳、不同对象类概率、相关联的边界框、轨迹预测、移动和速度估计等的一个或多于一个注释。因此，计算装置516可以经由针对所取入数据514的一部分的所注释图像来确定注释。
[0122]
计算装置516可以将注释522路由到训练机器学习模型524，以用于对训练机器学习模型524进行训练。例如，可以对训练机器学习模型524进行训练以基于注释522生成输出。
[0123]
将要理解，信号处理系统502可以包括更少、更多或不同的组件。例如，信号处理系统502可以包括用于对传感器数据506进行不同处理功能、和/或处理来自不同传感器504的
传感器数据506的多个信号处理器508。
[0124]
信号处理器的示例操作图
[0125]
图6是示出用于获得和处理传感器数据以识别捕获期的类别的数据流的操作图。数据流还随后旨在基于捕获期的类别中的用户指定类别来过滤传感器数据。具体地，图6是示出用于过滤已使用各自挖掘传感器数据的多个机器学习模型被加标签的传感器数据的数据流的操作图。可以使用用户指定类别来过滤传感器数据，以识别传感器数据的子集。感知系统402的任意组件可以促进用于获得和处理传感器数据以识别捕获期的类别、并且随后基于捕获期的类别中的用户指定类别来过滤传感器数据的数据流。在一些实施例中，不同的组件可以促进数据流。在图6的示例中，信号处理系统促进数据流。
[0126]
在步骤602处，信号处理系统接收与照相机图像603相关联的传感器数据(例如，图像数据)。在所示示例中，使用照相机图像603，然而，将要理解，可以使用不同类型的图像或传感器数据。如本文所述，照相机图像603可以与数据库中的根据从照相机(诸如照相机202a等)获得的传感器数据而生成的图像相对应。在一些情况下，照相机图像603可以包括矩阵中的多行像素，并且各个像素可以包括红色、绿色和蓝色的值或灰度值。在一些实施例中，照相机图像603可以包括初步注释。在其他实施例中，照相机图像603不包括注释，以及/或者可以被称为未注释的照相机图像603。
[0127]
照相机图像603可以包括单个图像、多个图像(例如，图像的流、一个或多于一个图像和相关联数据(例如，遥测数据)等)。例如，照相机图像603可以与正在关闭的运载工具相关联，并且可以包括与正在关闭的运载工具相关联的一系列图像、引擎传感器数据、制动传感器数据、锁定传感器数据等。
[0128]
可以在多个传感器数据捕获期期间生成和/或收集传感器数据。例如，可以在多个运载工具行程期间生成传感器数据。可以在特定传感器数据捕获期期间生成传感器数据的特定部分。此外，可以通过在运载工具行程期间附接到一个或多于一个运载工具和/或与一个或多于一个运载工具相关联的至少一个传感器，在特定传感器数据捕获期期间生成传感器数据的特定部分。
[0129]
可以通过信号处理系统来自动取入传感器数据。例如，可以通过信号处理系统的数据取入系统来自动取入传感器数据。在一些情况下，可以通过信号处理系统来连续地取入传感器数据。
[0130]
在步骤604处，信号处理系统处理传感器数据。例如，信号处理系统可以连续地处理传感器数据。信号处理系统可以实现一系列挖掘脚本(mining script)来处理传感器数据。例如，信号处理系统可以包括用于处理传感器数据的多个机器学习模型。多个机器学习模型中的各个机器学习模型可以针对传感器数据识别符合捕获期的特定类别的传感器数据的特定部分。多个机器学习模型中的各个机器学习模型可以识别传感器数据是否符合捕获期的不同类别。传感器数据的各个部分可以符合捕获期的零个、一个、或多于一个类别。例如，传感器数据的特定部分可以不符合捕获期的任意类别。此外，传感器数据的一部分可以符合由第一机器学习模型识别的捕获期的第一类别以及由第二机器学习模型识别的捕获期的第二类别。
[0131]
各个机器学习模型可以用元数据来对传感器数据加标签，该元数据用于识别与传感器数据相关联的捕获期的(一个或多于一个)类别。例如，可以对传感器数据的一部分加
标签，以识别出传感器数据的一部分识别人行横道中的人。
[0132]
捕获期的类别可以识别对象的机动动作。例如，捕获期的类别可以识别速率、加速度、加加速度(jerk)、转向角度、姿势、朝向、地点、位置、轨迹、或者与运载工具、行人或任意其他对象相关联的任意其他数据。
[0133]
此外，捕获期的类别可以识别传感器数据如何与先前获得的传感器数据相关。例如，捕获期的类别可以经由时空过滤将用于识别相同图像和/或场景(例如，相同的、几乎相同的、或半相同的图像或场景)的传感器数据识别为其他传感器数据。在一些实施例中，捕获期的类别可以经由图像比较来识别超过了与其他传感器数据的相似度的阈值的传感器数据。此外，捕获期的类别可以识别先前的所注释传感器数据。
[0134]
捕获期的类别可以识别超过、满足等机器学习模型不确定性的阈值或范围的传感器数据。例如，捕获期的类别可以识别超过不确定性的特定阈值的传感器数据。此外，捕获期的类别可以识别包括数据异常的传感器数据。例如，捕获期的类别可以识别包括特定对象或对象类的传感器数据。
[0135]
捕获期的类别可以识别包括特定环境特性的传感器数据。例如，捕获期的类别可以识别用于识别太阳眩光、闪烁、天气(例如，下雨、下雪等)、场景(例如，拥挤的场景)中的对象的数量等的传感器数据。
[0136]
捕获期的类别还可以识别(例如，作为传感器数据的元数据而接收到的)传感器数据的特征。例如，捕获期的类别可以识别一天中的时间、地点、距离、目的地、源、路线、与传感器和/或运载工具相关联的校准数据、与运载工具的变速器相关联的自动和/或手动数据、与传感器、运载工具的组件或运载工具相关联的故障数据、或与传感器和/或运载工具相关联的任意其他数据。
[0137]
信号处理系统可以识别传感器数据中所表示的多个捕获期集合。各个捕获期集合可以表示在单个或多个传感器数据捕获期期间收集的传感器数据的集合。例如，捕获期集合可以表示在第一传感器数据捕获期和第二传感器数据捕获期期间收集的传感器数据的集合。各个捕获期集合可以表示在任意数量的传感器数据捕获期期间收集的传感器数据的集合。此外，各个捕获期集合可以表示符合(例如，满足、实现等)捕获期的特定类别的传感器数据的集合。因此，信号处理系统可以识别多个捕获期集合。
[0138]
因此，信号处理系统获得并处理传感器数据。信号处理系统可以在第一时间段期间获得并处理传感器数据以识别多个捕获期集合。
[0139]
在第一时间段之后，信号处理系统可以生成用于识别由多个捕获期集合表示的捕获期的类别的用户接口。用户接口可以包括捕获期的类别作为可选参数。信号处理系统可以引起用户计算装置处的用户接口的显示。
[0140]
响应于引起用户计算装置处的用户接口的显示、并且在第一时间段之后的第二时间段期间，信号处理系统可以从用户计算装置获得对用户指定类别605的选择。用户指定类别605可以识别类别类型和类别输入。例如，用户指定类别605可以识别捕获期的类别的类型、以及针对捕获期的类别的类型的特定输入。基于类别类型和类别输入，信号处理系统可以识别捕获期的特定类别。在一些情况下，用户计算装置可以提供多个用户指定类别。在图6的示例中，用户指定类别605识别“对象类别”的类别类型和“自行车”的类别输入。因此，信号处理系统可以识别出用户指定类别识别包括特定对象(例如，自行车)的传感器数据。
[0141]
在步骤606处，信号处理系统过滤传感器数据。信号处理系统可以基于用户指定类别605过滤传感器数据。信号处理系统可以通过识别已利用与用户指定类别605相关联的元数据被加标签的传感器数据的一部分来过滤传感器数据。例如，信号处理系统可以识别包括用于识别包括自行车的传感器数据的标签的传感器数据。信号处理系统可以使用用户指定类别来识别表示一个或多于一个传感器数据捕获期的传感器数据的捕获期集合。所识别的捕获期集合可以包括符合用户指定类别605的经过滤的传感器数据。
[0142]
在图6的示例中，信号处理系统过滤传感器数据以识别捕获期集合所表示的与图像607相关联的传感器数据的一部分。捕获期集合可以表示与用于识别自行车的图像607相关联的传感器数据。
[0143]
在步骤608处，信号处理系统将与图像607相关联的传感器数据的一部分发送到用户计算装置。信号处理系统可以经由用户接口来发送传感器数据的一部分以用于显示。在一些实施例中，信号处理系统可以发送传感器数据的一部分以用于注释。
[0144]
信号处理系统可以将传感器数据的一部分发送到计算装置(例如，与经由第三方计算装置提供注释的用户相关联的第三方计算装置)。计算装置可以生成所注释传感器数据。所注释传感器数据可以包括多个注释。
[0145]
在一些实施例中，信号处理系统可以生成所注释传感器数据。信号处理系统可以使用机器学习模型(例如，网络)来生成所注释传感器数据。例如，机器学习模型可以包括图像语义网络、激光雷达语义网络等。为了生成所注释传感器数据，信号处理系统可以向机器学习模型提供图像607。
[0146]
所注释传感器数据可以包括多个对象标识符和多个相应注释。例如，对象标识符可以是指向所注释传感器数据的特定子集(例如，被识别为与行人相关联的图像的像素)的坐标等。此外，所注释传感器数据可以识别对象的宽度、高度和长度；针对对象的边界框；对象移动；对象朝向；对象轨迹或其他对象属性。
[0147]
对象标识符各自可以与特定注释相关联或链接到特定注释(例如，标识符、标记等)。例如，可以通过对象标识符(例如，到图像的一部分的指针)和注释(例如，将对象识别为与行人相对应的标记)来识别特定对象。
[0148]
信号处理系统(或计算装置)可以将所注释传感器数据作为训练数据路由到机器学习模型，以用于机器学习模型的训练。例如，信号处理系统可以使得使用训练数据来训练机器学习模型。
[0149]
如本文所述，数据挖掘处理和随后的数据过滤处理可以重复数千次、数十万次、数百万次或更多次，以便连续地挖掘传感器数据。通过使用(例如，由用户计算装置提供的)用户指定类别605过滤传感器数据，信号处理系统可以识别传感器数据的特定部分以用于注释和用于机器学习模型的训练。这些附加特征可以使得信号处理系统能够使用所注释传感器数据准确且高效地训练机器学习模型。
[0150]
此外，在验证处理期间，本文所述的功能或元素的一部分可以不被使用，或者可以不存在。例如，信号处理系统可以不发送传感器数据的一部分，并且信号处理系统可以进行经过滤的传感器数据的注释。
[0151]
示例用户接口
[0152]
图7示出了根据一个或多于一个实施例的示出各种示例性特征的示例接口700。示
例接口700可以包括一个或多于一个可选参数，以使得用户能够针对传感器数据选择特定过滤器。在图7的所示实施例中，接口700包括第一可选参数(例如，自定义过滤器生成部702)和可选参数的第二部(例如，过滤器选择部704)。将要理解，接口700可以包括更多、更少或不同的元素。接口700可以是用于显示与捕获期的类别相对应的过滤器的示例性显示器。示例接口700示出了计算系统(例如，与信号处理系统进行通信的服务器)响应于用户请求过滤传感器数据而生成并呈现给用户的接口。示例接口700可用于用户过滤用于注释的传感器数据。接口700可以响应于用户与先前接口的交互而生成。例如，用户可以与先前接口上的特定元素交互以启动过滤器选择处理。
[0153]
作为非限制性示例，用户接口700的一个或多于一个元素可以用于使得用户能够针对传感器数据定义特定过滤器。响应于对特定过滤器的选择，信号处理系统可以过滤传感器数据并且提供用于注释的传感器数据。例如，信号处理系统可以获得对特定过滤器的选择，并且过滤传感器数据以识别与捕获期的特定类别相关联的传感器数据。用户接口700可以包括自定义过滤器生成部702和过滤器选择部704，以使得用户能够选择特定过滤器。
[0154]
自定义过滤器生成部702可以是交互式的，使得用户可以与自定义过滤器生成部702交互。通过与自定义过滤器生成部702交互，用户接口700可以更新以提供更新的用户接口。更新的用户接口可以识别多个类别类型和多个类别输入。例如，更新的用户接口可以识别包括元数据相关类别、运载工具相关类别、传感器数据相似度相关类别、环境特性类别、行人相关类别和机器学习模型相关类别等的多个类别类型。
[0155]
各个类别类型可以具有一个或多于一个潜在的类别输入。例如，元数据相关类别可以包括地点、距离、行驶的时间段、路线、源、目的地、与运载工具变速器相关联的自动和/或手动数据等。运载工具相关类别可以包括运载工具速度、加速度、加加速度、转向角度、姿势、朝向、机动动作等。传感器数据相似度相关类别可以包括与先前处理或注释的图像的阈值相似度。环境特性类别可以包括一天中的时间、天气、眩光、闪烁等。行人相关类别可以包括行人的地点、行人的机动动作等。机器学习模型相关类别可以包括针对特定传感器数据的机器学习模型不确定性(例如，熵)。
[0156]
通过与更新的用户接口交互，用户可以提供用于过滤传感器数据的过滤器。此外，更新的用户接口使得用户能够提供自定义过滤器定义。
[0157]
过滤器选择部704可以是交互式的，使得用户可以与过滤器选择部704交互。通过与过滤器选择部704交互，用户可以选择特定类别类型。此外，通过与过滤器选择部704交互，用户可以针对特定类别类型定义特定类别输入。例如，各个过滤器可以与使得用户能够针对特定过滤器定义类别输入的元素相关联。过滤器选择部704可以识别多个过滤器，并且各个过滤器可以与不同的类别类型相关联。
[0158]
在图7的示例中，过滤器选择部704包括第一过滤器706、第二过滤器708、第三过滤器710、第四过滤器712、第五过滤器714和第六过滤器716。将要理解，过滤器选择部704可以识别更多、更少或不同的过滤器。
[0159]
过滤器选择部704中的第一过滤器706识别“日志过滤器”。日志过滤器可以使得用户能够通过日志名称、日期、与运载工具相关联的运载工具数据等来过滤传感器数据。此外，日志过滤器可以使得用户能够识别与用于过滤的数据存储部相关联的日志数据的特定部分(例如，与运载工具、日期或日志相关联的日志数据)。
[0160]
过滤器选择部704中的第二过滤器708识别“交通灯过滤器”。交通灯过滤器可以使得用户能够通过交通灯属性的存在(例如，交通灯的箭头方向、出现在交通灯处的行人等)来过滤传感器数据。
[0161]
过滤器选择部704中的第三过滤器710识别“间隔过滤器”。间隔过滤器可以使得用户能够通过特定时间来过滤传感器数据(例如，通过选择传感器数据中的帧的开始时间和/或结束时间来过滤传感器数据)。
[0162]
过滤器选择部704中的第四过滤器712识别“对象过滤器”。对象过滤器可以使得用户能够通过传感器数据中的对象的存在(例如，在传感器数据的特定帧中可见的运载工具、自行车、锥形交通路标等的存在)来过滤传感器数据。
[0163]
过滤器选择部704中的第五过滤器714识别“空间采样器”。空间采样器可以使得用户能够通过与帧相关联的空间数据(例如，运载工具在传感器数据的各帧之间所移动的最小距离)来过滤传感器数据。
[0164]
过滤器选择部704中的第六过滤器716识别“时间采样器”。时间采样器可以使得用户能够通过时间段(例如，传感器数据的帧之间的最小持续时间)来过滤传感器数据。因此，用户接口700可以使得用户能够提供用于过滤传感器数据的自定义过滤器定义。
[0165]
图8示出了根据一个或多于一个实施例的示出各种示例性特征的示例接口800。示例接口800可以包括一个或多于一个可选参数，以使得用户能够针对传感器数据选择特定过滤器。示例接口800还可以包括所取入传感器数据的可视化表示(例如，图像)。在图8的所示实施例中，接口800包括第一可选参数(例如，自定义过滤器生成部802)、可选参数的第二部(例如，过滤器选择部804)和可视化表示部814。将要理解，接口800可以包括更多、更少或不同的元素。接口800可以是用于显示与捕获期的类别相对应的过滤器的示例性显示器。示例接口800示出了计算系统(例如，与信号处理系统进行通信的服务器)响应于用户请求过滤所取入传感器数据而生成并呈现给用户的接口。示例接口800可用于用户过滤用于注释的传感器数据。接口800可以响应于用户与先前接口的交互而生成。例如，用户可以与先前接口上的特定元素交互以启动过滤器选择处理。
[0166]
作为非限制性示例，用户接口800的一个或多于一个元素可以用于使得用户能够针对传感器数据定义特定过滤器。例如，用户可以与自定义过滤器生成部802和/或过滤器选择部804交互。响应于对特定过滤器的选择，信号处理系统可以过滤传感器数据并且经由可视化表示部814来提供传感器数据。在一些情况下，用户接口800可以在过滤传感器数据之前显示传感器数据，并且可以基于过滤传感器数据来更新可视化表示部814。
[0167]
如上所论述的，自定义过滤器生成部802可以是交互式的，使得用户可以与自定义过滤器生成部802交互。通过与自定义过滤器生成部802交互，用户接口800可以更新以提供更新的用户接口。更新的用户接口可以识别多个类别类型和多个类别输入。通过与更新的用户接口交互，用户可以提供用于过滤传感器数据的过滤器。此外，更新的用户接口使得用户能够提供自定义过滤器定义。
[0168]
附加地，过滤器选择部804可以是交互式的，使得用户可以与过滤器选择部804交互。通过与过滤器选择部804交互，用户可以选择先前定义的(例如，已保存的)过滤器。例如，可以使用自定义过滤器生成部802和/或用户接口700来定义过滤器。过滤器选择部804可以识别各自与捕获期的特定类别相对应的多个过滤器。
[0169]
在图8的示例中，过滤器选择部804包括搜索过滤器元素806。搜索过滤器元素806可以使得用户能够提供搜索查询，并且系统可以响应于搜索查询而识别特定过滤器。用户接口800可以响应于搜索查询而显示所识别的过滤器。过滤器选择部804还可以包括第一过滤器808、第二过滤器810和第三过滤器812。将要理解，过滤器选择部804可以识别更多、更少或不同的过滤器。第一过滤器808可以是自行车过滤器(例如，用于识别用于识别帧中的自行车的传感器数据的过滤器)。第二过滤器810可以是人行横道中的行人过滤器(例如，用于识别用于识别帧中的人行横道中的行人的传感器数据的过滤器)。第三过滤器812可以是乱穿马路过滤器(例如，用于识别用于识别帧中的乱穿马路的行人的传感器数据的过滤器)。
[0170]
信号处理器的示例流程图
[0171]
图9是示出由一个或多于一个处理器(例如，信号处理系统502的一个或多于一个处理器)实现的例程900的示例的流程图。图9所示的流程图仅是为了例示的目的而提供的。将要理解，可以移除图9所示的例程的步骤中的一个或多于一个步骤，或者可以改变步骤的顺序。此外，为了示出清楚示例的目的，在各个数据流阶段期间进行各种操作的上下文中描述了一个或多于一个特定系统组件。然而，可以使用其他系统布置以及处理步骤跨系统组件的分布。
[0172]
在块902处，为了提供与至少一个传感器相关联的传感器数据以用于注释，信号处理系统502接收传感器数据。多个传感器(例如，与运载工具相关联的传感器)可以在多个传感器数据捕获期期间捕获传感器数据。例如，传感器数据可以包括在多个传感器数据捕获期期间由与运载工具相关联的第一传感器捕获的第一传感器数据、以及在多个传感器数据捕获期期间由与运载工具相关联的第二传感器捕获的第二传感器数据。各个传感器数据捕获期可以与由一个或多于一个传感器在某时间段(例如，运载工具行程)内捕获的数据相对应。例如，各个传感器数据捕获期可以对应于与特定运载工具行程相关联的一系列传感器数据。
[0173]
传感器数据可以包括与照相机图像相关联的照相机数据、与雷达图像相关联的雷达数据、与激光雷达图像相关联的lidar数据和/或任意其他传感器数据。此外，用于捕获传感器数据的(一个或多于一个)传感器可以包括照相机图像传感器、lidar传感器、雷达传感器或任意其他传感器。
[0174]
传感器数据可以包括用于识别传感器数据的一个或多于一个特征(例如，与传感器数据相关联的运载工具、传感器数据的捕获时间、与传感器数据相关联的传感器、或者与运载工具和/或传感器相关联的任意其他数据)的元数据。
[0175]
在一些情况下，在信号处理系统502接收传感器数据之前，可以通过数据取入系统来处理传感器数据。数据取入系统可以处理传感器数据并且将传感器数据存储在数据存储部中，并且信号处理系统502可以从数据存储部接收传感器数据。因此，信号处理系统502接收传感器数据。
[0176]
在块904处，为了使得能够进行传感器数据的过滤，信号处理系统502使用多个机器学习模型来处理传感器数据。信号处理系统502可以处理传感器数据以识别传感器数据中所表示的、和/或由传感器数据所表示的多个捕获期集合。各个捕获期集合可以表示一个或多于一个传感器数据捕获期的传感器数据、或与一个或多于一个传感器数据捕获期相关
联的传感器数据。此外，各个捕获期集合可以表示符合来自捕获期的多个类别中的捕获期的特定类别的传感器数据。
[0177]
各个机器学习模型可以识别传感器数据是否符合与机器学习模型相对应的捕获期的特定类别。此外，各个机器学习模型可以识别与对应于机器学习模型的捕获期的特定类别相关联的一个或多于一个传感器数据捕获期。
[0178]
捕获期的类别可以定义跨传感器数据捕获期的相关数据。在一些情况下，捕获期的类别可以识别运载工具的状态。符合类别的一个或多于一个传感器数据捕获期的传感器数据可以与运载工具的特定状态相关联。例如，运载工具的状态可以是运载工具的速率、加速度、朝向、地点或位置。
[0179]
捕获期的类别可以识别由传感器数据识别的行人的状态。符合类别的一个或多于一个传感器数据捕获期的传感器数据可以与行人的特定状态相关联。
[0180]
捕获期的类别可以识别由传感器数据识别的环境特性。符合类别的一个或多于一个传感器数据捕获期的传感器数据可以与特定环境特性相关联。例如，环境特性可以是照明、照明条件、天气等。
[0181]
捕获期的类别可以识别由传感器数据识别的对象、对象的类型、对象类、对象的地点等。符合类别的一个或多于一个传感器数据捕获期的传感器数据可以与特定对象、对象的类型或对象类相关联。例如，对象可以是自行车、运载工具、行人、鸟、飞机、建筑物、位于特定区域(例如天空)的对象等。捕获期的类别可以定义与对应于特定对象、对象的类型、对象类、对象的地点等的传感器数据相关联的大量对象。例如，捕获期的类别可以基于传感器数据来定义对象的稀有程度。
[0182]
捕获期的类别可以基于机器学习模型的性能来识别对象、对象的类型、对象类、对象的地点等。例如，捕获期的类别可以基于小于阈值的机器学习模型的性能来识别包括机器学习模型(例如，相同或不同的机器学习模型、然后待训练的机器学习模型)误标记、误分类等的特定对象、对象的类型、对象类、对象的地点等的传感器数据。
[0183]
信号处理系统502可以使用多个机器学习模型和传感器数据的特征来定义捕获期的类别。此外，信号处理系统502可以确定捕获期的各个类别的标识符，并且将标识符提供给用户计算装置(例如，终端用户计算装置)。例如，信号处理系统502可以引起标识符经由用户计算装置的显示器(例如，用户接口)的显示。信号处理系统502可以从用户计算装置接收对标识符的选择。对标识符的选择可以识别用于过滤传感器数据的用户指定类别(捕获期的类别中的特定类别)。因此，信号处理系统502使用多个机器学习模型来处理传感器数据。
[0184]
在块906处，基于处理传感器数据，信号处理系统502基于用户指定类别来过滤传感器数据。信号处理系统502可以过滤传感器数据，以识别表示符合用户指定类别的传感器数据捕获期的传感器数据的捕获期集合。例如，信号处理系统502可以基于确定为与传感器数据相关联的少于阈值量的对象与稀有对象相对应，来过滤传感器数据以识别包括特定稀有对象的传感器数据。信号处理系统502可以引起符合用户指定类别的传感器数据捕获期的传感器数据经由用户计算装置的显示器的显示。响应于和/或基于引起传感器数据的显示，信号处理系统502可以接收来自用户计算装置的确认。来自用户计算装置的确认可以识别出可以注释传感器数据。因此，信号处理系统502基于用户指定类别来过滤传感器数据。
[0185]
在块908处，基于过滤传感器数据，信号处理系统502发送符合用户指定类别的一个或多于一个传感器数据捕获期的传感器数据。信号处理系统502可以将传感器数据发送(例如，路由)到用户计算装置。例如，信号处理系统502可以基于接收到来自用户计算装置的确认来发送用于注释的传感器数据。在一些实施例中，信号处理系统502可以进行传感器数据的注释。例如，信号处理系统502可以包括用于进行注释的网络。
[0186]
基于发送用于注释的传感器数据以及/或者信号处理系统502进行注释，可以生成所注释传感器数据。所注释传感器数据可以包括与图像内的对象相关联的注释。例如，注释可以将图像内的对象识别为自行车。信号处理系统502可以使用所注释传感器数据来训练机器学习模型以定义机器学习模型的预期输出。因此，信号处理系统502发送一个或多于一个传感器数据捕获期的传感器数据。
[0187]
将要理解，例程900可以重复多次以用于不同机器学习模型的训练。在一些情况下，信号处理系统502可以针对从同一传感器接收到的多个传感器数据集迭代重复例程900。此外，信号处理系统502可以针对不同传感器重复例程900。
[0188]
在以前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本技术发布的权利要求书的字面和等同范围，包括任意后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任意定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在以前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或以前所述的步骤或实体的子步骤/子实体。
[0189]
本公开的各种附加示例实施例可以通过以下条款来描述：
[0190]
条款1：一种方法，包括：
[0191]
利用至少一个处理器，接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；
[0192]
使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；
[0193]
至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及
[0194]
将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。
[0195]
条款2：根据条款1所述的方法，其中，所述传感器数据包括照相机数据、激光雷达数据和雷达数据其中至少之一。
[0196]
条款3：根据条款1或条款2所述的方法，其中，所述至少一个传感器包括照相机图
像传感器、激光雷达传感器和雷达传感器其中至少之一。
[0197]
条款4：根据条款1至3中任一项所述的方法，还包括：
[0198]
对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据，其中，所注释传感器数据包括与图像内的对象相关联的注释；以及
[0199]
至少部分地基于所注释传感器数据来训练机器学习模型。
[0200]
条款5：根据条款1至4中任一项所述的方法，还包括：
[0201]
向所述计算装置提供所述用户指定类别的标识符；以及
[0202]
从所述计算装置接收对所述用户指定类别的标识符的选择。
[0203]
条款6：根据条款1至5中任一项所述的方法，还包括：使得经由所述计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据。
[0204]
条款7：根据条款1至6中任一项所述的方法，还包括：
[0205]
使得经由所述计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据；
[0206]
至少部分地基于使得显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据，接收来自所述计算装置的确认；以及
[0207]
至少部分地基于接收到来自所述计算装置的确认，对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据。
[0208]
条款8：根据条款1至7中任一项所述的方法，其中，所述传感器数据包括与所述至少一个传感器相关联的经处理的传感器数据，其中，接收所述传感器数据包括接收来自数据存储部的传感器数据。
[0209]
条款9：根据条款1至8中任一项所述的方法，其中，所述至少一个传感器与运载工具相关联，其中，所述用户指定类别识别所述运载工具的特定状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与所述运载工具的特定状态相关联，其中，所述运载工具的特定状态包括所述运载工具的速率、所述运载工具的加速度、所述运载工具的朝向、所述运载工具的地点和所述运载工具的位置其中至少之一。
[0210]
条款10：根据条款1至9中任一项所述的方法，其中，所述用户指定类别识别行人的状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与行人的特定状态相关联。
[0211]
条款11：根据条款1至10中任一项所述的方法，其中，所述用户指定类别识别环境特性，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与特定环境特性相关联，其中，至少一个所述环境特性包括照明、天气和一天中的时间其中至少之一。
[0212]
条款12：根据条款1至11中任一项所述的方法，其中，所述用户指定类别识别对象的特定类型，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与对象的所述特定类型相关联。
[0213]
条款13：根据条款12所述的方法，其中，对象的所述特定类型包括自行车、运载工具和行人其中至少之一。
[0214]
条款14：根据条款13所述的方法，其中，过滤所述传感器数据还至少部分地基于确定为与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的少于阈值量的对象对应于对象的所述特定类型。
[0215]
条款15：根据条款1至14中任一项所述的方法，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别出与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的对象位于特定区域中。
[0216]
条款16：根据条款1至15中任一项所述的方法，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别与小于阈值的机器学习模型的性能相关联的传感器数据。
[0217]
条款17：根据条款1至16中任一项所述的方法，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于与运载工具行程相关联的一系列传感器数据。
[0218]
条款18：根据条款1至17中任一项所述的方法，其中，所述传感器数据包括在所述多个传感器数据捕获期期间由与运载工具相关联的第一传感器捕获的第一传感器数据、以及在所述多个传感器数据捕获期期间由与所述运载工具相关联的第二传感器捕获的第二传感器数据。
[0219]
条款19：一种系统，包括：
[0220]
至少一个处理器，以及
[0221]
至少一个非暂时性存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时，使得所述至少一个处理器：
[0222]
接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；
[0223]
使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；
[0224]
至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。
[0225]
条款20：至少一个非暂时性存储介质，其存储有指令，所述指令在由包括处理器的计算系统执行时，使得所述计算系统：
[0226]
接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；
[0227]
使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个
类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；
[0228]
至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及
[0229]
将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。
[0230]
条款21：一种方法，包括：
[0231]
利用至少一个处理器，接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；
[0232]
使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；以及
[0233]
至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合。
[0234]
条款22：根据条款21所述的方法，还包括：将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。
[0235]
条款23：根据条款21或条款22所述的方法，还包括：
[0236]
对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据，其中，所注释传感器数据包括与图像内的对象相关联的注释；以及
[0237]
至少部分地基于所注释传感器数据来训练机器学习模型。
[0238]
条款24：根据条款21至23中任一项所述的方法，还包括：
[0239]
向计算装置提供所述用户指定类别的标识符；以及
[0240]
从所述计算装置接收对所述用户指定类别的标识符的选择。
[0241]
条款25：根据条款21至24中任一项所述的方法，还包括：使得经由计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据。
[0242]
条款26：根据条款21至25中任一项所述的方法，其中，所述至少一个传感器与运载工具相关联，其中，所述用户指定类别识别所述运载工具的特定状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与所述运载工具的特定状态相关联，其中，所述运载工具的特定状态包括所述运载工具的速率、所述运载工具的加速度、所述运载工具的朝向、所述运载工具的地点和所述运载工具的位置其中至少之一。
[0243]
条款27：根据条款21至26中任一项所述的方法，其中，所述用户指定类别识别行人的状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与行人的特定状态相关联。
[0244]
条款28：根据条款21至27中任一项所述的方法，其中，所述用户指定类别识别环境特性，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与特定环境特性相关联，其中，至少一个所述环境特性包括照明、天气和一天中的时间其中至少之一。
[0245]
条款29：根据条款21至28中任一项所述的方法，其中，所述用户指定类别识别对象的特定类型，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与对象的所述特定类型相关联。
[0246]
条款30：根据条款21至29中任一项所述的方法，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别与小于阈值的机器学习模型的性能相关联的传感器数据。
[0247]
条款31：根据条款19所述的系统，其中，所述传感器数据包括照相机数据、激光雷达数据和雷达数据其中至少之一。
[0248]
条款32：根据条款19或条款31所述的系统，其中，所述至少一个传感器包括照相机图像传感器、激光雷达传感器和雷达传感器其中至少之一。
[0249]
条款33：根据条款19和31至32中任一项所述的系统，其中，所述指令的执行还使得所述至少一个处理器：
[0250]
对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据，其中，所注释传感器数据包括与图像内的对象相关联的注释；以及
[0251]
至少部分地基于所注释传感器数据来训练机器学习模型。
[0252]
条款34：根据条款19和31至33中任一项所述的系统，其中，所述指令的执行还使得所述至少一个处理器：
[0253]
向所述计算装置提供所述用户指定类别的标识符；以及
[0254]
从所述计算装置接收对所述用户指定类别的标识符的选择。
[0255]
条款35：根据条款19和31至34中任一项所述的系统，其中，所述指令的执行还使得所述至少一个处理器：使得经由所述计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据。
[0256]
条款36：根据条款19和31至35中任一项所述的系统，其中，所述指令的执行还使得所述至少一个处理器：
[0257]
使得经由所述计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据；
[0258]
至少部分地基于使得显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据，接收来自所述计算装置的确认；以及
[0259]
至少部分地基于接收到来自所述计算装置的确认，对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据。
[0260]
条款37：根据条款19和31至36中任一项所述的系统，其中，所述传感器数据包括与所述至少一个传感器相关联的经处理的传感器数据，其中，接收所述传感器数据包括接收来自数据存储部的传感器数据。
[0261]
条款38：根据条款19和31至37中任一项所述的系统，其中，所述至少一个传感器与运载工具相关联，其中，所述用户指定类别识别所述运载工具的特定状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与所述运载工具的特定状态相关联，其中，所述运载工具的特定状态包括所述运载工具的速率、所述运载工具的加速度、所述运载工具的朝向、所述运载工具的地点和所述运载工具的位置其中至少之一。
[0262]
条款39：根据条款19和31至38中任一项所述的系统，其中，所述用户指定类别识别行人的状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与行人的特定状态相关联。
[0263]
条款40：根据条款19和31至39中任一项所述的系统，其中，所述用户指定类别识别环境特性，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与特定环境特性相关联，其中，至少一个所述环境特性包括照明、天气和一天中的时间其中至少之一。
[0264]
条款41：根据条款19和31至40中任一项所述的系统，其中，所述用户指定类别识别对象的特定类型，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与对象的所述特定类型相关联。
[0265]
条款42：根据条款41所述的系统，其中，对象的所述特定类型包括自行车、运载工具和行人其中至少之一。
[0266]
条款43：根据条款42所述的系统，其中，过滤所述传感器数据还至少部分地基于确定为与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的少于阈值量的对象对应于对象的所述特定类型。
[0267]
条款44：根据条款19和31至43中任一项所述的系统，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别出与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的对象位于特定区域中。
[0268]
条款45：根据条款19和31至44中任一项所述的系统，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别与小于阈值的机器学习模型的性能相关联的传感器数据。
[0269]
条款46：根据条款19和31至45中任一项所述的系统，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于与运载工具行程相关联的一系列传感器数据。
[0270]
条款47：根据条款19和31至46中任一项所述的系统，其中，所述传感器数据包括在所述多个传感器数据捕获期期间由与运载工具相关联的第一传感器捕获的第一传感器数据、以及在所述多个传感器数据捕获期期间由与所述运载工具相关联的第二传感器捕获的第二传感器数据。
[0271]
条款48：根据条款20所述的至少一个非暂时性存储介质，其中，所述传感器数据包括照相机数据、激光雷达数据和雷达数据其中至少之一。
[0272]
条款49：根据条款20或条款48所述的至少一个非暂时性存储介质，其中，所述至少一个传感器包括照相机图像传感器、激光雷达传感器和雷达传感器其中至少之一。
[0273]
条款50：根据条款20和48至49中任一项所述的至少一个非暂时性存储介质，其中，所述指令的执行还使得所述计算系统：
[0274]
对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据，其中，所注释传感器数据包括与图像内的对象相关联的注释；以及
[0275]
至少部分地基于所注释传感器数据来训练机器学习模型。
[0276]
条款51：根据条款20和48至50中任一项所述的至少一个非暂时性存储介质，其中，所述指令的执行还使得所述计算系统：
[0277]
向计算装置提供所述用户指定类别的标识符；以及
[0278]
从所述计算装置接收对所述用户指定类别的标识符的选择。
[0279]
条款52：根据条款20和48至51中任一项所述的至少一个非暂时性存储介质，其中，所述指令的执行还使得所述计算系统：使得经由所述计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据。
[0280]
条款53：根据条款20和48至52中任一项所述的至少一个非暂时性存储介质，其中，所述指令的执行还使得所述计算系统：
[0281]
使得经由所述计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据；
[0282]
至少部分地基于使得显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据，接收来自所述计算装置的确认；以及
[0283]
至少部分地基于接收到来自所述计算装置的确认，对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据。
[0284]
条款54：根据条款20和48至53中任一项所述的至少一个非暂时性存储介质，其中，所述传感器数据包括与所述至少一个传感器相关联的经处理的传感器数据，其中，接收所述传感器数据包括接收来自数据存储部的传感器数据。
[0285]
条款55：根据条款20和48至54中任一项所述的至少一个非暂时性存储介质，其中，所述至少一个传感器与运载工具相关联，其中，所述用户指定类别识别所述运载工具的特定状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与所述运载工具的特定状态相关联，其中，所述运载工具的特定状态包括所述运载工具的速率、所述运载工具的加速度、所述运载工具的朝向、所述运载工具的地点和所述运载工具的位置其中至少之一。
[0286]
条款56：根据条款20和48至55中任一项所述的至少一个非暂时性存储介质，其中，所述用户指定类别识别行人的状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与行人的特定状态相关联。
[0287]
条款57：根据条款20和48至56中任一项所述的至少一个非暂时性存储介质，其中，所述用户指定类别识别环境特性，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与特定环境特性相关联，其中，至少一个所述环境特性包括照明、天气和一天中的时间其中至少之一。
[0288]
条款58：根据条款20和48至57中任一项所述的至少一个非暂时性存储介质，其中，
所述用户指定类别识别对象的特定类型，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与对象的所述特定类型相关联。
[0289]
条款59：根据条款58所述的至少一个非暂时性存储介质，其中，对象的所述特定类型包括自行车、运载工具和行人其中至少之一。
[0290]
条款60：根据条款59所述的至少一个非暂时性存储介质，其中，过滤所述传感器数据还至少部分地基于确定为与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的少于阈值量的对象对应于对象的所述特定类型。
[0291]
条款61：根据条款20和48至60中任一项所述的至少一个非暂时性存储介质，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别出与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的对象位于特定区域中。
[0292]
条款62：根据条款20和48至61中任一项所述的至少一个非暂时性存储介质，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别与小于阈值的机器学习模型的性能相关联的传感器数据。
[0293]
条款63：根据条款20和48至62中任一项所述的至少一个非暂时性存储介质，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于与运载工具行程相关联的一系列传感器数据。
[0294]
条款64：根据条款20和48至63中任一项所述的至少一个非暂时性存储介质，其中，所述传感器数据包括在所述多个传感器数据捕获期期间由与运载工具相关联的第一传感器捕获的第一传感器数据、以及在所述多个传感器数据捕获期期间由与所述运载工具相关联的第二传感器捕获的第二传感器数据。
[0295]
条款65：根据条款21至30中任一项所述的方法，其中，所述传感器数据包括照相机数据、激光雷达数据和雷达数据其中至少之一。
[0296]
条款66：根据条款21至30和65中任一项所述的方法，其中，所述至少一个传感器包括照相机图像传感器、激光雷达传感器和雷达传感器其中至少之一。
[0297]
条款67：根据条款21至30和65至66中任一项所述的方法，还包括：
[0298]
使得经由所述计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据；
[0299]
至少部分地基于使得显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据，接收来自所述计算装置的确认；以及
[0300]
至少部分地基于接收到来自所述计算装置的确认，对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据。
[0301]
条款68：根据条款21至30和65至67中任一项所述的方法，其中，所述传感器数据包括与所述至少一个传感器相关联的经处理的传感器数据，其中，接收所述传感器数据包括接收来自数据存储部的传感器数据。
[0302]
条款69：根据条款29所述的方法，其中，对象的所述特定类型包括自行车、运载工具和行人其中至少之一。
[0303]
条款70：根据条款69所述的方法，其中，过滤所述传感器数据还至少部分地基于确
定为与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的少于阈值量的对象对应于对象的所述特定类型。
[0304]
条款71：根据条款21至30和65至70中任一项所述的方法，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别出与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的对象位于特定区域中。
[0305]
条款72：根据条款21至30和65至71中任一项所述的方法，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于与运载工具行程相关联的一系列传感器数据。
[0306]
条款73：根据条款21至30和65至72中任一项所述的方法，其中，所述传感器数据包括在所述多个传感器数据捕获期期间由与运载工具相关联的第一传感器捕获的第一传感器数据、以及在所述多个传感器数据捕获期期间由与所述运载工具相关联的第二传感器捕获的第二传感器数据。
[0307]
相关申请的交叉引用
[0308]
本技术要求于2022年10月10日提交、且标题为“adding tags to sensor data via a plurality of models and querying the sensor data”的美国专利申请18/045404的优先权，该美国专利申请要求于2022年3月23日提交、且标题为“adding tags to sensor data viaaplurality of models and querying the sensor data”的美国专利申请17/656169的优先权，其各个申请的全部内容通过引用而结合在此。

技术特征：
1.一种方法，包括：利用至少一个处理器，接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。2.根据权利要求1所述的方法，其中，所述传感器数据包括照相机数据、激光雷达数据和雷达数据其中至少之一。3.根据权利要求1或2所述的方法，其中，所述至少一个传感器包括照相机图像传感器、激光雷达传感器和雷达传感器其中至少之一。4.根据权利要求1至3中任一项所述的方法，还包括：对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据，其中，所注释传感器数据包括与图像内的对象相关联的注释；以及至少部分地基于所注释传感器数据来训练机器学习模型。5.根据权利要求1至4中任一项所述的方法，还包括：向所述计算装置提供所述用户指定类别的标识符；以及从所述计算装置接收对所述用户指定类别的标识符的选择。6.根据权利要求1至5中任一项所述的方法，还包括：使得经由所述计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据。7.根据权利要求1至6中任一项所述的方法，还包括：使得经由所述计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据；至少部分地基于使得显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据，接收来自所述计算装置的确认；以及至少部分地基于接收到来自所述计算装置的确认，对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据。8.根据权利要求1至7中任一项所述的方法，其中，所述传感器数据包括与所述至少一个传感器相关联的经处理的传感器数据，其中，接收所述传感器数据包括接收来自数据存
储部的传感器数据。9.根据权利要求1至8中任一项所述的方法，其中，所述至少一个传感器与运载工具相关联，其中，所述用户指定类别识别所述运载工具的特定状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与所述运载工具的特定状态相关联，其中，所述运载工具的特定状态包括所述运载工具的速率、所述运载工具的加速度、所述运载工具的朝向、所述运载工具的地点和所述运载工具的位置其中至少之一。10.根据权利要求1至9中任一项所述的方法，其中，所述用户指定类别识别行人的状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与行人的特定状态相关联。11.根据权利要求1至10中任一项所述的方法，其中，所述用户指定类别识别环境特性，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与特定环境特性相关联，其中，至少一个所述环境特性包括照明、天气和一天中的时间其中至少之一。12.根据权利要求1至11中任一项所述的方法，其中，所述用户指定类别识别对象的特定类型，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与对象的所述特定类型相关联。13.根据权利要求12所述的方法，其中，对象的所述特定类型包括自行车、运载工具和行人其中至少之一。14.根据权利要求13所述的方法，其中，过滤所述传感器数据还至少部分地基于确定为与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的少于阈值量的对象对应于对象的所述特定类型。15.根据权利要求1至14中任一项所述的方法，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别出与符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据相关联的对象位于特定区域中。16.根据权利要求1至15中任一项所述的方法，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别与小于阈值的机器学习模型的性能相关联的传感器数据。17.根据权利要求1至16中任一项所述的方法，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于与运载工具行程相关联的一系列传感器数据。18.根据权利要求1至17中任一项所述的方法，其中，所述传感器数据包括在所述多个传感器数据捕获期期间由与运载工具相关联的第一传感器捕获的第一传感器数据、以及在所述多个传感器数据捕获期期间由与所述运载工具相关联的第二传感器捕获的第二传感器数据。19.一种系统，包括：至少一个处理器，以及至少一个非暂时性存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时，使得所述至少一个处理器：接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数
据；使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。20.至少一个非暂时性存储介质，其存储有指令，所述指令在由包括处理器的计算系统执行时，使得所述计算系统：接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。21.一种方法，包括：利用至少一个处理器，接收在多个传感器数据捕获期期间捕获的传感器数据，其中，所述多个传感器数据捕获期中的各个传感器数据捕获期对应于至少一个传感器在运载工具行程期间所捕获的数据；使用多个机器学习模型来处理所述传感器数据，以识别所述传感器数据中所表示的多个捕获期集合，所述多个捕获期集合中的各个捕获期集合表示符合来自捕获期的多个类别的捕获期的特定类别的一个或多于一个传感器数据捕获期的传感器数据，所述一个或多于一个传感器数据捕获期的传感器数据由所述多个机器学习模型中的相应机器学习模型来识别，所述相应机器学习模型被配置为从所述传感器数据识别符合捕获期的所述特定类别的一个或多于一个传感器数据捕获期；以及至少部分地基于捕获期的所述多个类别中的用户指定类别来过滤所述传感器数据，以
识别所述多个捕获期集合中的、表示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合。22.根据权利要求21所述的方法，还包括：将符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到计算装置。23.根据权利要求21或22所述的方法，还包括：对符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据进行路由以用于注释，从而生成所注释传感器数据，其中，所注释传感器数据包括与图像内的对象相关联的注释；以及至少部分地基于所注释传感器数据来训练机器学习模型。24.根据权利要求21至23中任一项所述的方法，还包括：向计算装置提供所述用户指定类别的标识符；以及从所述计算装置接收对所述用户指定类别的标识符的选择。25.根据权利要求21至24中任一项所述的方法，还包括：使得经由计算装置的显示器显示符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据。26.根据权利要求21至25中任一项所述的方法，其中，所述至少一个传感器与运载工具相关联，其中，所述用户指定类别识别所述运载工具的特定状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与所述运载工具的特定状态相关联，其中，所述运载工具的特定状态包括所述运载工具的速率、所述运载工具的加速度、所述运载工具的朝向、所述运载工具的地点和所述运载工具的位置其中至少之一。27.根据权利要求21至26中任一项所述的方法，其中，所述用户指定类别识别行人的状态，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与行人的特定状态相关联。28.根据权利要求21至27中任一项所述的方法，其中，所述用户指定类别识别环境特性，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与特定环境特性相关联，其中，至少一个所述环境特性包括照明、天气和一天中的时间其中至少之一。29.根据权利要求21至28中任一项所述的方法，其中，所述用户指定类别识别对象的特定类型，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据与对象的所述特定类型相关联。30.根据权利要求21至29中任一项所述的方法，其中，符合所述用户指定类别的一个或多于一个传感器数据捕获期的传感器数据识别与小于阈值的机器学习模型的性能相关联的传感器数据。

技术总结
本发明涉及经由多个模型向传感器数据添加标签并查询传感器数据。提供了用于注释传感器数据的自定义标签的方法，该方法可以包括：接收在多个传感器数据捕获期期间捕获的传感器数据；使用多个机器学习模型来处理传感器数据，以识别传感器数据中所表示的多个捕获期集合；至少部分地基于捕获期的多个类别中的用户指定类别来过滤传感器数据，以识别多个捕获期集合中的、表示符合用户指定类别的一个或多于一个传感器数据捕获期的传感器数据的捕获期集合；以及将符合用户指定类别的一个或多于一个传感器数据捕获期的传感器数据发送到终端用户计算装置。还提供系统和计算机程序产品。用户计算装置。还提供系统和计算机程序产品。用户计算装置。还提供系统和计算机程序产品。


技术研发人员：许强 O
受保护的技术使用者：动态AD有限责任公司
技术研发日：2023.02.02
技术公布日：2023/9/25