用于自主运载工具的方法、系统和存储介质与流程

1.本技术涉及用于自主运载工具的方法、用于自主运载工具的系统和存储介质。


背景技术：

2.自主运载工具可以使用许多方法和系统来确定可能影响自主运载工具的轨迹的智能体。然而，自主运载工具难以确定、检测和/或追踪部分或完全被遮挡的智能体。


技术实现要素：

3.在本技术的一方面中，提供了一种用于自主运载工具的方法，包括：使用至少一个处理器，获得与所述自主运载工具正在运行的环境相关联的传感器数据；使用所述至少一个处理器，基于所述传感器数据和环境数据来确定指示表示所述环境的预期场景的场景数据；使用所述至少一个处理器，基于所述场景数据和所述传感器数据来确定指示所述环境中的非预期光源的光参数；使用所述至少一个处理器，基于所述光参数来确定所述环境中的智能体；以及使用所述至少一个处理器，基于所述智能体来生成用于所述自主运载工具的轨迹。
4.在本技术的另一方面中，提供了一种非暂时性计算机可读介质，其包括所存储的指令，所述指令在由至少一个处理器执行时使所述至少一个处理器执行包括以下项的操作：使用所述至少一个处理器，获得与自主运载工具正在运行的环境相关联的传感器数据；使用所述至少一个处理器，基于所述传感器数据和环境数据来确定指示表示所述环境的预期场景的场景数据；使用所述至少一个处理器，基于所述场景数据和所述传感器数据来确定指示所述环境中的非预期光源的光参数；使用所述至少一个处理器，基于所述光参数来确定所述环境中的智能体；以及使用所述至少一个处理器，基于所述智能体来生成用于所述自主运载工具的轨迹。
5.在本技术的又一方面中，提供了一种用于自主运载工具的系统，包括：至少一个处理器；以及至少一个存储器，其存储有指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器：获得与所述自主运载工具正在运行的环境相关联的传感器数据；基于所述传感器数据和环境数据来确定指示表示所述环境的预期场景的场景数据；基于所述场景数据和所述传感器数据来确定指示所述环境中的非预期光源的光参数；基于所述光参数来确定所述环境中的智能体；以及使用所述至少一个处理器，基于所述智能体来生成用于所述自主运载工具的轨迹。
附图说明
6.图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
7.图2是包括自主系统的运载工具的一个或多于一个系统的图；
8.图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
9.图4是自主系统的某些组件的图；
10.图5是用于基于光的对象定位的处理的示例实现的图；
11.图6a-图6b是用于基于光的对象定位的处理的示例实现的图；以及
12.图7是用于基于光的对象定位的示例处理的流程图。
具体实施方式
13.在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
14.在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
15.此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
16.尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
17.在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
18.如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连
接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
19.如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当
…
时”、“在
…
时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定
…
时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
[0020]
本文结合阈值描述了本公开的一些实施例。如本文所述，诸如达到(meeting)阈值等的满足阈值可以指值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、等于阈值等。
[0021]
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
[0022]
总体概述
[0023]
在一些方面和/或实施例中，本文描述的系统、方法和计算机程序产品包括和/或实现(诸如经由来自运载工具的前灯等的)基于光的对象检测，用于确定自主运载工具的环境中的智能体。这对于确定被遮挡的智能体可能是特别有利的。
[0024]
借助于本文描述的系统、方法和计算机程序产品的实现，用于基于光的对象定位的技术可以提高自主运载工具的轨迹的准确性。例如，所公开的技术可以在自主运载工具传感器将实际对象检测为智能体之前经由确定非预期光源来识别潜在的交互智能体。所进行的识别可以允许向自主运载工具预先警告与智能体(特别是对于可能被自主运载工具遮挡的那些智能体)的潜在交互。此外，借助于本文描述的某些技术的实现，自主运载工具(av)可以受益于经改善的安全性以及更快、更准确和稳健的轨迹生成。
[0025]
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(v2i)装置110、网络112、远程自主运载工具(av)系统114、队列管理系统116和v2i系统118。运载工具102a-102n、运载工具到基础设施(v2i)装置110、网络112、自主运载工具(av)系统114、队列管理系统116和v2i系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(v2i)装置110、网络112、自主运载工具(av)系统114、队列管理系统116和v2i系统118中的至少一者互连。
[0026]
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与v2i装置110、远程av系统114、队列管理系统116和/或v2i系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
[0027]
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
[0028]
路线106a-106n(单独称为路线106且统称为路线106)各自与连接av可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载av的地点，并且第二状态或区包括搭载av的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
[0029]
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
[0030]
运载工具到基础设施(v2i)装置110(有时称为运载工具到万物(vehicle-to-everything)(v2x)装置)包括被配置为与运载工具102和/或v2i系统118进行通信的至少一个装置。在一些实施例中，v2i装置110被配置为与运载工具102、远程av系统114、队列管理系统116和/或v2i系统118经由网络112进行通信。在一些实施例中，v2i装置110包括射频识别(rfid)装置、标牌、照相机(例如，二维(2d)和/或三维(3d)照相机)、车道标记、路灯、停车
计时器等。在一些实施例中，v2i装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，v2i装置110被配置为与运载工具102、远程av系统114和/或队列管理系统116经由v2i系统118进行通信。在一些实施例中，v2i装置110被配置为与v2i系统118经由网络112进行通信。
[0031]
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(lte)网络、第三代(3g)网络、第四代(4g)网络、第五代(5g)网络、码分多址(cdma)网络等)、公共陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电话网(例如，公共交换电话网(pstn))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
[0032]
远程av系统114包括被配置为与运载工具102、v2i装置110、网络112、队列管理系统116和/或v2i系统118经由网络112进行通信的至少一个装置。在示例中，远程av系统114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程av系统114与队列管理系统116位于同一位置。在一些实施例中，远程av系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程av系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
[0033]
队列管理系统116包括被配置为与运载工具102、v2i装置110、远程av系统114和/或v2i系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
[0034]
在一些实施例中，v2i系统118包括被配置为与运载工具102、v2i装置110、远程av系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，v2i系统118被配置为与v2i装置110经由不同于网络112的连接进行通信。在一些实施例中，v2i系统118包括服务器、服务器组和/或其他类似装置。在一些实施例中，v2i系统118与市政当局或私营机构(例如，用于维护v2i装置110的私营机构等)相关联。
[0035]
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
[0036]
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考sae国际标准j3016:道路上机动车自动驾驶系统相关术语的分类和定义(sae international's standard j3016:
taxonomy and definitions for terms related to on-road motor vehicle automated driving systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
[0037]
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、lidar传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)gps接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
[0038]
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(ccd)等的光传感器的数字照相机、热照相机、红外(ir)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，raw、jpeg和/或png等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
[0039]
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，raw、jpeg和/或png等)的一个或多于一个图像相关联的tld数据。在一些实施例中，生成tld数据的照相机202a与本文所述的包含照相机的其他系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
[0040]
激光检测和测距(lidar)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进
行通信的至少一个装置。lidar传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由lidar传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由lidar传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到lidar传感器202b。在一些实施例中，由lidar传感器202b发射的光不会穿透该光遇到的物理对象。lidar传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与lidar传感器202b相关联的至少一个数据处理系统生成表示lidar传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与lidar传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定lidar传感器202b的视场中的物理对象的边界。
[0041]
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
[0042]
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
[0043]
通信装置202e包括被配置为与照相机202a、lidar传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控驱动(dbw)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(v2v)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
[0044]
自主运载工具计算202f包括被配置为与照相机202a、lidar传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或dbw系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程av系统114相同或类似的自主运
载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、v2i装置(例如，与图1的v2i装置110相同或类似的v2i装置)和/或v2i系统(例如，与图1的v2i系统118相同或类似的v2i系统)进行通信。
[0045]
安全控制器202g包括被配置为与照相机202a、lidar传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或dbw系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
[0046]
dbw系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，dbw系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，dbw系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
[0047]
动力总成控制系统204包括被配置为与dbw系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从dbw系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
[0048]
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
[0049]
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(aeb)系统和/或再生制动系统等。
[0050]
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位系统(gps)接收器、惯性测量单元(imu)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
[0051]
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储装置308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例
中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)；远程av系统114、队列管理系统116、v2i系统118的至少一个装置；以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置(诸如远程av系统114、队列管理系统116、和v2i系统118的至少一个装置等))、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储装置308、输入接口310、输出接口312和通信接口314。
[0052]
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(cpu)、图形处理单元(gpu)和/或加速处理单元(apu)等)、麦克风、数字信号处理器(dsp)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(fpga)和/或专用集成电路(asic)等)。存储器306包括随机存取存储器(ram)、只读存储器(rom)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
[0053]
存储装置308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储装置308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(cd)、数字多功能盘(dvd)、软盘、盒式磁带、磁带、cd-rom、ram、prom、eprom、flash-eprom、nv-ram和/或另一类型的计算机可读介质、以及相应的驱动器。
[0054]
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(gps)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(led)等)。
[0055]
在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(rf)接口、通用串行总线(usb)接口、接口和/或蜂窝网络接口等。
[0056]
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器305和/或存储装置308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
[0057]
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储装置308中。存储器306和/或存储装置308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因
此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
[0058]
存储器306和/或存储装置308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储装置308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
[0059]
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
[0060]
在一些实施例中，如图7所示，装置300被配置为执行所公开的方法的一个或多于一个步骤的软件指令。
[0061]
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
[0062]
现在参考图4，例示出自主运载工具计算400(有时称为“av堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(asic)和/或现场可编程门阵列(fpga)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程av系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与v2i系统118相同或类似的v2i系统等)进行通信。
[0063]
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行
车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
[0064]
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
[0065]
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个lidar传感器(例如，lidar传感器202b)所生成的至少一个点云相关联的lidar数据。在某些示例中，定位系统406从多个lidar传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2d)和/或三维(3d)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
[0066]
在另一示例中，定位系统406接收由全球定位系统(gps)接收器所生成的全球导航卫星系统(gnss)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的gnss数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
[0067]
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，dbw系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其他装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨
刮器等)改变状态。
[0068]
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(mlp)、至少一个卷积神经网络(cnn)、至少一个递归神经网络(rnn)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
[0069]
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储组件(例如，与图3的存储装置308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2d和/或3d地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(state)(例如，国家)等的2d和/或3d地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个lidar传感器(例如，与lidar传感器202b相同或类似的lidar传感器)生成与表示该至少一个lidar传感器的视场中所包括的对象的图像相关联的数据。
[0070]
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程av系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或v2i系统(例如，与图1的v2i系统118相同或类似的v2i系统)等中。
[0071]
现在参考图5，示出了用于智能体的基于光的检测的处理的系统500的图。在一些实施例中，系统500包括av计算540和运载工具(类似于诸如自主运载工具等的图2的运载工具200)。在一些实施例中，系统500与(例如，图2、图3和图4中所示的)av、av系统、远程av系统、队列管理系统和/或v2i系统相同或相似。系统500可以用于操作自主运载工具。系统500可以不用于操作自主运载工具。智能体可以是位于环境中的物理对象。智能体可以包括位于环境中的所有或一些物理对象。智能体的类型可以由系统或用户设置。可以诸如通过感测和机器学习等自动确定智能体的类型。示例智能体包括但不限于：道路使用者(诸如其他运载工具等)、行人和骑自行车的人。在一个或多于一个实施例或示例中，多个智能体中的智能体可以包括能够随时间动态移动的对象。智能体可以是由传感器捕获或包括在传感器数据504中的任意对象。例如，道路使用者可以是智能体。
[0072]
例如，本公开可以涉及提供一个或多于一个智能体(诸如一个或多于一个被遮挡的智能体等，诸如一个或多于一个移动智能体等)的基于光的检测的系统、方法和计算机程序产品。在被遮挡的智能体或对象在交互区域之前不可见的情景下，确定智能体可能特别具有挑战性。系统、方法和计算机程序产品可以例如通过使用一个或多于一个传感器来构建(诸如生成等)指示环境的场景(诸如时间场景等)的数据。系统、方法和计算机程序产品
可以提供场景的分析和/或解释，以确定可能存在非预期光强度的位置，以及非预期光是否指示智能体的存在。然后，系统、方法和计算机程序产品可以采用两个推断方法来基于非预期光强度确定潜在智能体。例如，可以使用基于采样的模拟，基本上模拟许多潜在智能体的类型以找到会适合非预期光强度的智能体。例如，可以使用反向光追踪来确定候选智能体及其潜在轨迹。
[0073]
本文公开了系统500。在一个或多于一个实施例或示例中，系统500可以包括至少一个处理器。在一个或多于一个实施例或示例中，系统500可以包括存储指令的至少一个存储器，该指令在由至少一个处理器执行时使至少一个处理器获得与自主运载工具正在运行的环境相关联的传感器数据504。在一个或多于一个实施例或示例中，系统500(例如，经由至少一个处理器)基于传感器数据504和环境数据506确定指示表示环境的预期场景的场景数据509。在一个或多于一个实施例或示例中，系统500(例如，经由至少一个处理器)基于场景数据509和传感器数据504确定指示环境中的非预期光源的光参数510。在一个或多于一个实施例或示例中，系统500(例如，经由至少一个处理器)基于光参数510确定环境中的智能体。在一个或多于一个实施例或示例中，系统500(例如，经由至少一个处理器)使用至少一个处理器基于智能体来生成用于自主运载工具的轨迹。
[0074]
有利地，系统500可以用于经由光参数510(诸如光强度等)来确定智能体。例如，系统500可以通过使用由智能体发射并且可能在智能体周围反射和/或散射的光来检测被自主运载工具周围的对象遮挡的智能体。例如，系统500可以利用由智能体发射的光强度来确定智能体在遮挡区域中的地点。因为自行车具有类似于运载工具的前照灯，但是倾向于更多的遮挡，从而导致当自行车进入视野时更危险的情形，所以系统500可以对自行车特别有用。
[0075]
传感器数据504可以从一个或多于一个传感器(诸如第一传感器等，诸如车载传感器等)获得。第一传感器可以与自主运载工具相关联。自主运载工具可以包括一个或多于一个传感器，该一个或多于一个传感器可以被配置为诸如通过传感器数据504等来监测自主运载工具操作的环境。例如，监测可以提供指示在自主运载工具周围的环境中正在发生什么的传感器数据504，诸如用于生成用于自主运载工具的轨迹等。传感器可以包括图2中所示的传感器中的一个或多于一个。传感器数据504可以包括实时传感器数据(诸如实况传感器数据等)。传感器数据504可以包括实时接收的传感器数据。传感器数据504可以是有源传感器数据。
[0076]
传感器数据504可以是以下中的一个或多于一个：雷达传感器数据、非雷达传感器数据、照相机传感器数据、图像传感器数据和lidar传感器数据。特定类型的传感器数据504不是限制性的。在一个或多于一个实施例或示例中，可以从以下中的一个或多于一个获得传感器数据504：照相机、光强度传感器和lidar传感器。
[0077]
环境数据506可以被视为指示av操作的环境的数据(诸如环境的光数据等)，例如，指示给定地点中的光环境(例如(一个或多于一个)灯杆的存在)。环境数据506可以是指示环境的预定数据或预定义数据。环境数据506可以是诸如在数据库和/或存储器等中存储的数据。环境数据506可以从诸如数据库和/或存储器等的存储装置获得。环境数据506可以从数据库获得。例如，环境数据506可以存储在系统500的存储器中。环境数据506可以由系统500获得。例如，环境数据506可以存储在诸如云服务器等的服务器上。环境数据506可以不
是实时数据。环境数据506可以是离线数据。环境数据506可以是远程数据。系统500可以被配置为访问(诸如获得等)环境数据506。
[0078]
环境数据506可以是存储在数据库中的指示场景(诸如指示预定场景等)的数据。预定场景可以包括在环境中已经遇到的先前场景和/或给定环境的预期场景。场景可以由场景数据表示或指示。场景可以是自主运载工具所位于的环境的一部分(诸如环境数据506的一部分等)。
[0079]
例如，场景可以是预期场景(诸如先前场景等，诸如预定场景等)。由环境数据指示的场景可以由存储的数据定义，并且可能不时地被更新但不实时更新。预期场景可以被视为是预定场景的场景。预期场景可以是由环境数据提供的场景。环境数据506可以是存储在系统500中的数据。预期场景可以包括环境中的已知对象(诸如已知光等)。场景可以是自主运载工具已经遇到的场景。场景可以是其他自主运载工具已经遇到的场景。
[0080]
场景数据(例如，场景数据509)可以被视为指示表示环境的预期场景的数据。场景数据可以包括指示建筑物、道路、道路使用者、人行横道等的地形数据。例如，环境数据506可以指示场景预期在给定地点、一天中的时间、天气和已知光源中包括什么。一天中的时间可以用于推断光强度。环境数据506可以提供环境“应该”包括的内容。例如，环境数据506可以指示在各种预定义或预定的世界条件(诸如一天中的时间和天气等)下表面上的预期光强度。给定自主运载工具周围的当前环境条件，可以获得环境数据506。
[0081]
在一个或多于一个实施例或示例中，环境数据506包括指示一个或多于一个预定光源的数据。例如，预定光源由存储在环境数据506(诸如数据库等)中的环境数据指示。预定光源可以是例如固定光源。预定光源可以包括以下中的一个或多于一个：灯杆、发光标志、来自建筑物的光、建筑灯和基础设施灯。环境数据506可以存储指示在不同时间和条件下的预定光源的数据。环境数据506可以存储指示环境中的所有已知光源的数据。环境数据506可以存储指示一个或多于一个预定光源的强度的数据。环境数据506可以存储指示一个或多于一个预定光源的地点(诸如位置等)的数据。
[0082]
场景数据509可以是基于传感器数据504(诸如实况和/或实时传感器数据等)的，并且是基于环境数据506(诸如存储的预定环境数据等)的。场景数据509可以由(诸如类似于感知系统402等的)感知系统502确定。系统500可以被配置为使用场景构建器系统503来确定场景数据509。可以经由映射和/或投影(例如，2d到3d映射和/或投影)来确定场景数据509。
[0083]
可以从环境数据506和传感器数据504两者确定场景数据509。例如，传感器数据504可以用于确定可以用于确定环境数据506的相关部分的给定地点、一天中的时间和天气。可以由系统500(例如由感知系统502，例如由场景构建器系统503)基于环境数据506和传感器数据504的组合来确定场景数据。场景数据509可以表示在由传感器数据504指示的某些时间条件下的环境数据506的一部分。场景数据可以是时间场景(诸如实时场景等)。
[0084]
例如，环境数据506包括指示在许多不同时间和条件下的城市的数据。传感器数据504可以用于确定城市的特定部分，以及自主运载工具正在行驶的时间和条件。场景数据509可为进一步滤波后的环境数据506的时间子集，例如，进一步聚焦的时间子集。场景数据509可以是环境数据506的子集。
[0085]
场景数据可以指示预期场景。场景数据可以指示自主运载工具正在行驶的预期当
前场景。例如，场景数据指示自主运载工具(特别是自主运载工具的传感器)在特定时刻(特别是对于环境中的静止对象)“应该”检测和/或感测什么。
[0086]
在一个或多于一个实施例或示例中，场景数据包括三维场景数据。例如，场景数据是环境的(诸如场景的等)三维地图。场景数据可以包括例如三维地图。场景数据可以包括例如二维地图。场景数据可以是三维地图中的二维数据的表示。
[0087]
在一个或多于一个实施例或示例中，场景数据(例如，场景数据509)包括以下中的一个或多于一个：指示自主运载工具的地点的地点参数、指示一天中的时间的时间参数、以及指示环境的天气条件的天气参数。
[0088]
例如，场景数据509包括指示环境的当前条件的参数。这些参数可以提供指示表示环境的预期场景的参数。由于光条件可以根据一天的类型和天气而改变，因此传感器数据对于确定什么是环境中的非预期光源可以是有利的。地点参数、时间参数和/或天气参数可以由传感器数据504指示。地点参数、时间参数和/或天气参数可以由除传感器数据504之外的数据指示。
[0089]
在一个或多于一个实施例或示例中，确定场景数据包括基于立体场景构建器、lidar场景构建器和传感器融合场景构建器中的一个或多于一个来确定场景数据。例如，环境的3d模型由系统500基于传感器数据504和/或环境数据506来构建。3d模型可以包括(诸如由环境数据506指示的等的)已知光源。
[0090]
例如，图像传感器用于获得可以并入立体场景构建器中的传感器数据504。立体场景构建器可以被配置为基于传感器数据504针对场景数据509生成实时场景。例如，lidar用于获得可以并入lidar场景构建器中的传感器数据504。lidar场景构建器可以被配置为基于传感器数据504针对场景数据509生成实时场景。也可以使用其他类型的场景构建器，并且场景构建器的特定类型不是限制性的。
[0091]
在一个或多于一个实施例或示例中，多个类型的传感器用于生成要由系统500获得的传感器数据504。可以将不同类型的传感器数据504组合(诸如合并和/或融合等)在一起。该所组合的传感器数据可以并入到传感器融合场景构建器中。传感器融合场景构建器可被配置为基于传感器数据504生成场景数据509的实时场景。
[0092]
可由系统500基于场景数据509并且进一步基于传感器数据504，确定指示环境中的非预期光源的光参数510。可以在(诸如类似于感知系统402等的)感知系统502中确定光参数510。可以在解释系统508中确定光参数510。非预期光源可以被视为未预定的光源。非预期光源可以被视为未由环境数据和/或场景数据指示的光源。
[0093]
系统500可以使用传感器数据504来确定自主运载工具正在运行的环境中的光源。可以由系统500将传感器数据504与场景数据509进行比较，其中场景数据509可以包括来自环境数据506的已知光源。系统500可以确定在自主运载工具周围的环境中在何处发现非预期光源(诸如非预定的光源、未知光源、新的光源等)。例如，系统500将来自传感器数据504的光源的检测与环境数据506中的光源的指示进行比较。
[0094]
非预期光源可以指示在环境中存在的智能体(例如，行驶通过环境的智能体)。例如，非预期光源指示运载工具的前灯可能被部分遮挡。非预期光源可以是可以被部分遮挡的自行车的光。非预期光源可以指示智能体上的反射(诸如行人是否穿着反射服装等)。非预期光源可以指示未被环境中的任意对象遮挡的智能体。非预期光源可以指示在环境中至
少部分地被遮挡的智能体。系统500可以被配置为在获得传感器数据504期间调节自主运载工具的灯(诸如前灯等)。例如，系统500可以暂时关闭前灯以更准确地获得传感器数据504。这可以有利地消除自主运载工具灯的影响和/或减少传感器数据中的噪声。
[0095]
非预期光源可以指示来自诸如表面上等的智能体的反射光。智能体本身可以被环境中的对象遮挡，并且即使智能体本身被系统500遮挡，系统500也可以特别有利地确定为可能存在智能体。
[0096]
在一个或多于一个实施例或示例中，光参数不指示一个或多于一个预定光源。例如，光参数510不指示环境数据506已知的光源和/或在场景数据509中提供的光源。一个或多于一个预定光源不由光参数指示，因此当传感器数据504指示与一个或多于一个预定光源相同的光源时，系统500通常可以忽略(诸如过滤掉等)。
[0097]
在一个或多于一个实施例或示例中，光参数指示环境中的非预期光强度。例如，传感器数据504指示与一个或多于一个预定光源处于相同地点的光源。然而，传感器数据504可以指示比一个或多于一个预定光源的光强度更大的光强度。智能体可以引起该所增加的光强度，因此系统500可以考虑预定光源的更大的光强度，并且可以确定指示非预期光强度的光参数510。
[0098]
在一个或多于一个实施例或示例中，系统500(经由至少一个处理器)基于场景数据509来更新环境数据506。环境数据506的更新可以包括基于场景数据509(诸如通过存储所学习的场景数据等)训练环境数据506。系统500可以被配置为排除场景数据509中不是永久的对象。可以基于时间场景和/或光参数510来更新环境数据506。
[0099]
例如，系统500确定指示非预期光的光参数510。系统500可以例如基于上下文数据(诸如智能体静止长于时间阈值等，诸如检测到的光的高度的地点等，诸如检测到的智能体的形状等)来确定指示非预期光的光参数510不是智能体，而是新安装的灯。系统500可以被配置为利用该新安装的灯来更新环境数据506，并且环境数据506可以被确定为不指示将来来自新安装的灯的非预期光源。
[0100]
光参数510可以指示非预期光源。光参数510可以指示未知光源。光参数510可以指示不是环境数据中指示的预定光源的光源。光参数510可以指示环境数据506中未指示的光源。光参数510可以指示环境数据506中未指示的光强度。光参数510可以指示由传感器数据504指示的光源与环境数据506中的预定光源的差异。
[0101]
系统500可以被配置为使用光参数510来确定智能体和/或潜在智能体。换句话说，系统500可以被配置为基于光参数510确定环境中的智能体(诸如环境中智能体的存在等)。换句话说，系统500可以被配置为基于光参数510来检测环境中的智能体。
[0102]
确定智能体可以包括确定智能体在自主运载工具所位于的环境中的存在。智能体可以是可以与自主运载工具交互的实际智能体。智能体可以是潜在智能体(诸如候选智能体等)。
[0103]
系统500可以被配置为例如基于所确定的智能体来生成轨迹。例如，(诸如类似于规划系统404等的)规划系统512用于基于所确定的智能体来生成轨迹。系统500可以被配置为例如基于所确定的智能体来生成多个轨迹。所生成的轨迹可以是这样的轨迹，使得自主运载工具不与智能体负面地交互(诸如对智能体造成损坏，诸如与智能体碰撞等)。
[0104]
此外，系统500可以被配置为基于轨迹来操作(诸如控制等)自主运载工具。系统
500可以操作自主运载工具以遵循所生成的轨迹。
[0105]
在一个或多于一个实施例或示例中，系统500被配置为通过基于传感器数据504和光参数510确定环境中的智能体地点来确定环境中的智能体。
[0106]
智能体地点可以指示智能体在环境中的地点。智能体地点可指示智能体相对于自主运载工具的地点。智能体地点可以与由光参数指示的非预期光源的地点不同。例如由于来自非预期光源的光的反射和其他散射，智能体地点可以与由光参数指示的非预期光源的地点不同。
[0107]
例如，系统500确定指示非预期光源的光参数510。系统500根据光参数510，可以确定智能体。例如，光参数510指示智能体本身(诸如沿着街道驾驶的运载工具的前灯等)。智能体地点可以被确定为非预期光源的地点。
[0108]
在某些情形下，光参数510可以指示反射光。例如，智能体可以发射或照射从表面(诸如前灯等)反射的光。因此，非预期光源可以是反射光的表面，而不是智能体本身。示例表面包括墙壁、运载工具、标志和道路。非预期光源可以是小片光(patch of light)。在反射中，非预期光源的地点可能不是智能体本身，因此智能体地点可能与非预期光源的地点不同。系统500可以被配置为从反射光源确定智能体的地点。
[0109]
系统500可以被配置为基于反射来确定智能体地点在何处。为此，系统500可以基于指示反射的非预期光源的光参数510来确定候选地点，其中该候选地点可以是智能体的潜在或可能位置。智能体地点可以是智能体的候选地点。例如，智能体地点是潜在智能体的预测地点(诸如候选智能体的预测地点等)。
[0110]
在一个或多于一个实施例或示例中，系统500通过判断传感器数据504是否满足标准来确定光参数510。在一个或多于一个实施例或示例中，系统500响应于确定为传感器数据504满足标准，可以通过确定光参数510指示环境中存在非预期光来确定光参数510。
[0111]
在一个或多于一个实施例或示例中，系统500(作为光参数确定的一部分)响应于确定为传感器数据504不满足标准，确定光参数不指示环境中存在非预期光。
[0112]
该标准可以基于光强度阈值。该标准可以基于特定标准地点处的光强度阈值。在确定为光参数指示在给定地点处光强度值大于光强度阈值时，系统500可以确定为传感器数据504满足标准。在确定为光参数指示在给定地点处光强度值等于或小于光强度阈值时，系统500可以确定为传感器数据504不满足标准。
[0113]
该标准可以指示非预期光强度是否满足特定值。特定值可以是与环境数据506相比较的值。
[0114]
在环境数据506和/或场景数据509不指示光源的情况下，可以将光强度阈值设置为零。例如，因为在该特定地点不应存在光，所以任意光源都会满足标准。
[0115]
光强度阈值可以被设置为高于零。例如，即使在场景数据509不指示光源的地点中，也可以存在由传感器数据504指示的可能不满足光强度阈值的非预期光的量。这可以帮助避免根据较小反射(诸如来自路灯等)的假阳性。
[0116]
在一个或多于一个实施例或示例中，系统500被配置为通过基于光参数确定与候选智能体相关联的候选地点来确定智能体。在一个或多于一个实施例或示例中，系统500被配置为通过基于场景数据和光参数生成候选地点处的候选智能体的光传播结果来确定智能体。在一个或多于一个实施例或示例中，系统500被配置为通过基于光传播结果确定智能
体来确定智能体。在一个或多于一个实施例或示例中，系统500被配置为通过基于光传播结果确定候选智能体来确定智能体。
[0117]
候选智能体可以是或可以不是实际智能体。候选智能体可以指示潜在智能体(诸如所预测的智能体等)。候选地点可以是或可以不是实际智能体地点的地点。候选地点可以指示智能体的潜在地点(诸如所预测的地点等)。候选地点可以是或可以不是候选智能体的地点。候选地点可以基于所学习的数据(诸如提取的数据等)。候选地点可以基于模型(诸如用于基于光参数识别智能体可以驻留的区域的专家模型等)。专家模型可以是诸如经由(如车道标记/边界和/或车道方向的)传感器数据504接收与世界有关的几何/物理信息的分析模型。专家模型可以基于几何/物理信息来创建候选地点的初始集合。例如，对于指示具有指向远离自主运载工具位置的方向的车道的传感器数据504，系统500可以被配置为过滤掉任意运载工具前灯，并且系统500不会对所观察到的光强度产生影响。系统500可以被配置为识别智能体可以驻留的地点(诸如区域等)。
[0118]
系统500可以被配置为确定多个候选智能体，多个候选智能体中的各个具有相应的候选地点。诸如专家模型等的模型可以将候选地点识别为候选智能体可以驻留的区域。
[0119]
关于候选智能体的信息可以被存储在诸如系统500等中。可以从数据中提取候选智能体，并且例如在系统500中对候选智能体进行索引。例如，系统500可以访问与任意数量的候选智能体相关联的数据。候选智能体可以具有相关联的候选智能体信息(诸如相应类型的智能体等)。
[0120]
可以例如根据基于采样的模拟生成各个候选地点处的各个候选智能体的光传播结果。光传播结果可以指示候选地点处的候选智能体会如何引起光源。例如，光传播结果指示候选智能体的光源会被环境中的表面反射的位置。光传播结果可以基于场景数据和光参数以进行比较。
[0121]
例如，将光传播结果与光参数进行比较。如果光传播结果与传感器数据504和光参数510之间存在匹配，则具有相关联的候选地点的候选智能体可以被确定为智能体。例如，光参数510指示预期光照图，其中预期光照图可以与光传播结果(例如，所生成的光照图)进行比较以判断是否存在智能体。系统500可以被配置为存储任意匹配以供将来用于基于采样的模拟。
[0122]
系统500可以被配置为判断光传播结果是否满足光阈值。系统500根据确定为光传播结果满足光阈值，可以确定指示候选智能体的最佳匹配。系统500根据确定为光传播结果不满足光阈值，可以不确定指示候选智能体的最佳匹配。
[0123]
如果光传播结果与传感器数据504和光参数510之间不存在匹配，则具有相关联候选的候选智能体不正确。系统500可以移动到新的候选智能体或新的候选地点。例如，系统500可以被配置为使用(一个或多于一个)基于采样的模拟。例如，系统500可以重复地随机采样这样的智能体的已知智能体类型和地点。已知的智能体类型可以包括以下中的一个或多于一个：智能体大小、智能体光位置、智能体型号。
[0124]
例如，样本的数量是固定的或由采样时间来界定，以与场景复杂度成比例。样本的数量可以基于使用(诸如基于模型的和/或学习的等)启发法来指导样本选择。可以基于3d引擎来确定光传播结果以模拟光传播。
[0125]
系统500可以被配置为重复地(最佳地为随机地)采样已知的智能体类型和地点。
智能体类型可以指示以下中的一个或多于一个：大小、光位置和智能体型号。系统500可以进行固定数量的采样。可以使用由采样时间界定的多个样本，以与场景复杂度成比例。诸如基于模型的或学习的启发法可以用于指导系统500的采样，这可以允许更快速的智能体确定。
[0126]
系统500可以被配置为确定与光参数510相比提供最佳光传播结果的候选智能体。然后可以选择最佳候选智能体(并且最佳候选智能体信息可以可选地存储在系统中)，并且(诸如如果剩余有针对候选智能体的时间或迭代等)系统500可以重复确定光传播结果。在确定各个候选智能体和候选地点的所有光传播结果之后，系统500可以确定智能体。最佳候选地点处的最佳候选智能体可以是产生最接近由光参数510指示的光源的光源的候选智能体。
[0127]
系统500可以被配置为判断候选智能体是否满足光阈值。系统500根据确定为候选智能体满足光阈值，可以确定指示候选智能体的最佳候选智能体。系统500根据确定为候选智能体不满足光阈值，可以不确定指示候选智能体的最佳候选智能体。系统500可以被配置为比较候选智能体(诸如比较候选智能体的光传播结果等)，以用于确定最佳候选智能体。系统500可以被配置为对候选智能体的光传播结果进行排序。系统500可以将最佳候选智能体确定为具有最高排名的光传播结果的候选智能体。
[0128]
在一个或多于一个实施例或示例中，确定候选地点处的候选智能体的光传播结果是基于智能体的类型的。系统500可以重复地随机采样已知的智能体类型及其属性(诸如其特征等)。智能体类型的属性可以包括大小、光位置、品牌和型号中的一个或多于一个。可以将不同的智能体类型存储在诸如数据库等中，以供系统500访问。
[0129]
在一个或多于一个实施例或示例中，智能体的类型包括以下中的一个或多于一个：运载工具、小汽车、摩托车、行人和自行车。智能体的类型可以是运载工具的类型。这包括例如运载工具的品牌和/或型号。系统500可以访问许多不同类型的智能体，这可以用于生成光传播结果。例如，小汽车可以产生与卡车或摩托车(诸如在强度和/或位置上等)不同的光。此外，不同类型的小汽车可以产生不同类型的灯。系统500可以迭代地检查其可以访问的不同类型的智能体，以从候选智能体中确定智能体。
[0130]
在一个或多于一个实施例或示例中，系统500被配置为通过基于光参数(例如，510)确定与候选智能体相关联的预测候选地点来确定智能体。在一个或多于一个实施例或示例中，系统500被配置为通过基于场景数据和光参数生成预测候选地点处的反向光追踪结果来确定智能体。在一个或多于一个实施例或示例中，系统500被配置为通过基于反向光追踪结果确定智能体来确定智能体。在一些示例中，反向光追踪可被视为反向光线追踪。
[0131]
系统500可以被配置为使用反向光追踪来确定智能体。系统500可以被配置为使用基于照相机的光线追踪。系统500可以被配置为模拟虚拟的基于照相机的光线追踪。系统500可以被配置为通过在由光参数510指示的地点处(在该地点处候选智能体可以驻留)开始来模拟光线追踪，并向后移动以确定智能体。
[0132]
系统500可以被配置为基于光参数510，确定与候选智能体相关联的预测候选地点。候选智能体可以与上述候选智能体相同或不同。预测候选地点可以是智能体可以或可能或被预测为出现的候选地点。
[0133]
可以基于场景数据和光参数510生成反向光追踪结果。基于此，可以诸如由系统
500在预测候选地点处进行反向光追踪结果。
[0134]
例如，虚拟“照相机”位于由光参数510指示的地点处。然后，系统500可以被配置为从该地点朝向候选地点处的候选智能体逆向模拟以确定智能体。该处理可以比采样处理更快，并且可以需要更少的操作能力(诸如更少的计算能力等)。
[0135]
例如，由系统500在(诸如由3d地图表示的等的)场景数据上模拟指示从点亮表面到另一区域的光传播的光传播结果。包括在系统500中的3d引擎可以用于模拟从由光参数510指示的被照亮表面到场景的其他区域的光传播。模拟可以基于光参数510的虚拟有界体积(virtual bounded volume)。在模拟中，虚拟照相机可以放置在场景中智能体可以(或可能)出现的候选地点处。虚拟照相机可以放置在候选智能体的前灯位置处。诸如通过考虑车道方位等，虚拟照相机可以在空间和方位上分布在这些区域中。
[0136]
系统500可以判断用于预测候选地点处的候选智能体的虚拟照相机是否会收集与预测地点处的候选智能体的预定义(例如，预期和/或典型)输出类似的光。如果是，则系统500可以将智能体确定为预测候选地点处的候选智能体。如果不是，则系统500可以确定新的候选智能体或新的预测候选地点。
[0137]
反向光追踪模拟和/或基于采样的模拟可以被视为由系统500(例如，由解释系统508)执行的所公开的推断方法的一部分。
[0138]
在一个或多于一个实施例或示例中，系统500被配置为通过基于传感器数据504和光参数510确定指示智能体的轨迹的智能体轨迹参数，来确定智能体。
[0139]
例如，系统500基于智能体轨迹参数忽略(诸如过滤掉和/或丢弃等)不相关智能体。系统500可以预测智能体将在何处移动，并且如果所预测的智能体运动将不影响自主运载工具，则系统500可以被配置为过滤掉智能体。
[0140]
在一个或多于一个实施例或示例中，系统500被配置为通过基于传感器数据504和场景数据509确定指示环境数据506和传感器数据504之间的光强度差异的差异场景来确定光参数。在一个或多于一个实施例或示例中，光参数510是基于差异场景的。
[0141]
例如，差异场景是3d场景。差异场景除了其仅指示在光参数中指示的(一个或多于一个)非预期光源而不指示(一个或多于一个)预定光源，差异场景可以类似于场景数据。例如，差异场景是由场景数据表示的场景的简化版本，从而强调(一个或多于一个)非预期光源的表示。
[0142]
在一个或多于一个实施例或示例中，系统500(例如，经由至少一个处理器)基于智能体来生成预先警告指示。例如，预先警告指示被提供给用户和av堆栈和/或规划系统，从而预测智能体进入由av直接感测的区域。
[0143]
例如，诸如在自主运载工具中的显示器上等向用户提供预先警告指示。预先警告指示可以指示智能体可能潜在地与自主运载工具交互。如果用户正在离开运载工具，则这可能是有利的，从而便避开环境中的潜在智能体(例如，自行车车道中的自行车，或车道中的av门要打开的运载工具)。
[0144]
系统500可以基于预先警告指示生成用于自主运载工具的轨迹。然后，系统500可以知晓潜在智能体动作，并采取任意必要的控制步骤来避开智能体。
[0145]
图6a-图6b是根据本公开的用于基于光的对象定位的处理的实现600的图。图6a示出了自主运载工具602在行驶通过环境的同时可能面对的潜在情景的俯视图。如图所示，环
境中存在智能体604，但是它被多个阻挡对象606遮挡。因此，自主运载工具602可能不知晓智能体604。
[0146]
智能体604在表面610上产生其前灯的反射608。自主运载工具602可包括可检测这样的反射608的传感器。然而，自主运载工具602的传感器也会检测来自路灯612的光。
[0147]
根据本公开，自主运载工具602可将可指示光源的传感器数据(诸如图5的传感器数据504等)与已知环境数据(诸如图5的环境数据506等)进行组合。已知环境数据可以包括所有已知光源，其中所有已知光源在该情况下包括来自路灯612的光。自主运载工具602可基于传感器数据和环境数据来确定指示表示环境的预期场景的场景数据。由于路灯612是自主运载工具602经由环境数据“已知的”，因此路灯612是预期光源，并且自主运载工具602可以忽略它。
[0148]
然而，自主运载工具602可确定指示非预期光源的光参数，在该情况下，非预期光源包括反射608，因为反射608未存储在运载工具的环境数据中。自主运载工具602基于光参数，可以知晓产生反射608的智能体604(诸如本文详细讨论的等)。然后，自主运载工具602可以诸如基于减速、加速、改变方向等来生成轨迹，以便避开智能体604。由于自主运载工具602可知晓智能体604(即使智能体604被遮挡)，也可进行自主运载工具602的安全操作。
[0149]
图6b示出了自主运载工具602在沿着道路行驶的同时会检测和/或感测(例如，“看到”)的内容。如图所示，阻挡对象606防止自主运载工具602看到阻挡对象606后面的智能体604。
[0150]
自主运载工具602可以检测表面610上的反射608以及道路上的反射614。因此，自主运载工具602可基于反射608来确定智能体604及其地点，从而允许自主运载工具602安全地操作。
[0151]
现在参考图7，示出了用于基于光的对象定位的方法700(诸如处理等)的流程图。该方法可以由本文公开的系统(诸如图1、图2、图3、图4、图5和图6a-图6b的av计算400，以及运载工具102、200、602和装置300)进行。所公开的系统可以包括至少一个处理器，其中该至少一个处理器可以被配置为执行方法700的一个或多于一个操作。
[0152]
在一个或多于一个实施例或示例中，方法700包括在步骤702处使用至少一个处理器获得与自主运载工具正在运行的环境相关联的传感器数据。在一个或多于一个实施例或示例中，方法700包括在步骤704处使用至少一个处理器基于传感器数据和环境数据来确定指示表示环境的预期场景的场景数据。在一个或多于一个实施例或实例中，方法700包括在步骤706处使用至少一个处理器基于场景数据和传感器数据确定指示环境中的非预期光源的光参数。在一个或多于一个实施例或示例中，方法700包括在步骤708处使用至少一个处理器基于光参数来确定环境中的智能体。在一个或多于一个实施例或示例中，方法700包括在步骤710处使用至少一个处理器基于智能体来生成用于自主运载工具的轨迹。
[0153]
方法700可以是用于经由光强度确定一个或多于一个智能体的方法。传感器数据可以包括实时传感器数据(诸如实况传感器数据等)。环境数据可以包括存储在数据库中的指示场景(诸如预期的场景等，诸如已经遇到的场景等)的数据。环境数据可以指示场景预期在给定地点、一天中的时间、天气和已知光源中包括什么。环境数据可以提供环境“应该”包括的内容。
[0154]
场景数据可以是预期场景(诸如预期当前场景等，诸如时间场景等，诸如实时场景
等)。场景数据可以包括3d地图。场景数据可以包括2d地图。光参数可以指示未在环境数据中找到的光源。光参数可以指示光强度差异。
[0155]
在步骤708处可以确定环境中智能体的存在。智能体可以被视为环境中的任意对象(诸如能够动态移动的任意对象等)。例如，智能体可以是候选智能体或潜在智能体。
[0156]
在一个或多于一个实施例或示例中，在步骤708处确定环境中的智能体包括使用至少一个处理器基于传感器数据和光参数来确定环境中的智能体地点。例如，确定智能体的地点(诸如智能体相对于自主运载工具的地点等，诸如智能体的候选地点等)。
[0157]
在一个或多于一个实施例或示例中，在步骤706处确定光参数包括使用至少一个处理器判断传感器数据是否满足标准。在一个或多于一个实施例或示例中，在步骤706处确定光参数包括使用至少一个处理器基于场景数据和光参数生成候选地点处的候选智能体的光传播结果。在一个或多于一个实施例或示例中，在步骤706处确定光参数包括使用至少一个处理器基于光传播结果来确定智能体。
[0158]
例如，方法700包括可选地确定候选智能体。候选智能体可以基于所学习的(诸如从数据提取的等)模型或专家模型。方法700可以识别候选智能体可以驻留哪些区域。
[0159]
可以诸如根据基于采样的模拟等，获得各个候选地点处的各个候选智能体的光传播结果。例如，方法700包括重复随机采样已知智能体类型(诸如这样的智能体的大小、光位置、型号和地点等)。例如，多个样本可以是固定的或由采样时间来界定，以与场景复杂度成比例。样本的数量可以基于使用(基于模型的或学习的)启发法来指导样本选择。可以基于3d引擎来确定光传播结果以模拟光传播。一旦自主运载工具已经进入预期智能体所在的区域，则可以诸如通过获得指示该区域的传感器数据等将光传播结果与地面实况进行比较。与地面实况的比较可以是学习的启发法，并且可以用于样本选择。
[0160]
在步骤708处可以基于将光参数和光传播结果进行比较来确定智能体。例如，光参数指示预期光照图，其中预期光照图可以与光传播结果(例如，所生成的光照图)进行比较以判断是否存在智能体。例如，可以选择(并且可选地保存)提供最佳光传播结果的候选智能体，并且(如果剩余有时间或迭代)该方法可以重复确定光传播结果。
[0161]
在一个或多于一个实施例或示例中，确定候选地点处的候选智能体的光传播结果是基于智能体的类型的。例如，方法700包括重复地随机采样已知的智能体类型及其属性(例如，大小、光位置、型号)。
[0162]
在一个或多于一个实施例或示例中，智能体的类型包括以下中的一个或多于一个：运载工具、小汽车、摩托车、行人和自行车。运载工具的类型可以包括品牌和/或型号。
[0163]
在一个或多于一个实施例或示例中，在步骤708处确定智能体包括使用至少一个处理器基于光参数来确定与候选智能体相关联的预测候选地点。在一个或多于一个实施例或示例中，在步骤708处确定智能体可包括使用至少一个处理器基于场景数据和光参数来生成在预测候选地点处的反向光追踪结果。在一个或多于一个实施例或示例中，在步骤708处确定智能体可包括使用至少一个处理器基于反向光追踪结果来确定智能体。
[0164]
候选地点可以是智能体可以或可能出现的地点。方法700可以使用反向光追踪。方法700可以使用反向光线追踪。方法700可以使用基于照相机的光线追踪。
[0165]
例如，在3d地图上模拟指示从点亮表面到另一区域的光传播的光传播结果。例如，3d引擎用于基于场景的体积来模拟从被照明表面到其他区域的光传播。虚拟照相机可以被
放置在场景中智能体可以(或可能)出现的候选地点处。虚拟照相机可以放置在候选智能体的前灯位置处。诸如考虑车道方位等，虚拟照相机在空间和方位上分布在这些区域中。
[0166]
如果虚拟照相机收集类似于其典型输出(例如，是否存在关于智能体是否会形成“照相机”的光源的相关性)的光，则可以例如基于数据库来选择虚拟照相机和相应的智能体。
[0167]
在一个或多于一个实施例或示例中，在步骤708处确定智能体可以包括使用至少一个处理器基于传感器数据和光参数来确定指示智能体的轨迹的智能体轨迹参数。例如，方法700包括忽略不相关智能体。
[0168]
在一个或多于一个实施例或示例中，在步骤706处确定光参数包括使用至少一个处理器基于传感器数据和场景数据来确定指示环境数据和传感器数据之间的光强度差异的差异场景。在一个或多于一个实施例或示例中，光参数可以基于差异场景。
[0169]
在一个或多于一个实施例或示例中，传感器数据从以下中的一个或多于一个获得：照相机、光强度传感器和lidar传感器。
[0170]
在一个或多于一个实施例或示例中，场景数据包括以下中的一个或多于一个：指示自主运载工具的地点的地点参数、指示一天中的时间的时间参数、以及指示环境的天气条件的天气参数。
[0171]
在一个或多于一个实施例或示例中，环境数据包括指示一个或多于一个预定光源的数据。环境数据可以指示一个或多于一个预定光源。
[0172]
在一个或多于一个实施例或示例中，光参数不指示一个或多于一个预定光源。在一个或多于一个实施例或示例中，场景数据包括三维场景数据。在一个或多于一个实施例或示例中，光参数指示环境中的非预期光强度。
[0173]
在一个或多于一个实施例或示例中，在步骤704处确定场景数据包括基于立体场景构建器、lidar场景构建器和传感器融合场景构建器中的一个或多于一个来确定场景数据。
[0174]
在一个或多于一个实施例或示例中，方法700包括使用至少一个处理器基于场景数据来更新环境数据。可以基于时间场景和光参数来更新环境数据。
[0175]
在一个或多于一个实施例或示例中，方法700包括使用至少一个处理器基于智能体来生成预先警告指示。
[0176]
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本技术发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。
[0177]
还公开了非暂时性计算机可读介质，其包括存储在其上的指令，所述指令在由至少一个处理器执行时使所述至少一个处理器执行根据任意所公开的方法的操作。

技术特征：
1.一种用于自主运载工具的方法，包括：使用至少一个处理器，获得与所述自主运载工具正在运行的环境相关联的传感器数据；使用所述至少一个处理器，基于所述传感器数据和环境数据来确定指示表示所述环境的预期场景的场景数据；使用所述至少一个处理器，基于所述场景数据和所述传感器数据来确定指示所述环境中的非预期光源的光参数；使用所述至少一个处理器，基于所述光参数来确定所述环境中的智能体；以及使用所述至少一个处理器，基于所述智能体来生成用于所述自主运载工具的轨迹。2.根据权利要求1所述的方法，其中，确定所述环境中的所述智能体包括：使用所述至少一个处理器，基于所述传感器数据和所述光参数来确定所述环境中的智能体地点。3.根据前述权利要求中任一项所述的方法，其中，确定所述光参数包括：使用所述至少一个处理器，判断所述传感器数据是否满足标准；以及使用所述至少一个处理器，响应于确定为所述传感器数据满足所述标准，确定为所述光参数指示在所述环境中存在非预期光。4.根据前述权利要求中任一项所述的方法，其中，确定所述智能体包括：使用所述至少一个处理器，基于所述光参数来确定与候选智能体相关联的候选地点；使用所述至少一个处理器，基于所述场景数据和所述光参数来生成所述候选地点处的所述候选智能体的光传播结果；以及使用所述至少一个处理器，基于所述光传播结果来确定所述智能体。5.根据权利要求4所述的方法，其中，确定所述候选地点处的所述候选智能体的所述光传播结果是基于智能体的类型的。6.根据权利要求5所述的方法，其中，所述智能体类型包括以下中的一个或多于一个：运载工具、小汽车、摩托车、行人和自行车。7.根据权利要求1至3中任一项所述的方法，其中，确定所述智能体包括：使用所述至少一个处理器，基于所述光参数来确定与候选智能体相关联的预测候选地点；使用所述至少一个处理器，基于所述场景数据和所述光参数来生成在所述预测候选地点处的反向光追踪结果；以及使用所述至少一个处理器，基于所述反向光追踪结果来确定所述智能体。8.根据前述权利要求中任一项所述的方法，其中，确定所述智能体包括：使用所述至少一个处理器，基于所述传感器数据和所述光参数来确定指示所述智能体的轨迹的智能体轨迹参数。9.根据前述权利要求中任一项所述的方法，其中，确定所述光参数包括：使用所述至少一个处理器，基于所述传感器数据和所述场景数据来确定指示所述环境数据和所述传感器数据之间的光强度差异的差异场景；其中，所述光参数是基于所述差异场景的。10.根据前述权利要求中任一项所述的方法，其中，所述传感器数据从以下中的一个或多于一个获得：照相机、光强度传感器和lidar传感器。
11.根据前述权利要求中任一项所述的方法，其中，所述场景数据包括以下中的一个或多于一个：指示所述自主运载工具的地点的地点参数、指示一天中的时间的时间参数、以及指示所述环境的天气条件的天气参数。12.根据前述权利要求中任一项所述的方法，其中，所述环境数据包括指示一个或多于一个预定光源的数据。13.根据权利要求12所述的方法，其中，所述光参数不指示所述一个或多于一个预定光源。14.根据前述权利要求中任一项所述的方法，其中，所述场景数据包括三维场景数据。15.根据前述权利要求中任一项所述的方法，其中，所述光参数指示所述环境中的非预期光强度。16.根据前述权利要求中任一项所述的方法，其中，确定所述场景数据包括基于立体场景构建器、lidar场景构建器和传感器融合场景构建器中的一个或多于一个来确定所述场景数据。17.根据前述权利要求中任一项所述的方法，还包括：使用所述至少一个处理器，基于所述智能体来生成预先警告指示。18.一种非暂时性计算机可读介质，其包括所存储的指令，所述指令在由至少一个处理器执行时使所述至少一个处理器执行包括以下项的操作：使用所述至少一个处理器，获得与自主运载工具正在运行的环境相关联的传感器数据；使用所述至少一个处理器，基于所述传感器数据和环境数据来确定指示表示所述环境的预期场景的场景数据；使用所述至少一个处理器，基于所述场景数据和所述传感器数据来确定指示所述环境中的非预期光源的光参数；使用所述至少一个处理器，基于所述光参数来确定所述环境中的智能体；以及使用所述至少一个处理器，基于所述智能体来生成用于所述自主运载工具的轨迹。19.一种用于自主运载工具的系统，包括：至少一个处理器；以及至少一个存储器，其存储有指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器：获得与所述自主运载工具正在运行的环境相关联的传感器数据；基于所述传感器数据和环境数据来确定指示表示所述环境的预期场景的场景数据；基于所述场景数据和所述传感器数据来确定指示所述环境中的非预期光源的光参数；基于所述光参数来确定所述环境中的智能体；以及使用所述至少一个处理器，基于所述智能体来生成用于所述自主运载工具的轨迹。

技术总结
用于自主运载工具的方法、系统和存储介质。用于基于光的对象定位的方法可以包括将非预期光源与预期光源进行比较以确定智能体(诸如部分和/或完全被遮挡的智能体等)。所描述的一些方法还包括基于该比较来生成用于自主运载工具的轨迹。还提供了系统和计算机程序产品。品。品。


技术研发人员：B
受保护的技术使用者：动态AD有限责任公司
技术研发日：2022.04.29
技术公布日：2023/9/23