表征真实世界对象光谱反射率的系统和方法与流程

表征真实世界对象光谱反射率的系统和方法
1.相关申请的交叉引用
2.本技术要求于2021年1月4日提交的美国申请序列号为17/140969的申请的优先权，该申请的公开内容通过引用整体并入本文。


背景技术：

3.了解真实世界对象的光谱反射比(reflectivity)和/或反射率(reflectance)对于确定和调整系统(如lidar系统)中一个或多个传感器的性能可能很重要。在传统实践中，光谱反射率通常可以使用光谱仪进行测量。然而，光谱仪通常可以配置为仅确定特定角度下对象的反射率，该特定角度可以垂直于对象的平面。这可能适用于高度漫反射或高度镜面反射的对象，但真实世界对象具有依赖于角度的反射比(brdf)。也就是说，使用光谱仪来捕获整个对象而不是在对象上的一个特定点的反射率值可能不是理想的，特别是当对象是非平面的并且具有相关的曲率时。
附图说明
4.参照附图来阐述具体实施方式。提供附图仅仅是为了说明的目的，并且仅仅描绘了本公开的示例实施例。提供附图是为了便于理解本公开，不应被视为限制本公开的广度、范围或适用性。在附图中，附图标记最左边的数字可以标识附图标记首次出现的附图。使用相同的附图标记表示相似但不一定是同一个或相同的部件。然而，不同的附图标记也可以用于标识类似的部件。不同的实施例可以利用除了附图中所示的那些之外的元件或组件，并且在不同的实施例中，一些元件和/或组件可以不存在。根据上下文，使用单数术语描述组件或元件可以包括多个这样的组件或元件，反之亦然。
5.图1描绘了根据本公开的一个或多个示例实施例在环境中实现的示例系统的示意图。
6.图2描绘了根据本公开的一个或多个示例实施例在环境中实现的示例详细系统的示意图。
7.图3描绘了根据本公开的一个或多个示例实施例的系统的示例性校准方法。
8.图4描绘了根据本公开的一个或多个示例实施例的示例方法。
9.图5描绘了根据本公开的一个或多个示例实施例的示例计算系统。
具体实施方式
10.本文公开了用于表征真实世界对象的光谱反射比和/或反射率的系统和方法。更具体地，本文所述的系统和方法可以允许确定真实世界对象的反射率分布，其中对象可以具有自然曲率，或者在本质上可以是非平坦的。反射率分布可以指对象作为一个整体反射率的映射。例如，反射率分布可以提供对象在对象上的各个点处的反射率的映射，包括当对象相对于光源处于不同角度时。此外，对象的反射比或反射率(在某些情况下，本文中这些术语可以互换使用)可以指的是对象反射撞击对象的光的总体能力。对象的反射率可以是
不均匀的，使得反射率可以根据光照射对象的角度和/或对象的其他特性(例如其形状和材料成分)而改变。反射率还可以取决于对象本身特性之外的其他外部因素，例如照射对象的光的波长和/或偏振状态。因此，了解对象的反射率根据这些对象特性和其他外部因素如何变化可能很重要。这在诸如lidar系统(例如，在自主或半自主车辆中实现的lidar系统)的应用中可能特别重要。这样的lidar系统可以被配置为提供环境中对象的距离信息。不考虑对象的反射率可能会导致lidar系统无法执行有效的测距返回确定。也就是说，如果lidar系统没有正确地考虑光在各种点和角度将如何从对象反射，并且也没有基于如上所述的外部因素考虑，则lidar系统在对对象进行测距时可能是不准确的。
11.在一些实施例中，即使在lidar情景中，用于确定对象反射率的常规方法也可能涉及使用光谱仪。然而，光谱仪通常被配置为一次聚焦于对象的一个特定角度，并且通常该角度是对象表面的法向入射。此外，被光谱仪测量的对象通常也必须是平坦的。一些光谱仪能够聚焦于对象的离散角度，但即使这样也可能不允许光谱仪捕获真实对象的样子，因为光谱仪通常一次只提供一个像素的测量。因此，光谱仪将不得不单独测量对象上数百个不同的点，以便开发对象的更全面的反射率分布图。这使得光谱仪难以有效且高效地确定对象作为整体的反射率。
12.在一些实施例中，本文所述的系统和方法通过提供能够仅使用单个图像捕获来产生整个对象的反射率分布映射(以及其他反射率信息)的系统(本文中可以称为反射率测量系统)来改进光谱仪反射率测量的上述不足。在一些实施例中，反射率测量系统可以是便携式的独立的系统。例如，在独立配置中，当对真实世界对象进行反射率测量时，反射率测量系统可以由操作员保持或连接到三脚架上。在一些情况下，反射率测量系统可以替代地集成到另一个现有系统中，例如车辆的lidar系统。在该特定示例中，反射率测量系统可以是捕获对象的反射率信息的单独工具，并且该信息可以用于补充车辆lidar系统的操作。这里描述的系统和方法也可以用于其他目的。第一示例目的可以包括验证由lidar生成的估计反射率数据。关于该第一示例，可以使用经校准的光谱反射率工具为特定对象收集数据，并且可以将该数据与lidar为同一对象生成的数据进行比较。第二示例目的可以包括生成通用需求。如果获得了重要目标的反射比或反射比分布数据，则该信息可用于创建需求。例如，如果已知自行车需要能够被lidar从5米到100米检测到，则可以测量反射比。应当注意，在lidar情景中使用反射率测量系统仅仅是示例，并且反射率测量系统也可以在任何数量的其他情景中实现。
13.就硬件组件而言，在说明性实施例中，反射率测量系统可以至少包括发射装置、一个或多个摄像机以及一个或多个光学元件。发射装置可以是激光二极管或能够以连续波或脉冲形式发射光的类似组件。光可以以特定波长发射，并且波长可以是固定的或动态的，因为不同的波长可以在不同的时间发射和/或不同的波长可同时发射。发射光的波长是动态的可能是期望的，因为对象的反射率可以取决于照射对象的光的波长而不同。因此，捕获关于对象的反射率在落入不同光谱的各种波长下如何不同的数据可能很重要。例如，由霓虹灯或发光二极管(led)光照射的对象可以与不同的光谱轮廓相关联。回到车辆lidar系统的示例，lidar系统中的传感器能够在人造光中工作可能是重要的，因此理解对象的反射率在不同类型的照射下如何变化可能是重要的。这种发射光可以指向感兴趣的对象(例如，真实世界对象)，并且可以用于以波长照射感兴趣的对象。
14.在一些实施例中，在从发射装置发射之后，发射光可以在离开反射率测量系统之前穿过一个或多个光学元件。光学元件可以用于改变发射光的性质。例如，光学元件可以包括准直器和/或第一波片，尽管也可以使用任何其他数量和/或组合的光学元件。准直器可用于减少发射光的发散，这可用于确保更多的发射光到达感兴趣的对象，而不是一些光向外发散并错过对象。第一波片可以用于调整发射光的偏振状态。调整光的偏振状态可能很重要，因为对象的反射率也可能取决于入射到其上的光的偏振状态。再次回到lidar背景下的特定示例，不同的lidar系统可能对不同类型的偏振光更敏感，因此为了使lidar系统执行有效的距离测量，它可能需要关于对象的反射率基于处于该偏振状态的光而如何变化的数据。此外，除了理解反射率在特定偏振状态下如何变化之外，确定对象的反射率在光的所有偏振状态下是如何变化的也是有用的。具有关于对象相对于所有偏振状态中的光的反射率的数据可以提供关于对象的反射率的更广泛的知识库，因为并非所有可以使用反射率数据的系统都可能希望获得关于同一偏振状态中光的数据。
15.在一些实施例中，一旦使用特定波长的光照射对象，则可以使用摄像机来捕获被照射对象的图像。具体地，摄像机可以被配置为捕获用于照射对象的特定波长的光。例如，如果发射光的波长在780nm至2500nm的近红外(nir)光谱中，则摄像机也可以被配置为捕获该nir光谱内的光。此外，可以使用多于一个的摄像机，并且每个摄像机可以能够捕获任何数量的光谱内的光，使得反射率测量系统可以同时捕获多于一个光谱内的图像。此外，一个或多个光学元件也可以被放置在朝向摄像机行进的任何返回光的路径中(例如，在光被摄像机捕获之前改变光的光学元件)。例如，这些光学元件可以包括至少第二波片、带通滤光器、中性密度滤光器和/或透镜，尽管也可以使用任何其他数量和/或组合的光学元件。第二波片可以以类似于第一波片的方式使用。也就是说，第二波片可以用于确保由摄像机捕获的光具有特定偏振状态。即使第一波片的存在是为了调整离开反射率测量系统的偏振状态，第二波片的使用也可能是重要的，因为在反射率测量系统中从对象反射并返回摄像机的光可能是混合偏振的(也就是说，光可以以多种偏振状态返回，例如p偏振光和s偏振光)。因此，重要的是确保摄像机仅捕获期望偏振状态的光，以确保捕获该偏振状态的正确反射率数据。例如，如果希望基于p偏振光知道对象的反射率，则第二波片可以确保p偏振返回光被摄像机捕获。类似于第二波片，带通滤光器可以用于确保摄像机仅捕获期望的光。更具体地，带通滤光器可以用于仅允许特定波长范围内(或单个波长)的光通过到摄像机。该波长范围可以包括发射光的波长。也就是说，带通滤光器可以用于阻止不想要的波长的光被摄像机捕获，以确保仅捕获相关信息。例如，如果发射的波长是905nm，则带通滤光器可以允许905nm波长的光通过，但可以阻挡波长低于905nm或高于905nm的光。中性密度滤光器(“ndf”)可以是一种额外的光学元件，可以配置为减少进入摄像机的返回光的量。换言之，ndf可以通过减少能够穿过ndf并朝向摄像机的光子数量来“暗化”环境。这可以减少返回光可能使摄像机饱和的可能性。最后，透镜可以用于将返回光聚焦在摄像机上。在某些情况下，如果使用更大的镜头，ndf也可以用于“照亮”对象。关于反射率测量系统的硬件配置的附加细节可以在下面至少参考图1和图2进行描述。
16.在一些实施例中，一旦捕获了被照射的对象的图像，该图像就可以被提供给计算系统(例如，下面关于图5描述的计算部分513)，该计算系统可以用于从捕获的图像中确定反射率信息。例如，计算系统能够使用图像来确定反射率分布映射，该反射率分布映射可以
提供沿着对象表面在各个点和角度处的对象的反射率的指示。计算系统还能够确定其他信息，例如对象的平均总反射率，例如，该平均总反射率可以表示为数值。计算系统还能够确定对象的空间分布和/或统计分布以及其他信息。对象的反射率信息将通过给定单个像素的强度和系统的校准来确定。例如，可以通过在各种条件下(例如，到对象的已知距离)观察具有已知反射率的目标来执行校准。这将为每个像素生成系数，该系数可用于计算对于给定强度值的对象反射率的精确估计。一旦获得了信息，就可以以任何数量的不同形式呈现该信息。例如，对象的反射率分布可以呈现为直方图。直方图可以包括感兴趣对象上的各个摄像机像素的反射率值。这可以允许对统计特性进行图形化询问。一些对象可能具有非常紧密的分布，这可能表明它们的反射率相对均匀，而其他对象(如汽车)可能具有广泛的分布。
17.一旦基于所捕获的图像确定了所有这些相关信息，就可以将所有这些相关信息本地地存储在反射率测量系统内和/或远程地存储到反射率测量系统。在某些情况下，信息可以存储在数据库中(在本文中可以互换地称为“库”、“对象库”等)。该数据库可以包括各种对象的全空间反射率分布。一种使用情况是生成给定对象的3d模型，测量的反射率分布映射到3d模型上。这可以与其他lidar建模工具一起使用，以预测特定类别的对象在给定lidar的点云中的样子。作为一个非限制性示例，该数据库可以类似于具有对象的实体模型及其反射率数据的计算机辅助设计(cad)数据库。数据库还可以包括对象的分类(例如，轿车、树、行人、车辆或在环境中可能遇到的任何其他真实世界对象)，并且对象的反射率信息可以被添加到该对象相关联的对象分类的数据库条目中。数据库还可以包括与反射率测量系统和lidar系统捕获对象的反射率信息的条件有关的其他信息，例如到对象的距离、环境照射条件等。因此，所确定的与对象相关联的反射率信息可以用作提供关于对象分类的附加知识基础的补充信息。如上所述，这在车载lidar系统中可能特别有用，因为如果特定对象的反射率在不同角度(以及其他因素，如所使用的波长、光的偏振状态等)下对对象上的各个点是已知的，则lidar系统能够进行更准确的测距，换言之，反射率测量系统可用于为lidar系统在环境中可能遇到的特定对象编译反射率信息的库或目录(例如，其可如上所述存储在数据库中，或者可替换地存储在任何数量的其他位置中)。该目录然后可以被lidar系统访问，使得lidar系统可以实时访问lidar系统在真实世界中工作时可能遇到的对象的反射率分布信息。反射率信息也可以用于验证lidar系统的功能。例如，lidar系统和反射率测量系统都可以用于在相同条件下对对象进行成像，并且可以将反射率测量系统获得的反射率信息与lidar系统获得的反射信息进行比较。基于该比较，可以确定lidar系统是否在性能的阈值水平内工作。如果没有，则可以对lidar系统进行调整。
18.在一些实施例中，反射率测量系统可以在如上所述用于确定各种真实世界对象的反射率分布映射之前进行校准。校准可以涉及以与在正常操作下用于捕获真实世界对象的图像相同的方式使用反射率测量系统，但可以涉及捕获具有已知反射率数据的测试对象的图像。因此，反射率测量系统可以捕获特定测试对象的图像，确定对象的反射率分布映射，并将所确定的反射率分布映射与已知的反射率分布映射进行比较。如果确定的和已知的反射率信息相同或仅相差阈值量，则可能不需要额外的校准，并且反射率测量系统可能被认为已准备好用于真实世界对象。然而，如果确定的和已知的反射率信息不相同或相差超过阈值量，则可能需要调整反射率测量工具，并且可能需要再次执行校准过程来确定调整结
果是否导致更精确的反射率分布映射。例如，调整可以包括修改校准工具的过程，或改变如何应用校准的某些其他方面(例如，更多的位，从方程更改为基于查找表的校准等)。此外，代替仅使用一个测试对象，可以使用具有不同反射率分布映射的多个测试对象来进一步验证反射率测量系统的准确性。下面可以参照图3更详细地描述反射率测量系统的校准过程。
19.参考附图，图1描绘了在示例环境100中实现的示例反射率测量系统102的示意图。在一些实施例中，反射率测量系统102可以是用于确定环境100中的一个或多个对象118的光谱反射率的系统。反射率测量系统102可以至少包括摄像机108、发射装置(ld)110和一个或多个光学元件(optic)112。在一些情况下，反射率测量系统102可以在多个预先存在的系统上或在多个预先存在的系统中实现，例如在车辆104上。在其他情况下，反射率测量系统102可以被实现为独立的系统，例如在三脚架106上，或者由用户简单地操作而不在诸如三脚架106的元件上实现。也就是说，反射率测量系统102可以是可携带到环境100中的便携式工具。
20.在一些实施例中，反射率测量系统102的发射装置110可用于将光(例如，发射光116)发射到环境100中并朝向对象118。对象118可以是环境100中期望获得反射率分布映射的任何对象。例如，如图1所示，对象118可以是行人、树、另一车辆、路标和/或任何其他对象。在一些情况下，发射装置110可以是激光二极管，并且可以能够以连续波形或一系列脉冲的形式发射光。发射光116也可以是特定波长，该特定波长可以是固定的或者也可以是动态的。例如，如果希望用不同光谱的光照射对象118，则发射光116的波长可以改变。例如，在第一时间，光可以以900nm的波长发射，该波长落在nir光谱中，并且在第二时间，光可以607的波长发射(该波长可表示可见光谱中的氖橙)。对象118的反射率可以根据照射对象118的光的波长而不同，因此确定反射率在不同光谱中(或者甚至在同一光谱中的不同波长之间)将如何受到影响可能是有价值的。
21.在一些实施例中，在从发射装置110发射之后并且在到达环境100之前，发射光116可以穿过容纳在反射率测量系统102内的一个或多个光学元件112。一个或多个光学元件112可以用于在发射光116进入环境100之前改变发射光。例如，一个或多个光学元件112可以准直发射光116以减少发射光116的发散，可以聚焦发射光116，和/或可以改变发射光的偏振，和/或可以在光离开反射率测量系统102之前对光执行任何其他改变。这样的光学元件112的示例可以在下面参照图2更详细地描述。在一些实施例中，一个或多个附加光学元件112也可以用于在光被摄像机108捕获之前改变光。例如，在高级别上，这些附加光学元件112可以过滤来自环境100的返回光114，使得摄像机仅捕获可用于确定对象118的反射率分布的光。这些和其他光学元件112可以在下面关于图2更详细地进行具体描述。
22.在一些实施例中，摄像机108可以用于捕获来自环境100的返回光114。换言之，摄像机108可以用于捕获发射光116所指向的对象118的图像。也就是说，发射光116可以用于以发射光116的波长照射对象118，并且摄像机108可以用于在对象118被发射光116以波长照射时捕获对象118的图像。因此，在反射率测量系统102中使用的摄像机108的类型可以取决于发射光116的波长所在的光谱。这可以是为了确保摄像机108能够以用于照射对象118的特定波长来捕获对象118的图像。例如，发射光116的波长可以是905nm。这可能落在nir光谱中，nir光谱可以包括780nm至2500nm范围内的波长。利用该特定波长的发射光116，摄像机108可以是nir摄像机。然而，也可以使用可能落入其他光谱的其他波长。例如，波长可以
落在380nm至740nm的可见光谱中。在这种情况下，摄像机108可以是可见光摄像机而不是nir摄像机。此外，在一些情况下，多个摄像机108可以用于捕获不同光谱中不同波长的照射，或者同时捕获一个波长或多个波长的照射。
23.在一些实施例中，使用如上所述的反射率测量系统102(例如，以一定波长照射对象118并在被照射时捕获对象118的图像)的目的可以是确定对象118在真实世界中存在时的反射率。如果对象118是非平面的并且具有自然曲率(以及可能存在于典型真实世界对象中的任何其他类型的非平面变化)，则这可能是特别重要的。换言之，反射率测量系统102可用于确定对象118作为整体的反射率，包括在对象上的各个点处以及当对象处于取决于观察对象118的方向的各个角度时的反射率。除此之外，反射率测量系统102还能够提供对象118在不同光源照射波长、光偏振状态等下的反射率数据。也就是说，所有这些上述因素都可能影响对象118的反射率，并且具有关于对象118的反射如何随着这些因素的变化而变化的数据可能是有价值的。此外，所有这些数据中的全部都可以通过摄像机108的单个图像捕获来获得。与可以通过常规方法(例如如上所述的光谱仪)获得的数据相比，具有对象118的这样的反射率数据可能更有价值，因为光谱仪通常只测量单个角度(相对于对象表面的法线)的单个反射点。拥有这些数据可能更有价值，因为真实世界中的对象反射率可能是高度可变的，并且依赖于光谱仪测量的单个反射率点可能不足以基于可能影响光从对象118反射的方式的多种上述因素来有效地确定光将如何从对象反射。在一些实施例中，如以下关于图2所述，该反射率数据可以多种形式存储，例如反射率分布映射、直方图等。直方图可以示出给定对象的反射率值的分布。对于给定对象的反射率，可以推导出统计信息。例如，对象a可以具有40％的平均反射率，正态分布在35-45％的范围内。直方图可以使得能够对给定对象的分布有多宽或有多窄进行决策，并且通知关于感知堆栈如何使用该信息的决策。行人的反射率分布可能比汽车小得多，因此感知堆栈可以使用这些信息来帮助检测和分类对象。在一些情况下，除了反射率分布之外，还可以存储其他信息。例如，除了其他信息之外，可以存储对象的平均反射率值，可以存储空间反射率分布，和/或还可以存储统计反射率分布。统计表示可以包括诸如平均值和标准偏差之类的参数。这些可以是对象的数据的简化表示。空间分布可以有效地是使用该工具收集的完整数据集。空间分布可以用作感知管道中的滤光器，以帮助识别特定类别的对象(例如行人、汽车等)的反射率分布特征，从而有助于检测和分类任务。校准可以采取多种形式，需要进行一些开发才能找到最佳解决方案。通常，可能有两种选择：查找表或基于方程的校准。查找表可以是n维表，其可以提供关于对于给定范围的给定反射率，来自光谱反射率工具的原始强度值应该是什么(基于每像素)的信息。对于温度、偏振状态或任何其他对工具返回的强度值有影响的参数，可能会有额外的维度需要考虑。然后，在真实世界中测量对象，除了已知的其他参数(例如，范围、温度等)之外，还可以使用工具返回的强度来基于校准推导等效反射率。如果可以确定精确估计表中信息的多项式方程，则可以使用该多项式方程来代替查找表。其好处是多维查找表会占用大量内存。
24.图2描绘了示例反射率测量系统102的更详细的示意图。因此，图2中所示的一些元件可以与图1中所示的某些元件相同或相似。例如，反射率测量系统202可以与反射率测量系统102相同，车辆204可以与车辆104相同，三脚架206可以与三脚架106相同，并且对象218可以与对象118相同。此外，在反射率测量系统102内，摄像机232可以与摄像机108相同，光
学元件212可以与光学元件112相同，并且发射装置210可以与发射装置110相同。此外，发射光216可以与发射光116相同，并且返回光214可以与返回光114相同。然而，图2与图1的不同之处在于，它可以描绘一个或多个网络203、一个或多个计算设备209和/或在反射率测量系统202内描绘的附加元件，例如一个或多个光学元件112(显示为光学元件212)的更详细描绘。
25.在一些实施例中，网络203可以是无线或有线网络，可以用于促进图2中所示的任何组件(例如，反射率测量系统202、计算设备209等)之间的通信。网络203可以包括，但不限于，不同类型的合适通信网络的组合中的任一个，例如，广播网络、有线网络、公共网络(例如，互联网)、专用网络、无线网络、蜂窝网络或任何其他合适的专用和/或公共网络。此外，一个或多个网络可以具有与其相关联的任何合适的通信范围，并且可以包括例如全球网络(例如，因特网)、城域网(man)、广域网(wan)、局域网(lan)或个人区域网(pan)。此外，一个或多个网络可以包括可以承载网络业务的任何类型的介质，包括但不限于，同轴电缆、双绞线、光纤、混合光纤同轴(hfc)介质、微波地面收发器、射频通信介质、空白通信介质、超高频通信介质、卫星通信介质或其任意组合。
26.在一些实施例中，计算设备209可以是本地或远程设备(例如，本地计算机或远程服务器)，其可以用于各种目的，例如存储由反射率测量系统202捕获的反射率数据和/或基于存储的反射率数据进行任何确定。在一些情况下，计算设备209可以与以下关于图5描述的计算部分513相同。也就是说，计算设备209可以是lidar系统的一部分。然而，计算设备209也可以远离lidar系统，如下面关于图5所描述的。
27.在一些实施例中，反射率测量系统202可以描绘光学元件212(例如，关于图1所描述的光学元件112)的更详细的配置，并且还可以描绘与发射装置210(例如，相对于图1所述的发射装置110)结合使用的附加元件。关于光学元件212，并且在发射光216的路径内，图2可以描绘两个特定的光学元件212(其可以包括准直器219和第一偏振波片220)。如上所述，在发射光216的路径中的这些光学元件212可以用于在发射光进入环境200并朝向感兴趣的对象218行进之前改变发射光216。为此，准直器219可以用于准直发射光216。准直光可以指接收包括在一个或多个方向上的发散的光线，并将光线作为平行光线输出(例如，最小化不同方向上的光的发散)。使发射光216准直可以确保更多的发射光216落在对象118上，而不是在一些光错过对象218的情况下向外发散。第一偏振波片220可以用于在发射光216进入环境200之前调节其偏振。调整发射光216的偏振可能是合乎需要的，因为对象218的反射率可以是偏振敏感的(即，对象的反射率可以取决于朝向对象218发射的光的偏振)。因此，当对象218被处于不同偏振状态的光照射时，获得对象218的反射率信息可能是有用的。作为具体示例，在特定偏振状态下获得对象218的反射率信息可能是有用的，因为lidar系统中的传感器可以被配置为检测单一类型偏振的光(例如，s偏振光或p偏振光)。因此，第一偏振波片220可以用于确保发射光216在进入环境200并照射对象218之前处于特定的偏振状态。此外，如果希望捕获被多个偏振状态的光(例如，s偏振光和p偏振光)照射的对象218的反射率信息，则第一偏振波片220可以用于使发射光216以多个偏振状态进入环境200。也就是说，捕获关于当使用不同偏振状态的光时对象218的反射率如何变化的数据可以用于增加对对象218的反射在不同场景中如何变化的理解。例如，对于给定的偏振状态，特定对象可能或多或少具有反射性。了解这一点将提供关于哪种偏振状态对于lidar架构最为优化的
信息。如果观察到一个普遍的趋势，即我们关心的大多数对象在给定的偏振状态下更具反射性，这可能被选为lidar系统的需求。
28.在一些实施例中，图2中描绘的更详细的光学元件212还可以包括在返回光214的路径中的光学元件(即，由摄像机232捕获的光作为图像)。在返回光214的路径中的光学元件212可以包括，例如，第二偏振波片222、中性密度滤光器224、带通滤光器226和/或透镜227，但也可以包括任何其他数量或组合的光学元件。在一些情况下，第二偏振波片222可以起到与第一偏振波片22类似的作用。也就是说，第二偏振波片222可以确保返回光214的偏振处于期望的偏振状态。例如，如上关于第一偏振波片222所述，lidar系统可以被配置用于特定的偏振状态。因此，第二波片222可以用于确保由摄像机232捕获的返回光214对于该lidar系统处于正确的偏振状态，因此与对象218相关联的反射率数据可由lidar在确定对象218的距离时使用。尽管第一偏振波片220可以确保发射光216处于期望的偏振状态，但是从对象218反射的光可以以混合偏振返回。例如，即使发射光216作为s偏振光离开第一波片220，光也可以作为p偏振光和s偏振光从对象218返回。在这种情况下，波片220可以确保只有s偏振光将被摄像机捕获(在该示例中，假设s偏振光是要捕获的期望偏振状态)。在一些实施例中，ndf 224可以是额外的光学元件212，其可以被配置为减少进入摄像机232的返回光214的量。换言之，ndf可以通过减少能够穿过ndf并朝向摄像机232的光子数量来“变暗”环境。这可以有助于减少返回光214可能使摄像机232饱和的可能性。在一些实施例中，带通滤光器224可以还用于减少到达摄像机232的返回光214的量。特别地，带通滤光器224可以被配置为仅允许特定范围内的波长穿过并朝向摄像机232。也就是说，带通滤光器224可以被配置为允许与发射光216的波长相对应的返回光214，但是可以阻挡其他波长的返回光214。这可以防止不需要的光被摄像机232捕获。例如，这可以防止摄像机232在阳光明媚的日子捕获到过多的阳光。最后，透镜227可以是一个或多个光学元件212，其用于将返回光214朝向摄像机聚焦。应该注意的是，尽管图2中所示的光学元件212可以被描述为包括特定类型的光学元件，但是也可以使用任何数量或不同类型光学元件的组合，即使是在此未描述的光学元件。
29.在一些实施例中，更详细的反射率测量系统202还可以描绘与发射装置210(例如，关于图1描述的发射装置110)结合使用的附加元件。这样的附加元件可以包括例如发射装置驱动器228和适配器电路板230。发射装置驱动器228可以是用于向发射装置210提供驱动信号以使发射装置210以一系列脉冲的连续波形发射光的电路。适配器电路板230可以用作发射装置驱动器228和发射装置210之间的接口。可以使用不同类型的发射装置210，因此适配器电路板230可以确保发射装置驱动器228能够与这些不同类型的发射装置210中的任何一个适当地对接。此外，图2可以示出在一些情况下，反射率测量系统202(和反射率测量系统102)的不同部件可以通过一条或多条连接线215连接和/或可以由自由空间217分隔。更具体地，连接线215可以包括光纤电缆，并且自由空间217可以代表作为自由空间元件的两个元件。本文中描述的用于反射率测量系统202的各种元件中的任何一个都可以具有这些连接类型中的任一种。例如，图2中所示的反射率测量系统202的具体实施例示出了至少发射装置210和准直器219与光纤连接线215连接，而其余的光学元件212是自由空间元件并且不与光纤连接线215连接。光纤或自由空间的使用可以取决于在反射率测量系统202中使用的特定组件。例如，特定类型的发射装置可以被配置为使用光纤电缆，而特定类型的光学元
件212可以被配置成自由空间元件。然而，连接线215和/或自由空间217的任何组合可以与反射率测量系统202的任何元件一起使用。
30.图3描绘了用于反射率测量系统302的示例校准过程300。校准过程300可用于校准反射率测量系统302，以确保在反射率测量系统用于捕获真实世界对象320的反射率信息之前反射率测量系统能够正常工作。图3所示的一些元件可以与图1和/或图2中所示的元件相同或相似。例如，反射率测量系统302可以与反射率测量系统102和/或反射率测量系统202相同，车辆304可以与车辆104和/或车辆204相同，发射光316和返回光314可以分别与发射光216和/或发射光116和返回光214和/或返回光114相同，摄像机308可以与摄像机108和/或摄像机232相同，发射装置210可以与发射装置110和/或发射装置210相同，光学元件312可以与光学元件112和/或光学元件212相同，等等。
31.在一些实施例中，校准过程300可以从301开始，发射装置310以一系列脉冲的连续波形发射光，在图中显示为发射光316。发射光316可以穿过一个或多个光学元件312，光学元件312可以包括任何数量和/或布置的光学元件312(例如，关于图2描述的光学元件212)。发射光316可以穿过环境朝向一个或多个测试对象318。测试对象318可以是具有已知性质的对象，例如在不同情况下的已知形状、大小和反射率(例如，测试对象318在各种波长的光、光的偏振状态等下的反射率可以是已知的)。在一些情况下，发射光316可以一次被引导到测试对象318中的一个(例如第一发射光316可被引导到第一测试对象318a)。发射光316然后可以以特定波长照射第一测试对象318a，并且摄像机308可以用于捕获第一测试对象318的图像，类似于摄像机308在照射期间捕获真实世界对象320的图像的方式。然后可以将相对于测试对象318a捕获的反射率信息与测试对象318a的已知反射率信息进行比较。例如，可以比较反射率分布、平均反射率和/或任何其他捕获和/或确定的反射率信息。如果确定的和已知的反射率信息相同或仅相差阈值量，则可能不需要额外的校准，并且反射率测量系统可能被认为已准备好用于真实世界对象。然而，如果所确定的和已知的反射率信息不相同或相差超过阈值量，则可能需要调整反射率测量工具(例如，如上所述)，并且可能需要再次执行校准过程以确定调整是否导致更精确的反射率分布映射。可以针对可能存在的任何其他测试对象(例如，测试对象318b和/或318c)重复该过程。每个单独的测试对象可能具有其自己不同的反射率分布。多个测试对象318的使用可以用作系统302正确地捕获对象的反射率分布的进一步验证。此外，校准过程300可以包括一次向多个测试对象318发射光，而不是一次只测试一个测试对象。
32.图3还可以描述，在确定反射率测量系统302被正确校准之后，反射率测量系统302可以在330处继续捕获环境中真实世界对象的反射率分布和其他相关数据。例如，不是捕获一个或多个测试对象318的反射率分布，反射率测量系统302能够捕获树木320a、行人320b和/或任何其他类型的真实世界对象的反射率分布，这些真实世界对象可以包括自然曲率或其他非平面形状。
33.图4是根据本公开的一个或多个示例实施例的用于确定反射率的示例方法400。
34.在图4中的方法400的框402处，方法可包括接收与以第一波长照射并由摄像机以第一波长捕获的对象的第一图像相关联的第一图像数据，该第一图像数据包括第一图像的第一像素的第一像素数据和第一图像的第二像素的第二像素数据。第一像素和第二像素可以是与对象相关联的图像上的像素。光可以以特定波长发射，并且波长可以是固定的或动
态的，因为不同的波长可以在不同的时间发射和/或不同的波长可同时发射。发射光的波长可以是动态的，因为对象的反射率可以取决于照射对象的光的波长而不同。因此，捕获关于对象的反射率在落入不同光谱的各种波长下如何不同的数据可能很重要。
35.在一些实施例中，光可以穿过一个或多个光学元件，该光学元件可以至少包括准直器和第一偏振波片，以及任何其他数量或组合的光学元件。如上所述，在发射光的路径中的这些光学元件可以用于在发射光进入环境并朝向感兴趣的对象行进之前改变发射光。为此，准直器可以用于准直发射光。准直光可以指接收包括在一个或多个方向上发散的光线，并将这些光线作为平行光线输出(例如，最小化不同方向上的光的发散)。准直发射光可以确保更多的发射光落在对象上，而不是向外发散，其中一些光错过了对象。第一偏振波片可以用于在发射光进入环境之前调整其偏振。调整发射光的偏振可能是希望的，因为对象的反射率可以是偏振敏感的(即，对象的反射率可能取决于朝向对象发射光的偏振)。因此，当对象被处于不同偏振状态的光照射时，获得对象的反射率信息可能是有用的。作为一个具体的示例，获得对象在特定偏振状态中的反射率信息可能是有用的，因为lidar系统中的传感器可以被配置为检测单一类型偏振的光(例如，s偏振光或p偏振光)。因此，第一偏振波片可以用于确保发射光在进入环境并照射对象之前处于特定的偏振状态。此外，如果希望捕获被多个偏振状态的光(例如，s偏振光和p偏振光)照射的对象的反射率信息，则第一偏振波片可用于使发射光以多个偏振状态进入环境。也就是说，捕获关于当使用不同偏振状态的光时对象的反射率如何变化的数据可以用于增加对对象的反射率在不同场景中如何变化的理解。
36.在一些实施例中，可以使用摄像机来捕获发射光所指向的对象的图像。也就是说，发射光可以用于以第一波长照射对象，并且摄像机可以用于在对象被第一波长的发射光照射时捕获对象的图像。因此，用于执行图像捕获的摄像机的类型可以取决于发射光的波长所处的光谱。这可以是为了确保摄像机能够以用于照射对象的特定波长捕获对象的图像。例如，发射光的波长可以是905nm。这可能落在近红外(nir)光谱中，近红外光谱可以包括780nm至2500nm范围内的波长。对于这种特定波长的发射光，摄像机可以是nir摄像机。然而，也可以使用可能落入其他光谱的其他波长。例如，波长可以落在380nm至740nm的可见光谱中。在这种情况下，摄像机可以是可见光摄像机而不是nir摄像机。此外，在一些情况下，可以使用多个摄像机来捕获不同光谱中不同波长的照射，或者同时捕获一个波长或多个波长的照射。最后，在一些情况下，可以使用除摄像机之外的任何其他设备，其能够以任何期望的波长捕获对象的图像。
37.在一些实施例中，摄像机和发射装置可以是反射率测量系统(例如，反射率测量系统102、202和/或302)的组件，使得图4的方法可以是至少图1-3中描述的反射率测量系统的方法实现。因此，在一些实施例中，在返回光的路径中可以存在光学元件(即，由摄像机捕获的光作为图像)。在返回光的路径中的光学元件可以包括，例如，第二偏振波片、中性密度滤光器、带通滤光器和/或透镜，但也可以包括任何其他数量或组合的光学元件。在一些情况下，第二偏振波片可以起到与第一偏振波片类似的作用。也就是说，第二偏振波片可以确保返回光的偏振处于期望的偏振状态。例如，如上关于第一偏振波片所述，lidar系统可以被配置用于特定的偏振状态。因此，第二波片可以用于确保由摄像机捕获的返回光对于该lidar系统处于正确的偏振状态，因此与对象相关联的反射率数据可由lidar在确定对象的
距离时使用。尽管第一偏振波片确保发射光处于期望的偏振状态，但是从对象反射的光可以以混合偏振返回。例如，即使发射光作为s偏振光离开第一波片，光也可以作为p偏振光和s偏振光从对象返回。在这种情况下，波片可以确保只有s偏振光将被摄像机捕获到(在该示例中，假设s偏振光是要捕获的期望偏振状态)。在一些实施例中，ndf可以是额外的光学元件，其可以被配置为减少进入摄像机的返回光的量。换言之，ndf可以通过减少能够穿过ndf并朝向摄像机的光子数量来“暗化”环境。这可能有助于减少对于给定感兴趣对象返回光可能饱和[摄像机？]的可能性。在一些实施例中，带通滤光器还可以用于减少到达摄像机的返回光的量。特别地，带通滤光器可以被配置为仅允许特定范围内的波长穿过并朝向摄像机。也就是说，带通滤光器可以被配置为允许与发射光的波长相对应的返回光，但是可以阻挡其他波长的返回光。这可以防止摄像机捕获到不需要的光。例如，这可以防止摄像机在阳光明媚的日子捕获到过多的阳光。最后，透镜可以是用于将返回光聚焦到摄像机的光学元件。
[0038]
方法400的框404可以包括使用第一像素数据来计算第一像素的第一反射率值。方法400的框406可以包括使用第二像素数据来计算第二像素的第二反射率值。方法400的框408可以包括使用第一反射率值和第二反射率值生成对象的第一反射率分布。第一反射率值可以表示对象在对象上不同位置处的反射率。此外，术语“计算”可以指执行一个或多个数学运算，或者也可以指简单地接收指示特定像素的反射率值的信息。还可以确定附加的反射率信息。例如，可以确定整个对象的平均反射率(例如，其可以表示为单个数值)、空间分布、统计分布和/或任何其他相关信息。此外，如上所述，对于不同波长、偏振状态等的光，可以捕获这样的反射率信息。
[0039]
在一些实施例中，反射率可以是由给定界面反射的入射电磁辐射的测量值。反射率可以代表以给定角度从对象的特定部分反射的光的强度。特定对象或材料的反射率是指从对象表面反射的光或电磁辐射总量与最初入射到对象表面的总量之比。反射比可以根据光的波长、反射辐射和入射辐射来计算。反射率可以计算为反射比值的平方。应该注意的是，虽然本公开在某些情况下可以涉及计算或存储反射率或反射比信息，但这两个特性中的一个或(或两者)可以类似地适用。例如，反射率计算的描述也可以用反射比计算来代替，或者两种计算都可以进行。也可以通过用于确定这些值的任何其它合适的方法来确定对象在不同照射波长和对象的不同部分处的反射比和反射率值。
[0040]
在一些实施例中，一旦基于捕获的图像确定了所有这些相关信息，就可以将其本地地存储在反射率测量系统内和/或远程地存储到反射率测量系统。在某些情况下，信息可以存储在数据库中(在本文中可以互换地称为“库”、“对象库”等)。数据库可以包括对象的分类(例如，汽车、树、行人、车辆或在环境中可能遇到的任何其他真实世界对象)，并且对象的反射率信息可以添加到与该对象相关联的对象分类的数据库条目中。因此，所确定的与对象相关联的反射率信息可以用作补充信息，该补充信息提供关于对象分类的附加知识基础。如上所述，这在车辆lidar系统中可能特别有用，因为如果特定对象的反射率在不同角度(以及其他因素，例如所使用的波长、光的偏振状态等)下对于对象上的各个点是已知的，则lidar系统能够进行更准确的测距。换言之，反射率测量系统可以用于编译lidar系统在环境中可能遇到的特定对象的反射率信息的库或目录。该目录然后可以被lidar系统访问，使得lidar系统可以实时访问lidar系统在真实世界中工作时可能遇到的对象的反射率分布信息。反射率信息也可以用于验证lidar系统的功能。例如，lidar系统和反射率测量系统
都可以用于在相同条件下对对象进行成像，并且可以将反射率测量系统获得的反射率信息与lidar方法获得的反射率信息进行比较。基于该比较，可以确定lidar系统是否在性能的阈值水平内工作。如果没有，则可以对lidar系统进行调整。
[0041]
在一些实施例中，方法400还可以包括接收与以第二波长照射并由摄像机以第二波长处捕获的对象的第二图像相关联的第二图像数据，该第二图像数据包括用于第二图像的第三像素的第三像素数据和用于图像的第四像素的第四像素数据。方法400还可以包括使用第三像素数据来计算第三像素的第三反射率值。方法400还可以包括使用第四像素数据来计算第四像素的第四反射率值。方法400还可以包括使用第三反射率值和第四反射率值生成对象的第二反射率分布，其中第二反射率分布基于对象被第二波长照射。方法400还可以包括将对象的第二反射率分布与对象的第一反射率分布一起存储在对象库中。在一些情况下，摄像机可以与用于捕获上述第一图像的摄像机相同。该摄像机也可以是不同的摄像机。也就是说，一个摄像机可以被配置为捕获多个波长的图像，或者可以使用两个摄像机，其被配置为捕获分离波长的图像。此外，也可以使用除摄像机之外的任何其他设备。此外，第三像素和第四像素可以与对象上与第一像素和第二像素相同的位置相关联(或者可以与不同位置相关联)。例如，如果对象是树，则第一像素和第三像素可以是在树上的第一位置处的像素，并且第二像素和第四像素可以与树上的第二位置相关联。在一些情况下，第四像素可以全部与对象上的不同位置相关联，或者一些像素可以与对象上相同的位置相关联。可以针对不同波长的照射来确定对象的反射率分布。对象的反射特性可能会根据照射其的光的波长而变化，因此存储关于反射特性如何变化的信息可能很重要。例如，在自主车辆系统中，这可能是重要的，该自主车辆系统可以在不同的照射条件下捕获关于对象的信息。如果自主车辆只知道对象在一个特定照射条件下的反射率信息，那么自主车辆可能无法在其他照射条件下适当识别对象。在一些情况下，不同的波长可以表示不同的光谱，例如可见光和/或近红外(nir)，仅举两个非限制性的示例。
[0042]
图4的说明性工艺流程中描述和描绘的操作可以按照本公开的各种示例实施例中所需的任何适当顺序进行或执行。此外，在某些示例实施例中，至少一部分操作可以并行执行。此外，在某些示例实施例中，可以执行比图4中所示的更少、更多或不同的操作。
[0043]
尽管已经描述了本公开的具体实施例，但本领域普通技术人员将认识到，许多其他修改和替代实施例都在本公开的范围内。例如，针对特定设备或组件描述的任何功能和/或处理能力都可以由任何其他设备或组件执行。此外，尽管已经根据本公开的实施例描述了各种说明性实施方式和架构，但是本领域的普通技术人员将理解，对本文所描述的说明性实现方式和架构的许多其他修改也在本公开的范围内。
[0044]
以上参考根据示例实施例的系统、方法、装置和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个框以及框图和流程图中的框的组合可以分别通过执行计算机可执行程序指令来实现。同样，根据一些实施例，框图和流程图的一些框可能不一定需要按照所呈现的顺序来执行，或者可能根本不一定需要执行。此外，在某些实施例中，可以存在除了框图和/或流程图的框中所示的那些之外的附加组件和/或操作。
[0045]
因此，框图和流程图的框支持用于执行指定功能的装置的组合、用于执行指定的功能的元件或步骤的组合以及用于执行特定功能的程序指令装置。还将理解，框图和流程
图的每个框，以及框图和流程图中的框的组合，可以由执行指定功能、元件或步骤的专用的基于硬件的计算机系统或者专用硬件和计算机指令的组合来实现。
[0046]
鉴于图1-3，示例lidar系统可以代表本文中所描述的任何数量的元件，例如关于图1所描述的lidar 100，以及本文中所述的任何其他lidar。lidar系统可以包括至少一个发射器部分，例如发射装置110、210、310、检测器部分和计算部分。
[0047]
在一些实施例中，发射器部分可包括至少一个或多个发射器(为了简单起见，下文可参考“发射器”或“发射装置”，但多个发射器可同等适用)和/或一个或多个光学元件112、212、312。如所解释的，发射器可以是能够将光发射到环境中的设备。一旦光在环境中，它就可以朝向对象(例如，对象118、218、318)传播。然后，光可以从对象反射并返回到lidar系统，并由lidar的检测器部分检测到，如下所述。例如，发射器可以是如上所述的激光二极管。发射器可以能够以连续波形或一系列脉冲发射光。光学元件可以是可以用于在光进入环境之前改变从发射器发射光的元件。例如，光学元件可以是透镜、准直器或波片。在一些情况下，透镜可以用于聚焦发射器光。准直器可以用于准直发射光。也就是说，准直器可以用于减少发射光的发散。波片可以用于改变发射光的偏振状态。在lidar系统中可以使用任何数量或组合的不同类型的光学元件，包括在此未列出的光学元件。
[0048]
在一些实施例中，检测器部分可以包括至少一个或多个检测器(为了简单起见，下文中可以参考“检测器”，但多个检测器可以同样适用)和/或一个或多个光学元件。检测器可以是能够检测来自环境的返回光(例如，已经由lidar系统发射并由对象反射的光)的装置。例如，检测器可以是光电二极管。光电二极管可以具体地包括雪崩光电二极管(apd)，其在一些情况下可以在盖革模式(geiger mode)下操作。然而，也可以使用任何其他类型的光电检测器。检测器在捕获来自环境的返回光中的功能可以用于允许lidar系统100确定关于环境中的对象的信息。也就是说，lidar系统100能够确定诸如对象与lidar系统的距离以及对象的形状和/或大小等信息以及其他信息。光学元件可以是用于改变朝向检测器行进的返回光的元件。例如，光学元件可以是透镜、波片或诸如带通滤光器的滤光器。在一些情况下，透镜可以用于将返回光聚焦在检测器上。波片可以用于改变返回光的偏振状态。滤光器可以用于仅允许特定波长的光到达检测器(例如，由发射器发射的光的波长)。在lidar系统中可以使用任何数量或组合的不同类型的光学元件，包括在此未列出的光学元件。
[0049]
至少部分参考图5，在一些实施例中，计算部分500(也称为计算设备500)可以与上面关于图2描述的计算设备209相同。计算部分可以位于lidar系统的内部，或者也可以位于远离lidar系统的位置。计算部分500可以包括一个或多个处理器502和存储器504。处理器502可以执行存储在一个或多个存储器设备(称为存储器504)中的指令。例如，指令可以是用于实现被描述为由上面公开的一个或多个模块和系统执行的功能的指令，或者是用于实现上面公开的方法中的一个或者多个方法的指令。处理器502可以体现在例如一个cpu、多个cpu、一个gpu、多个gpu、一个tpu、多个tpu、多核处理器、其组合等中。在一些实施例中，处理器502可以被布置在单个处理设备中。在其他实施例中，处理器502可以分布在两个或更多个处理设备(例如，多个cpu；多个gpu；其组合；等等)上。处理器可以实现为处理电路或计算处理单元(例如cpu、gpu或两者的组合)的组合。因此，为了便于说明，处理器可以指单核处理器；具有软件多线程执行能力的单个处理器；多核处理器；具有软件多线程执行能力的多核处理器；采用硬件多线程技术的多核处理器；并行处理(或计算)平台；以及具有分布式
共享存储器的并行计算平台。另外，或者作为另一个示例，处理器可以指集成电路(ic)、asic、数字信号处理器(dsp)、fpga、plc、复杂可编程逻辑器件(cpld)、离散门或晶体管逻辑、离散硬件组件或被设计或以其他方式配置(例如，制造)以执行本文所述的功能的其任何组合。
[0050]
处理器502可以通过通信架构(例如系统总线)来访问存储器504。通信架构可以适用于处理器502的特定布置(本地化或分布式)和类型。在一些实施例中，通信架构506可以包括一个或多个总线架构，例如存储器总线或存储器控制器；外围总线；加速图形端口；处理器或本地总线；其组合；等等。举例来说，这样的架构可以包括工业标准架构(isa)总线、微通道架构(mca)总线、增强型isa(eisa)总线、视频电子标准协会(vesa)本地总线、加速图形端口(agp)总线、外围组件互连(pci)总线、pci-express总线、个人计算机存储卡国际协会(pcmcia)总线、通用串行总线(usb)等。
[0051]
本文所公开的存储器组件或存储器装置可包含于易失性存储器或非易失性存储器中，或可包含易失性及非易失存储器两者。此外，存储器组件或存储器设备可以是可移动的或不可移动的，和/或在计算设备或组件的内部或外部。各种类型的非暂时性存储介质的示例可以包括硬盘驱动器、zip驱动器、cd-rom、数字多功能盘(dvd)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、闪存卡或其他类型的存储卡、盒式磁带、或者适合于保持期望信息并且可以由计算设备访问的任何其他非暂时性介质。
[0052]
如图所示，非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦可编程rom(eeprom)或闪存。易失性存储器可以包括用作外部高速缓冲存储器的随机存取存储器(ram)。作为说明而非限制，ram有许多形式，例如同步ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)，增强型sdram(esdram)，同步链路dram(sldram)和直接rambus ram(drram)。本文所描述的操作或计算环境的所公开的存储器设备或存储器旨在包括这些存储器和/或任何其它合适类型的存储器中的一个或多个。除了存储可执行指令之外，存储器504还可以保留数据。
[0053]
每个lidar系统可以包括计算设备，该计算设备可以包括i/o接口510、网络接口512和大容量存储器508，处理器502可以通过通信架构506访问这些大容量存储器。大容量存储器508可以包括机器可访问的指令(例如，计算机可读指令和/或计算机可执行指令)。在一些实施例中，机器可访问指令可以被编码在大容量存储器517中，并且可以被布置在可以被构建(例如，链接和编译)并且以计算机可执行的形式保留在大容量存储器508中或者包括在计算设备中的一个或多个其他机器可访问的非暂时性存储介质中的组件中。这样的组件可以体现或可以构成本文公开的各种模块中的一个或多个。这样的模块被示为反射率分析模块514。
[0054]
反射率分析模块514可包括计算机可执行指令、代码等，其响应于一个或多个处理器502的执行，可以执行包括但不限于以下功能，分析由反射率测量系统(例如，反射率测量系统102、202和/或本文所述的任何其他反射率测量系统)提供的反射率数据，基于反射率数据确定对象的反射率信息，例如数据的反射率分布图、对象的平均反射率等，将所确定的反射率信息发送到数据库以供存储，以及各种其他操作。
[0055]
还应当理解，在不脱离本公开范围的情况下，lidar系统可包括所描述或描绘的硬件、软件或固件组件之外的替代和/或附加硬件、软件和固件组件。更具体地，应当理解，被
描绘为形成计算设备的一部分的软件、固件或硬件组件仅仅是说明性的，并且在各种实施例中可以不存在一些组件或者可以提供附加组件。虽然已经将各种说明性程序模块描绘和描述为存储在数据存储器中的软件模块，但是应当理解，被描述为由程序模块支持的功能可以通过硬件、软件和/或固件的任何组合来启用。还应当理解，在各种实施例中，上述模块中的每一个可以表示所支持的功能的逻辑分区。该逻辑分区是为了便于解释功能而描述的，并且可以不代表用于实现功能的软件、硬件和/或固件的结构。因此，应当理解，在各种实施例中，被描述为由特定模块提供的功能可以至少部分地由一个或多个其他模块提供。此外，在某些实施例中可能不存在一个或多个所描述的模块，而在其他实施例中，可能存在未描述的附加模块，并且可以支持所描述的功能和/或附加功能的至少一部分。此外，虽然某些模块可以被描绘和描述为另一模块的子模块，但在某些实施例中，这样的模块可以被提供为独立模块或其他模块的子模件。
[0056]
尽管已经描述了本公开的具体实施例，但是本领域普通技术人员将认识到，许多其他修改和替代实施例在本公开的范围内。例如，关于特定设备或组件描述的任何功能和/或处理能力可以由任何其他设备或组件执行。此外，尽管已经根据本公开的实施例描述了各种说明性实施方式和架构，但是本领域普通技术人员将理解，对本文所描述的说明性实现方式和架构的许多其他修改也在本公开的范围内。
[0057]
以上参考根据示例实施例的系统、方法、装置和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个框以及框图和流程图中的框的组合可以分别通过执行计算机可执行程序指令来实现。同样，根据一些实施例，框图和流程图的一些框可能不一定需要按照所呈现的顺序来执行，或者可能根本不一定需要执行。此外，在某些实施例中，可以存在除了框图和/或流程图的框中所示的那些之外的附加组件和/或操作。
[0058]
因此，框图和流程图的框支持用于执行指定功能的装置的组合、用于执行指定的功能的元件或步骤的组合以及用于执行特定功能的程序指令装置。还将理解，框图和流程图的每个框，以及框图和流程图中的框的组合，可以由执行指定功能、元件或步骤的专用的基于硬件的计算机系统或者专用硬件和计算机指令的组合来实现。
[0059]
本说明书和附图中所描述的内容包括系统、设备、技术和计算机程序产品的示例，这些示例单独或组合允许自主提供车辆配置文件包的更新。当然，为了描述本公开的各种元件的目的，不可能描述组件和/或方法的每一个可想到的组合，但是可以认识到，所公开的元件的许多进一步组合和排列是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下，可以对本公开进行各种修改。此外，或者作为替代，通过考虑说明书和附图以及本文所呈现的本公开的实践，本公开的其他实施例可能是显而易见的。旨在将说明书和附图中提出的示例在所有方面视为说明性的而非限制性的。尽管本文使用了特定术语，但它们仅在一般和描述性意义上使用，而不是出于限制的目的。
[0060]
如在本技术中使用的，术语“环境”、“系统”、“单元”、“模块”、“架构”、“接口”、“组件”等是指与计算机相关的实体或与具有一个或多个定义的功能的操作装置相关的实体。术语“环境”、“系统”、“模块”、“组件”、“架构”、“接口”和“单元”可以互换使用，并且可以统称为功能元素。这样的实体可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，模块可以体现在在处理器运行的程序、处理器、对象、软件的可执行部分、执行线程、程序和/
或计算设备中。作为另一示例，在计算设备上执行的软件应用程序和计算设备都可以体现模块。作为又一示例，一个或多个模块可以驻留在执行的进程和/或线程内。模块可以定位在一个计算设备上，或者分布在两个或更多个计算设备之间。如本文所公开的，模块可以从其上存储有各种数据结构的各种计算机可读非暂时性存储介质执行。模块可以根据例如具有一个或多个数据包(例如，来自一个组件与本地系统、分布式系统中的另一个组件和/或通过诸如广域网之类的网络经由信号与其他系统交互的数据)的信号(模拟或数字)，经由本地和/或远程进程进行通信。
[0061]
作为另一个示例，模块可以体现在或可以包括具有由电气或电子电路操作的机械部件提供的定义功能的设备，该电气或电子线路由处理器执行的软件应用程序或固件应用程序控制。这样的处理器可以在设备内部或外部，并且可以执行软件或固件应用程序的至少一部分。在另一个示例中，模块可以体现在或可以包括通过没有机械部件的电子部件提供定义的功能的装置。电子部件可以包括用于执行软件或固件的处理器，该软件或固件至少部分地允许或以其他方式促进电子部件的功能。
[0062]
在一些实施例中，模块可以根据例如具有一个或多个数据包的信号(模拟或数字)，经由本地和/或远程进程进行通信(例如，来自一个组件与本地系统、分布式系统中的另一组件和/或通过诸如广域网之类的网络经由该信号与其他系统交互的数据)。此外，或在其他实施例中，模块可以经由热、机械、电和/或机电耦合机构(例如导管、连接器、其组合等)通信或以其他方式耦合。接口可以包括输入/输出(i/o)组件以及相关联的处理器、应用程序和/或其他编程组件。
[0063]
此外，在本说明书和附图中，如“存储”、“存储器”和“数据存储”、“数据存储器”，“内存”、“资源库”等术语或与本公开的部件的操作和功能相关的大体上任何其他信息存储组件，是指体现在一个或多个存储器设备中的存储器组件、实体，或形成存储器设备的组件。注意，本文所描述的存储器组件或存储器设备体现或包括可由计算设备读取或以其他方式访问的非暂时性计算机存储介质。这样的介质可以以用于存储信息的任何方法或技术来实现，例如机器可访问指令(例如，计算机可读指令)、信息结构、程序模块或其他信息对象。
[0064]
条件语言，例如“可以”、“能”、“可能”或“可”，除非另有特别说明或在所用上下文中以其他方式理解，通常旨在传达某些实施方式可以包括某些特征、元素和/或操作，而其他实施方式不包括某些特征、元素和/或操作。因此，这种条件语言通常并不意味着特征、元素和/或操作以任何方式是一个或多个实施方式所必需的，或者一个或多个实施方式必然包括用于在有或没有用户输入或提示的情况下决定在任何特定实施方式中包括或将要执行的这些特征、元素、和/或操作。

技术特征：
1.一种系统，包括：发射装置，所述发射装置被配置为向对象发射第一波长的光；摄像机，所述摄像机被配置为捕获以所述第一波长照射的所述对象的第一图像；以及处理器，所述处理器被配置为：接收与由所述摄像机捕获的所述对象的所述第一图像相关联的第一图像数据，所述第一图像数据包括所述第一图像的第一像素的第一像素数据和所述第一图像的第二像素的第二像素数据；使用所述第一像素数据计算所述第一像素的第一反射率值；使用所述第二像素数据计算所述第二像素的第二反射率值；以及使用所述第一反射率值和所述第二反射率值生成所述对象的第一反射率分布。2.根据权利要求1所述的系统，其中，所述处理器还被配置为将所述对象的所述第一反射率分布存储在对象库中。3.根据权利要求1所述的系统，其中，所述发射装置还被配置为向所述对象发射第二波长的光，并且其中所述系统还包含：摄像机，所述摄像机被配置为捕获以所述第二波长照射的所述对象的第二图像；以及处理器，所述处理器被配置为：接收与由所述摄像机捕获的所述对象的所述第二图像相关联的第二图像数据，所述第二图像数据包括所述第二图像的第三像素的第三像素数据和所述第二图像的第四像素的第四像素数据；使用所述第三像素数据计算所述第三像素的第三反射率值；使用所述第四像素数据计算所述第四像素的第四反射率值；使用所述第三反射率值和所述第四反射率值生成所述对象的第二反射率分布，其中所述第二反射率分布基于所述对象被所述第二波长照射；以及将所述对象的所述第二反射率分布与所述对象的所述第一反射率分布一起存储在对象库中。4.根据权利要求1所述的系统，其中，所述发射装置还被配置为向具有已知反射率分布的测试对象发射所述第一波长的光，其中所述光以所述第一波长照射所述测试对象，并且其中所述处理器还被配置为：接收与由所述摄像机捕获的所述对象的第二图像相关联的第二图像数据，所述第二图像数据包括所述第二图像的第三像素的第三像素数据和所述第二图像的第四像素的第四像素数据；使用所述第三像素数据计算所述第三像素的第三反射率值；使用所述第四像素数据计算所述第四像素的第四反射率值；使用所述第三反射率值和所述第四反射率值生成所述对象的第二反射率分布；以及将所述测试对象的所述第二反射率分布与所述测试对象的所述已知反射率分布进行比较。5.根据权利要求1所述的系统，还包括准直器或第一偏振波片中的至少一个，其中所述准直器或所述第一偏振波片位于所述发射装置与所述对象之间。6.根据权利要求1所述的系统，还包括透镜、带通滤光器或中性密度滤光器中的至少一
个，其中所述透镜、所述带通滤光器、或所述中性密度滤光器(ndf)中的至少一个位于所述摄像机与所述对象之间。7.根据权利要求1所述的系统，其中，所述摄像机是近红外(nir)摄像机。8.一种方法，包括：接收与以第一波长照射并由摄像机以所述第一波长捕获的对象的第一图像相关联的第一图像数据，所述第一图像数据包括所述第一图像的第一像素的第一像素数据和所述第一图像的第二像素的第二像素数据；使用所述第一像素数据计算所述第一像素的第一反射率值；使用所述第二像素数据计算所述第二像素的第二反射率值；以及使用所述第一反射率值和所述第二反射率值生成所述对象的第一反射率分布。9.根据权利要求8所述的方法，还包括：将所述对象的所述第一反射率分布存储在对象库中。10.根据权利要求8所述的方法，还包括：接收与以第二波长照射并由摄像机以所述第二波长捕获的所述对象的第二图像相关联的第二图像数据，所述第二图像数据包括所述第二图像的第三像素的第三像素数据和所述第二图像的第四像素的第四像素数据；使用所述第三像素数据计算所述第三像素的第三反射率值；使用所述第四像素数据计算所述第四像素的第四反射率值；使用所述第三反射率值和所述第四反射率值生成所述对象的第二反射率分布，其中所述第二反射率分布基于所述对象被所述第二波长照射；以及将所述对象的所述第二反射率分布与所述对象的所述第一反射率分布一起存储在对象库中。11.根据权利要求8所述的方法，还包括：接收与以第二波长照射并由摄像机以所述第二波长捕获的测试对象的第二图像相关联的第二图像数据，所述第二图像数据包括所述第二图像的第三像素的第三像素数据和所述第二图像的第四像素的第四像素数据，其中所述测试对象具有已知反射率分布；使用所述第三像素数据计算所述第三像素的第三反射率值；使用所述第四像素数据计算所述第四像素的第四反射率值；使用所述第三反射率值和所述第四反射率值生成所述对象的第二反射率分布；以及将所述测试对象的所述第二反射率分布与所述测试对象的所述已知反射率分布进行比较。12.根据权利要求8所述的方法，还包括准直器或第一偏振波片中的至少一个，其中所述准直器或所述第一偏振波片位于发射装置与所述对象之间。13.根据权利要求8所述的方法，还包含透镜、带通滤光器或中性密度滤光器中的至少一个，其中所述透镜、所述带通滤光器、或所述中性密度滤光器(ndf)中的至少一个位于所述摄像机与所述对象之间。14.一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由至少一个处理器执行时，使得所述至少一个处理器：接收与以第一波长照射并由摄像机以所述第一波长捕获的对象的第一图像相关联的
第一图像数据，所述第一图像数据包括所述第一图像的第一像素的第一像素数据和所述第一图像的第二像素的第二像素数据；使用所述第一像素数据计算所述第一像素的第一反射率值；使用所述第二像素数据计算所述第二像素的第二反射率值；以及使用所述第一反射率值和所述第二反射率值生成所述对象的第一反射率分布。15.根据权利要求14所述的非暂时性计算机可读介质，其中，所述计算机可执行指令还可操作以：将所述对象的所述第一反射率分布存储在对象库中。16.根据权利要求14所述的非暂时性计算机可读介质，其中所述计算机可执行指令还可操作以：接收与以第二波长照射并由摄像机以所述第二波长捕获的所述对象的第二图像相关联的第二图像数据，所述第二图像数据包括所述第二图像的第三像素的第三像素数据和所述图像的第四像素的第四像素数据；使用所述第三像素数据计算所述第三像素的第三反射率值；使用所述第四像素数据计算所述第四像素的第四反射率值；使用所述第三反射率值和所述第四反射率值生成所述对象的第二反射率分布，其中所述第二反射率分布基于所述对象被所述第二波长照射；以及将所述对象的所述第二反射率分布与所述对象的所述第一反射率分布一起存储在对象库中。17.根据权利要求14所述的非暂时性计算机可读介质，其中所述计算机可执行指令还可操作以：接收与以第二波长照射并由摄像机以所述第二波长捕获的测试对象的第二图像相关联的第二图像数据，所述第二图像数据包括所述第二图像的第三像素的第三像素数据和所述图像的第四像素的第四像素数据，其中所述测试对象具有已知反射率分布；使用所述第三像素数据计算所述第三像素的第三反射率值；使用所述第四像素数据计算所述第四像素的第四反射率值；使用所述第三反射率值和所述第四反射率值生成所述对象的第二反射率分布；以及将所述测试对象的所述第二反射率分布与所述测试对象的所述已知反射率分布进行比较。18.根据权利要求14所述的非暂时性计算机可读介质，还包括准直器或第一偏振波片中的至少一个，其中所述准直器或所述第一偏振波片位于发射装置与所述对象之间。19.根据权利要求14所述的非暂时性计算机可读介质，还包含透镜、带通滤光器或中性密度滤光器中的至少一个，其中所述透镜、所述带通滤光器、或所述中性密度滤光器(ndf)中的至少一个位于所述摄像机与所述对象之间。20.根据权利要求14所述的非暂时性计算机可读介质，其中所述摄像机是近红外(nir)摄像机。

技术总结
本发明公开了用于镜头内动态LIDAR检测器增益的系统和方法的系统、方法和计算机可读介质。一个示例方法可以包括接收与以第一波长照射并由摄像机以第一波长捕获的对象的第一图像相关联的第一图像数据，该第一图像数据包括用于第一图像的第一像素的第一像素数据和用于第一图像的第二像素的第二像素数据。该示例方法还可以包括使用第一像素数据来计算第一像素的第一反射率值。该示例方法还可以包括使用第二像素数据来计算第二像素的第二反射率值。该示例方法还可以包括使用第一反射率值和第二反射率值生成对象的第一反射率分布。第二反射率值生成对象的第一反射率分布。第二反射率值生成对象的第一反射率分布。


技术研发人员：迈克尔
受保护的技术使用者：福特全球技术公司
技术研发日：2021.11.29
技术公布日：2023/10/5