成像系统的制作方法

成像系统
1.本文所述的技术整体涉及成像方法、图像重构算法和成像系统，诸如例如lidar(光检测和测距)成像方法和lidar成像系统。
2.目前正在针对乘客和货物的流动性开发自动驾驶车辆和驾驶员辅助系统。自动驾驶车辆利用3d成像方法来创建精确的实时3d导航地图。理想的汽车成像系统应组合以下特征：远范围、宽视场、所有三个轴的高成像分辨率、高帧率、高动态范围(对比度)、符合激光安全标准、紧凑尺寸和低成本。
3.这些标准中的许多标准相互关联，或甚至相互排斥。例如，由于背反射光强度与对象距离的平方成比例地降低，因此增大系统的范围将需要增大发射光功率(受激光安全性限制)、增加积分时间(降低帧率)、使用更大的光学器件来收集更多的光(增加系统的尺寸和成本)或处理噪声更大的信号(降低动态范围并可能产生伪影)。因此，现有lidar设计会做出妥协以满足这些要求中的一些要求，同时牺牲其他要求。
4.可能同时使用不同的3d成像系统，例如窄视场远程系统和广角近程系统。然而，这增加了传感器封装的成本和复杂性，并且仅在自主平台的测试阶段可行，在该阶段，这些标准比量产车辆的限制要少。另一种可能性是使系统的某些部分可以在不同模式之间切换。例如，类似于变焦镜头的可变光学器件可用于改变系统的视场。然而，这意味着最终用户或自主系统必须决定哪种模式是针对当前情况的最佳模式，并且当在非最佳模式下运行时可能会丢失重要信息(例如，如果视场被设置为窄模式，则可能会错过从侧面出现的威胁)。
5.因此，需要真正自适应的系统，其可同时在不同的采集模式下运行，从而确保始终向用户输出可靠且最佳的数据。
6.申请人认为，成像方法和成像系统仍有改进的余地。
7.根据第一方面，提供了一种对场景进行成像的方法，该方法包括：
8.使用照明图案序列来给场景照明；以及
9.使用传感器以关于序列中的每个照明图案来检测来自场景的反射；
10.其中照明图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率；
11.其中照明图案序列包括第一照明图案子集，其中第一照明图案子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于第一分辨率；并且
12.其中所述方法进一步包括：
13.使用关于序列中的照明图案的检测到的反射来构建场景的具有第一分辨率的第一图像；以及
14.使用关于第一照明图案子集的检测到的反射来构建场景的具有第二分辨率的第二图像。
15.根据第二方面，提供了一种成像系统，其包括：
16.一个或多个源，该一个或多个源被配置成使用照明图案序列来给场景照明；以及
17.传感器，该传感器被配置成关于序列中的每个照明图案来检测来自场景的反射；
18.其中照明图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第
一分辨率大于传感器的分辨率；
19.其中照明图案序列包括第一照明图案子集，其中第一照明图案子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于第一分辨率；并且
20.其中该系统进一步包括处理电路，该处理电路被配置成：
21.使用关于序列中的照明图案的检测到的反射来构建场景的具有第一分辨率的第一图像；并且
22.使用关于第一照明图案子集的检测到的反射来构建场景的具有第二分辨率的第二图像。
23.根据第三方面，提供了一种图像处理系统，其包括：
24.处理电路，其被配置成控制一个或多个源以便使用照明图案序列来给场景照明；以及
25.处理电路，其被配置成从传感器接收信息，该传感器被配置成关于序列中的每个照明图案来检测来自场景的反射；
26.其中照明图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率；
27.其中照明图案序列包括第一照明图案子集，其中第一照明图案子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于第一分辨率；并且
28.其中该系统进一步包括处理电路，该处理电路被配置成：
29.使用关于序列中的照明图案的检测到的反射来构建场景的具有第一分辨率的第一图像；并且
30.使用关于第一照明图案子集的检测到的反射来构建场景的具有第二分辨率的第二图像。
31.本文所述的技术涉及一种对场景进行成像的方法(和一种成像系统)，其中使用照明图案序列来给场景照明，并且关于序列中的每个照明图案来检测来自场景的反射。在本文所述的技术中，照明图案序列被配置成允许构建场景的具有第一分辨率的图像，其中第一分辨率大于用于检测反射的传感器的分辨率，并且使用关于序列中的照明图案的检测到的反射来构建场景的具有第一分辨率的第一图像。
32.除此之外(并且与已知技术相反)，在本文所述的技术中，照明图案序列被布置成包括第一照明图案子集(例如，可以在序列的末端之前出现在序列中)，其中第一照明图案子集被配置成允许构建场景的具有第二分辨率的第二图像，其中第二分辨率小于第一分辨率(并且任选地大于传感器的分辨率)，并且使用关于第一照明图案子集的检测到的反射来构建场景的第二图像。
33.如下文将更详细描述的，申请人已经认识到，除了可使用照明图案序列来构建场景的第一(例如，“全”或“高”分辨率)图像之外，还可使用序列中的图案子集(即少于全部)图案来构建场景的第二较低分辨率图像。
34.此外，并且如下文将更详细描述的，可使用如此产生的第二图像，例如以控制照明图案序列中的其余照明图案和/或控制后续照明图案序列。这反过来可以提供显著改进的灵活性和对成像过程的控制。
35.因此，应当理解，本文所述的技术提供了一种对场景进行成像的改进方法，以及一
种改进的成像系统。
36.该一个或多个源可包括任何合适的电磁辐射(例如，光)源，其能够用(不同)照明图案序列来给场景照明。
37.该一个或多个源将具有某个(最大)视场(例如，源能够照明的立体角)，并且可被配置成给场景在其视场内的部分照明。该一个或多个源可被配置为使得视场具有固定或可变的取向和/或大小。
38.该源或每个源可包括任何合适的电磁辐射源，诸如例如激光器，例如脉冲激光器。
39.成像系统可包括单个源或多个源。
40.在各种特定实施例中，该一个或多个源包括多个电磁辐射(例如，光)源的阵列，诸如电磁辐射(例如，光)源的1d(线性)阵列或2d阵列。用于构建阵列的合适的源包括例如固态激光器，诸如垂直腔面发射激光器(vcsel)。阵列可具有任何期望的配置，诸如是规则阵列(诸如正方形或矩形阵列)或不规则阵列等。
41.在这些实施例中，阵列中的源可具有彼此相同的取向(例如，垂直于阵列的平面)，且/或每个源可以在阵列内具有固定的取向。阵列中的每个源都可以是独立可控的，使得每个源可用于选择性地给场景(的不同部分)照明(即，以便打开或关闭)。然后，可通过控制阵列来形成不同照明图案，使得关于每个不同图案，开/关阵列中的不同源。
42.在各种其他实施例中，该一个或多个源可包括被配置为使得由源发射的电磁辐射(例如，光)具有可变的取向的一个或多个源(诸如，单个源)。例如，源自身的取向可以是可变的，或者可使用反射镜来改变由源发射的电磁辐射(例如，光)的取向。
43.在这些实施例中，电磁辐射的取向可以是可控的(并且一个或多个源或每个源可以是独立可控的(即，以便打开或关闭))，使得该源或每个源可用于选择性地给场景(的不同部分)照明。可通过控制电磁辐射的取向(例如，通过扫描源和/或反射镜)来形成不同照明图案，使得关于每个不同图案，给场景的不同部分照明/不照明。
44.因此，该一个或多个源可包括多像素源或扫描源。
45.各种其他实施例是可能的。例如，将可能使用一个或多个电磁辐射源连同反射镜阵列来构建多像素源。该一个或多个源也将可能包括全息源。
46.传感器可包括能够检测来自场景的反射(从该一个或多个源发射的电磁辐射(例如，光))的任何合适的电磁辐射(例如，光)传感器。传感器可包括例如一个或多个光电二极管、电荷耦合器件(ccd)等。
47.传感器具有特定分辨率，即(总)像素数p(其中p是正整数)。传感器可以是单像素传感器(p＝1)或多像素传感器(p》1)。
48.在各种特定实施例中，传感器包括多个像素的阵列，诸如1d(线性)阵列或2d像素阵列。阵列可具有任何期望的配置，诸如是规则阵列(诸如正方形或矩形阵列)或不规则阵列等。
49.阵列可包括例如对单光子敏感的固态检测器阵列(诸如单光子雪崩二极管(spad)阵列)或盖革模式雪崩光电二极管(gmapd)阵列。当然，其他布置也将是可能的。
50.传感器被配置成关于序列中的每个照明图案来检测来自场景的反射。因此，传感器可被配置成捕获(反射的电磁辐射的)图像序列，其中每个捕获的图像分别(仅)对应于照明图案序列中的单个照明图案。为此，成像系统可被配置为使得传感器和该一个或多个源
的操作适当地同步。
51.在本文所述的技术中，用照明图案序列来给场景照明。也就是说，用(不同)照明图案序列中的每个图案轮流(一个接一个地)来给场景照明。
52.照明图案是成像系统(的一个或多个源)的视场内的照明强度分布。
53.照明图案可以是二元的，即具有两个不同的照明水平(例如，被照亮区域和未被照亮区域)。另选地，照明图案可以是多水平的，即包含离散的多个不同照明水平。另选地，照明图案可以是连续的，其中照明强度在视场的不同区域之间平滑地变化。
54.每个照明图案实际上可以是二维强度分布图案，例如可以是能够用二维图案来描述的。例如，照明图案的照明分布可以例如在离散网格上、在离散的多个空间点中(这些空间点可以或可不在视场中规则地分布)来定义；或者作为视场中非离散空间坐标的数学函数来定义。
55.序列中的每个图案可以不同于序列中的每个其他图案，即，就成像系统(的一个或多个源)的视场内的照明强度分布而言。然而，图案中的一些图案也将可能在序列中重复(并且在一些实施例中，就是这种情况)。
56.在本文所述的技术中，照明图案序列被配置成允许构建场景的具有第一分辨率的第一图像，并且使用关于序列中的一些或所有照明图案的检测到的反射(例如，捕获的图像)来构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率。
57.第一分辨率可包括大于检测器的分辨率的任何合适的(“高”)分辨率。第一分辨率可以在至少一个维度上，诸如在(全部)两个维度上，大于检测器的分辨率。一般来讲，第一图像可包括w
×
h分辨率图像，即具有总w*h＝m像素(其中w、h和m各自是正整数)，其中m》p。第一分辨率可以例如是成像系统的最大(“全”)分辨率。
58.技术人员将理解，根据各种实施例，用不同照明图案序列来给场景照明并记录每个图案的图像，可以使得使用组合图像构建的图像的有效分辨率高于检测器的原生分辨率。如本领域技术人员将理解的，这可以例如使用所谓的计算重影成像(cgi)(和其他相关)技术来实现。
59.如本文所用，“完整图案集”是以此方式来配置的照明图案集：其允许用具有p《m个物理像素的传感器以m个空间点(像素)分辨率来构建场景的图像(从而提供分辨率增强因子e＝m/p)。完整图案集应包含具有w
×
h分辨率的至少一些线性独立图案。
60.照明图案序列应包括至少一个此类完整图案集，即用于构建场景的具有第一分辨率(其中第一分辨率大于传感器分辨率)的图像的完整图案集。
61.如本领域技术人员将理解的，可以例如从walsh-hadamard照明图案集、傅里叶照明图案集、这些的变体(例如，如本文别处所述)等构建各种此类“完整图案集”，等等。
62.在实施例中，可使用形成用于构建场景的具有第一分辨率的图像的完整基础的完整图案集。此类完整图案集可以是包含恰好e个图案的完整基础线性独立图案集。然而，其他实施例是可能的。
63.例如，在各种实施例中，完整图案集可以从完整基础集(如上所述)加上其反转图案(即，用暗区来替换图案的亮区，并且反之亦然)中的一些或所有来形成。如本领域技术人员将理解的，此类完整图案集可用于所谓的差分成像，并且可包括2e个图案。可使用差分成像，例如以产生具有改进的对比度的图像。
64.在各种另外的实施例中，完整图案集可以从完整基础集中的图案中的一些但不是全部(即子集)来形成。例如，完整图案集可以从完整基础集中的图案的子集来形成，其中该子集包括完整基础集中的至少5％的图案，其中该子集包括至少一个图案，该图案包含沿第一维度w在w/4《f《w/2范围内的空间频率f，并且其中该子集包括至少一个图案，该图案包含沿第二(正交)维度h在h/4《f《h/2范围内的空间频率f(其中w/2和h/2是根据奈奎斯特定理，沿对应维度的图案中可能出现的最高频率)。如本领域技术人员将理解的，此类完整图案集可用于所谓的压缩成像(其中成像的质量通常低于使用完整基础集的成像的质量)。
65.也将可能组合这些实施例。例如，压缩成像完整图案集可以从差分成像完整图案集中的图案的子集来形成。此外，完整图案集可以从上述完整图案集中的任一者连同一个或多个附加照明图案一起形成。
66.因此，在各种实施例中，用照明图案序列来给场景照明，该照明图案序列包括用于构建场景的具有第一(高)分辨率(其中第一分辨率大于传感器分辨率)的图像的完整图案集。
67.在各种实施例中，照明图案序列包括(仅)来自完整图案集的图案。照明图案序列应包括来自完整图案集的图案中的每个图案至少一次。照明图案序列可仅包括完整图案集中的图案(即，其中完整图案集中的每个图案在序列中仅出现一次)，或者完整图案集中的一个或多个图案可以在照明图案序列中出现多于一次。
68.在本文所述的技术中，使用关于序列中的照明图案的检测到的反射(例如，捕获的图像)来构建场景的具有第一(高)分辨率的第一图像。为了构建第一图像，例如使用适当的计算重影成像(cgi)(和其他相关)算法对关于序列中的照明图案的检测到的反射(例如，所记录的图像)进行组合。
69.可使用关于序列中的所有照明图案或者关于序列中的少于所有照明图案的检测到的反射(例如，捕获的图像)来构建第一图像。
70.例如，在照明图案序列仅包括完整图案集中的图案的情况下(即，其中完整图案集中的每个图案在序列中仅出现一次)，则可使用关于序列中的所有照明图案的检测到的反射(例如，捕获的图像)来构建第一图像。
71.在照明图案序列包括比完整图案集中的图案更多的图案的情况下(例如，其中在完整图案集中的一个或多个图案在照明图案序列中出现多于一次的情况下)，则可使用关于序列中的所有照明图案或者序列中的少于所有照明图案的检测到的反射(例如，捕获的图像)来构建第一图像。例如，关于重复图案的检测到的反射(例如，捕获的图像)可不用于构建第一图像，且/或关于重复图案的检测到的反射(例如，捕获的图像)可被组合(例如，平均)然后用于构建第一图像。
72.所得第一(高分辨率)图像可以是二维图像，或者可以是三维图像(例如，其中使用飞行时间技术来提供深度信息)。
73.在本文所述的技术中，和场景的第一(例如，“全”或高)分辨率图像一起，还构建场景的第二图像，其具有比第一图像的分辨率更低的分辨率。
74.这是通过配置(例如，选择)照明图案序列使得其包括(第一)照明图案子集来完成的，其中(第一)照明图案子集被配置成允许构建场景的具有第二分辨率的第二图像。然后，可使用关于第一照明图案子集的检测到的反射(例如，捕获的图像)来构建场景的具有第二
分辨率的第二图像。
75.第二分辨率可包括小于第一分辨率的任何合适的分辨率。第二分辨率可大于检测器的分辨率。第二分辨率可以在至少一个维度上，诸如在(全部)两个维度上，大于检测器的分辨率。然而，第二分辨率也将可能等于检测器的分辨率(例如，在至少一个维度上，诸如在(全部)两个维度上)。第二分辨率可以在至少一个维度上，诸如在(全部)两个维度上，小于第一分辨率。
76.在各种特定实施例中，配置(选择)完整图案集(从中形成序列)，使得其包括(第一)照明图案子集(其中(第一)照明图案子集被配置成允许构建场景的具有第二分辨率的第二图像)。
77.第一子集可包括照明图案序列中的图案的任何合适的子集(即，少于所有图案)。该子集应(并且在各种实施例中确实)包括用于构建场景的具有第二分辨率的图像的完整图案集。申请人已经认识到，各种此类较低分辨率完整图案集可以从较高分辨率完整图案集(例如，诸如从本文所述的完整图案集中的任一者)的子集来形成。
78.在实施例中，第一子集包括形成用于构建场景的具有第二(较低)分辨率的图像的完整基础的完整图案集。然而，一般来讲，第一子集可包括上述不同类型的完整图案集(例如，包括差分成像和/或压缩成像完整图案集等)中的任一者。
79.因此，在各种实施例中，由照明图案序列来给场景照明，该照明图案序列包括用于构建场景的具有第一分辨率的图像的完整图案集，并且包括(第一)照明图案子集，该子集自身包括用于构建场景的具有第二(较低)分辨率的图像的完整图案集。在实施例中，配置(选择)用于构建场景的具有第一分辨率的图像的完整图案集，使得其图案的子集形成用于构建场景的具有第二分辨率的图像的完整图案集。
80.(第一)图案子集可(仅)包括来自第二分辨率完整图案集的图案。(第一)图案子集应包括来自第二分辨率完整图案集的每个图案至少一次。(第一)图案子集可仅包括第二分辨率完整图案集中的图案(即，其中第二分辨率完整图案集中的每个图案在(第一)子集中仅出现一次)，或者第二分辨率完整图案集中的一个或多个图案可以在(第一)图案子集中出现多于一次。
81.在本文所述的技术中，使用关于(第一)子集中的照明图案的检测到的反射(例如，捕获的图像)来构建场景的具有第二分辨率的第二图像。为了构建第二图像，例如使用适当的计算重影成像(cgi)(和其他相关)算法对关于子集中的照明图案的检测到的反射(例如，所记录的图像)进行组合。
82.可使用关于(第一)子集中的所有照明图案或者关于(第一)子集中的少于所有照明图案的检测到的反射(例如，捕获的图像)来构建第二图像。
83.例如，在(第一)子集仅包括完整图案集中的图案的情况下(即，完整图案集中的每个图案在子集中仅出现一次)，则可使用关于(第一)子集的所有照明图案的检测到的反射来构建第二图像。
84.在(第一)子集包括比完整图案集中的图案更多的图案的情况下(例如，在完整图案集中的一个或多个图案在(第一)子集中出现多于一次的情况下)，则可使用关于(第一)子集中的所有照明图案或者(第一)子集中的少于所有照明图案的检测到的反射来构建第二图像。例如，关于重复图案的检测到的反射(例如，捕获的图像)可不用于构建第二图像，
且/或关于重复图案的检测到的反射(例如，捕获的图像)可被组合(例如，平均)然后用于构建第二图像。
85.所得第二图像可以是二维图像，或者可以是三维图像(例如，其中使用飞行时间技术来提供深度信息)。
86.在各种特定实施例中，第一照明图案子集(完全)布置在照明图案序列的末端之前，即在序列的末端之前(完全)出现在序列中。然而，第一照明图案子集也将可能布置在照明图案序列的末端处。第一照明图案子集在序列内可以是连续的，但不一定是这种情况。
87.申请人已经认识到，在第一子集布置在序列的末端之前的情况下，可以在已经用序列中的所有图案来给场景照明之前(并且在构建第一图像之前)构建第二图像。
88.因此，在各种实施例中，在已经用序列中的所有图案来给场景照明之前构建第二图像。可以在已经构建第一图像之前构建第二图像。
89.这意味着可使用如此产生的第二图像，例如以控制照明图案序列中的其余照明图案和/或控制后续照明图案序列(并且在各种实施例中这样做)。这反过来可以提供显著改进的灵活性和对成像过程的控制。
90.同样，在第一照明图案子集被布置在照明图案序列的末端的情况下，可使用第二图像，例如以控制后续照明图案序列(并且在各种实施例中这样做)。
91.因此，在各种实施例中，分析第二图像，并且(分析的结果)用于控制照明图案序列中的一个或多个其余照明图案(即，控制序列中在第一子集之后出现的一个或多个照明图案)和/或控制后续照明图案序列(即，控制用于在所讨论的照明图案序列之后给场景照明的第二照明图案序列中的一个或多个图案)。这可包括确定第二图像是否具有一个或多个特定属性，以及基于该确定来控制该序列中的一个或多个其余图案和/或基于该确定来控制后续照明图案序列。
92.在这些实施例中，该一个或多个特定属性可包括第二图像的任何合适的一个或多个属性。同样，可以以任何合适的方式来控制该序列中的该一个或多个其余图案和/或后续照明图案序列。
93.在各种特定实施例中，该属性或属性包括第二图像中的特别明亮的一个或多个对象的存在，例如反射器(诸如后向反射器)。明亮对象(诸如反射器)可显著降低使用传统成像技术生成的图像的质量，例如通过“淹没”来自场景中的其他对象的反射。
94.根据各种实施例，当在第二图像中检测到明亮对象时，可控制该序列的其余图案和/或一个或多个后续序列中的图案，以降低来自该对象的反射的强度。这具有增加成像系统的整体图像对比度(动态范围)的效果，例如通过防止对某些不想要的(掩蔽的)区域进行成像。当第一照明图案子集布置在序列的末端之前时，这可能是特别有益的，因为例如，第一(“全”分辨率)图像的图像对比度(动态范围)可以以“即时”的方式增加。
95.因此，在各种实施例中，确定第二图像是否包括一个或多个非期望区域(例如，一个或多个特别明亮区域)，并且基于该确定来控制该序列的一个或多个其余图案和/或一个或多个后续照明图案序列。可控制该序列中的该一个或多个其余图案和/或该一个或多个后续序列(中的一个或多个图案)，例如以便降低该一个或多个非期望区域内的照明强度。换句话讲，该一个或多个非期望区域可以在一个或多个后续照明图案中被“掩蔽”。
96.在该一个或多个非期望区域对应于场景的包括一个或多个明亮对象的区域的情
况下，这将增加第一(“全”分辨率)图像的整体图像对比度(动态范围)。
97.该一个或多个特定属性也将可能包括第二图像的任何其他合适的一个或多个属性。同样，可以以任何其他合适的方式来控制该序列中的该一个或多个其余图案和/或后续照明图案序列。
98.例如，该属性或属性可包括目的区域(在第二图像中)的存在，并且可控制该序列的该一个或多个其余图案和/或该一个或多个后续序列(中的一个或多个图案)，例如以便增加照明强度和/或增加一个或多个目的区域内的成像分辨率。
99.当然，其他实施例也将是可能的。
100.因此，一般来讲，可确定第二图像是否包括一个或多个目的区域和/或一个或多个非期望区域，以及当确定第二图像包括一个或多个目的区域和/或一个或多个非期望区域时，在该一个或多个目的区域和/或一个或多个非期望区域内的一个或多个后续照明图案的照明强度可更改(例如，增大或减小)，且/或在该一个或多个目的区域和/或一个或多个非期望区域内的一个或多个后续检测图案的检测强度和/或效率可更改(例如，增大或减小)。
101.在各种实施例中，除了第一图像和第二图像之外，还可构建任何数量的另外的图像。
102.在各种特定实施例中，和场景的第一(例如，“全”或高)分辨率图像以及场景的第二(例如，低)分辨率图像一起，还构建场景的第三图像，其具有比第一图像的分辨率更低的分辨率。因此，各种实施例可以以比高分辨率图像更高的帧率来提供低分辨率图像。
103.这可通过配置(例如，选择)照明图案序列使得其包括第二照明图案子集来完成，其中第二照明图案子集被配置成允许构建场景的具有第三分辨率的第三图像。然后，可使用关于第二照明图案子集的检测到的反射(例如，捕获的图像)来构建场景的具有第三分辨率的第三图像。
104.在这些实施例中，第二照明图案子集应从与第一子集中的照明图案不同的照明图案来形成(即，第一子集和第二子集可以是不重叠的子集)。
105.第三分辨率可包括小于第一分辨率的任何合适的分辨率。第三分辨率可大于检测器的分辨率。第三分辨率可以在至少一个维度上，诸如在(全部)两个维度上，大于检测器的分辨率。然而，第三分辨率也将可能等于检测器的分辨率(例如，在至少一个维度上，诸如在(全部)两个维度上)。第三分辨率可以在至少一个维度上，诸如在(全部)两个维度上，小于第一分辨率。第三分辨率可小于、等于或大于第二分辨率(在一个或两个维度上)。
106.第二子集可包括照明图案序列中的图案的任何合适的子集(即，少于所有图案)。
107.例如，可以配置(选择)完整图案集(从中形成序列)，使得其包括第二照明图案子集(除了第一子集中的图案之外)。另选地(例如，在完整图案集仅包括单个合适的子集的情况下)，可配置序列，使得第一子集中的图案在序列中重复(即，重复的图案形成第二子集)。
108.第二子集可以以与第一子集对应的方式(或其他方式)来配置。
109.因此，第二子集应(并且在各种实施例中确实)包括用于构建场景的具有第三分辨率的图像的完整图案集。第二子集可包括形成用于构建场景的具有第三分辨率的图像的完整基础的完整图案集，但是一般来讲，第二子集可包括上述不同类型的完整图案集(例如，包括差分成像和/或压缩成像完整图案集等)中的任一者。
110.在各种实施例中，由照明图案序列来给场景照明，该照明图案序列包括用于构建场景的具有第一分辨率的图像的完整图案集；包括第一照明图案子集，该子集自身包括用于构建场景的具有第二分辨率的图像的完整图案集；并且包括第二照明图案子集，该子集自身包括用于构建场景的具有第三分辨率的图像的完整图案集。在实施例中，配置(选择)用于构建场景的具有第一分辨率的图像的完整图案集，使得其图案的子集形成用于构建场景的具有第二分辨率的图像的完整图案集，并且使得其图案的子集形成用于构建场景的具有第三分辨率的图像的完整图案集(其中第二和第三分辨率子集可以是相同的子集或不同的子集)。
111.第二图案子集可包括(仅)来自第三分辨率完整图案集的图案。第二图案子集应包括来自第三分辨率完整图案集的每个图案至少一次。第二图案子集可仅包括第三分辨率完整图案集中的图案(即，其中第三分辨率完整图案集中的每个图案在第二子集中仅出现一次)，或者第三分辨率完整图案集中的一个或多个图案可以在第二图案子集中出现多于一次。
112.例如，通过例如使用适当的计算重影成像(cgi)(和其他相关)算法对关于第二子集中的照明图案的检测到的反射(例如，所记录的图像)进行组合，可使用关于第二子集中的照明图案的检测到的反射(例如，捕获的图像)来构建场景的具有第三分辨率的第三图像。
113.可使用关于第二子集中的所有照明图案或者关于第二子集中的少于所有照明图案的检测到的反射(例如，捕获的图像)来构建第三图像。
114.例如，在第二子集仅包括完整图案集中的图案的情况下(即，完整图案集中的每个图案在子集中仅出现一次)，则可使用关于第二子集中的所有照明图案的检测到的反射(例如，捕获的图像)来构建第三图像。
115.在第二子集包括比完整图案集中的图案更多的图案的情况下(例如，在完整图案集中的一个或多个图案在第二子集中出现多于一次的情况下)，则可使用关于第二子集中的所有照明图案或者第二子集中的少于所有照明图案的检测到的反射(例如，捕获的图像)来构建第三图像。例如，关于重复图案的检测到的反射(例如，捕获的图像)可不用于构建第三图像，且/或关于重复图案的检测到的反射(例如，捕获的图像)可被组合(例如，平均)然后用于构建第三图像。
116.所得第三图像可以是二维图像，或者可以是三维图像(例如，其中使用飞行时间技术来提供深度信息)。
117.第二照明图案子集可(完全)布置在照明图案序列的末端之前，即可以在序列的末端之前(完全)出现在序列中。另选地，第二照明图案子集可布置在照明图案序列的末端处。第二照明图案子集可以在第一子集之前或之后出现在序列中。第二照明图案子集在序列内可以是连续的，但不一定是这种情况。
118.在各种实施例中，在已经用序列中的所有图案来给场景照明之前构建第三图像。可以在已经构建第一图像之前构建第三图像。可以在已经构建第二图像之前或之后(或同时)构建第三图像。
119.可使用如此产生的第三图像，以控制照明图案序列中的其余照明图案(中的一个或多个)和/或控制后续照明图案序列，例如以与上文关于第二图像所述的方式对应的方
式。
120.然而，在各种特定实施例中，可以将第三图像与第二图像进行比较，并且可基于该比较来控制该图案序列中的一个或多个其余图案，且/或可基于该比较来控制后续照明图案序列(中的一个或多个图案)。这可包括将第三图像与第二图像进行比较，以便确定场景是否具有一个或多个特定属性，以及基于该确定来控制序列中的一个或多个其余图案和/或基于该确定来控制后续照明图案序列(中的一个或多个图案)。
121.在这些实施例中，该一个或多个特定属性可包括场景的任何合适的一个或多个属性。同样，可以以任何合适的方式来控制该序列中的该一个或多个其余图案和/或后续照明图案序列。
122.在各种特定实施例中，该属性或属性包括场景中一个或多个移动对象的存在。移动对象可降低使用传统成像技术生成的图像的质量，例如由于图像中出现不期望的运动伪影。
123.根据各种实施例，当在场景中检测到移动对象时，可控制该序列的其余图案和/或一个或多个后续序列中的图案，以降低来自该对象的反射的强度。这具有改进第一图像的质量的效果，例如通过减少运动伪影。当第一和第二照明图案子集布置在序列的末端之前时，这可能是特别有益的，因为例如可以以“即时”的方式改进图像。
124.因此，在各种实施例中，将第二与第三图像进行比较以确定场景是否包括一个或多个移动对象，并且基于该确定来控制该序列中的一个或多个其余图案和/或一个或多个后续照明图案序列(中的一个或多个图案)。可控制该序列中的该一个或多个其余图案和/或该一个或多个后续序列(中的一个或多个图案)，例如以便降低其中存在移动对象的一个或多个区域内的照明强度。换句话讲，移动对象可以在一个或多个后续照明图案中被“掩蔽”。
125.除了以这种方式掩蔽移动对象之外或代替以这种方式掩蔽移动对象，当在场景中检测到移动对象时，可以将第一图像和/或第一图像的一个或多个区域标记为不可靠的(例如，标记为包含移动对象)。
126.当然，其他实施例也将是可能的。
127.和场景的第一(例如，“全”或高)分辨率图像以及场景的第二和第三(例如，低)分辨率图像一起，还可构建场景的一个或多个第四图像，其各自具有比第一图像的分辨率更低的分辨率。
128.这可通过配置(例如，选择)照明图案序列使得其包括一个或多个第三照明图案子集来完成，其中该一个或多个第三子集中的每一者被配置成允许构建场景的具有一个或多个第四分辨率的一个或多个第四图像。然后，可使用关于该一个或多个第三照明图案子集的检测到的反射(例如，捕获的图像)来构建场景的具有一个或多个第四分辨率的一个或多个第四图像。
129.该一个或多个第三照明图案子集应从与第一和第二子集中的照明图案不同的照明图案来形成(即，第一、第二和一个或多个第三子集可以是不重叠的子集)。
130.该一个或多个第四分辨率可各自包括小于第一分辨率的任何合适的分辨率。该一个或多个第四分辨率可各自大于检测器的分辨率(例如，在至少一个维度上，诸如在(全部)两个维度上)。然而，该一个或多个第四分辨率中的一者或多者或每一者也将可能等于检测
器的分辨率(例如，在至少一个维度上，诸如在(全部)两个维度上)。该一个或多个第四分辨率可各自小于、等于或大于第二和/或第三分辨率(在一个或两个维度上)。
131.该一个或多个第三子集中的每一者可包括照明图案序列中的图案的任何合适的子集(即，少于所有图案)。该一个或多个第三子集中的每一者可以以与第一和/或第二子集对应的方式来配置，例如，如上所述。
132.尽管上文已经就单个照明图案序列和单个第一图像而言描述了各种实施例，但是应当理解，在实施例中，可用多个照明图案序列轮流(一个接一个地)来给场景照明，使得可轮流构建场景的多个第一(和第二等)图像。
133.尽管上文已经就其中使用照明图案序列来给场景照明的方法和系统而言描述了各种实施例，但是也可能另外或替代地使用所谓的“单像素成像”技术(和/或类似的相关技术)来达到对应的效果(并且在实施例中这样做)。
134.在这些实施例中，可给场景照明(例如，均匀地，即不使用照明图案)，并且可收集反射光(例如，使用适当的成像光学器件)。可以例如在检测到光之前，将(检测)图案序列施加到反射光上。
135.这可以以任何合适的方式实现。例如，检测图案可形成在传感器上，例如，通过布置在传感器之前(例如，前面)的空间光调制器。附加地或另选地，传感器可被配置成具有活动和/或非活动区域(和/或具有不同灵敏度的区域)，这些区域可形成图案。
136.因此，根据第四方面，提供了一种对场景进行成像的方法，该方法包括：
137.给场景照明；以及
138.使用传感器以关于检测图案序列中的每个检测图案来检测来自场景的反射；
139.其中检测图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率；
140.其中检测图案序列包括检测图案的第一子集，其中检测图案的第一子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于比第一个决议；和
141.其中所述方法进一步包括：
142.使用关于序列中的检测图案的检测到的反射来构建场景的具有第一分辨率的第一图像；以及
143.使用关于第一检测图案子集的检测到的反射来构建场景的具有第二分辨率的第二图像。
144.根据第五方面，提供了一种成像系统，其包括：
145.一个或多个源，该一个或多个源被配置成给场景照明；以及
146.传感器，该传感器被配置成关于检测图案序列中的每个检测图案来检测来自场景的反射；
147.其中检测图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率；
148.其中检测图案序列包括检测图案的第一子集，其中检测图案的第一子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于比第一个决议；和
149.其中该系统进一步包括处理电路，该处理电路被配置成：
150.使用关于序列的检测图案的检测到的反射来构建场景的具有第一分辨率的第一
图像；并且
151.使用关于检测图案的第一子集的检测到的反射来构建场景的具有第二分辨率的第二图像。
152.根据第六方面，提供了一种图像处理系统，其包括：
153.处理电路，其被配置成控制系统，使得使用检测图案序列来检测来自场景的反射；以及
154.处理电路，其被配置成从传感器接收信息，该传感器被配置成关于序列中的每个检测图案来检测来自场景的反射；
155.其中检测图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率；
156.其中检测图案序列包括检测图案的第一子集，其中检测图案的第一子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于比第一个决议；和
157.其中该系统进一步包括处理电路，该处理电路被配置成：
158.使用关于序列的检测图案的检测到的反射来构建场景的具有第一分辨率的第一图像；并且
159.使用关于检测图案的第一子集的检测到的反射来构建场景的具有第二分辨率的第二图像。
160.如本领域技术人员将理解的，这些方面可以并且在实施例中确实包括本文所述的技术的任选特征中的任何一个或多个或所有特征，例如在适当的情况下经必要的修正，用检测图案来替换照明图案。
161.因此，例如，在这些实施例中，检测图案可以是传感器上的照明强度分布和/或传感器的检测效率分布。检测图案可以是二元的、多级的或连续的(例如，如上所述经必要的修正)。每个检测图案实际上可以是二维照明强度分布图案和/或检测效率分布图案(即，二维检测分布图案)，例如可以是能够用二维图案来描述的(例如，如上所述经必要的修正)。序列中的每个图案可以不同于序列中的每个其他图案，即，就传感器上的照明强度分布和/或传感器的检测效率分布而言。
162.检测图案序列可包括用于构建场景的具有第一分辨率的图像的完整图案集，且/或第一检测图案子集可包括用于构建场景的具有第二分辨率的图像的完整图案集(例如，如上所述经必要的修正)。
163.第一检测图案子集可(完全)布置在检测图案序列的末端之前，即可以在序列的末端之前(完全)出现在序列中。可以在已经使用检测图案序列中的所有检测图案检测到反射之前构建第二图像(例如，如上所述经必要的修正)。
164.在这些实施例中，可确定第二图像是否具有一个或多个属性，并且可基于该确定来控制一个或多个后续检测图案，例如，其中基于该确定来控制一个或多个后续检测图案可包括基于该确定来控制检测图案序列中的一个或多个其余图案和/或基于该确定来控制后续检测图案序列的中一个或多个检测图案(例如，如上所述经必要的修正)。
165.在这些实施例中，可确定第二图像是否包括一个或多个目的区域和/或一个或多个非期望区域(诸如一个或多个明亮区域)，并且当确定第二图像包括一个或多个目的区域和/或一个或多个非期望区域时，在该一个或多个非期望区域内的一个或多个后续检测图
案的检测强度(例如，传感器上的照明强度分布和/或传感器的检测效率分布)可更改(例如，减少)。这可例如通过更改(例如，减少)光通过空间光调制器的对应区域的传输和/或通过更改(例如，降低)传感器的对应区域的灵敏度来完成。
166.在这些实施例中，检测图案序列可包括第二(或第三、第四等)检测图案子集(例如，其可以或可不布置在序列的末端之前)，其中第二检测图案子集可被配置成允许构建场景的具有第三分辨率的第三(或第四、第五等)图像，其中第三分辨率可大于传感器的分辨率，并且其中第三分辨率可小于第一分辨率(例如，如上所述经必要的修正)。
167.在这些实施例中，可使用关于第二检测图案子集的检测到的反射来构建场景的具有第三分辨率的第三图像(例如，其中可任选地在已经使用检测图案序列中的所有检测图案检测到反射之前构建第三图像)。可以将第三图像与第二图像进行比较，并且可基于该比较来控制一个或多个后续检测图案，且/或可基于该比较来确定场景是否包括移动对象(例如，如上所述经必要的修正)。
168.也将可能将使用照明图案序列的方法与使用检测图案序列的方法进行组合。例如，可以在照明系统和检测器系统两者中对光进行空间调制。
169.因此，根据第七方面，提供了一种对场景进行成像的方法，该方法包括：
170.给场景照明；以及
171.使用传感器以关于图案序列中的每个图案来检测来自场景的反射；
172.其中图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率；
173.其中图案序列包括第一图案子集，其中第一图案子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于第一分辨率；并且
174.其中所述方法进一步包括：
175.使用关于所述序列中的所述图案的检测到的反射来构建所述场景的具有所述第一分辨率的第一图像；以及
176.使用关于所述第一图案子集的检测到的反射来构建所述场景的具有所述第二分辨率的第二图像。
177.根据第八方面，提供了一种成像系统，其包括：
178.一个或多个源，该一个或多个源被配置成给场景照明；以及
179.传感器，该传感器被配置成关于图案序列中的每个图案来检测来自场景的反射；
180.其中图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率；
181.其中图案序列包括第一图案子集，其中第一图案子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于第一分辨率；并且
182.其中该系统进一步包括处理电路，该处理电路被配置成：
183.使用关于序列中的图案的检测到的反射来构建场景的具有第一分辨率的第一图像；并且
184.使用关于第一图案子集的检测到的反射来构建场景的具有第二分辨率的第二图像。
185.根据第九方面，提供了一种图像处理系统，其包括：
186.处理电路，其被配置成控制系统，使得关于图案序列来检测来自场景的反射；以及
187.处理电路，其被配置成从传感器接收信息，传感器被配置成关于序列中的每个图案来检测来自场景的反射；
188.其中图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率；
189.其中图案序列包括第一图案子集，其中第一图案子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于第一分辨率；并且
190.其中该系统进一步包括处理电路，该处理电路被配置成：
191.使用关于序列中的图案的检测到的反射来构建场景的具有第一分辨率的第一图像；并且
192.使用关于第一图案子集的检测到的反射来构建场景的具有第二分辨率的第二图像。
193.图案序列可以是照明图案序列和/或检测图案序列。可使用照明图案序列来给场景照明，并且传感器可用于关于序列中的每个照明图案来检测来自场景的反射，且/或传感器可用于关于检测图案序列中的每个检测图案来检测来自场景的反射。
194.如本领域技术人员将理解的，这些方面可以并且在实施例中确实包括本文所述的技术的任选特征中的任何一个或多个或所有特征。
195.如本领域技术人员将理解的，本文所述的技术的所有方面和实施例可以并且能够在适当的情况下包括本文所述的任选特征中的任何一个或多个或所有特征。
196.根据本文所述的技术的方法可以至少部分地使用软件(例如，计算机程序)来实现。因此将会看到，当从另外的方面来看时，提供了计算机软件，该计算机软件特别适用于当安装在数据处理器上时，执行本文所述的方法；计算机程序元件，该计算机程序元件包括计算机软件代码部分，该计算机软件代码部分用于当程序元件在数据处理器上运行时，执行本文所述的方法；以及计算机程序，该计算机程序包括代码，该代码适用于当程序在数据处理系统上运行时，执行本文所述的一个或多个方法的所有步骤。数据处理系统可以是微处理器、可编程fpga(现场可编程门阵列)等。
197.本文所述的技术还扩展到包括此类软件的计算机软件载体，当用于操作包括数据处理器的成像系统时，所述软件使所述系统结合所述数据处理器一起执行本文所述的方法的步骤。此类计算机软件载体可以是物理存储介质，诸如rom芯片、cd rom或磁盘，或者可以是信号，诸如有线电子信号、光学信号或无线电信号，诸如卫星等。
198.应当进一步理解，并非本文所述的方法的所有步骤都需要由计算机软件执行，并且因此从更广泛的方面来看，本文所述的技术提供了计算机软件并且此类软件安装在计算机软件载体上用于执行本文阐述的方法的步骤中的至少一个步骤。
199.本文所述的技术因此可适当地体现为与计算机系统一起使用的计算机程序产品。此类实现可包括固定在有形介质上的一系列计算机可读指令，有形介质诸如非暂时性计算机可读介质，例如软盘、cd rom、rom或硬盘。其还可包括一系列计算机可读指令，这些指令能够经由调制解调器或其他接口设备通过有形介质(包括但不限于光学或模拟通信线路)或无形地使用无线技术(包括但不限于微波、红外或其他传输技术)传输到计算机系统。该一系列计算机可读指令体现了本文先前描述的功能中的全部或部分功能。
200.本领域技术人员将理解，此类计算机可读指令可以用与许多计算机架构或操作系统一起使用的多种编程语言来编写。此外，此类指令可使用任何当前或未来的存储器技术存储，所述存储器技术包含但不限于半导体、磁性或光学，或此类指令可使用任何当前或未来的通信技术传输，所述通信技术包含但不限于光学、红外线或微波。经考虑，此计算机程序产品可作为可移动媒体分发，所述可移动媒体具有附带印刷或电子文档，例如，紧缩套装软件，其例如在系统rom或固定磁盘上预装载有计算机系统，或所述产品通过例如因特网或万维网的网络从服务器或电子布告牌分发。
201.现在将仅借助于实例并参考附图来描述本文所述的技术的多个实施例，在附图中：
202.图1示意性地示出了根据各种实施例的成像系统；
203.图2(a)示出了用于以4
×
4像素分辨率成像的walsh-hadamard照明图案集，并且图2(b)示出了根据各种实施例将walsh-hadamard照明图案集划分成用于多分辨率成像的子集；
204.图3是示出根据各种实施例的方法的流程图；
205.图4是说明根据各种实施例的方法的流程图；
206.图5示出了根据各种实施例的可用于修改图2的用于多分辨率成像的walsh-hadamard照明图案集的示例性子图案；
207.图6示意性地示出了根据各种实施例的成像系统；并且
208.图7(a)示出了场景的摄影图像，图7(b)示出了场景的原始线性传感器图像，图7(c)示出了场景的重构的64
×
64像素分辨率3d图像，并且图7(d)示出了场景的重构的128
×
128像素分辨率3d图像。
209.在附图中，在适当的情况下，相同的参考数字用于相同的部件。
210.各种实施例整体涉及2d和3d成像方法、图像重构算法和成像系统，诸如例如lidar(光检测和测距)成像方法和lidar成像系统。
211.已知成像系统，诸如lidar(光检测和测距)成像系统，具有若干限制。例如，市售的中远程(50至200m)扫描汽车lidar系统包括不断移动且容易损坏的宏观机械部件。此类设备很昂贵并且设计笨重。虽然有时可能对输出参数进行动态和自适应控制，但实现起来具有挑战性并且需要折衷其他参数。此外，难以将此类系统(即点云)的输出与来自传统摄影相机的2d图像相关联，这意味着想要将针对2d图像开发的现有图像识别算法与扫描lidar结合使用是具有挑战性的。
212.扫描lidar的替代方案，诸如飞行时间(tof)3d相机(例如，单光子雪崩二极管(spad)相机)，正在出现。虽然这些系统可以部分地解决传统扫描lidar的问题(尤其是笨重性和宏观移动部件的使用)，但是当前系统的图像分辨率(像素数)通常不足以用于车辆的自主导航。基于已知设计的更先进的高分辨率系统实施起来相对复杂且昂贵。
213.各种实施例涉及操作活动相机(诸如lidar系统)的方法。特别地，实施例涉及使用编码照明的活动相机的同时多帧率和多分辨率操作。
214.活动成像相机包含：可控光源，该光源被配置成选择性地照亮成像场景在其视场内的部分；以及光检测器(其可包括多个单独的光检测器或像素)，该光检测器被配置成检测被场景中的对象反射和散射的光。活动相机可以是2d相机，或例如其中使用飞行时间技
术提供深度信息的3d相机。
215.如本文别处更详细描述的，根据各种实施例，动态控制的编码照明用于允许主动相机获得具有比检测器的原生分辨率更高的分辨率的图像(其中输出图像包含比检测器更多的像素)并且同时以不同帧率任选地提供具有不同分辨率的图像。动态控制的编码照明也可用于检测图像的哪些部分包含移动对象或不可靠数据，以提供动态分配的目的区域(可能是整个视场的子集)的高分辨率图像，和/或增加整体图像对比度(动态范围)，例如通过防止对某些不想要的(掩蔽的)区域进行成像。
216.图1示出了可根据各种实施例操作的lidar系统。
217.lidar系统是活动传感器，其可给场景照明并且直接或间接检测光的飞行时间。因此，如图1所示，lidar系统通常包括照明系统10、检测系统20和一个或多个处理电路30。
218.照明系统10被配置成用电磁辐射(诸如光)来给场景40照明。为此，照明系统通常可包括尤其是光源12、任选的光束引导部件14和光学器件16。
219.检测系统20被配置成检测来自照明系统10的电磁辐射(光)从场景40的反射。为此，检测系统20通常可包括尤其是检测器22、任选的光束引导部件24和光学器件26。
220.处理电路30被配置成控制照明系统10和检测系统20，例如以控制它们的定时和同步(例如，确保照明系统10和检测系统20适当地同步)，等等。处理电路30还可处理由检测器22捕获的图像以便构建场景40的3d图像。
221.lidar系统可被配置成使用直接飞行时间深度确定技术，例如其中短(例如，纳秒或皮秒持续时间)光脉冲用于照明，并且检测器22配置有匹配的时间分辨率。该系统可被配置成测量光从光源12行进到场景40并返回到检测器22所花费的时间，并且该系统因此可推断到场景40内反射光的对象的距离d。
222.另选地，lidar系统可被配置成使用间接飞行时间深度确定技术，例如其中经调制的连续波电磁辐射用于照明，并且检测器22被配置成检测发射信号和接收信号的调制中的相位差。调制可例如应用于辐射的幅度和/或频率(波长)。该系统可被配置成测量在光从光源12行进到场景40并返回到检测器22所花费的时间期间发生的调制相位的变化，并且该系统因此可推断到场景40内反射光的对象的距离。
223.在这些实施例中，系统可被配置成使用编码光来照亮目的的场景40。
224.检测器22可包括例如对单光子敏感的固态检测器阵列(诸如单光子雪崩二极管(spad)阵列)或盖革模式雪崩光电二极管(gmapd)阵列。此类检测器22可被配置成提供亚纳秒时间分辨率，从而实现直接飞行时间测量。亚纳秒分辨率是有利的，因为时间分辨率直接转换为传感器的深度分辨率(例如，100ps时间分辨率等于1.5cm深度分辨率)。
225.结合提供足够短脉冲的激光器，基于spad的检测器(其包括spad阵列)对lidar系统是特别有益的。然而，与传统2d相机相比，spad阵列的像素数可能相对较低，并且因此其横向分辨率可能相对较低。
226.根据各种实施例，因此可使用称为计算重影成像(cgi)的技术来实现比传感器22的原生分辨率更高的有效图像分辨率。
227.cgi可用于通过用不同光图案(使用例如数字光投影仪)给场景照明并且用单像素传感器测量每个光图案的总反射光强度来获取对象的2d图像。cgi还可用于提高多像素传感器的有效分辨率，以及用单像素或多像素传感器来进行3d成像。
228.根据各种其他实施例，可使用称为单像素成像(或单像素相机)的类似技术来实现相同的目标(用单像素传感器来进行2d成像、多像素传感器的分辨率增强以及3d成像)。主要区别在于，在单像素成像的情况下，对象被均匀地照亮，并且反射光在系统的检测器侧用空间图案进行空间编码。
229.在这些实施例中，场景40被照亮，并且反射光被成像光学器件26收集。光图案(检测图案)被施加到检测系统20中的反射光上。场景可以被均匀地照亮，并且图案可以由光学器件(例如，借助于放置在检测器22前面的空间光调制器)使用从场景40反射的光形成在检测器22上。附加地或另选地，检测器22可具有形成一个或多个图案的活动区域和非活动区域(或广义上讲，具有不同灵敏度的区域)。在这种情况下，检测器22可以被从场景反射的光均匀地照亮。
230.此外，可使用这些方法的组合，例如其中光在照明系统10和检测器系统20两者中都被主动空间调制。
231.因此，实施例包括用不同光图案给场景40照明并且记录每个图案的检测器22信号值，和/或均匀地给场景40照明并且记录不同检测图案的检测器22信号值。这使得组合图像的有效分辨率高于检测器22的原生分辨率。
[0232]“照明图案”或“光图案”定义了在给定测量步骤上(在单个检测器22曝光时间段期间)成像系统的视场内的照明强度分布。“完整图案集”是这样的照明图案集：其足以用具有p《m个物理像素的传感器22以m个空间点(像素)分辨率来重构场景40的图像(诸如3d图像)。
[0233]
光图案可以是1)二元的，具有两个不同照明水平(例如，被照亮区域和未被照亮区域)；2)多级的，包含离散的多个不同照明水平；或3)连续的，其中照明强度在视场的区域之间平滑地变化。
[0234]
光图案的照明分布可以例如在离散网格(例如，笛卡尔或极坐标)上定义；在离散的多个空间点中定义，这些空间点可以或可不在视场中规则地分布；或者作为视场中非离散空间坐标的数学函数来定义。
[0235]
因此，实施例包括基于图案的照明，即光源12被配置成投影图案序列，即其中每个图案具有预定义的强度分布。为了以高于原生检测器分辨率的分辨率重构图像，将图案集按顺序投影到场景上。然后，使用单像素成像算法、重影成像算法或它们的派生算法来重构输出图像。
[0236]
例如，考虑单像素检测器，其中期望最终2d图像分辨率为4
×
4像素(在这种情况下，总图像像素数为n＝4
×
4＝16)。
[0237]
在这种情况下，可使用基于walsh-hadamard基础集的光图案。n＝16的完整walsh-hadamard图案集如图2(a)所示(即，用于以4
×
4像素分辨率进行成像的walsh-hadamard光图案集)。在图2中，白色代表被照亮区域，并且黑色代表暗区。
[0238]
从图2(a)可以看出，图案的数量等于最终图像像素的数量。因此，进行n次测量，从而产生n个检测器信号。
[0239]
图像重构在数学上等同于求解具有n个方程和n个未知数(即图像像素值)的完全确定的非齐次线性方程组。方程系数由光图案确定，并且右侧矢量包含测量信号。
[0240]
在这种形式的cgi中，在图像分辨率与测量时间之间存在权衡：线性增加图像分辨率会增加光图案的数量，并且从而增加测量时间。
[0241]
在用于飞行时间3d成像的cgi中，当场景仍然被不同(空间)光图案照亮时，脉冲激光器用作光源，并且反射光被快速光电探测器收集。与2d成像的主要区别在于，每个检测器信号现在都是时间序列，其中时间轴上的位置直接对应于对象与成像设备的距离。
[0242]
然而，cgi方法仍然可应用于图像重构，如下所示。将时间轴分成离散的时间仓。在单个时间仓内，对应于不同光图案的检测器信号包含关于3d图像的切片的所有信息，并且cgi重构方法可单独应用于每个切片。每个切片可对应于相同的时间段(即相同的仓)，但不一定是这种情况。例如，可针对不同检测器像素定义由不同仓形成的切片。
[0243]
在提高多像素传感器的有效分辨率的情况下，每个物理传感器像素可被单独认为是有其自己的视场，并且n成为分辨率增强因子(即，其示出了有效分辨率比传感器的原生分辨率高多少)。例如，如果传感器的原生分辨率为100
×
100像素，并且期望的分辨率增强因子为4
×
4，则应显示总共16个不同光图案以获得400
×
400像素的图像。
[0244]
同样，在分辨率增强因子与测量时间之间存在权衡。对于应用(诸如汽车lidars)，对帧率有最低要求(通常约为20至30hz)，这为分辨率增强因子设置了实际上限。此外，如果场景中的移动对象在测量完整光图案集期间位置发生了显著变化，则最终重构的2d或3d图像中可能存在运动伪影。
[0245]
实施例提供了减轻现有技术的缺点的方法。实施例允许同时采集高帧率低分辨率图像和低帧率高分辨率图像。此外，通过分析低分辨率图像中的变化，可预测高分辨率图像的不同区域是否包含运动伪影或低信噪比。尽管实施例用于3d成像，但是实施例可用于2d和3d成像两者。
[0246]
在实施例中，光图案序列和信号后处理被配置成同时启用多个分辨率和帧率。
[0247]
特别地，完整图案集的至少一个子集可用于以低于完整集允许的分辨率但仍高于原生检测器分辨率的分辨率来重构图像。完整图案集可包含多个此类子集。
[0248]
将形成完整图案集的子集的各个图案按顺序投影，使得可以在完整集中的所有图案被投影之前重构低分辨率图像。此类子集(相同或不同的子集)可以被投影多次，直到完整集被投影。
[0249]
实施例还可利用自适应图案生成(例如，掩蔽)，其中可以例如通过在所有图案中引入全黑区域来逐帧更改图案。自适应图案生成(具体地，能够掩蔽部分图案)允许从场景中排除明亮对象(无论是附近的明亮对象还是反射率非常高的对象)，以便提高图像对比度(动态范围)。有关此类对象位置的信息在第一低分辨率图像中仍然可用。
[0250]
因此，实施例包括使用专门设计的图案、特定的图案排序和自适应图案生成(例如，掩蔽)。这些特征可以一起称为“动态控制的编码照明”。
[0251]
与传统扫描lidar相比，动态控制的编码照明允许将图像分辨率转换为动态可控参数，并且同时以多个分辨率产生输出图像。与传统闪光lidar相比，成像分辨率不受原生光电探测器分辨率的限制，在当前的发展状态下，原生光电探测器分辨率远低于2d相机并且通常不足以实现完全自主导航。与传统重影/单像素成像技术相比，实施例可同时以不同分辨率输出多个图像(均高于原生检测器分辨率)，检测一帧内发生的快速运动，并且可以在输出图像中标记运动伪影。
[0252]
使用可能具有用于自主导航的次优分辨率的相对便宜的光电探测器，动态控制的编码照明允许创建3d相机系统，该系统可动态控制分辨率作为参数，同时以最佳分辨率和
帧率组合来输出多个图像，并且使得即使在明亮对象(诸如后向反射器)的存在下也能进行高对比度成像。
[0253]
图3示出了根据各种实施例的多分辨率成像技术。
[0254]
如图3所示，提供了初始照明图案序列，其中初始照明图案序列形成用于构建场景的具有“全”或“高”分辨率的图像的完整图案集(步骤50)。用来自序列的照明图案子集来给场景40照明，其中该子集形成用于构建场景的具有低分辨率的图像的完整图案集(步骤51)，并且然后构建场景的低分辨率图像(步骤52)。
[0255]
接下来，分析低分辨率图像以确定场景中是否存在反射器(步骤53)。如果存在反射器，则修改序列中的其余图案，即，以便减少来自反射器的反射(步骤54)。
[0256]
然后，用序列中的其余(经修改的)图案来给场景照明(步骤55)，并且构建场景的完整高分辨率图像(步骤56)。
[0257]
然后可重复该序列，以便产生一个或多个另外的高分辨率图像等。
[0258]
图4示出了另一个实施例。如图4所示，可提供初始照明图案序列，其中该照明图案序列形成用于构建场景的具有“全”或“高”分辨率的图像的完整图案集(步骤60)。用来自序列的第一照明图案子集来给场景40照明，其中该子集形成用于构建场景的具有低分辨率的图像的完整图案集(步骤61)，并且然后构建场景的第一低分辨率图像(步骤62)。
[0259]
然后，可以用来自序列的第二照明图案子集来给场景照明(步骤63)，随后用来自序列的第三照明图案子集来给场景照明(步骤64)。第三子集可再次形成用于构建场景的具有低分辨率的图像的完整图案集，并且可构建场景的第二低分辨率图像(步骤65)。第三子集可包括与第一子集或其他相同的照明图案。
[0260]
接下来，将第一与第二低分辨率图像进行比较以确定该场景中是否存在一个或多个移动对象(步骤66)。
[0261]
然后，用序列中的其余图案来给场景照明(步骤67)，并且构建场景的完整高分辨率图像(步骤68)。如果在步骤66处确定场景包括移动对象，则可以将场景的高分辨率图像标记为包括移动对象和/或不可靠。
[0262]
然后可以重复该序列，以便产生一个或多个另外的高分辨率图像等。
[0263]
返回到图2的实例，考虑这样的布置：其中4
×
4像素图像是“高”分辨率图像，并且2
×
2像素图像是“低”分辨率图像。作为walsh-hadamard图案集的属性，重构对象的低分辨率图像所需的光图案形成高分辨率图案的子集。
[0264]
图2(b)示出了将walsh-hadamard图案集划分成用于多帧率多分辨率成像的子集。如图2(b)所示，子集a形成以2
×
2像素分辨率进行成像的完整基础，并且可独立于完整集用于获取低分辨率图像。
[0265]
因此，通过在序列的末端之前显示子集a的图案，可以在已经显示完整序列中的所有图案之前(并且在构建全分辨率图像之前)构建低分辨率图像。
[0266]
在各种另外的实施例中，可以在测量中使用以下图案序列：(i)子集a(立即产生低分辨率图像)；随后是(ii)子集b；随后是(iii)子集a(产生独立的低分辨率图像)；随后是(iv)子集c(连同先前的子集一起产生高分辨率图像)。
[0267]
因此，子集a可以在序列的末端之前重复两次，从而允许在已经显示完整序列中的所有图案之前(并且在构建全分辨率图像之前)构建两个低分辨率图像。需注意，通过第二
次显示子集a，本实例中总测量时间增加了25％(在图案显示时间保持不变的情况下)。
[0268]
在该实施例中，可使用来自单个测量步骤(例如，步骤(i)或(iii))的数据以上文关于传统cgi技术所述的方式来重构每个低分辨率图像。
[0269]
为了重构高分辨率图像，使用来自完整测量序列的数据。这可通过使用来自单个测量步骤(步骤(i)或(iii))的信号，或通过对来自步骤(i)和(iii)中使用相同照明图案的每个测量对的信号进行平均来完成。在这种情况下，有效测量次数减少到n，并且可再次使用传统cgi技术进行重构。
[0270]
如果测量步骤(i)和(iii)给出相似的结果(例如经由互相关确定的)，则很有可能场景在测量序列期间保持静态并且在高分辨率图像中不存在运动伪影。相反，低分辨率图像的差异可指示场景中的可能移动。高分辨率图像的这些部分可能会在输出给用户时被丢弃或被标记为不可靠。需注意，在3d成像中，低分辨率图像之间的差异也可存在于深度维度上(例如，由朝向成像系统移动的对象引起)。
[0271]
尽管上文已经描述了具体实例，但是多个实施例是可能的。该方法的各种变体和一般化是可能的。
[0272]
例如，在各种实施例中，除了walsh-hadamard集之外的基础集可用于构建光图案。例如，傅里叶基础还具有用于多帧率多分辨率成像的必需属性。
[0273]
在实施例中，对于walsh-hadamard图案集，高分辨率和低分辨率可以是2的任意次方，并且水平和垂直分辨率不需要相同。例如，低分辨率可以是1
×
4像素，并且对应的高分辨率可以是16
×
32像素。对于傅里叶基础集，约束甚至更宽松：如果高分辨率在两个横轴上都可以被低分辨率整除，则任何整数分辨率都是可能的。
[0274]
在实施例中，子集b与c之间的图案划分可以与图2(b)中所示的划分不同。当b和c包含相同数量的图案时可获得最佳结果，但这可能不是必需的。
[0275]
在各种实施例中，可构建图案序列，其中在完整序列期间获取低分辨率图像多于两次。
[0276]
例如，再次参考图4，可构建图案序列，使得第二照明图案子集(步骤63)形成用于构建场景的具有低分辨率的图像的完整图案集，并且可使用关于第二图案子集的检测到的反射来构建场景的附加低分辨率图像。附加地或另选地，可构建图案序列，使得第四照明图案子集(步骤67)形成用于构建场景的具有低分辨率的图像的完整图案集，并且可使用关于第四图案子集的检测到的反射来构建场景的附加低分辨率图像。
[0277]
尽管在图4中，将使用第一与第三照明图案子集产生的低分辨率图像进行了比较，但是在实施例中，被比较以确定场景中是否存在移动对象的低分辨率图像可以是使用各种照明图案子集中的任何两个(或更多个)子集(例如，来自图4中的第一子集61、第二子集63、第三子集64和第四子集67中的任何两个子集)产生的低分辨率图像。
[0278]
在各种实施例中，可构建图案序列，其中存在三个或更多个同时获取的分辨率，而不是两个。
[0279]
在各种实施例中，该方法可以与单像素、1d(线性)或2d(矩阵)传感器一起使用。
[0280]
在实施例中，可使用扫描激光器系统来产生不同光图案。例如，窄脉冲激光束(例如，1mhz下100ps宽的脉冲)可能会以此方式来被引导：其用不同的各个脉冲来给场景的不同位点照明(这可称为扫描)，但是其中在整个传感器曝光时间(例如，1毫秒)期间，传感器
所累积的信号等同于从激光器逐点绘制的图案获得的信号。
[0281]
然而，由于本质上是用相对较窄的激光束来扫描场景，低分辨率图像可能在扫描轨迹之间包含间隙，并且可能会遗漏小的对象。因此，实施例使用编码泛光照明，使得即使在低分辨率图像中也可以保留关于此类小的对象的信息。
[0282]
在各种另外的实施例中，可使用全息生成的投影来创建图案。
[0283]
在实施例中，在多像素检测器的情况下，来自若干物理传感器像素的信号可以在低分辨率图像的重构中相加。这可能是有利的，例如，在相对测量噪声可能很高的弱光条件下。
[0284]
在实施例中，可使用称为差分成像的技术。在差分成像中，每个光图案后接其反转(其中用暗区来替换亮区，并且反之亦然)。因此，在差分成像中需要2n个图案以用单像素检测器来重构n像素图像。
[0285]
在实施例中，强反射对象(诸如后向反射器)可以使传感器信号饱和，并且因此降低重构精度。可使用自适应成像算法，其中从先前帧识别此类反射器的位置，并且构建特殊光图案，其中以较低强度来照亮(或根本不照亮)视场的包括反射器的部分。这使得能够增加系统的动态范围。
[0286]
在各种实施例中，可构建图案序列，其中各个图案是图案的线性组合，例如图2(b)中的子集a和其他子集。可获得此类图案集的实例，例如图2(b)中的子集a，如果它被重复4次，其中：在第一次重复中，每个白色2
×
2像素方块被来自图5第一列的顶部子图案替换并且每个黑色2
×
2像素方块被来自图5第一列的底部子图案替换；在第二次重复中，每个白色2
×
2像素方块被来自图5第二列的顶部子图案替换并且每个黑色2
×
2像素方块被来自图5第二列的底部子图案替换，以此类推。
[0287]
此类图案集允许在完整序列期间获得四次低分辨率图像，而不会增加总测量时间。然而，就降低低分辨率图像的对比度而言存在缺点。
[0288]
一般来讲，只要满足以下条件，就可使用不同的方法来构建子图案：1)子图案应该是不平衡的，即亮区和暗区的总面积不相等；和2)白色子图案应形成完整图案集，其分辨率等于高分辨率和低分辨率图像(沿两个维度)的分辨率之比，同样，黑色子图案也应形成完整图案集，其分辨率等于高分辨率和低分辨率图像(沿两个维度)的分辨率之比。
[0289]
如上所述，用不同光图案来给场景照明并且记录每个图案的检测器信号值使得组合图像的有效分辨率高于检测器的原生分辨率。组合图像可具有w
×
h分辨率，以及总w*h＝m像素，并且检测器可具有p《m个物理像素。
[0290]
完整图案集是这样的照明图案集：其足以使用具有p个物理像素的检测器以m个空间点(像素)分辨率来重构场景的图像。分辨率增强因子定义为e＝m/p。完整图案集应包含具有w
×
h分辨率的至少一些线性独立图案。
[0291]
例如，完整图案集可以是以下类型中的一者：
[0292]
类型(1)：包含恰好e个图案的完整基础线性独立图案集。
[0293]
类型(2)：包含类型(1)图案及其所有反转图案(用于差分成像)的集，总共2e个图案。
[0294]
类型(3)：类型(1)图案的子集，其包含至少5％的类型(1)图案，使得来自该子集的至少一个图案包含沿维度w在w/4《f《w/2范围内的空间频率f，并且至少一个图案包含沿维
度h在h/4《f《h/2范围内的空间频率f，其中w/2和h/2是根据奈奎斯特定理，沿对应维度的图案中可能出现的最高频率。此类集可用于压缩成像。
[0295]
类型(4)：从类型(2)图案而不是类型(1)图案构建的类型(3)的子集。
[0296]
类型(5)：任何图案集，其包含图案(1)、(2)、(3)或(4)中的作为任何图案其子集。
[0297]
一般来讲，为了允许同时在若干分辨率下进行成像，应选择高分辨率的完整图案集，以包含本身是用于低分辨率成像的完整图案集的至少两个子集。如果高分辨率完整图案集包含仅一个此类子集，则可以将该子集的一个或多个副本添加到投影到场景上的图案序列中。
[0298]
以下实例假设p＝1(单像素检测器)，但可以推广到任何p。
[0299]
在一些实施例中(诸如上文参考图2所述的实施例)，完整图案集可形成用于高分辨率成像的完整线性独立基础，并且包含自身是较低分辨率的完整基础的至少一个子集(例如，在图2中命名为a)。此类基础集的实例有walsh-hadmard、离散余弦变换(傅立叶变换的变体)和haar小波基，但这并非详尽无遗。
[0300]
图2(a)的特定实例描绘了其中m＝4
×
4＝16的完整图案集，而来自图2(b)中的子集a自身是m＝2
×
2＝4的完整图案集。为了两次获得低分辨率图像，将子集a的副本添加到图案集中。
[0301]
在上文关于图5所述的实施例中，图案集也属于类型(1)，但生成方式不同。一般来讲，图案集包含各个图案，这些图案是来自较低分辨率的完整基础和其他子集的图案的线性组合。这允许用仅e个图案来多次重构低分辨率图像。
[0302]
生成此类图案集的方法可以如下：首先，针对低分辨率图像(m像素)选择完整线性独立基础集。然后，针对包含不平衡基础图案的子图案(n像素)选择另一个完整基础。最后，通过从这两个子基础中获取2d基础函数的kronecker积来构建光图案。
[0303]
作为kronecker积的属性，最终高分辨率图案也形成高分辨率图像(m
×
n像素)的完整基础。需注意，在这种情况下，最终光图案集不包含作为较低分辨率的完整基础的子集，而是可分为作为此类基础的近似物的子集。
[0304]
在这些实施例中，高分辨率图案(m
×
n像素)的近似物是低分辨率图案(m像素)，其通过对低分辨率(m像素)应用低通频率滤波和下采样从高分辨率图案获得。不平衡图案集是线性独立基础图案集，其中任何子图案的所有像素的平均值不同于不平衡图案集的所有像素的平均值。
[0305]
在各种另外的实施例中，高分辨率完整图案集或其子集(用于重构低分辨率图像)属于类型3。此类图案集可以与压缩成像算法结合使用。这些算法允许使用不完整图案基础连同关于场景的一些先备知识或假设(从例如先前帧获得的)一起来重构图像，并且通常会产生较低质量的图像。例如，来自图2(b)中的子集b或子集c是用于高分辨率成像的类型3的完整图案集。
[0306]
在这种情况下，序列的实例可以如下：
[0307]
1.将类型1的完整图案集划分成多个子集，使得这些子集中的至少两个子集本身是类型3的完整图案集。
[0308]
2.显示第一子集并且对结果使用压缩感知，从而给出高分辨率低质量图像。然后，对图像进行低通滤波和下采样以获得低质量低分辨率图像。
[0309]
3.对作为类型3的完整图案集的其他子集重复先前步骤，并且在每个步骤处获得低质量低分辨率图像。
[0310]
4.来自所有子集的信息用于构建正常质量的高分辨率图像(不使用压缩感知)。
[0311]
各种其他序列是可能的。例如，初始高分辨率图案集也可以属于类型3，在这种情况下，在最后步骤处获得的高分辨率图像也将是低质量的。
[0312]
子集中的一些子集可以是用于低分辨率成像的类型1的完整图案集(诸如图2(b)的子集a)，在这种情况下，在对应步骤处获得正常质量的低分辨率图像。
[0313]
在第二步骤中，代替重构高分辨率图像和下采样，用于重构的图案可以是所显示图案的低分辨率近似物，在这种情况下，重构低分辨率图像。
[0314]
尽管本文已经就其中使用照明图案序列来给场景照明的方法和系统而言描述了各种实施例，但是也可能另外或替代地使用所谓的“单像素成像”技术(和/或类似的相关技术)来达到对应的效果。在这些实施例中，可给场景照明(例如，均匀地，即不使用照明图案)，并且可收集反射光(例如，使用适当的成像光学器件)。
[0315]
可以例如在检测到光之前，将(检测)图案序列施加到反射光上。这可以以任何合适的方式实现。例如，检测图案可形成在传感器上，例如，通过布置在传感器之前(例如，前面)的空间光调制器。附加地或另选地，传感器可被配置成具有活动和/或非活动区域(和/或具有不同灵敏度的区域)，这些区域可形成图案。
[0316]
检测图案可被配置成具有与上述照明图案对应的属性，经必要的修正。
[0317]
实施例可用于例如车辆周围环境的实时3d测绘的3d成像，例如为自动驾驶或驾驶员辅助功能提供本地态势感知。
[0318]
车辆可能需要3d地图来进行态势感知，这是路径规划和导航的先决条件。不同的驾驶场景可能需要不同的(横向)分辨率和反应时间。
[0319]
例如，在机动和停车期间，行驶速度慢，并且附近对象(尤其是在道路上)的距离和尺寸(例如，0.5至10m)需要以高分辨率(例如，0.1度角分辨率)但相对低的帧率(例如，每秒几帧(fps))来进行测绘。另一方面，在城市交通中巡航需要以相对低的分辨率(例如，1度角分辨率)以视频帧率(例如，20fps)在距车辆的短到中程(例如，5至50m)中，并且用围绕车辆的360度视场来检测静态和动态对象。在高速行驶时需要在窄视场内以高帧率提供高分辨率图像，并且同时在宽视场内提供低分辨率高帧率图像(例如，用于检测意外变道的汽车)。各种实施例的照明图案序列和信号处理可被配置成提供这些特征中的每一者。
[0320]
此外，在正常交通情况和不同灯光条件下，对象的反射率可能会大幅度变化，范围从设计用于反射大部分光的后向反射器到反射率低于10％的暗色对象(深色对象)。根据各种实施例，可使用动态控制的编码照明，以使得增强检测器的动态范围，从而允许检测暗色对象的存在。
[0321]
实施例也可用于例如实时3d测绘，例如用于城市基础设施或工业场所，例如以提供全局态势感知。
[0322]
在基础设施中，可以在约5m高的高度定位以实时3d地图形式提供态势感知的传感器，以便覆盖具有例如约50m的操作半径的区域。在此类配置中，均匀的角分辨率可以转换为可检测对象尺寸的大约10倍的差异(即，在较大距离处可能检测不到相对较小的对象)。根据各种实施例，选择性地调整分辨率的能力可用于克服这种均匀性。在这些实施例中，在
相机静止的情况下，用于对其他静止对象进行成像的帧率可能相对低，而用于移动对象的帧率可更高。此外，检测移动对象的可能性允许调整相机的分辨率，例如以达到最佳状态，例如以便允许可靠的对象识别和快速的对象跟踪。
[0323]
各种实施例可作为功能齐全的3d相机设备(相机)提供，例如其可安装在车辆上或锚固到不可移动的对象(例如，灯柱)。相机可被设计为连接到中央处理器(cpu)，例如经过标准数字接口(例如，usb3.1或pci express)，并且经由该接口接受来自cpu的命令。相机可以向cpu输出在其操作期间获取的3d图像和/或其视场的3d地图，例如，其中可包括关于识别对象的类型、位置和尺寸的信息。
[0324]
在这些实施例中，相机采集参数可以直接由cpu控制，或者由相机自动调整以例如按照cpu的指示优化图像质量。相机采集参数可包括但不限于：高分辨率图像的帧率及其分辨率、低分辨率图像的帧率及其分辨率、动态范围、视场、目的区域(roi)、最大测量距离、掩蔽区域(其中的对象不被成像)。
[0325]
各种实施例可以作为3d相机设备的光电子系统(例如，具有部件和电接口的印刷电路板)提供，例如其可安装到另一个产品中，以通过本文所述的特征增强其功能。
[0326]
该子系统可被配置成控制照明源以照亮要成像的场景，但可能不包括多像素光电探测器(例如，spad阵列)，其可能安装在另一个产品上。子系统可以从光电探测器接收信息，例如经由数字接口，并且可使用该信息以高于光电探测器的原生分辨率的分辨率来构建3d图像。
[0327]
子系统可以将这些3d图像提供给另一个产品，例如经由另一个数字接口。相机采集参数(上文列出的)可以由该另一个产品直接控制，或者由子系统自动调整，例如以按照其他产品的指示优化图像质量。该另一个产品自身可以或可不使用来自其光电探测器的信息来构建具有光电探测器的原生分辨率的3d图像。
[0328]
图6示出了根据用于确定三维图像中的距离的各种实施例配置的成像系统。该系统使用直接飞行时间(tof)测量方法，其中记录光脉冲的发射时间和该光脉冲的检测时间，并且然后使用光速来计算距离。
[0329]
使用计算重影成像来获得三维图像的横向分辨率，其中将已知的特殊光图案集按顺序显示到场景上，并且使用单像素光检测器测量从场景反射的来自每个图案的光量。随后，将来自已知图案的数据和测量的光进行组合，从而允许对场景的图像进行计算重构。
[0330]
如图6所示的三维飞行时间计算重影成像系统包括使用图案来提供场景40的编码照明的投影系统10、用于光检测的检测系统20以及用于图像处理和重构的数据处理单元30。投影系统10和检测系统20使得系统能够实现像素多路复用的概念，从而将重构图像中的像素数增加到超过线性或矩阵传感器中的物理像素数。
[0331]
在投影系统10中，脉冲皮秒激光器12的光束通过扩束器引导到数字微镜设备14上，并且然后使用透镜16投影到场景40上。在检测系统20中，柱面透镜26允许每个spad线性传感器像素22通过缩窄每个像素的视场来收集来自场景40的单独区域的反射光。32计算机用于控制测量并且进行数据处理。激光器12还为spad线性传感器22提供参考信号，以便能够进行直接飞行时间测量。
[0332]
在测量之前，可以对成像系统的投影系统10进行编程以显示任何期望的图案集，这使得能够在软件中控制该设置的参数。
[0333]
如图7所示，图6所示的系统用256像素线性传感器来进行3d成像，并且像素数得到64倍扩增，从而得到128
×
128的3d图像。同时，仅使用完整图案集的四分之一重构了64
×
64的3d图像。
[0334]
图7(a)示出了测试场景的2d图像(照片)。图7(b)以原生传感器分辨率1
×
256像素例示了spad线性传感器22图像。图7(c)示出了重构的低分辨率(64
×
64)深度图，并且图7(d)示出了重构的高分辨率(128
×
128)深度图。深度分辨率为3cm。
[0335]
从上文可以看出，至少在其实施例中，本文所述的技术提供了用于在成像系统中提供高分辨率和低分辨率图像的技术。至少在实施例中，这是通过以下方式来实现的：使用关于序列中的照明图案的检测到的反射来构建场景的具有第一分辨率的第一图像，并且使用关于序列中的照明图案的子集的检测到的反射来构建场景的第二图像。
[0336]
已经出于说明和描述的目的呈现了前述详细描述。其并不意图是穷尽性的或将本技术限制于所公开的精确形式。鉴于以上教示，许多修改和变化是可能的。选择所描述的实施例是为了最好地解释本技术的原理和其实际应用，从而使本领域的其它技术人员能够在各种实施例中以及适合于涵盖的特定用途的各种修改的情况下最好地利用本技术。旨在由所附权利要求限定范围。

技术特征：
1.一种对场景进行成像的方法，所述方法包括：给场景照明；以及使用传感器以关于图案序列中的每个图案来检测来自场景的反射；其中图案序列被配置成允许构建场景的具有第一分辨率的第一图像，其中第一分辨率大于传感器的分辨率；其中图案序列包括第一图案子集，其中第一图案子集被配置成允许构建场景的具有第二分辨率的第二图像，并且其中第二分辨率小于第一分辨率；并且其中所述方法进一步包括：使用关于所述序列中的所述图案的检测到的反射来构建所述场景的具有所述第一分辨率的第一图像；以及使用关于所述第一图案子集的检测到的反射来构建所述场景的具有所述第二分辨率的第二图像。2.根据权利要求1所述的方法，其中所述第二分辨率大于所述传感器的所述分辨率。3.根据权利要求1或2所述的方法，其中所述方法包括：使用照明图案序列来给所述场景照明，以及使用所述传感器以关于所述序列中的每个照明图案来检测来自所述场景的反射。4.根据权利要求1或2所述的方法，其中所述方法包括：使用所述传感器以关于检测图案序列中的每个检测图案来检测来自所述场景的反射。5.根据前述权利要求中任一项所述的方法，其中：所述图案序列包括用于构建所述场景的具有所述第一分辨率的图像的完整图案集；且/或所述第一图案子集包括用于构建所述场景的具有所述第二分辨率的图像的完整图案集。6.根据前述权利要求中任一项所述的方法，其中：所述第一图案子集布置在所述序列的末端之前；且/或其中所述方法包括在已经关于所述序列中的所述图案中的所有图案检测到反射之前构建所述第二图像。7.根据前述权利要求中任一项所述的方法，其进一步包括确定所述第二图像是否具有一个或多个属性，以及基于所述确定来控制一个或多个后续图案。8.根据权利要求7所述的方法，其中基于所述确定来控制一个或多个后续图案包括基于所述确定来控制所述序列中的一个或多个其余图案和/或基于所述确定来控制后续图案序列中的一个或多个图案。9.根据前述权利要求中任一项所述的方法，其进一步包括：确定所述第二图像是否包括一个或多个目的区域和/或一个或多个非期望区域；其中当确定所述第二图像包括一个或多个目的区域和/或一个或多个非期望区域时，所述方法包括：更改所述一个或多个目的区域和/或一个或多个非期望区域内的一个或多个后续照明图案的照明强度；和/或更改所述一个或多个目的区域和/或一个或多个非期望区域内的一个或多个后续检测
图案的检测强度和/或效率。10.根据权利要求9所述的方法，其中：确定所述第二图像是否包括一个或多个目的区域和/或一个或多个非期望区域包括确定所述第二图像是否包括一个或多个明亮区域；其中当确定所述第二图像包括一个或多个明亮区域时，所述方法包括：降低所述一个或多个明亮区域内的一个或多个后续照明图案的照明强度；和/或降低所述一个或多个明亮区域内的一个或多个后续检测图案的检测强度和/或效率。11.根据前述权利要求中任一项所述的方法，其中：所述图案序列包括第二图案子集，其中所述第二图案子集被配置成允许构建所述场景的具有第三分辨率的第三图像，并且其中所述第三分辨率小于所述第一分辨率；并且其中所述方法进一步包括使用关于所述第二图案子集的检测到的反射来构建所述场景的具有所述第三分辨率的第三图像。12.根据权利要求11所述的方法，其中：所述第二图案子集布置在所述序列的末端之前；且/或其中所述方法包括在已经关于所述序列中的所述图案中的所有图案检测到反射之前构建所述第三图像。13.根据权利要求11或12所述的方法，其进一步包括将所述第三图像与所述第二图像进行比较，以及基于所述比较来控制一个或多个后续图案。14.根据权利要求11、12或13所述的方法，其进一步包括将所述第三图像与所述第二图像进行比较，以及基于所述比较来确定所述场景是否包括移动对象。15.一种计算机程序，其包括计算机软件代码，所述计算机软件代码用于当所述程序在数据处理器上运行时，执行根据前述权利要求中任一项所述的方法。16.一种图像处理系统，其包括：处理电路，其被配置成控制所述系统，使得关于图案序列来检测来自场景的反射；以及处理电路，其被配置成从传感器接收信息，所述传感器被配置成关于所述序列中的每个图案来检测来自所述场景的反射；其中所述图案序列被配置成允许构建所述场景的具有第一分辨率的第一图像，其中所述第一分辨率大于所述传感器的分辨率；其中所述图案序列包括第一图案子集，其中所述第一图案子集被配置成允许构建所述场景的具有第二分辨率的第二图像，并且其中所述第二分辨率小于所述第一分辨率；并且其中所述系统进一步包括处理电路，所述处理电路被配置成：使用关于所述序列中的所述图案的检测到的反射来构建所述场景的具有所述第一分辨率的第一图像；并且使用关于所述第一图案子集的检测到的反射来构建所述场景的具有所述第二分辨率的第二图像。17.一种成像系统，其包括：一个或多个源，其被配置成给场景照明；以及传感器，其被配置成关于图案序列中的每个图案来检测来自所述场景的反射；其中所述图案序列被配置成允许构建所述场景的具有第一分辨率的第一图像，其中所述第一分辨
率大于所述传感器的分辨率；其中所述图案序列包括第一图案子集，其中所述第一图案子集被配置成允许构建所述场景的具有第二分辨率的第二图像，并且其中所述第二分辨率小于所述第一分辨率；并且其中所述系统进一步包括处理电路，所述处理电路被配置成：使用关于所述序列中的所述图案的检测到的反射来构建所述场景的具有所述第一分辨率的第一图像；并且使用关于所述第一图案子集的检测到的反射来构建所述场景的具有所述第二分辨率的第二图像。18.根据权利要求16或17所述的系统，其中所述第二分辨率大于所述传感器的所述分辨率。19.根据权利要求16、17或18所述的系统，其中：所述一个或多个源被配置成使用照明图案序列来给所述场景照明，并且所述传感器被配置成关于所述序列中的每个照明图案来检测来自所述场景的反射。20.根据权利要求16、17或18所述的系统，其中：所述传感器被配置成关于检测图案序列中的每个检测图案来检测来自所述场景的反射。21.根据权利要求16至20中任一项所述的系统，其中：所述图案序列包括用于构建所述场景的具有所述第一分辨率的图像的完整图案集；且/或所述第一图案子集包括用于构建所述场景的具有所述第二分辨率的图像的完整图案集。22.根据权利要求16至21中任一项所述的系统，其中：所述第一图案子集布置在所述序列的末端之前；且/或所述系统被配置成在已经关于所述序列中的所述图案中的所有图案检测到反射之前构建所述第二图像。23.根据权利要求16至22中任一项所述的系统，其中所述系统被配置成确定所述第二图像是否具有一个或多个属性，并且基于所述确定来控制所述序列中的一个或多个其余图案和/或基于所述确定来控制后续图案序列中的一个或多个图案。24.根据权利要求16至23中任一项所述的系统，其中所述系统被配置成：确定所述第二图像是否包括一个或多个目的区域和/或一个或多个非期望区域；并且当确定所述第二图像包括一个或多个目的区域和/或一个或多个非期望区域时：更改所述一个或多个目的区域和/或一个或多个非期望区域内的一个或多个后续照明图案的照明强度；且/或更改所述一个或多个目的区域和/或一个或多个非期望区域内的一个或多个后续检测图案的检测强度和/或效率。25.根据权利要求24所述的系统，其中所述系统被配置成：通过确定所述第二图像是否包括一个或多个明亮区域来确定所述第二图像是否包括一个或多个目的区域和/或一个或多个非期望区域；并且当确定所述第二图像包括一个或多个明亮区域时：
降低所述一个或多个明亮区域内的一个或多个后续照明图案的照明强度；且/或降低所述一个或多个明亮区域内的一个或多个后续检测图案的检测强度和/或效率。26.根据权利要求16至25中任一项所述的系统，其中：所述图案序列包括第二子集，其中所述第二图案子集被配置成允许构建所述场景的具有第三分辨率的第三图像，并且其中所述第三分辨率小于所述第一分辨率；并且其中所述系统被配置成使用关于所述第二图案子集的检测到的反射来构建所述场景的具有所述第三分辨率的第三图像。27.根据权利要求26所述的系统，其中：所述第二图案子集布置在所述序列的末端之前；且/或所述系统被配置成在已经用所述序列中的所述图案中的所有图案给所述场景照明之前构建所述第三图像；且/或所述系统被配置成在已经使用所述检测图案序列中的所述检测图案中的所有检测图案检测到反射之前构建所述第三图像。28.根据权利要求26或27所述的系统，其中所述系统被配置成将所述第三图像与所述第二图像进行比较，并且基于所述比较来控制一个或多个后续图案。29.根据权利要求26、27或28所述的系统，其中所述系统被配置成将所述第三图像与所述第二图像进行比较，并且基于所述比较来确定所述场景是否包括移动对象。

技术总结
本发明公开了一种对场景进行成像的方法，所述方法包括使用照明图案序列50来给所述场景照明，以及使用传感器以关于所述序列中的每个照明图案来检测来自所述场景的反射。所述照明图案序列被配置成允许构建所述场景的具有第一分辨率的第一图像，其中所述第一分辨率大于所述传感器的分辨率。所述照明图案序列包括第一照明图案子集51，其中所述第一照明图案子集被配置成允许构建所述场景的具有第二分辨率的第二图像，并且其中所述第二分辨率小于所述第一分辨率。所述方法进一步包括使用关于所述序列中的所述照明图案的检测到的反射来构建所述场景的具有所述第一分辨率的第一图像56，以及使用关于所述第一照明图案子集的检测到的反射来构建所述场景的第二图像52。到的反射来构建所述场景的第二图像52。到的反射来构建所述场景的第二图像52。


技术研发人员：安德烈亚斯
受保护的技术使用者：光学代码公司
技术研发日：2021.11.24
技术公布日：2023/10/15