提供监视数据以检测可移动对象的方法、检测可移动对象的方法、制造至少一个预定义点对称区域的方法和设备与流程

1.本发明基于根据独立权利要求的种类的设备或方法。计算机程序也是本发明的主题。


背景技术：

2.传统的光栅可以使用窄束光束，进入该光束的对象对该光束的中断可以由传感器检测到。光源和传感器可以布置在待监视区域的彼此相对的侧上。另一种传统设计是反射光栅。这里光源和传感器布置在同一侧，例如布置在共同的壳体内。可以在相对侧布置后向反射器，该后向反射器将光反射回其发出的方向。这两种经典形式特别是都需要自己的光源，因此从这个意义上说它们是有源系统。所使用的光束可以是可见的或者可以使得可见，例如借助于雾气和红外相机，如果是红外光栅的话。
3.以后公开的de 102020202160a1公开了一种用于确定图像数据中的对称特性的方法以及一种用于控制功能的方法。


技术实现要素：

4.在此背景下，通过这里提出的方案，提出了根据主权利要求的一种方法，还有一种使用该方法的设备，以及最后一种对应的计算机程序。通过从属权利要求中列出的措施，可以对独立权利要求中说明的设备进行有利的扩展和改进。
5.根据实施方式，特别是可以利用以下事实：世界上的点或对象借助于点对称区域得到了标记或将得到标记，使得具有成像传感器和这里提出的合适方法的系统可以高精度地检测和定位这些点对称区域，以鲁棒和局部地执行特定的技术功能，可选地人类或生物不会将这样的标记视为干扰。
6.例如可能会发生对称区域未完全成像到相机图像中，例如因为对称区域可能被对象部分遮挡，或者因为对称区域可能部分从图像中突出，或者因为图案可能已被裁剪。有利地，仍然可以维持点对称中心的定位精度，因为部分遮挡不会使其位置失真：剩余的点对称对应对仍然可以投票支持正确的对称中心。部分遮挡只能降低投票矩阵中聚点的强度等，但对称中心的位置可以保留并且仍然可以精确且简单地确定。这是利用点对称的特殊优点。
7.在找到基于点对称的区域或图案情况下的进一步优点可以特别是源自如下事实：点对称相对于点对称区域与相机或图像记录之间的旋转是不变的，并且相对于视角而言很大程度上是不变的。例如，点对称平面相对于仿射成像可以是不变的。真实相机对任意定向的平面的成像至少局部地总是可以通过仿射成像来很好地近似。例如，如果以斜视角观察圆形的点对称区域，则圆形会变成椭圆形，其中点对称特性和点对称中心得以保持。因此，至少一个点对称区域不一定必须从正面视角观察——甚至非常倾斜的视角也不会造成困难，并且可以保持可实现的准确性。这种不变性，特别是相对于旋转和相对于视角的不变
性，使得可以省去将相机适当地对准对称区域或者反过来的预防措施。相反，可能已经足够的是，相应的点对称区域被至少部分地捕获在相机图像中，使得可以检测到该点对称区域。点对称区域和相机之间的相对位置关系或布置在此情况下可以是不重要的或几乎不重要的。
8.本发明提出了一种用于提供监视数据以检测可移动对象的方法，其中该方法具有以下步骤：
9.从至相机的接口读入借助于所述相机提供的图像数据，其中所述图像数据代表所述相机的环境的相机图像，其中在所述环境中的至少一个预定义偶数和/或奇数点对称区域布置在所述相机的视场中，其中从所述相机的角度来看，所述至少一个预定义点对称区域可以至少部分地被所述可移动对象遮挡；以及
10.使用所述图像数据和确定规则来确定所述至少一个偶数和/或奇数点对称区域的至少一个对称中心在所述相机图像中的存在，以确定所述可移动对象对所述至少一个预定义偶数和/或奇数点对称区域的遮挡状态，其中根据所述遮挡状态提供所述监视数据。
11.该方法可以例如以软件或硬件或者以软件和硬件的混合形式例如在控制设备或设备中实现。可以通过执行下述用于制造的方法的变型来制造至少一个预定义点对称区域。在读入步骤中，还可以从多个相机读入图像数据，其中这些图像数据可以代表至少一个预定义偶数和/或奇数点对称区域的多个相机图像。确定规则可以类似于或对应于申请人以后公开的de 102020202160中公开的过程。
12.根据一种实施方式，在确定步骤中使用的确定规则可以被构造为使得针对所述相机图像的至少一个区段的多个像素产生签名，以获得多个签名。在此情况下，可以使用具有多个不同过滤器的描述符来产生每个签名。每个过滤器可以具有至少一个对称类型。每个签名可以针对描述符的每个过滤器都具有符号。确定规则还可以被构造为使得针对签名确定用于过滤器的至少一个对称类型的至少一个镜像签名。确定规则还可以被构造为使得检查具有签名的像素是否在该像素周围环境中的搜索区域中存在至少一个另外的像素，该至少一个另外的像素具有对应于至少一个镜像签名的签名，以在存在所述至少一个另外的像素时确定来自该像素和另外的像素的至少一个对称签名对的像素坐标。另外，确定规则可以被构造为使得评估所述至少一个对称签名对的像素坐标，以标识所述至少一个对称中心。描述符可以以紧凑的形式描述像素或参考像素周围的局部环境中的图像内容。签名可以例如以二进制表示描述像素的描述符的值。因此，可以使用多个计算出的签名图像来确定所述至少一个镜像签名，例如一个签名图像具有正常过滤器，一个签名图像具有偶数点镜像过滤器，一个签名图像具有奇数点镜像过滤器。附加地或替代地，可以将至少一个反射器应用于签名之一的符号，以确定至少一个镜像签名。在这种情况下，每个反射器可以具有特定于对称类型且依赖于描述符的过滤器的规则以用于修改符号。在此，搜索区域可以取决于所应用的反射器中的至少一个反射器。这样的实施方式提供了使得可以高效且精确地检测图像数据中的对称特性的优点。在此情况下，可以用最小的工作量实现图像中的对称性检测。
13.在此，在确定步骤中，对于每个已经确定的对称中心使用有助于正确标识该对称中心的每个对称签名对的像素坐标，确定用于变换该对称中心和/或至少一个预定义偶数和/或奇数点对称区域的像素坐标的变换规则。所述变换规则可以应用于对称中心和/或至
少一个预定义偶数和/或奇数点对称区域的像素坐标，以校正相机图像的扭曲视角。这样的实施方式提供的优点是可以实现多个点对称区域的正确网格或正确拓扑的可靠且准确的重建。
14.此外，该方法可以具有以下步骤：将来自所述相机图像的至少一个对称中心与来自参考数据的至少一个参考对称中心在强度、随时间的强度变化过程和/或局部强度变化过程方面进行比较，以确定所述对称中心与所述参考对称中心之间与强度有关的偏差。在此情况下，根据所述偏差提供所述监视数据。所述参考数据可以代表关于参考对称中心或参考图像的信息。所述参考数据或所述参考图像可以从多个存储的参考数据或参考图像中选择出来，或者使用存储的产生规则来产生。所述偏差可以是关于针对相应对称中心的对称性检测的强度或响应来确定的，所述强度或响应可以被测量为重量或高度或者在聚点平滑后的高度。特别是可以根据一个或多个响应随时间的变化来确定所述偏差。
15.还可以在确定步骤中确定所述至少一个对称中心的对称类型。对称类型可以代表偶数点对称并且附加地或替代地代表奇数点对称。附加地或替代地，在此情况下在进行比较的步骤中，可以将至少一个对称中心在所述相机图像中的对称类型与来自参考数据的至少一个参考对称中心的预定义对称类型进行比较，以检查至少一个对称中心和至少一个参考对称中心之间的一致性。奇数点对称可以通过灰度值或颜色值反转的点镜像来产生。通过使用和标识两种不同的点对称，可以增加点对称区域和图案的信息内容。
16.在此情况下，在读入步骤中读入的图像数据可以代表由多个预定义偶数和/或奇数点对称区域构成的至少一个图案的相机图像。在此，在确定步骤中，可以确定所述至少一个图案的对称中心的几何布置，可以确定所述对称中心的对称类型的几何序列，并且附加地或替代地，可以使用所述序列从多个预定义图案中确定所述图案。所述布置和/或所述序列可以代表图案的标识码。这样的实施方式提供的优点是可以增加标识对称中心的可靠性并且可以通过识别特定图案来获得进一步的信息。还可以针对相机与图案之间的不同距离实现对称中心的可靠标识。
17.在这种情况下，在确定步骤中，使用所述至少一个图案的对称中心的布置以及附加地或替代地使用所述对称中心的对称类型的序列来确定所述至少一个图案的隐式附加信息或用于读出所述相机图像中的显式附加信息的读出规则。所述布置以及附加地或替代地所述序列可以以编码形式代表所述附加信息。附加信息可以与检测可移动对象有关。这样的实施方式提供了可以通过至少一个图案的拓扑来传达附加信息的优点。
18.此外，在此可以独立于对称中心的对称类型对所有对称中心共同执行确定步骤以及附加地或替代地进行比较的步骤，或者根据对称中心的对称类型对同一种对称类型的对称中心单独地执行确定步骤以及附加地或替代地进行比较的步骤。因此，通过共同执行可以实现准确和可靠地标识对称中心的低存储器和时间要求。可选地，特别是可以通过单独执行来最小化与图像中随机出现的图案的混淆。
19.还提出了一种用于检测可移动对象的方法，其中该方法具有以下步骤：
20.评估根据上述方法的实施方式提供的监视数据，以产生取决于所述监视数据的检测信号；以及
21.向至用于执行光栅功能的处理单元的接口输出所述检测信号，以执行所述可移动对象的检测。
22.该方法可以例如以软件或硬件或者以软件和硬件的混合形式例如在控制设备或设备中实现。在此，可以有利地结合上述用于提供的方法的实施方式来执行用于检测的方法。
23.此外，提出了一种用于制造供上述方法的实施方式使用的至少一个预定义偶数和/或奇数点对称区域的方法，其中该方法具有以下步骤：
24.生成设计数据，所述设计数据代表所述至少一个预定义偶数和/或奇数点对称区域的图形表示；以及
25.使用所述设计数据在显示介质上、显示介质处或显示介质中产生所述至少一个预定义偶数和/或奇数点对称区域，以制造所述至少一个预定义偶数和/或奇数点对称区域。
26.该方法可以例如以软件或硬件或者以软件和硬件的混合形式例如在控制设备或设备中实现。通过执行该制造方法，可以制造至少一个预定义偶数和/或奇数点对称区域，其可以在上述方法的实施方式的范围内使用。
27.根据一个实施方式，可以在生成步骤中生成设计数据，所述设计数据作为圆形、椭圆形、正方形、矩形、五边形、六边形、多边形或圆环代表至少一个预定义偶数和/或奇数点对称区域的图形表示。在这种情况下，至少一个预定义偶数和/或奇数点对称区域可以具有规则的或准随机的内容图案。附加地或替代地，可以任意预给定至少一个预定义偶数和/或奇数点对称区域的第一半面，并且可以通过点镜像和可选附加地灰度值和附加或替代地颜色值的反转来构造第二半面。附加地或替代地，在产生步骤中，可以通过增材制造工艺、分离、涂层、成形、初次成形或光学显示来产生至少一个预定义偶数和/或奇数点对称区域。附加地或替代地，显示介质可以具有玻璃、石头、陶瓷、塑料、橡胶、金属、混凝土、石膏、纸、纸板、食物或光学显示装置。因此，可以根据具体用途或者根据具体应用和那里普遍的边界条件以恰好合适的方式制造至少一个预定义偶数和/或奇数点对称区域。
28.还可以在生成步骤中生成设计数据，所述设计数据代表由多个预定义偶数和/或奇数点对称区域构成的至少一个图案的图形表示。在这种情况下，偶数和/或奇数点对称区域的至少一个子集可以在规则或不规则网格上对齐、彼此直接邻接并且附加地或替代地与至少一个相邻的偶数和/或奇数点对称区域通过间隙部分分离，在它们的尺寸和/或它们的内容图案方面可以彼此相同或彼此不同，并且附加地或替代地布置在共同平面中或不同平面中。附加地或替代地，在生成步骤中，可以生成代表具有分层对称的至少一个图案的图形表示的设计数据。以此方式，针对与图案的不同距离，可以产生具有特定信息内容的不同图案以及附加地或替代地具有分层对称的图案。
29.即使已知存在对应的标记，特别是人类也很难觉察隐藏在图案中的对称性。例如这也使得隐藏这种标记成为可能。由于各种原因，这可能是有意义的或期望的，例如特别是出于美观原因，因为技术标记不应当或不希望被看到，因为例如注意力不应由于对人类不重要的标记而被降低，或因为标记应当保密。美观原因起着重要作用，特别是在设计领域。例如在车辆内部空间中、在车辆外皮上、在美观设计的物体上或在内部架构或建筑架构领域，显眼的技术标记不会或很难被接受。但是，如果要隐藏技术标记，例如在织物图案中或在塑料浮雕或陶瓷浮雕中或在全息图中或在印刷表面上，如根据实施方式可能的那样，则技术标记可以同时美观且有用，以例如为相机提供一个或多个参考点，以例如由此能够确定相对的相机姿势。根据应用，隐藏的方面也可能是不相关的或几乎没有相关性。于是，技
术的鲁棒性仍然适用于这样设计的图案的使用。特别地，具有随机字符或伪随机字符的图案可以提供能够找到尽可能明确的对称点对的多种可能性。根据实施方式，这例如可以被利用，特别是有利于对称中心处测量的响应的信噪比，并且因此有利于在无错误地检测和精确定位对称中心的意义下的鲁棒性。图案可以特别是包括具有奇数或偶数点对称性的一个或多个点对称区域。这些区域可以例如设计为圆形、六边形、正方形、椭圆形、多边形或其他形状。点对称区域可以是相同类型的，或是不同形状和大小的。点对称区域可以无间隙地相互连接或间隔开。
30.这里提出的方案还创建了一种设备，该设备被构造为在对应的装置中执行、操控或实现这里提出的方法的变型的步骤。还可以通过设备形式的本发明的该实施例变型来快速且有效地解决本发明所基于的任务。
31.为此，该设备可以具有用于处理信号或数据的至少一个计算单元，用于存储信号或数据的至少一个存储单元，至传感器或致动器的至少一个接口，用于从所述传感器读入传感器信号或用于向所述致动器和/或用于读入或输出嵌入在通信协议中的数据的至少一个通信接口输出数据或控制信号。所述计算单元例如可以是信号处理器、微控制器等，其中所述存储单元可以是闪存、eeprom或磁存储单元。所述通信接口可以被构造为无线地和/或有线地读入或输出数据，其中可以读入或输出有线数据的通信接口可以例如从对应的数据传输线路电学或光学地读入所述数据或者可以将所述数据电学或光学地输出到对应的数据传输线路中。
32.在当前情况下，设备可以理解为处理传感器信号并且根据传感器信号输出控制信号和/或数据信号的电装置。所述设备可以具有可以被构造为硬件和/或软件的接口。在构造为硬件的情况下，所述接口可以例如是所谓的系统asic的一部分，该部分包含所述设备的各种功能。然而，所述接口也可以是单独的集成电路或者至少部分地由分立元件组成。在构造为软件的情况下，所述接口可以是例如与其他软件模块一起存在于微控制器上的软件模块。
33.还提出了一种用于检测可移动对象的系统，其中该系统具有以下特征：
34.上述设备的一种实施方式；
35.至少一个相机，其中所述相机与所述设备能够或已经以能传输数据的方式彼此连接；以及
36.通过根据前述用于制造的方法的实施方式制造的至少一个预定义偶数和/或奇数点对称区域，其中所述区域能够或已经布置在所述相机的视场中。
37.该系统在此情况下可以提供光栅的功能。
38.具有程序代码的计算机程序产品或计算机程序也是有利的，所述程序代码可以存储在机器可读载体或存储介质(如半导体存储器、硬盘存储器或光学存储器)上并且用于执行、实现和/或操控根据上述实施方式之一的方法的步骤，特别是当程序产品或程序在计算机或设备上运行时。在此，该方法可以作为soc或asic上的硬件加速器来实现。
附图说明
39.这里提出的方案的实施例在附图中示出并且在下面的描述中得到更详细的解释。
40.图1示出了用于提供的设备的实施例、用于检测的设备的实施例以及相机的示意
图；
41.图2示出了用于制造的设备的实施例的示意图；
42.图3示出了用于提供的方法的实施例的流程图；
43.图4示出了用于检测的方法的实施例的流程图。
44.图5示出了用于制造的方法的实施例的流程图；
45.图6示出了根据实施例的具有由预定义点对称区域构成的图案的显示介质的示意图；
46.图7示出了根据实施例的具有由预定义点对称区域构成的图案的显示介质的示意图；
47.图8示出了具有来自图7的图案的显示介质的示意图，具有图案或预定义点对称区域的图形突出显示；
48.图9示出了根据实施例的预定义点对称区域的示意图；
49.图10示出了根据实施例的由预定义点对称区域构成的图案的示意图；
50.图11示出了根据实施例的查找表的使用的示意图；
51.图12示出了根据实施例的投票矩阵的示意图；
52.图13示出了关于网格的正确标识的根据实施例的示例性以立方体形式布置的图案的示意图；
53.图14以斜视角示出了图6的第一部分图示中所示图案的示意图；
54.图15示出了来自图14的第一部分图示的图案，其中突出显示了预定义点对称区域；
55.图16示出了根据实施例的图15的图案在视角校正之后的示意图；
56.图17示出了具有分层对称的图案的实施例的示意图；
57.图18示出了具有分层对称的图案的实施例的示意图；
58.图19示出了具有分层对称的图案的实施例的示意图；
59.图20示出了根据实施例的图案的示意图；
60.图21示出了根据实施例的使用预定义点对称区域的检测状况的示意图；
61.图22示出了根据实施例的使用由预定义点对称区域构成的图案的检测状况的示意图；
62.图23示出了根据实施例的使用由预定义点对称区域构成的图案的检测状况的示意图；
63.图24示出了根据实施例的使用由预定义点对称区域构成的图案的检测状况的示意图；以及
64.图25示出了根据实施例的使用由预定义点对称区域构成的图案的检测状况的示意图。
具体实施方式
65.在本发明的有利实施例的以下描述中，为不同图中示出的并且具有相似效果的元件使用相同或相似的附图标记，其中省略对这些元件的重复描述。
66.图1示出了用于提供的设备120的实施例、用于检测的设备140的实施例以及仅示
例性地相机102的示意图。在图1的图示中，用于提供的设备120或提供设备120和用于检测的设备140或检测设备140单独地示出或布置在相机102外部地示出。提供设备120以及检测设备140以能够进行数据传输的方式与相机102连接。根据另一实施例，提供设备120和/或检测设备140也可以是相机102的一部分和/或可以彼此组合。
67.相机102被构造为记录相机102的环境的相机图像。在相机102的环境中，在相机102的视野中示例性地仅布置了具有对称中心112的预定义偶数和/或奇数点对称区域110。从相机的角度来看，至少一个预定义偶数和/或奇数点对称区域110可以至少部分地被可移动对象100遮挡。相机102还被构造为提供或产生代表相机图像的图像数据105，其中该相机图像也示出预定义偶数和/或奇数点对称区域110和/或可移动对象100。
68.提供设备120被构造为提供用于检测可移动对象的监视数据135。为此，提供设备120包括读入装置124、确定装置126以及可选地还包括执行装置130。读入装置124被构造为从提供设备120至相机102的输入接口122读入图像数据105。此外，读入装置124还被构造为将代表相机图像的图像数据105转发至确定装置126。
69.提供设备120的确定装置126被构造为使用图像数据105和确定规则128来确定至少一个点对称区域110的对称中心112在相机图像中的存在，以确定可移动对象100对至少一个预定义偶数和/或奇数点对称区域110的遮挡状态。下面将更详细地讨论确定规则128。在此需要指出的是，确定规则128与申请人以后公开的de 102020202160中公开的过程类似或对应。提供设备120被构造为根据遮挡状态提供监视数据135。更准确地说，提供设备120被构造为经由提供设备120的输出接口138向检测设备140提供监视数据135。
70.根据一个实施例，确定装置1 26被构造为将所确定的至少一个对称中心112和/或遮挡状态转发给执行装置130。执行装置130被构造为将至少一个对称中心112在相机图像中的位置与来自参考数据115的至少一个参考对称中心在强度、随时间的强度变化过程和/或局部强度变化过程方面进行比较，以确定对称中心112与参考对称中心之间的与强度有关的偏差131。执行装置130还被构造为从存储装置150读入或接收参考数据115。存储装置1 50可以被实施为提供设备120的一部分或者与提供设备120分离。在此情况下提供设备120被构造为使用偏差131来提供监视数据135。
71.检测设备140被构造为检测可移动对象100。为此，检测设备140包括评估装置144和输出装置146。检测设备140被构造为经由检测设备140的输入接口142从提供设备120接收或读入监视数据135。评估装置144被构造为评估由提供设备120提供的监视数据135，以产生取决于监视数据135的检测信号145。评估装置144还被构造为将检测信号145转发至输出装置146。输出装置146被构造为将检测信号145输出到至执行光栅功能的处理单元的输出接口148，以执行可移动对象100的检测。
72.特别地，确定规则128被构造为使得针对所述相机图像的至少一个区段的多个像素产生签名，以获得多个签名。在此情况下，使用具有多个不同过滤器的描述符来产生每个签名。每个过滤器具有至少一个对称类型。每个签名针对描述符的每个过滤器都具有符号。确定规则128还可以被构造为使得将至少一个反射器应用于签名之一的符号，以针对该签名确定用于过滤器的至少一个对称类型的至少一个镜像签名。在这种情况下，每个反射器包括特定于对称类型且依赖于描述符的过滤器的规则以用于修改符号。确定规则还被构造为使得检查具有签名的像素是否在该像素周围环境中的取决于所应用的至少一个反射器
的搜索区域中存在至少一个另外的像素，该至少一个另外的像素具有对应于至少一个镜像签名的签名，以在存在所述至少一个另外的像素时确定来自该像素和另外的像素的至少一个对称签名对的像素坐标。另外，确定规则被构造为使得评估所述至少一个对称签名对的像素坐标，以标识所述至少一个对称中心。
73.根据一个实施例，确定装置1 26被构造为，针对每个已确定的对称中心112，使用有助于正确标识对称中心112的每个对称签名对的像素坐标来产生用于变换对称中心112和/或点对称区域110的像素坐标的变换规则。将所述变换规则应用于对称中心112和/或点对称区域110的像素坐标，以校正相机图像的扭曲视角。此外，基于多个、特别是相邻的点对称区域110来确定变换规则是有利的，因为更鲁棒、更准确并且受到更少的噪声影响，特别是如果这些点对称区域位于共同平面上的话。当考察多个对称中心112的布置时，变换的应用特别有利。
74.根据一个实施例，确定装置1 26还被构造为确定至少一个对称中心112的对称类型。该对称类型代表偶数点对称并且附加地或替代地代表奇数点对称。附加地或替代地，在此情况下执行装置130被构造为将至少一个对称中心112在相机图像中的对称类型与来自参考数据115的至少一个参考对称中心的预定义对称类型进行比较，以检查至少一个对称中心112与至少一个参考对称中心之间的一致性。
75.特别地，图像数据105在此情况下代表由多个预定义点对称区域110构成的至少一个图案的相机图像。在此，确定装置126被构造为确定至少一个图案的对称中心112的几何布置，确定对称中心112的对称类型的几何序列，和/或使用所述序列从多个预定义图案中确定由图像数据105代表的正确图案。该布置和/或该序列可以代表图案的标识码。根据一个实施例，确定装置1 26在此情况下被构造为使用至少一个图案的对称中心112的布置和/或对称中心112的对称类型的序列来确定所述至少一个图案的隐式附加信息或用于读出相机图像中的显式附加信息的读出规则。该布置和/或该序列以编码形式代表附加信息。所述附加信息与检测可移动对象有关。
76.图2示出了用于制造的设备200的实施例的示意图。用于制造的设备200被构造为制造至少一个预定义偶数和/或奇数点对称区域110，以供图1中的提供设备或类似设备和/或图1中的检测设备或类似设备使用。为此，用于制造的设备200包括生成装置202和产生装置206。生成装置202被构造为生成设计数据204。设计数据204代表至少一个偶数和/或奇数预定义点对称区域110的图形表示。产生装置206被构造为使用设计数据204在显示介质上、显示介质处或显示介质中产生至少一个预定义偶数和/或奇数点对称区域110，以制造至少一个预定义偶数和/或奇数点对称区域110。
77.根据一个实施例，生成装置202被构造为生成设计数据204，所述设计数据作为圆形、椭圆形、正方形、矩形、五边形、六边形、多边形或圆环代表至少一个预定义偶数和/或奇数点对称区域110的图形表示，其中至少一个预定义偶数和/或奇数点对称区域110具有规则的或准随机的内容图案，和/或其中任意预给定至少一个预定义偶数和/或奇数点对称区域110的第一半面，并且通过点镜像和/或灰度值和/或颜色值的反转来构造第二半面。附加地或替代地，产生装置206被构造为通过增材制造工艺、分离、涂层、成形、初次成形或光学显示来产生至少一个预定义偶数和/或奇数点对称区域110。附加地或替代地，显示介质在此情况下具有玻璃、石头、陶瓷、塑料、橡胶、金属、混凝土、石膏、纸、纸板、食物或光学显示
装置。
78.根据一个实施例，生成装置202被构造为生成设计数据204，所述设计数据代表由多个预定义偶数和/或奇数点对称区域110构成的至少一个图案的图形表示，其中点对称区域110的至少一个子集在规则或不规则网格上对齐、彼此直接邻接和/或与至少一个相邻的点对称区域110通过间隙部分分离，在它们的尺寸和/或它们的内容图案方面彼此相同或彼此不同，和/或布置在共同平面中或不同平面中。附加地或替代地，生成装置202被构造为生成代表具有分层对称的至少一个图案的图形表示的设计数据204。
79.图3示出了用于提供监视数据以检测可移动对象的方法300的实施例的流程图。用于提供的方法300在此情况下可以使用图1中的提供设备或类似设备来执行。用于提供的方法300包括读入步骤324、确定步骤326以及可选地还包括执行步骤330。
80.在读入步骤324中，从至相机的接口读入借助于该相机提供的图像数据。图像数据代表相机环境的相机图像。在此，在该环境中的至少一个预定义偶数和/或奇数点对称区域布置在相机的视野中。从相机的角度来看，至少一个预定义偶数和/或奇数点对称区域可以至少部分地被可移动对象遮挡。随后，在确定步骤326中使用图像数据和确定规则确定至少一个偶数和/或奇数点对称区域的至少一个对称中心在相机图像中的存在，以确定可移动对象对至少一个预定义偶数和/或奇数点对称区域的遮挡状态。根据所确定的遮挡状态来提供监视数据。
81.然后在可选的执行步骤330中，将来自相机图像的至少一个对称中心与来自参考数据的至少一个参考对称中心在强度、随时间的强度变化过程和/或局部强度变化过程方面进行比较，以确定对称中心与参考对称中心之间的与强度有关的偏差。在此情况下，根据该偏差提供监视数据。
82.根据一个实施例，在读入步骤324中读入的图像数据代表由多个预定义点对称区域构成的至少一个图案的相机图像。在此，在确定步骤326中，确定至少一个图案的对称中心的几何布置，确定对称中心的对称类型的几何序列，和/或使用所述序列从多个预定义图案中确定所述图案。该布置和/或该序列代表图案的标识码。可选地，在此确定步骤326和/或执行步骤330与对称中心的对称类型无关地针对所有对称中心共同执行，或者根据对称中心的对称类型针对同一对称类型的对称中心单独执行。
83.图4示出了用于检测可移动对象的方法400的实施例的流程图。用于检测的方法400可以使用图1的检测设备或类似设备来执行。此外，用于检测的方法400可结合图3的用于提供的方法或类似方法来执行。用于检测的方法400包括评估步骤444和输出步骤446。
84.在评估步骤444中，评估根据图3的用于提供的方法或类似方法提供的监视数据，以产生取决于监视数据的检测信号。随后，在输出步骤446中，将检测信号输出到至用于执行光栅功能的处理单元的接口，以执行可移动对象的检测。
85.图5示出了用于制造的方法500的实施例的流程图。可执行用于制造的方法500，以制造至少一个预定义点对称区域供图3的用于提供的方法或类似方法使用和/或供图4的用于检测的方法或类似方法使用。用于制造的方法500还可以结合或使用图2的用于制造的设备或类似设备来执行。用于制造的方法500包括生成步骤502和产生步骤506。
86.在生成步骤502中，生成代表至少一个预定义点对称区域的图形表示的设计数据。随后，在产生步骤506中，使用所述设计数据在显示介质上、显示介质处或显示介质中产生
至少一个预定义点对称区域，以制造至少一个预定义点对称区域。
87.图6示出了根据实施例的具有由预定义点对称区域110a和110b构成的图案610的显示介质600的示意图。在此情况下，每个预定义点对称区域110a和110b对应于或类似于图1中的预定义点对称区域。在第一部分图示a中，示出了仅由示例性地49个预定义点对称区域110a和110b构成的图案610，并且在第二部分图示b中，示出了仅由示例性地八个预定义点对称区域110a和110b构成的图案610。在这种情况下，第一预定义点对称区域110a具有奇数点对称作为对称类型，而第二预定义点对称区域110b具有偶数点对称作为对称类型。在这种情况下，将具有相应图案610的类噪声图像图案打印在每个显示介质600上。
88.可以基于图6来说明对称在机器视觉领域中根据实施例进行的使用，其中对称性可以被设计为人类难以觉察或几乎不可觉察，但同时对于实施例具有鲁棒性、局部精确性并且可以用最小的计算工作量检测到。在这种情况下，点对称或多或少隐藏在图案610中，观察者几乎无法识别这些点对称。通过在图6中以图形方式突出显示预定义点对称区域110a和110b，人类观察者可以在显示介质600上的类噪声图像图案中识别这些预定义点对称区域。在第一部分图示a中包含49个示例性圆形对称区域110a和110b，其中仅示例性地25个第一区域110a具有奇数点对称，24个第二区域110b具有偶数点对称。在第二部分图示b中，对称区域110a和110b被选择为比第一部分图示a中的更大，其中仅示例性地五个具有奇数点对称且仅示例性地三个具有偶数点对称，并且因此特别是适合于更大的相机距离或更低的图像分辨率。因此，圆形对称区域110a和110b位于设计为板的显示介质600上，其中在奇数或负点对称的情况下，点镜像将亮成像为暗，反之亦然，而在偶数或正点对称的情况下这种反转不会发生。如果需要多个图案610，则这些图案可以被设计为可区分的。这可以通过区域110a和110b的对称中心的布置来完成，如图6所示，其中第一部分图示a和第二部分图示b是可简单区分的，或者基于相应图案610内的区域110a和110b的负或奇数点对称和正或偶数点对称的序列。
89.图7示出了根据实施例的具有由预定义点对称区域构成的图案610的显示介质600的示意图。图案610在此情况下对应于或类似于来自图6的图案之一，其中图案610在图7的图示中示出而没有以图形突出显示。图7中仅以示例的方式示出了与图6中的显示介质类似的十个显示介质600。
90.图8示出了具有来自图7的图案610的显示介质600的示意图，其中图案或预定义点对称区域110a和110b以图形突出显示。仅作为示例，具有预定义点对称区域110a和110b的图案610在此情况下布置或以图形方式突出显示在十个显示介质600上。
91.因此，图7和图8仅示例性地示出了针对可区分性优化的十个图案610。每个图案610具有奇数点对称区域110a和偶数点对称区域110b的单独布置。因此通过该布置对图案610编码。这里编码被选择为并相互协调和/或通过训练来优化，使得即使十个图案610被旋转或镜像或部分隐藏地由相机捕获，这十个图案仍然是可明确识别和区分的。在图7和图8的图案610中，每个显示介质600的四个角中的点对称区域110a和110b分别被有意地设计得稍微更明显。这与功能本身无关，但在手动组装具有图案610的显示介质600时提供了实际优点。具有图案610的显示介质600可以在已经描述的制造方法的范围内任意布置，例如三维或平面地串行或作为表面。在已经描述的提供方法的范围内和/或借助于已经描述的提供设备可以正确且精确地找到图案610的点对称中心。图案610例如可以印刷在任何尺寸的
实心板上，所述实心板可以可选地以相对于彼此部分正交的布置放置。在相机对图案610的成像模糊的情况下，也可以足够良好地检测到对称中心，以由此实现所描述的功能。因此，点对称中心的检测对于模糊成像是鲁棒的。这将应用范围扩大到用浅景深进行工作的状况，例如光线较弱的场景，或者相机的焦点或自动焦点设置不正确或无法实现完美清晰成像的状况，例如在液体或浑浊或移动的介质中或在镜头的边缘区域中或在图案610和相机之间的相对移动期间(移动模糊、定向模糊)。即使点对称自然发生并且特别是在人为设计的环境中发生，基于它们的可能误检测在空间分布上也不同于基于正确图案610的检测，并且因此可以容易地将这两组彼此分离或区分开来。
92.为了表明上述提供方法也适用于移动中的非平坦和甚至弹性的表面，可以将图7和图8的图案610印刷在例如纸上，并且组合为柔性盒子。即使对于非平坦或弹性的表面(例如由纸构成)，上述提供方法也没有任何问题地适用。这使得能够确定这些表面的移动。与许多物质相反，纸虽然不允许剪切，但点对称对于剪切也是不变的，从而剪切不会造成问题。
93.特别地，可以精确地确定对称中心在相机图像中的方位。然而，将这种精确测量扩展到图案610的整个面也可能在各种应用中是令人感兴趣的。即为图案610的每个点或像素说明该点或像素位于相机图像中的哪里。这然后允许例如根据构造(ground truth，基准真值)确定真实观察到的图案610与理想图案之间的最小偏差。例如感兴趣的是，将图案610以印刷方式施加在非光滑或非刚性的表面上并且由此例如在图案610中产生可变的折叠或凹痕，其准确形状应当被确定。特别是具有随机特性的图案非常适合于寻找从第一图像到第二图像的对应点。在此，第一图像和第二图像可以用同一相机或用两个相机从不同的视角按时间顺序记录。
94.特别地，现在应当考察当第一图像是来自相机的真实图像并且第二图像是给定图案的人工产生(存储)的图像(也称为参考图像)，该人工产生的图像例如基于找到的对称中心而放置(例如缩放、旋转、仿射映射、投影)到第二图像中，使得它尽可能接近真实的(第一)图像。对于参考图像，必要时跳过或省略对于来自相机的第一图像所需的处理步骤，例如图像预处理步骤。然后可以应用以下已知方法，例如光流或视差估计的方法，以例如为相机图像中的每个像素找到参考图像中的对应－—或反过来。因此得出了一个两步骤过程：在第一步骤中，将找到的对称中心以及必要时所包含的编码用于将真实图像与已知图案配准或粗略对齐。这于是代表了初始化，以在第二步骤中例如使用光流方法再次精确地确定在所配准的真实图像和图案之间的局部位移的意义上的最小偏差，而且在需要时对于图像或图案610的每个点或像素都确定。搜索区域越小，第二步骤所需的计算工作量就越小。这里该计算工作量通常非常小——由于来自第一步骤的良好初始化。由于这两个步骤只需要很少的计算工作量，因此在常用的计算机平台上实现了高像素吞吐量，该像素吞吐量被定义为帧重复速率[图像/秒]和图像尺寸[像素/图像]的乘积。如果局部地未发现一致，则通常可以通过朝向图案610的视线被对象遮挡来解释。由此可以推断出被遮挡对象的形状或轮廓。
[0095]
应为上述两步骤过程提供参考图像。这可以通过以下方式来解决：针对讨论的所有图案610在一个存储器中保持相关联的参考图像。由此带来的存储器耗费可以通过仅存储在需要时重新计算或生成参考图像所需的相应参数来减少。例如，可以借助于准随机数
生成器根据简单规则来产生图案610。这里的“准”一词表示随机数生成器实际上根据确定性规则工作，因此其结果是可再现的，这在这里是有利的。这里例如应将规则理解为，对称区域110a和110b具有什么直径以及应当如何执行镜像以及图案610如何由具有不同细节程度的多个图案以加权方式组成，例如使得在短距离、中距离和远距离时都能很好地检测到该图案。于是仅存储准随机数生成器的初始化数据(种子)以及必要时存储用于构造图案610的规则的选择就足够了。借助于该形成规则，在需要时可以一再地且相同地产生参考图案(并且然后再次删除)。
[0096]
总之，两步骤过程可以例如如下表示。在第一步骤中，找到对称中心并确定它们的符号。这里，符号表示奇数对称和偶数对称的大小写区别。通过比较符号序列，可以确定涉及多个图案中的哪一个图案。图案610的符号序列也可以称为代码。该代码可以以紧凑的方式描述并且对于具有例如8
×
8对称中心的图案610需要最多64位。出于比较的目的，应当存储所有现有或考虑的代码。从这个集合中搜索与观察尽可能无矛盾地一致的代码。这个结果通常是明确的。即使相机例如由于遮挡而只能捕获图案610的一部分，这种搜索仍然是可能的，因为在这个具有8
×
8对称中心的示例中，代码提供了非常大量的多达2
64
种可能性，而已完成的图案610的数量将会少得多，从而给出了高度冗余。对于每个存储的代码，还应当存储产生参考图像所需的信息，如参数和规则选择。该参考图像是为第二步骤产生的，例如根据需要，即在需要时才产生，并且必要时只是暂时的。
[0097]
基于在第一步骤中找到的以相机图像坐标给出的对称中心位置以及参考图像中与其对应的已知位置，可以计算出将这些坐标尽可能好地相互映射的变换规则，例如使用投影或仿射映射，该映射在最小二乘法的意义上得到优化。通过这种变换和对图像数据的适当过滤，可以将两个图像变换(扭曲)到共同的坐标系中，例如到相机图像的坐标系中或到参考图像的坐标系中或到任何第三坐标系中。然后，对由此已经相互对齐的两个图像进行更准确的比较，例如使用光流方法。例如，为第一图像的每个像素(优选地在考虑其环境的情况下)搜索第二图像的具有环境的最佳对应像素。对应位置的相对位移可以被表达为位移信息，特别是表达为绝对坐标或位移矢量。这样的位移矢量可以用亚像素精度来确定，于是对应性通常不在像素网格上，而是在像素网格之间。该信息允许对相机图像中捕获的图案610的整个面进行高度准确的分析，以例如使用弹性图案分析图案610或其载体/显示介质600的变形或扭曲，或者在刚性图案的情况下分析光路中的成像偏差。
[0098]
如果在预期区域中找不到所搜索的对应性，则可以推断出图案610的局部遮挡。遮挡的原因可以例如是位于图案610上的对象，或者部分遮挡第一图案的第二图案。还可以从该遮挡分析中获得有价值的信息，例如对象的掩模或轮廓。
[0099]
图9示出了根据实施例的预定义点对称区域110a和110b的示意图。在此情况下，每个预定义点对称区域110a和110b对应于或类似于来自上述附图之一的预定义点对称区域。在第一部分图示a中示出了包括其对称中心112的第二点对称或偶数点对称区域110b，在第二部分图示b中示出了包括其对称中心112的第一点对称或奇数点对称区域110a。在此情况下，预定义点对称区域110a和110b代表由灰度级形成的区域。
[0100]
点对称的使用相对于其他对称形式具有以下优点：当图案和/或至少一个预定义点对称区域绕观察轴旋转时，点对称得以保留；当图案和/或至少一个预定义点对称区域倾斜时，即在倾斜视角下，点对称同样得以保留。图案/或至少一个预定义点对称区域的旋转
和倾斜不会对奇数点对称和偶数点对称的检测造成问题，因为奇数点对称和偶数点对称在此过程中得以保留。由此，上面已经提到的用于提供的方法或提供方法也适用于对图案或至少一个预定义点对称区域的倾斜视角。在偶数点对称的情况下，例如在点镜像时保留灰度值或颜色值。
[0101]
与图9的第一部分图示a中的对称中心112点对称地，对于每个灰度值g分别找到相同的伙伴灰度值g
pg
＝g。在图9的第二部分图示b中示出了奇数点对称，其中每个灰度值都被反转：例如，白色变成黑色，反之亦然，浅灰色变成深灰色，反之亦然。在灰度值g在区间0≤g≤1内的示例中，从在图9的图示中上部所示的区域110a的一半中，从原始灰度值g根据g
pu
＝1-g以最简单可能的方式形成经过点镜像的灰度值g
pu
。非线性也可以集成到该反转中，例如伽马校正，以例如补偿图像显示和图像记录中的其他非线性。合适的奇数或偶数点对称图案的形成对应地很简单。例如，图9的图示中上部所示的相应区域110a或110b的一半是任意设定的或随机生成的。然后由此得出图9的图示中下部所示的一半，而且通过点镜像，其中将奇数点对称的灰度值反转或者不将偶数点对称的灰度值反转。
[0102]
这种观察或产生还可以扩展到彩色图案和/或预定义点对称区域。在此情况下，在奇数点对称时，经过点镜像的rgb值可以通过将各个原始rgb值反转来形成，这又是最简单的可能性，即r
pu
＝1-r(红色)，g
pu
＝1-g(g这里代表绿色))，b
pu
＝1-b(蓝色)。从而例如深紫色被成像为浅绿色，蓝色被成像为橙色。彩色图案可以比单色图案代表更多信息，这可能是有利的。使用此优点的先决条件是也将颜色信息用于将原始图像(即相机或其他成像传感器的彩色图像)转换为描述符。
[0103]
下面还应当参考上述附图讨论图案610和/或至少一个预定义点对称区域110或110a和/或110b的具体实施。
[0104]
关于图案610和/或至少一个预定义点对称区域110或110a和/或110b的布置，例如如图6所示，点对称区域110或110a和/或110b可以是例如圆形的，并且这些区域又可以大多布置在图案610中的规则网格中。例如，圆形区域110或110a和/或110b之间的面可以保持未使用。对此存在替代方案：例如，区域110或110a和/或110b可以是正方形的并且无间隙地彼此连接，从而使用整个面，或者对称区域110或110a和/或110b可以是规则的六边形面，它们也无间隙地彼此连接，从而使用整个面。
[0105]
在此关联中，图10示出了根据实施例的由预定义点对称区域110a和110b构成的图案610的示意图。预定义点对称区域110a和110b在此情况下对应于或类似于图1、图6和/或图8中的预定义点对称区域。图10中的区域110a和110b均是圆形的并且布置在六边形网格上。在这种情况下，网格点或对称中心之间的距离可以对应于圆直径。从而图案610中的区域110a和110b之间的未使用面1010可以被最小化。
[0106]
其他布置和形状，例如矩形、多边形等也是可能的，它们也可以在形状和/或尺寸上彼此组合。例如，五边形和六边形的交替，就像普通足球一样。形状也可以按照其他方式布置，例如旋转，必要时之间具有不对称区域。对称中心也可以位于点对称区域本身之外。例如在将圆环作为形状时就是这种情况。也不必所有点对称区域都位于共同平面内。相反，它们可以位于空间中布置的不同面上，这些面也允许是不平坦的。
[0107]
图案610和/或至少一个预定义点对称区域110或110a和/或110b可以通过多种方式形成。下面仅说明几个示例。随机图案或准随机图案，例如噪声图案。通过引入低空间频
率分量，这些图案被形成为使得与相机的距离中等和较大时仍然将它们觉察为足够高对比度的噪声图案。所谓的白噪声，即不相关的灰度值，不适合于此。美观、必要时规则的图案，如花卉图案、卷须图案(叶子、树枝、花朵)、装饰图案、马赛克、数学图案、传统图案、洋葱图案、由标志性符号(心形等)构成的图案、自然界的随机图案的模仿(例如农田、林地、草坪、卵石滩、沙子、散装物料(砾石、盐、大米、种子)、大理石、毛石、混凝土、砖、板岩、沥青面、星空、水表面、毛毡、锤漆、生锈的铁皮、羊皮、散落的颗粒等)、具有任何内容的场景照片。为了从这种图案中产生适合本文提到的目的的点对称区域和/或图案，任意预给定相应面的一半，并且通过点镜像构建第二半，并且必要时将灰度值或颜色值反转。为此也参见图9作为简单示例。
[0108]
关于图案610和/或至少一个预定义点对称区域110或110a和/或110b的材料、表面和制造，存在无数可能性。以下列表并不完整：在各种材料上进行黑白印刷、灰度印刷或多色印刷，在玻璃或透明薄膜上或后面印刷，在磨砂玻璃或半透明薄膜上或后面印刷，在石头或玻璃或塑料或橡胶中的浮雕，在诸如陶器、赤土陶器或陶瓷的烧制材料中的浮雕，金属或混凝土或石膏中的浮雕铸造，在塑料或纸/纸板上压花，在玻璃表面或金属表面或陶瓷表面中蚀刻，在木材、纸板、金属、石头等中铣削，木材或纸中的烧制表面，纸或其他材料的照相曝光，用于在植物材料、灰、沙子、木材、纸中、在水果、食品皮等上的短期应用的短暂或腐烂或水溶性图案，作为全息图的显示，在监视器或显示器上的显示(必要时也可随时间变化)，在lcd薄膜或其他显示薄膜上的显示(必要时也可随时间变化)等。
[0109]
关于浮雕制造可能性，如在铣削、压花、冲压等的情况下，应当注意的是，该区域应当被相机觉察为奇数对称和/或偶数对称。因此可能有必要在设计时就已经考虑例如稍后的照明(例如光倾斜入射到浮雕上)以及光学成像中的非线性和其他干扰。3d形状或浮雕本身是否具有偶数和/或奇数点对称类型并不重要，而是由相机记录的图像显示该对称性。在此，光入射或照明方向以及光在表面上的反射也相关，并且应当在设计中一起考虑。关于图像记录和照明，应当注意的是，记录技术应当被设计为适合于捕获图案610和/或至少一个预定义点对称区域110或110a和/或110b。特别地，在图案610和/或(一个或多个)区域110或110a和/或110b与相机之间快速相对移动的情况下，建议使用合适的照明(例如手电筒或频闪灯或明亮的led灯)，使得曝光时间和由此图像中的移动模糊可以保持得很小。对于各种应用，将图案610和/或(一个或多个)区域110或110a和/或110b施加到透明或半透明表面上是有意义的。这允许图案610和/或(一个或多个)区域110或110a和/或110b从一侧被照亮并且从另一侧被观察。通过该解决方案，可以有效地避免光源在显示介质上的干扰性反射。对于图案610和/或(一个或多个)区域110或110a和/或110b、光源和相机的布置，原则上分别存在选择载体或显示介质的正面或背面的自由。当选择时，图案610和/或(一个或多个)区域110或110a和/或110b或相机受到污染或图案610和/或(一个或多个)区域110或110a和/或110b受到磨损的风险也可以发挥作用：从而例如将图案610和/或(一个或多个)区域110或110a和/或110b以及相机施加在背面是有意义的，因为它们在那里更好地受到保护以免受例如灰尘或水，或者因为图案610和/或(一个或多个)区域110或110a和/或110b在那里被保护免受机械磨损。
[0110]
在以后公开的de 10 2020 202 160中公开了一种也在实施例中使用的方法，以可靠地并且以很少的计算工作量找到图像中的对称区域或图案。在这种情况下，将原始图像，
即相机或其他成像传感器的彩色图像或灰度值图像，转换为描述符的图像，其中描述符分别基于原始图像的局部环境形成。在此，描述符是局部图像内容的其他代表形式，所述描述符以更简单处理的形式准备所述局部图像内容。在此，这里更简单尤其是理解为：包含关于点的环境的信息而不仅仅关于点本身的信息，相对于亮度或照明及其变化的很大程度的不变性以及相对于传感器噪声的较低灵敏度。描述符图像可以具有与原始图像相同的分辨率，使得对于原始图像的每个像素大约存在一个描述符。替代地或附加地，其他分辨率也是可以的。
[0111]
签名由相应描述符形成，该描述符在计算机单元中表示为二进制字，或者分别由多个相邻的描述符形成，所述签名尽可能特征性地描述原始图像的像素的局部环境。签名也可以与描述符或其一部分相同。签名用作访问查找表(lookup表)的地址。因此，如果签名由n位组成，则可以访问大小为2n(即：2的n次方)的查找表。有利的是，签名的字长n不应选择得太大，因为表的存储需求随n呈指数增长：例如8≤n≤32。签名或描述符被构造为使得使用简单的运算可以确定签名对称性，例如对一部分位的逐位xor(异或)。示例：s
p
＝s^r
p
，其中s是长度为n位的签名，r
p
是点对称(p)的与之协调的反射器(r)。符号^代表逐位异或运算。因此，签名s
p
代表签名s的点对称对应物。这种关系也适用于相反的方向。
[0112]
如果描述符或签名的构造是固定的，则反射器因此也自动被设定(并且恒定)。通过将其应用于任何签名，可以将该签名转换为其对称对应物。存在一种算法可以在可选的有限搜索窗口内为当前像素处的给定签名找到一个或多个对称签名像素。于是对称中心位于这两个像素的位置之间的连接线的中间。在那里或尽可能在附近输出投票权重，并收集在投票矩阵(voting map，投票地图)中。在投票矩阵中，输出的投票权重在搜索的对称中心的位置处累积。因此可以找到这些对称中心，其方式是例如遍历该投票矩阵以寻找累积点。这适用于点对称、水平轴对称、垂直轴对称以及在需要时的其他对称，例如在另外的轴上的镜像对称，以及旋转对称。如果在评估投票矩阵以确定累积点和精确定位对称中心时也分别将局部环境也包括在观察中，则可以实现具有亚像素精度的更精确定位。
[0113]
de 102020202160的图15示出了一种算法，该算法可以找到与当前观察的签名的点对称对应性。然而，在该文献中仅考虑了偶数点对称。
[0114]
根据实施例，将该算法扩展到奇数点对称。在此特别有利的是，奇数对称和偶数对称可以仅在一次共同的遍历中同时被确定。这节省了时间，因为只需要遍历一次签名图像而不是遍历两次，并且节省了延迟。当仅需要一次(而不是两次)遍历时，流模式下的处理可以以低得多的延迟提供对称搜索的结果。在此，一旦来自相机的第一像素数据到达，处理就开始，并且处理步骤密集地依次执行。这意味着一旦存在来自当前像素的局部环境的必要图像数据，就已经计算出签名。立即对刚刚形成的签名进行对称搜索。一旦投票矩阵的一些部分完成(当这些部分不再是并且也将不再是搜索区域的一部分时就是这种情况)，就可以立即对这些部分进行评估，并且可以立即输出找到的对称(强对称中心)。该过程导致非常低的延迟，所述延迟通常仅对应于少量图像行，这取决于搜索区域的高度。如果应当快速做出反应，例如在调节环内，其中执行器影响对称对象与相机之间的相对姿势，则低的延迟非常重要。也可以节省存储器。投票矩阵(voting map)可以共同用于两种对称形式，即偶数点对称和奇数点对称，其中具有不同符号的两种对称形式或对称类型参与投票，例如在奇数点对称时减去投票权重，在偶数点对称时加上投票权重。下面对此进行更详细的解释。此
外，还可以通过节省存储器来节省能量。上述低延迟的实现可能性还导致与整个图像相比仅需要存储少量中间数据。这种使用很少存储器的工作对于成本关键的嵌入式系统(embedded systems)尤其重要，并且还导致对能源需求的节省。
[0115]
图11示出了根据实施例的查找表1150的使用的示意图。查找表1150可由图1的用于提供的设备或类似设备的确定装置使用。换句话说，图11中搜索点对称对应性时的算法过程的实施例是与图1的用于提供的设备或类似设备和/或图3的用于提供的方法或类似方法相关的快照。特别地，图11中的图示也类似于以后公开的de 10 2020 202 160的图15，其中这里图11还包括扩展以包括偶数点对称和奇数点对称。
[0116]
查找表1150这里也可以称为条目表。示出了像素网格1100，在该像素网格中针对当前观察或处理的像素产生具有示例性值2412的签名s。换句话说，图11示出了在形成具有相同签名s的像素或像素坐标的链接期间的快照。为了更清楚起见，示出了最多n个可能链中的两个，而且是对于签名s
pg
＝364和对于签名s
pu
＝3731。在像素网格1100中，对每个像素存储对具有相同签名值的最后一个前签名的位置的引用。从而分别产生具有相同签名的位置的链接。因此，签名值本身不需要存储。对于每个签名值，将像素网格1100中的对应条目位置存储在具有n个表字段的查找表1150或条目表中。在此，n对应于可能的签名值的数量。所存储的值也可以是“无效的”。查找表1150或条目表的内容和引用的图像(链接图像)动态地改变。
[0117]
在像素网格1100中例如逐行地处理像素例如从图11的左上开始，如通过箭头所示，并且当前已经前进到具有签名s＝2412的像素。仅针对第一图像区域1101存储分别具有相同签名s的像素位置之间的链接。对于下部图像部分中的第二图像区域1102，在所示的时间点还不知道链接和签名，并且对于上部图像部分中的第三图像区域1103，不再需要链接，例如由于搜索区域的限制，其中可以再次释放用于第三图像区域1103中的像素的链接存储器。
[0118]
对于刚刚形成的签名s，通过应用反射器r
pg
形成偶数点镜像签名s
pg
＝364。索引pg代表点对称，偶数。下面还使用索引pu，其代表点对称，奇数。该值用作查找表1150中的地址，以在分配了相同签名值s
pg
＝364的像素位置的链接中找到该条目。在所示的时间点，查找表1150包括两个元素：相应签名s的条目像素位置以及由弯曲箭头示出的对该位置的引用。为了清楚起见，未示出查找表1150的其他可能存在的内容。签名值s
pg
＝364的链接包括这里仅示例性示出的三个像素位置。其中两个位于搜索区域1104中，搜索区域1104也可以具有与这里所示不同的形式，例如矩形或圆形。这里，当沿着该链接单向遍历时，从下部开始，找到位于搜索区域1104内的两个点对称对应候选。作为偶数点对称的链接的第一个元素的第三对应性在这里不令人感兴趣，因为它位于搜索区域1104之外并且因此离当前像素位置太远。如果对称中心候选1112的数量不太大，则可以为每个对称中心候选1112输出相应对称中心的位置的投票权重。对称中心候选1112分别位于签名s的位置与相应偶数点镜像的签名s
pg
之间的连接轴的中间。如果存在多于一个的对称中心候选1112，则可以分别减小投票权重，例如可以使用对称中心候选的数量的倒数作为相应的投票权重。由此，不明确的对称中心候选被加权得小于明确的对称中心候选。
[0119]
现在将考虑和使用奇数点镜像签名。在图11所示的快照中，对于刚刚形成的签名s通过应用另外的反射器r
pu
形成奇数点镜像签名s
pu
＝3731。与上述针对偶数点镜像签名的
流程类似，对于奇数点镜像签名也执行相同的步骤。通过相同的查找表1150找到对应链接的条目。这里，查找表1150指向针对签名3731的为奇数点对称示出的链接。沿着该链接的前两个像素位置再次导致对称中心候选1112的形成，因为它们布置在搜索区域1104中并且因为候选对称中心候选1112的数量不是太大。沿着该链接的最后一个像素位置位于第三图像区域1103中。该区域根本不再需要，因为它不再能够进入这里逐行滑动的搜索区域1104。
[0120]
如果链接内的下一个引用指向第三图像区域1103，则可以终止沿着该链接的穿行。当然，当到达该链接的末端时，也会终止穿行。在这两种情况下，限制对称中心候选1112的数量是有意义的，即，如果存在太多的竞争性对称中心候选1112，则丢弃所有对称中心候选1112。此外，如果在沿着链接的预给定最大步骤数量之后既不能到达其末端也不能到达第三图像区域1103，则提前终止沿着该链路的穿行是有意义的。在这种情况下也应当丢弃直到那里找到的所有对称中心候选1112。
[0121]
用于第三图像区域1103中链接的存储器已经可以再次被释放，从而只需为第一图像区域1101的大小预留链接存储器。因此，链接存储器需求总体上较低，并且这里基本上仅取决于搜索区域1104的一个维度(这里是搜索区域高度)以及签名图像的一个维度(这里是签名图像宽度)。
[0122]
对称中心候选1112或对称中心的候选可能并不总是准确地落在像素位置上，而是存在三种另外的可能性。因此总共存在四种可能性：
[0123]
1.点或对称中心候选1112落在像素位置上。
[0124]
2.点或对称中心候选1112落在两个水平直接相邻的像素位置之间的中间。
[0125]
3.点或对称中心候选1112落在两个垂直直接相邻的像素位置之间的中间。
[0126]
4.点或对称中心候选1112落在四个直接相邻的像素位置之间的中间。
[0127]
在不明确的情况2至4中，将待输出的投票权重均匀地分布到参与的像素位置是有利的。将输出的投票权重输入到投票矩阵中并在其中相加或累加。
[0128]
在此，不仅使用正投票权重，而且还同时使用负投票权重。特别地，偶数对称配备有与奇数对称(这里为负)不同的符号(这里为正)。这导致了明确的结果：在没有对称性的图像区域中，这些图像区域在实践中大多可以代表大多数，正投票权重输出和负投票权重输出大约相互平衡，由此在投票矩阵中大致相互抵消。因此平均而言，在投票矩阵中大约得出零。相反，在奇数对称区域或偶数对称区域中，在投票矩阵中得出强极值，而且在该实施例中在奇数点对称时得出负值最小值，在偶数点对称时得出正值最大值。
[0129]
根据这里示出的实施例，为奇数点对称和偶数点对称使用相同的资源，即查找表1150或条目表、链接图、投票矩阵，这特别是节省了存储器需求，并且两种对称形式或对称类型在一次共同的遍历中被观察，这节省了时间和中间存储器。
[0130]
图12示出了根据实施例的投票矩阵的示意图表1200。图表1200涉及投票矩阵，作为借助于图1的用于提供的设备或类似设备处理的相机图像的3d图，在该相机图像中由相机记录了来自图6的第二部分图示的图案。在投票矩阵或图表1 200中，可以明显识别出示例性的三个最大值1210b和五个最小值1 210a，它们代表来自图6的第二部分图示的图案的三个偶数点对称区域和五个奇数点对称区域。在这些极值之外，投票矩阵中的值接近于零。因此可以非常简单地确定极值，并且可以明确且精确地确定对称中心在相机图像中的位置。
[0131]
图12示出了这些极值非常明显并且因此可以通过图1的用于提供的设备或类似设备和/或图3的用于提供的方法或类似方法简单且毫无疑义地检测到。在此，关于对称类型(即奇数或偶数)的信息包含在符号中。如果在评估投票矩阵时也考虑相应极值的局部环境，则可以以亚像素精度高精度地确定对称中心的位置。用于此目的的对应方法是本领域技术人员已知的。如果图案的构造适当，则奇数点对称和偶数点对称不会相互竞争。于是图像区域(如果有的话)要么具有奇数点对称形式，要么具有偶数点对称形式。即使奇数点对称区域和偶数点对称区域在相机图像中彼此接近，也可以确保它们的对称中心仍然在空间上彼此分离或可区分。然后，通过共同处理负对称和正对称，在资源和速度方面产生优点。
[0132]
根据实施例，可以设置奇数点对称和偶数点对称的分开处理。在将条目输入投票矩阵之前分开是有意义的：然后设置两个无符号投票矩阵，来取代共同的有符号投票矩阵，其中将负对称的投票权重输入到第一个投票矩阵中，将正对称的投票权重输入到第二个投票矩阵中。在此情况下产生了潜在的有趣优点：也可以构建以下图案并且由检测算法考虑所述图案，所述图案同时具有奇数点对称和偶数点对称并且它们的对称中心局部重合。虽然这种混合对称形式非常不寻常，但这种不寻常保证极不可能与图像中随机出现的图案发生混淆。然后，搜索两个投票矩阵以找到存在于两个矩阵中相同位置处的最大值。分开处理奇数点对称和偶数点对称的另一个可能的优点是更容易并行化，由此必要时更快地执行。因为通过使用两个投票矩阵，可以避免在录入投票权重时的访问冲突，这节省了等待时间。
[0133]
图13示出了在网格1311的正确标识方面根据实施例的示例性地以立方体形式布置的图案610的示意图。图13中所示的图案610例如是来自图7或图8的图案，其中三个图案在这里布置成立方体形状。在图案610中，示出了图案610的相应预定义点对称区域的检测到或标识出的对称中心112a和112b，其中投票矩阵中的相关联极值的符号和值可选地也能够已知。在此情况下，将第一对称中心112a分配给具有奇数点对称的预定义点对称区域，并且将第二对称中心112b分配给具有偶数点对称的预定义点对称区域。为图案610之一绘制正确的网格1311，预定义点对称区域以及因此对称中心112a和112b在该网格上对齐。对另外两个图案610将搜索正确的网格，其中在图13中，网格搜索的不正确的解决方案由第一标记1313示出，并且网格搜索的正确的解决方案由第二标记1314示出。
[0134]
找到相关联的正确网格是具有模糊性的任务。在检测到奇数/偶数编码的对称中心112a和112b之后，下一步骤通常是将它们分组并确定该组分配给哪个图案610，因为事先并不总是知道哪些图案610以及多少个图案610包含在图像中。该任务的一部分可以是找到其上布置有对称中心112a和112b的网格1311。代替正方形网格1311，也考虑将其他拓扑用于对称中心112a和112b的布置，例如环形同心布置，参见例如图6中的第二部分图示。作为代表，下面观察正方形网格1311。
[0135]
仅根据图13中的对称中心112a和112b的位置来确定所有图案610的正确网格的位置的任务在某些情况下是不明确的问题。如果在图13中观察图案610，对该图案已经绘制了正确的网格1311，则(向观察者)指示正确的网格1311并不困难。然而，对于由相机从明显更加倾斜的视角捕获的其他两个图案610而言，很明显输出可能是不明确的。关于如何能够通过对称中心112a和112b放置网格存在多种可能的解决方案。在此，当局部观察时最初最明显的解决方案，即具有近似垂直轴的解决方案，不是正确的解决方案，如基于第一标记1313可以看出的。相反，第二标记1314正确地位于该网格上。这表明一种幼稚的过程，例如搜索
相应对称中心的最近邻居，在倾斜视角的情况下可能会导致错误的解决方案。在实践中排除具有非常倾斜视角的解决方案，因为这样不再能够找到对称中心112a和112b。
[0136]
图14以倾斜视角示出了图6的第一部分图示中所示的图案610的示意图。在第一部分图示a中，图14中示出了具有由预定义点对称区域110a和110b构成的图案610的显示介质600。图14中的第二部分图示b示出了借助于图1的用于提供的设备或类似设备和/或图3的用于提供的方法或类似方法标识或检测的图案610的对称中心112a和112b。对称中心112a和112b已经被检测到并且至少它们的位置是可用的。
[0137]
图15示出了来自图14的第一部分图示的图案610，其中突出显示预定义点对称区域110b。在此，预定义偶数点对称区域110b仅示例性地以图形方式突出显示，以说明由于倾斜视角导致的图案610或区域110a和110b的扭曲。这里示例性的圆形预定义点对称区域110a和110b通过倾斜透视被扭曲成椭圆。
[0138]
下面特别是参考图14和图15并且总体参考上述附图来讨论图案610的正确网格或拓扑的重建。
[0139]
在倾斜视角下，相应对称中心112a和112b的投票所源自的每个圆形区域110a和110b变成椭圆。通过回溯对相应对称中心112a、112b(例如图15中突出显示的具有偶数点对称的对称中心112b)做出贡献的投票，可以推断出相应椭圆的形状和定向。该椭圆主轴的方向和比率揭示了能够如何拉伸或拉直该椭圆以将其转换回圆。观察图案610的示例性突出显示的预定义偶数点对称区域110b，该区域有助于突出显示的点对称中心112b。根据设计或构造，该区域110b是圆形或近似圆形，例如六角形。在倾斜视角下，这个圆变成了椭圆。当进行投票以标识对称中心112b时，对称点对有助于在位于该椭圆内的投票矩阵中形成极值。
[0140]
根据一个实施例，追溯相机图像中导致形成足够强的极值的点对来自何处。为此目的执行进一步的处理步骤。首先假设投票已经进行并且已经找到足够强的对称中心。因此起始点是如图14的第二部分图示b中所示的状况。然后以修改后的形式再次遍历投票过程。但是，已经存在的投票矩阵在此不会被再次重新形成。取而代之的是，对于对投票矩阵有贡献的每个对称点对，检查该贡献是否对找到的对称中心112a、112b之一有贡献并且因此已经在第一次遍历中也做出了贡献。如果是这种情况，则存储或立即进一步计算该点对的两个位置。有利地，在此还存储或使用对称点对所贡献的对称中心112a、112b的索引。通过这种方式，对成功的对称中心的所有贡献都可以事后得到确定并(中间)存储或进一步使用。
[0141]
进一步处理步骤的开始不必等到第一个处理步骤结束，即投票矩阵的形成和对称中心的确定，而是可以提前开始并且可以使用第一处理步骤的已经完成的中间结果，即找到的对称中心112a、112b。然后在以这种方式形成的信息中，可以对找到的每个对称中心112a、112b读出对此有贡献的所有图像位置。这些位置基本上或除去若干异常值之外位于椭圆内，如图15中示例性地针对对称中心112b所示。
[0142]
本领域技术人员已知用于确定该椭圆的参数的方法。例如，可以在对对称中心112a、112b有贡献的所有点的集合上形成主轴变换，以确定主轴的定向和椭圆的两个直径。这甚至可以在不需要中间存储有贡献的图像位置的情况下实现：取而代之的是，可以在知道后立即进一步处理这些图像位置。替代地，也可以确定点集合周围的椭圆形包络线，利用
该椭圆形包络线尽可能紧密地包围点集合的尽可能大的部分(排除可能的异常值)。
[0143]
替代地，也可以创建相当于索引矩阵的索引图像，而不是存储列表意义上的点集合。索引图像用于相同的目的，即形成所有椭圆的参数，但它以其他形式存储信息。理想地，索引图像具有与签名图像相同的尺寸，并且被设置为存储索引，而且是分配给所找到的对称中心112a、112b的索引。设置特殊的索引值，例如0，以用于指示还不存在条目。如果在遍历进一步处理步骤时找到对第i个索引有贡献的对称点对或签名对，则在相应签名的两个相关联位置处分别录入索引i。因此，在遍历结束时获得以下索引图像，在该索引图像中分配给对称中心112a、112b的所有索引分别多次出现，其中这些索引形成椭圆形区域：于是除了若干异常值之外，每个椭圆形区域仅包含具有统一索引的条目，以及未使用位置处的索引0。然后可以轻松评估索引图像以确定各个椭圆的参数。此外，没有必要完整地存储该索引图像。一旦在索引图像的部分区段中数据不再发生变化，就已经可以对该部分进行评估，然后可以再次释放存储器。这也导致了更低的时间延迟，从而可以更早地提供中间结果。
[0144]
然后可以利用已知的椭圆参数来校正检测到的对称中心的二维布置(参见图14)，使得这些对称中心随后位于图案610的网格上，该网格在这里仅示例性地至少近似为正方形。
[0145]
图16示出了根据实施例的在视角校正之后的图15的图案610的示意图。换句话说，为了说明的目的，图16示出了在将图15的图案610正交于或垂直于所找到的椭圆或突出显示的椭圆形扭曲区域110b的方向拉伸了两个主轴长度的比率之后的图案610。因此可以通过简单的方式找到正确的网格1311。因此与图15相比，以恢复区域110b的原始圆形形状的方式校正椭圆。然后，确定对称中心112a和112b所位于的网格1311或者无错误地确定对称中心112a和112b之间的相邻关系都是很简单的事。图16这里仅用于说明目的。在实践中，没有必要扭曲图像。由于关于对称中心112a和112b的位置的信息已经以压缩形式存在，因此仅使用这些数据进一步处理以及变换其坐标是有意义的，其中变换规则是由所确定的椭圆参数形成的，而且使得椭圆变成圆。
[0146]
在以长焦焦距记录相机图像的情况下，对每个部分区段而言一次全局变换就足以确定网格1311。在使用广角镜头(例如鱼眼镜头)记录相机图像的情况下，至少可以在部分区域中使用局部变换来工作。因此，上述变换规则可以全局和/或局部应用。在全局变型中，所有投影中心都使用相同的共同变换规则加以变换。这在许多情况下都是有意义且足够的。所述共同变换规则可以根据所有椭圆的共同观察来形成。如果对称中心112a和112b在空间上位于多个面上，则可以根据椭圆的参数将椭圆分成组。在此，属于一个面的椭圆具有非常相似的参数
‑‑
特别是在该面平坦的情况下。然后可以对每个组确定全局变换规则并进行应用。此过程适用于长焦焦距。当通过相机成像将多个圆形区域成像为不同形状或不同定向的椭圆时，局部变换是有意义的。对于广角相机或高扭曲镜头而言尤其如此。
[0147]
在应用了变换之后，属于同一个面的对称中心位置至少近似地位于共同的网格1311上。下一个任务是将对称中心112a和112b分配给网格位置。这可以例如小步骤迭代地进行。例如，对于对称中心112a、112b，搜索多达四个具有大致相同距离的最近邻居，为此还参见图13中的标记。从这些邻居开始继续穿行到更远的邻居，直到属于图案610的所有捕获到的对称中心112a和112b都分配给共同的网格1311或者可以从共同的网格1311中排除为止。因此，如果在此搜索期间遇到在距离方面与刚刚观察的网格1311不匹配的对称中心，则
不记录这些对称中心，因为它们可能是异常值或属于其他面的对称中心。可以针对其他面重复该迭代搜索，使得最终除了异常值之外每个对称中心112a、112b都被分配给面。然后针对这些面，可以优选地基于与对称中心112a和112b相关联的二进制编码来标识图案610，所述二进制编码分别包含在极值的符号中。
[0148]
图17示出了具有分层对称的图案1710的实施例的示意图。图案1710对应于或类似于上述附图中的图案。更确切地说，仅作为示例，图案1710具有由四个预定义点对称区域110a和110b构成的两级分层结构。根据这里示出的实施例，仅作为示例，图案1710具有两个预定义奇数点对称区域110a和两个预定义偶数点对称区域110b。在此情况下，图案1710整体上具有奇数点对称结构。本身偶数点对称区域110b和本身奇数点对称区域110a位于第一分层级别上。奇数点对称图案610b的整体布置位于第二分层级别上。用四分之一圆表示第二分层级别的对称中心112。
[0149]
图18示出了具有分层对称的图案1810的实施例的示意图。图18中的图案1810类似于来自图17的图案。更确切地说，图18示出了由预定义点对称区域110b构成的两级分层结构的另一示例。在第一分层级别中，预定义点对称区域110b分别被假定为本身点对称的。在第二分层级别中，在图案1810的层面上存在奇数点对称，其中对称中心112位于出于说明而示出的六部分六边形的中心。该奇数对称在这里表现为预定义点对称区域110b的反转，例如将亮背景上的暗符号镜像为暗背景上的亮符号。
[0150]
图19示出了具有分层对称的图案610的实施例的示意图。在这种情况下，图案610由来自图17和图18的图案1710和1810或其反转和/或点镜像形式构建。仅作为示例，图案610具有由图17的两个图案1710和图18的两个图案1810构成的三级分层结构。图案1710和1810是奇数的，因此在出于说明而示出的六部分六边形的中心处的图案610的对称中心112处以点镜像方式反转。例如，图19右下角所示的图案1710是左上角图案1710的反转形式。这种分层原则可以随意延续，即还可以构造第四级别、第五级别，以此类推。
[0151]
下面参考图17、图18和图19进一步讨论具有分级对称的图案。对称图案610、1710、1810可以被构建为多级，使得例如在第一分层级别中存在较小的本身对称区域，对它们的共同观察导致在下一个更高分级级别上的对称。图17和图18均示例性地示出了如何构造两级分层图案1710或1810。基于此，在图19中构建了三级分层图案610。因此，在图19的示例中包含三个分层级别。第三分层级别在图案610的整个面上延伸(由虚线框起的区域)并且包括对称中心112。在第二分层级别中，存在四个图案1710和1810(每个图案由实线框起)，每个图案都具有一个位于中间的对称中心(此处未明确表示)。根据这里所示的实施例，因此在第一分层级别中存在16个预定义点对称区域，每个区域具有对称中心。在此，从更远的距离就可以看到第三分层级别的对称。在接近期间，还可以看见第二分层级别的四个对称。在较短的距离处，或者如果图案610的捕获分辨率足够，则第一分层级别的对称也变得可见。因此，可以在大的距离范围上实现例如视觉控制(visual servoing，视觉伺服)，例如机器人例如在图案610的方向上或在任何其他方向上的视觉控制。如果已经可以捕获更精细或更低的分层级别，则通常没有必要捕获更粗略或更高的分层级别。也没有必要能够同时捕获相应分层级别的所有对称，例如在非常短的距离时根本不再可能在相机图像中捕获整个图案610。显然，偶数对称和奇数对称可以部分自由地选择和组合。在该设定中还可以包含附加信息，特别是分别将一位用于奇数对称和偶数对称之间的选择，其中能够通过这种方
式将这样的附加信息传送到捕获系统。“部分自由”在此意味着相应分层级别上的对称形式的剩余部分不可避免地从下个更高分层级别得出。换句话说，例如在图18中，对于顶行，图案“x”和“o”可以自由选择。然后不可避免地得出第二行，而且这里通过反转，因为在下一个分层级别上选择了负点对称。
[0152]
图20示出了根据实施例的图案610的示意图。在第一部分图示a中，图20示出了图案610，作为示例，该图案610是来自图8的图案之一。图20的第一部分图示a是隐式附加信息的示例，这里仅作为示例是8
·
8＝64位，其基于图案610的预定义点对称区域110a和110b的对称类型或与此相关联的点对称的符号得出。在第二部分图示b中，图20示出了图案610，其仅示例性地由四个预定义点对称区域110a和110b构建，这里例如由一个预定义奇数点对称区域110a和三个预定义偶数点对称区域110b在一个方形网格上构建。此外，在此情况下在图案610中布置有用于显式附加信息的代码矩阵2010。仅作为示例，来自第一部分图示a的隐式附加信息明确地包含在代码矩阵2010中。具有奇数点对称的预定义区域110a这里表示或标记8
×
8矩阵的起始行，从而明确地设定读出顺序。
[0153]
下面参考图20更详细地讨论隐式或显式附加信息的传送。
[0154]
可能是有用的或必要的是，基于图案610将附加信息传送到接收方，例如传送到计算机、自主机器人等。附加信息可以或多或少是广泛的。附加信息的一些说明性示例包括停车点、充电、位于52
°
07
′
01.9
″
n9
°
53
′
57.4
″
e的面向西南的位置、左转、限速20km/h、割草机充电站等。对于借助于成像传感器或相机进行传送存在各种选择。特别地，可以在隐式包含的附加信息和显式包含的附加信息之间进行区分，为此参见图20中的两个示例，其中一次隐式地和一次显式地提供64位附加信息。隐式附加信息意味着它以某种方式包含在本身对称的图案610自身中，而显式附加信息通常与这些图案610分开设计和捕获。
[0155]
基于图20的第一部分图示a来图解传送隐式附加信息的一种可能性：作为二进制码的隐式附加信息。由于在构造图案610时为每个对称区域110a和110b做出奇数点对称和偶数点对称之间的选择，因此可以分别传送附加二进制信息(对应于1位)。如果附加地还允许同时具有奇数和偶数点对称的图案，则从二进制附加信息变成三元附加信息，即三种情况而不是两种。
[0156]
传送附加信息的另一可能性通过使用区域110a和110b的对称中心之间的非均匀距离来得出，即基于该布置的隐式附加信息。然后与图20所示的布置不同——在图20中对称中心位于正方形网格上，这些对称中心将被不规则地布置，其中将附加信息或其一部分编码在该布置中。示例：如果允许相应的对称中心向左/向右和向上/向下移位固定距离，则得出9个可能的位置，由此每个对称中心可以编码log2(9)＝3.17位的附加信息。成像传感器和图案610之间的倾斜视角在所提到的任何可能性中都不构成问题。例如，一部分对称中心(例如角落中最外面的四个对称中心)可以用于定义坐标系或规则的基础网格。用于编码的偏差或二进制/三进制代码则与该基础网格有关。
[0157]
用于隐式附加信息的对称区域110a和110b不应太小，使得在投票矩阵中形成足够突出的极值。如果要将更大量的附加信息(特别是静态的、基于位置的附加信息)传送给接收方(例如移动机器人)，则有利的是对这些附加信息进行显式编码。
[0158]
在图20的第二部分图示b中示出了如何能够将特别是静态的、基于位置的附加信息明确地传送给接收方(例如，移动机器人)：例如可以同意，在由对称中心定义的坐标系中
的特定坐标处存在另外的信息，这些信息例如以二进制(黑/白)或另外的渐变(灰度级)或彩色编码。该过程于是由两个步骤组成：在第一步骤中，基于奇数和偶数对称找到字段，例如代码矩阵2010，将另外的信息编码在该字段中。在第二步骤中，读出该字段以及因此读出其中包含的信息。成像传感器和图案610之间的倾斜视角在此不会造成问题，因为为了读出显示附加信息，既不需要所找到的坐标系的基本矢量彼此垂直，也不需要这些基本矢量长度相同。可选地，还可以校正图像，使得随后存在笛卡尔坐标系。可选地，还可以在具有图案610的字段中安装显示器，该显示器除了随时间静态的信息之外还可以传送随时间变化的信息和/或通过时间变化传送信息。
[0159]
通过隐式错误识别，高分辨率附加信息也可以包含在图案610本身中。因此，存在经由图案610本身传送(特别是静态的、基于位置的)附加信息的另外的可能性：这意味着附加信息包含在黑白或彩色或灰度级图案610本身的序列中。通过上述分类，该附加信息将同时是隐式的和显式的。由于图案610或者其至少一些部分具有对称性，因此自动地冗余地包含附加信息，通常分别双重包含。这既适用于奇数点对称也适用于偶数点对称。该事实可以用于错误校正或错误检测。例如，如果图案610被例如鸟粪污染，则可以高度可靠地检测出由此在附加信息中出现的错误，因为相同的错误很可能不会出现在相关联的对称位置处。
[0160]
图21示出了根据实施例的使用预定义点对称区域110的检测状况的示意图。换句话说，图21示出了用于检测可移动对象100的系统2100。预定义点对称区域110对应于或类似于来自上述附图之一的预定义点对称区域之一。还示出了预定义点对称区域110的对称中心112。此外示出了仅仅示例性地车辆形式的对象100以及由相机102和设备120、140组成的单元。对象100可以沿着移动方向移动穿过相机102与预定义点对称区域110之间的监视区域。
[0161]
系统2100包括设备120、140和相机102以及这里示例性地仅一个预定义偶数和/或奇数点对称区域110。设备120、140对应于或类似于来自图1的设备120、140。
[0162]
换言之，图21示出了具有相机102和位于一个例如圆锥形受监视区域或多个监视区域的相对侧上的点对称区域110的简单布置。如果对象100遮挡了朝着点对称区域110的相机视线的主要部分，则在执行图3的用于提供的方法和图4的用于检测的方法时和/或借助于图1的提供设备和检测设备检测到。这种布置例如允许对在相机102和区域110之间穿通移动的对象100进行计数。
[0163]
图22示出了根据实施例的使用由预定义点对称区域110构成的图案610的检测状况的示意图。图22中的图示对应于或类似于图21中的图示，除了在这里为系统2100设置由多个预定义点对称区域110构成的图案610而不是一个预定义点对称区域。图案610对应于或类似于来自上述附图之一的图案。在图案610中，预定义点对称区域110示例性地沿着一条线排列。
[0164]
换句话说，在图22中多个点对称区域110属于仅由一个相机102观察的图案610。这里，点对称中心112敷设在大致平行于以下方向的路段上，对象100典型地沿着该方向移动。这里，对象100已经遮挡一个点对称区域110，并且随着行程的继续将先后遮挡另外的区域110。区域110的这种布置允许例如确定对象100的速度和长度。
[0165]
图23示出了根据实施例的使用由预定义点对称区域构成的图案610的检测状况的示意图。图案610对应于或类似于来自上述附图之一的图案。在图23的第一部分图示a和第
二部分图示b中，分别示出了由多个预定义的具有为了说明而突出显示的第一对称中心112a的奇数点对称区域和为了说明而突出显示的第二对称中心112b的偶数点对称区域构成的图案610，其中从相机的角度来看，图案610被对象100部分遮挡，对象100仅示例性地被实施为车辆。此外，在对象100正在其上移动的车道上可以识别出图案610的一些对称中心112a、112b的镜像。换句话说，图23说明了对象100的存在检测，其中图案610具有点对称区域的二维布置。
[0166]
图24示出了根据实施例的使用由预定义点对称区域构成的图案610的检测状况的示意图。图案610对应于或类似于来自上述附图之一的图案。更确切地说，图24在此情况下示出了用于三路交叉口的系统2100的示例性布置的鸟瞰图，具有相机102、图案610、在建筑物内部或外部用于车辆、行人或其他交通参与者形式的对象的道路2400和仅作为示例的两个镜子2403。具有适当对准的镜子的该布置允许同时监视所有通常使用的道路2400。在每个道路2400上，对象在正常情况下两次遮挡光线束，该光线束经由两个镜子2403在相机102和图案610之间偏转。由于该光线束在相机102的方向上变得越来越窄，因此镜子2403沿着视线越靠近相机102，就允许镜子2403越小。特别地，图24示出了建筑物内或建筑物外的过道的t形交叉口，其中特别是人们可以在道路2400上行走。在该图示中虚线所示的边界区域代表墙壁、窗户、门等。
[0167]
图25示出了根据实施例的使用由预定义点对称区域构成的图案610的检测状况的示意图。图案610对应于或类似于来自上述附图之一的图案。更确切地说，图25以鸟瞰图示出了具有相机102、图案610和镜子2403的系统2100的示例性布置。这里，相机102和图案610位于受监视区域的同一侧。相机102隐藏在图案610后面并且通过图案610中的孔进行观察。在相对侧上是镜子2403，其被敷设为使得相机102可以捕获整个图案610的镜像。为此，如果镜子2403在两个维度中仅为图案610一半那么大就足够了。
[0168]
特别是参考图21至图25，下面总结了以及换句话说，简要解释了在具有隐藏对称性的不可觉察的、被动光栅替代的背景下的实施例。
[0169]
参考图3和/或图4描述的方法可以在光栅的意义上使用。根据实施例实现的光栅替换特别是包括包含一个或多个点对称的至少一个区域110或图案610以及成像传感器，例如相机102。如果没有使用镜子2403，则图案610或区域110和相机102布置在彼此相对的侧上。有关这种布置的示例，请参见图21。相机102要么具有对图案610或区域110的清晰视线，要么视线被其间的对象100遮挡。根据实施例，至少可以区分这两种情况。可以完成类似的任务，如经典的光栅，即例如确定对象100是否存在或对诸如人员、车辆、传送带上的物体等对象进行计数。与传统光栅相比，实施例提供了下面一些示例性提到的优点，这些优点在特定应用场景中可以是决定性的。
[0170]
该系统是无源的。它不需要特殊的光源。它可以利用现有的环境光，例如日光或室内照明。参考图3和/或图4描述的方法比图像处理的类似方法工作得更可靠，并且还可以用很少的计算工作量来执行。照明强度、照明颜色、亮度分布、颜色分布、视线条件、阴影、图像清晰度或布置的波动不会干扰该方法，因为点对称的属性与所使用的描述符相结合在很大程度上保持不受影响。该方法也可以放弃图案610的参考图像，以将相机图像与参考进行比较。然而，可选地，可以使用参考图像，该参考图像例如在需要时可以临时产生。
[0171]
另一个优点是区域110或图案610的不可觉察性。图案610或区域可以被设计为使
得人们实际上觉察不到其用途。特别地，点对称——尤其是奇数点对称——取决于图案，对于人类来说很难找到，即使人们寻找点对称。与此相反，在传统的反射光栅中，后向反射器始终可见。不可觉察性的优点可以意味着实施例可以更好地防止肆意操纵，犯罪分子难以规避，不需要用干扰性的技术装置来损害设计美观的环境(例如酒店、博物馆、住宅楼、办公室、候车室、景观园林等)。不过，具有点对称的图案610也可以刻意设计美观，因为对称性绝对被认为是美观的。大多数人仍然不认识光栅的用途。
[0172]
使用唯一的这种系统可以由于相机传感器的面积较大而监视整个路段或整个表面。代替仅在图案610中容纳唯一的点对称区域110，为此多个区域110并排放置，特别是用于监视路段，参见图22，或者并排地且上下叠置地放置，特别是用于监视表面，参见图23。如果监视路段，则由此也确定相应对象100(例如车辆)的速度和长度。该速度由相邻对称中心112或112a、112b之间的距离以及它们的遮挡或露出之间的时间间隔得出。对象100的长度例如由被遮挡的对称中心112或112a、112b的数量得出，或者替代地由对称中心112或112a、112b的遮挡和露出之间的速度和时间得出。后一种方案甚至可以用于确定暂时完全遮挡图案610的对象100的长度。如果监视表面，则还可以至少粗略地确定对象100的轮廓或其阴影图像。另请参见图23。
[0173]
另外，这样的系统提供以已知方式由使用相机102或成像传感器而得出的所有其他优点。特别地，可以更深入地分析对象100，例如颜色、形状、对象类别、车辆类型、车辆型号、人的生物特征。除了相机102之外，不需要另外的传感器。作为对象100的示例的车辆在两个行驶方向上经过图案610并暂时遮挡一部分点对称区域110。除了图案610本身之外，这里可选地还使用该图案在光滑的反射表面上的镜像，因为点对称区域110的镜像本身又是点对称的。为此也参见图23。对称中心112或112a、112b的捕获仅需要少量计算操作，因此非常节能地工作。非常适合于持续使用。如果已经检测到对象100，则可以根据需要激活另外的算法以进行更准确的分析，这些另外的算法然后允许暂时消耗更多的能量，例如基于深度学习的方法。
[0174]
如果现有的环境光较弱，则可以通过适当地适配相机102的参数来予以补偿，如下所述。通过打开光圈或减小光圈值几乎不产生缺点，特别是当相机光学器件聚焦在图案610上时。为此还参见图23，其中仍然可以检测到位于景深之外的对象100的存在。即使图案610位于景深之外，也几乎不会发生劣化。因此在环境光较弱的情况下打开光圈是优先选项。只要观察到的过程足够慢，在图像记录过程中延长曝光时间就不会产生缺点。具体地，建议曝光时间应当比对象100遮挡点对称区域110超过一半的持续时间更短。因此，延长曝光时间是另一个优先选项，只要观察到的过程运行得不是太快。然而，应当注意，增加相机102的增益或放大倍数并不能产生明显的改进。为了有意义地设置相机102的值范围，对增益进行适配可能是必要的，但是与前述两个选项相比，它不会导致信噪比意义上的显著改进。
[0175]
通过使用一个或多个镜子2403，受监视的路段可以延长和/或绕过拐角，而不需要另外的相机。为此参见图24。当图案610被镜像时，图案的点对称特性得以保留——其奇数和偶数点对称特性也得以保留。相应的镜子2403应当至少大到使得其能够尽可能完整地将图案610成像到相机102中。这意味着所有镜子2403都允许小于图案610，并且镜子2403沿着测量路段距离相机102越近，镜子2403就可以越小。图24说明了这一点。还可以使用或包括无论如何都存在的镜子2403，例如走廊里的照人镜。如果使用至少一个镜子2403，则还可以
将相机102和图案610放置在待监视区域的同一侧，例如将相机102隐藏在图案610后面，使得相机102通过图案中的孔观察镜子2403，在孔中相机102又看到整个图案610。图25示出了对应的实施例。还可以同时使用相机102对图案610的直接视线以及还同时使用经由一个或多个镜子2403的视线。图23示出了一个示例，其中地面上的镜像有意义地补充了直接视线。
[0176]
如果实施例包括第一特征和第二特征之间的“和/或”链接，则这应当理解为：该实施例根据一个实施方式既具有第一特征又具有第二特征，并且根据另一实施方式要么仅具有第一特征，要么仅具有第二特征。

技术特征：
1.一种用于提供监视数据(135)以检测可移动对象(100)的方法(300)，其中该方法(300)具有以下步骤：从至相机(102)的接口(122)读入(324)借助于所述相机(102)提供的图像数据(105)，其中所述图像数据(105)代表所述相机(102)的环境的相机图像，其中在所述环境中的至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)布置在所述相机(102)的视场中，其中从所述相机(102)的角度来看，所述至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)能够至少部分地被所述可移动对象(100)遮挡；以及使用所述图像数据(105)和确定规则(128)来确定(326)所述至少一个偶数和/或奇数点对称区域(110；110a，110b)的至少一个对称中心(112；112a，112b)在所述相机图像中的存在，以确定所述可移动对象(100)对所述至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)的遮挡状态，其中根据所述遮挡状态提供所述监视数据(135)。2.根据权利要求1所述的方法(300)，其中在确定步骤(326)中使用的确定规则(128)被构造为使得针对所述相机图像的至少一个区段的多个像素产生签名(s)，以获得多个签名(s)，其中使用具有多个不同过滤器的描述符来产生每个所述签名(s)，其中每个过滤器具有至少一个对称类型，其中每个所述签名(s)针对所述描述符的每个过滤器都具有符号，针对所述签名(s)确定用于所述过滤器的至少一个对称类型的至少一个镜像签名(s
pg
，s
pu
)，检查具有所述签名(s)的像素是否在该像素周围环境中的搜索区域(1104)中存在至少一个另外的像素，该至少一个另外的像素具有对应于所述至少一个镜像签名(s
pg
，s
pu
)的签名(s)，以在存在至少一个另外的像素时确定来自该像素和另外的像素的至少一个对称签名对的像素坐标，以及评估所述至少一个对称签名对的像素坐标，以标识所述至少一个对称中心(112；112a、112b)，和/或其中将至少一个反射器(r
pg
、r
pu
)应用于所述签名(s)之一的符号，以确定所述至少一个镜像签名(s
pg
，s
pu
)，其中每个反射器(r
pg
、r
pu
)具有特定于对称类型且依赖于所述描述符的过滤器的规则以用于修改所述符号，其中所述搜索区域(1104)依赖于所应用的反射器(r
pg
、r
pu
)中的至少一个反射器。3.根据权利要求2所述的方法(300)，其中在确定步骤(326)中，对于每个已经确定的对称中心(112；112a，112b)使用已对正确标识该对称中心(112；112a，112b)有贡献的每个对称签名对的像素坐标，确定用于变换该对称中心(112；112a，112b)和/或所述至少一个偶数和/或奇数点对称区域(110；110a，110b)的像素坐标的变换规则，其中将所述变换规则应用于该对称中心(112；112a，112b)和/或所述至少一个偶数和/或奇数点对称区域(110；110a，110b)的像素坐标，以校正所述相机图像的扭曲视角。4.根据前述权利要求中任一项所述的方法(300)，具有步骤(330)：将来自所述相机图像的至少一个对称中心(112；112a，112b)与来自参考数据(115)的至少一个参考对称中心在强度、随时间的强度变化过程和/或局部强度变化过程方面进行比较，以确定所述对称中心(112；112a，112b)与所述参考对称中心之间与强度有关的偏差(131)，其中根据所述偏差(131)提供所述监视数据(135)。
5.根据前述权利要求中任一项所述的方法(300)，其中在确定步骤(326)中确定所述至少一个对称中心(112；112a，112b)的对称类型，其中所述对称类型代表偶数点对称和/或奇数点对称，和/或在进行比较的步骤(330)中，将所述至少一个对称中心(112；112a，112b)在所述相机图像中的对称类型与来自参考数据(115)的至少一个参考对称中心的预定义对称类型进行比较，以检查所述至少一个对称中心(112；112a，112b)和所述至少一个参考对称中心之间的一致性。6.根据权利要求5所述的方法(300)，其中在读入步骤(324)中读入的图像数据(105)代表由多个预定义偶数和/或奇数点对称区域(110；110a、110b)构成的至少一个图案(610；1710、1810)的相机图像，其中在确定步骤(326)中确定所述至少一个图案(610；1710、1810)的对称中心(112；112a，112b)的几何布置，确定所述对称中心(112；112a、112b)的对称类型的几何序列，和/或使用所述序列从多个预定义图案中确定所述图案(610；1710、1810)，其中所述布置和/或所述序列代表所述图案(610；1710、1810)的标识码。7.根据权利要求6所述的方法(300)，其中在确定步骤(326)中，使用所述至少一个图案(610；1710、1810)的对称中心(112；112a、112b)的布置和/或所述对称中心(112；112a、112b)的对称类型的序列来确定所述至少一个图案(610；1710、1810)的隐式附加信息或用于读出所述相机图像中的显式附加信息的读出规则，其中所述布置和/或所述序列以编码形式代表所述附加信息，其中所述附加信息与检测所述可移动对象(100)有关。8.根据权利要求6至7中任一项所述的方法(300)，其中独立于所述对称中心(112；112a，112b)的对称类型对所有对称中心(112；112a，112b)共同执行确定步骤(326)和/或进行比较的步骤(330)，或者根据所述对称中心(112；112a，112b)的对称类型对同一种对称类型的对称中心(112；112a，112b)单独地执行确定步骤(326)和/或进行比较的步骤(330)。9.一种用于检测可移动对象(100)的方法(400)，其中该方法(400)具有以下步骤：评估(444)根据前述权利要求中任一项所述的方法(300)提供的监视数据(135)，以产生取决于所述监视数据(135)的检测信号(145)；以及向至用于执行光栅功能的处理单元的接口(148)输出所述检测信号(145)，以执行所述可移动对象(100)的检测。10.一种用于制造供根据前述权利要求中任一项所述的方法(300；400)使用的至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)的方法(500)，其中该方法(500)具有以下步骤：生成(502)设计数据(204)，所述设计数据代表所述至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)的图形表示；以及使用所述设计数据(204)在显示介质(600)上、显示介质(600)处或显示介质(600)中产生(506)所述至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)，以制造所述至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)。11.根据权利要求10所述的方法(500)，其中在生成步骤(502)中生成设计数据(204)，所述设计数据作为圆形、椭圆形、正方形、矩形、五边形、六边形、多边形或圆环代表所述至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)的图形表示，其中所述至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)具有规则的或准随机的内容图案，和/或其中任意预给定所述至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)的第
一半面，并且通过点镜像和/或灰度值和/或颜色值的反转来构造第二半面，和/或其中在产生步骤(506)中通过增材制造工艺、分离、涂层、成形、初次成形或光学显示来产生所述至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)，和/或其中所述显示介质(600)具有玻璃、石头、陶瓷、塑料、橡胶、金属、混凝土、石膏、纸、纸板、食物或光学显示装置。12.根据权利要求10至11中任一项所述的方法(500)，其中在生成步骤(502)中生成设计数据(204)，所述设计数据代表由多个预定义偶数和/或奇数点对称区域(100；110a，110b)构成的至少一个图案(610；1710、1810)的图形表示，其中点对称区域(100；110a，110b)的至少一个子集在规则或不规则网格(1311)上对齐、彼此直接邻接和/或与至少一个相邻的偶数和/或奇数点对称区域(110；110a，110b)通过间隙部分分离，在它们的尺寸和/或它们的内容图案方面彼此相同或彼此不同和/或布置在共同平面中或不同平面中，其中在生成步骤(502)中生成代表具有分层对称的至少一个图案(610；1710、1810)的图形表示的设计数据(204)。13.一种设备(120；140；200)，其被设置为在对应的单元(124、126、130；144、146；202、206)中执行和/或操控根据前述权利要求中任一项所述的方法(300；400；500)的步骤。14.一种用于检测可移动对象(100)的系统(2100)，其中该系统(2100)具有以下特征：根据权利要求13所述的设备(120；140)；至少一个相机(102)，其中所述相机(102)和所述设备(120；140)能够或已经以能传输数据的方式彼此连接；以及通过根据权利要求10至12中任一项所述的方法(500)制造的至少一个预定义偶数和/或奇数点对称区域(110；110a，110b)，其中所述区域(110；110a，110b)能够或者已经布置在所述相机(102)的视场中。15.一种计算机程序，其被设置为执行和/或操控根据权利要求1至12中任一项所述的方法(300；400；500)的步骤。

技术总结
本发明涉及一种用于提供监视数据(135)以检测可移动对象(100)的方法。该方法包括从相机(102)读入借助于所述相机(102)提供的图像数据(105)的步骤。所述图像数据(105)代表所述相机(102)的环境的相机图像，其中至少一个预定义偶数和/或奇数点对称区域(110)布置在所述相机(102)的视场中，其中从所述相机(102)的角度来看，所述至少一个预定义偶数和/或奇数点对称区域(110)能够至少部分地被所述可移动对象(100)遮挡。该方法还包括步骤：使用所述图像数据(105)和确定规则(128)来确定所述至少一个偶数和/或奇数点对称区域(110)的至少一个对称中心(112)的存在，以确定所述可移动对象(100)对所述至少一个预定义偶数和/或奇数点对称区域(110)的遮挡状态。根据所述遮挡状态提供所述监视数据(135)。态提供所述监视数据(135)。态提供所述监视数据(135)。


技术研发人员：S
受保护的技术使用者：罗伯特
技术研发日：2021.10.25
技术公布日：2023/9/20