用于识别借助点云在图像中表示的对象的方法和系统与流程

1.本发明涉及一种用于识别一个或多个对象的方法和系统，所述一个或多个对象使用点云在图像或相应的图像数据中被表示。


背景技术：

2.在许多不同的技术应用中，出现了分析图像数据的任务，也就是说，分析表示图像或图像序列(例如视频)的数据，以确定图像中是否成像对象，以及如果是，哪些对象被成像在图像中。基于这种图像或图像数据来识别这种对象的运动或变化也是通常感兴趣的。
3.除了摄影或记录“运动图像”的已知方法(例如视频记录)之外，用于生成图像或图像数据的方法还包括对具有一个或多个相关联的真实对象(例如，人或事物)的真实场景进行扫描(尤其是离散扫描)的方法，其中所获得的图像数据表示二维或三维点云。这种扫描尤其可以使用图像传感器来执行，该图像传感器也在深度维度上扫描场景。这种图像传感器的例子尤其包括立体摄像头、飞行时间传感器(tof传感器)和光电距离传感器(激光测距仪(lrf)传感器)。替代地，这种点云也可以由雷达、激光雷达或超声波传感器生成。替代地，这种点云也可以人工生成，然而，不需要为此目的由传感器捕获真实场景。特别地，这种点云可以人工生成，特别是以计算机辅助的方式，作为模拟(特别是真实场景的模拟)的一部分或者结果。
4.在一些应用中，可能需要分割这样的点云(在图像处理的意义上)，以便能够将不同的图像区域或点云的区域彼此区分或分离为片段(即，图像片段)，例如将图像前景与图像背景分离。
5.用于由点云给出的图像的这种前景/背景分割的简单、已知的方法在于借助于阈值方法来评估关于点云的点的深度信息，其中，根据其深度信息，比特定深度阈值更近的所有点被分配给图像前景，而所有其他点被分配给图像背景。
6.如果由点云表示的场景包含例如两个不同的对象，则也可以以这种方式实现图像或点云中的两个对象的分离。
7.然而，如果对象靠得很近，特别是以这样一种方式，即它们在所考虑的每个空间维度上重叠，并且因此表示对象的各个单独的点云融入彼此之中而没有清晰可辨的分离，并且融合成共同的点云，则这种方法达到其限制。


技术实现要素：

8.本发明基于进一步改进对由图像或相应图像数据中的点云表示的一个或多个对象的识别的目的。特别是，希望在该过程中实现不同对象的改进的可分离性。
9.这个目的的解决方案是根据独立权利要求的教导实现的。本发明的各种实施例和发展是从属权利要求的主题。
10.本发明的第一方面涉及一种方法，特别是计算机实施的方法，用于基于多个的n个点的m维点云来识别图像中表示的一个或多个对象，其中m》1，该方法包括：(i)对于m个特定
一维变量中的每一个，其中m》0，基于其位置或特征确定每个点的变量的相应分配值；(ii)对于每个变量，确定关于每种情况下为不同点确定的该变量的值的相应频率分布；(iii)通过分配给基础变量的有限数量的一维概率密度函数的相应线性组合来近似每个频率分布；(iv)分割图像，使得在m＝1的情况下每个概率密度函数和在m》1的情况下m个概率密度函数的每个乘积被唯一地分配给图像的相应片段，其中在每个情况下，每个变量的分配的概率密度函数中的一个、特别是恰好一个在乘积中被表示；(v)将点云的每个点分别分配给这样的片段，该片段在m＝1的情况下其被分配的概率密度函数或在m》1的情况下其被分配的乘积在由分配给该点的m个变量的值所确定的位置处的概率密度函数或乘积中具有相对最大的函数值或乘积值；以及(vi)将每个都被分配了至少预定最小数量的点的那些片段中的至少一个片段指认为相应的被识别对象的表示。
11.本发明含义内的“点云”应理解为是指任意给定维度m》1的向量空间中的点的集合(除非对于实施例在下文中限制到特定维度)，其尤其可以具有有组织的或者无组织的空间结构。点云由包含在其中的点来描述，每个点可以特别地通过使用空间坐标指定的它们的位置而被记录。此外，属性，例如几何法线、颜色值、温度值、记录时间或测量精度或其他信息，可以与点一起被记录。
12.本发明含义内的“一维变量”应理解为是指任何选定的变量，其可以被完全一维地确定，也就是说作为数字(有或没有单位)，并且其表征点云中的点的性质。特别地，该性质可以是一条位置信息，例如空间坐标，或者点的属性，或者它可以从其导出。在一条位置信息的情况下，变量可以特别地对应于将位置分配给方向线(例如坐标轴)上的特定位置，然而不限于此。然而，在另一个例子中，它也可以对应于点云的相应点距特定参考点的距离，使得例如同心地位于距该参考点相同距离处的点具有相同的变量值。
13.设x是连续的随机变量(在本例中是表示一维特征变量之一的连续变量)。本发明含义内的“一维概率密度函数”于是应理解为是指一维随机变量x的数学函数f(x)，对其适用下面内容：
[0014][0015]
f(x)≥0(2)
[0016][0017]
在这里表示x的值在值区间]a；b]中出现的概率或实际频率，其由a和b指定。具体对于比例因子c的值c＝1，f(x)的这个定义与数学中对于一维连续随机变量的概率密度函数的通常定义一致。因此，在本发明的含义内，“一维概率密度函数”的概念通过比较而被概括，因为在这种情况下c也可以采用除1之外的值。
[0018]
在本发明的含义内，图像(或点云)的“片段”应该被理解为图像(或点云)的内容连接的区域，其通过根据特定的均匀性标准组合相邻的图像点(或点云中的点)来定义。在这种情况下，均匀性标准可以特别涉及点的位置或坐标或属性，而不限于此。因此，特别是在某些情况下，在空间上可以理解区域的连接，而在其他情况下，在均匀性标准的含义内，它可以特别涉及具有相同或相似属性的点。
[0019]
本文使用的术语“包括”、“包含”、“含有”、“有”、“拥有”、“具有”或其任何其他变型
旨在涵盖非排他性的包含。举例来说，包括或具有一系列元素的方法或装置因此不必限于这些元素，而是可以包括没有明确列出的或在这种方法或这种装置中固有的其他元素。
[0020]
此外，除非另有明确说明，“或”指的是包含性的或，而不是排他性的“或”。例如，条件a或b由下列条件之一满足：a为真(或存在)且b为假(或不存在)，a为假(或不存在)且b为真(或存在)，a和b都为真(或存在)。
[0021]
本文使用的术语“一”被定义为“一个或多个”。术语“另一”和“另一个”及其任何其他变型应当理解为“至少一个其他”的含义。
[0022]
这里使用的术语“多个”应当理解为“两个或更多”的含义。
[0023]
术语“被配置”或“被设计”以实现特定功能(及其各自的变型)被理解为对于本发明的目的来说意味着相应的装置已经以一配置或设置存在，在该配置或设置中它可以执行该功能或者它至少是可调整的，即可配置的，使得它可以在适当的调整之后执行该功能。这里，该配置可以例如通过过程序列或开关等的参数的适当设置，来激活或去激活功能或设置而被应用。特别地，该装置可以包括多个预定的配置或操作模式，使得该配置可以通过选择这些配置或操作模式之一而被执行。
[0024]
因此，根据第一方面的前述方法特别基于使用一个或多个选择的、分别一维的变量来描述点云，所述一维变量各自基于点云中的每个点的位置或属性来表征点云中的每个点，并且基于上述内容，通过一维概率密度函数来各自近似(在近似或调整计算的意义上)相应变量的值的频率分布。基于这种近似，特别是与所考虑的相应点相关联的相应变量的值的各种概率密度函数的相应函数值，该点然后可以明确地被分配给图像或点云的片段。在许多情况下，即使不同对象的点云部分或者对象和图像背景的点云部分彼此接近，这也是可能的。这尤其可以用于将由点云表示的多个对象的图像表示彼此分离。特别地，这可以增加分离的精度或降低误差率。在m》1的情况下，可以实现特别高的精度或特别低的误差率，因为在这种情况下，彼此独立的不同变量相互作用，以便提供甚至更精确的分离标准，用于将点分配给相应的图像片段，从而可能分配给相关联的对象。因此，在许多情况下，也可以很好地将对象的那些图像表示彼此分离，如果仅使用一个变量，则这些图像表示不能被分离或者只能以相对于点分配的较高误差率被分离。
[0025]
下面将描述该方法的优选实施例，除非明确排除或技术上不可能，否则每个实施例可以根据需要彼此组合，并与本发明的进一步描述的其他方面组合。
[0026]
在一些实施例中，对于m＝1的情况，点云中的点被分配给相应的片段(分割标准)，使得基于该点的一维变量的值与至少一个阈值的比较结果，将待分配的每个点分配给图像的片段。在这种情况下，所述阈值中的至少一个被定义为变量值的函数，在该变量值处存在这些概率密度函数中的至少两个的交点之一，使得阈值对应于该交点的变量值。
[0027]
该过程也可以特别地通过使用其中定义点云的m维空间中的阈值来说明，以定义m＝2的情况下的分离线、m＝3的情况下的分离平面和m》3的情况下的分离超平面，其将待分配给不同片段的点彼此分离。如果存在两个以上的片段，并因此存在两个或更多个不同的阈值，则相应地存在多个这样的分离线或(超)平面。
[0028]
因此，可以以简单的方式定义前述分割标准，并且在没有大量计算费用的情况下有效地应用该分割标准，以便将各个点分别分配给片段。将阈值定义为概率密度函数的交叉点的函数在这里是特别有利的，甚至对于尽可能可靠(很少或没有误差)的分配的目标也
是如此。这是因为，如果用于线性组合的概率密度函数以这样的方式通过近似来确定，使得它们每个都容易地近似特定对象的变量的相应频率分布，则根据前述关系(1)，它们在特定值区间(与特定点相关联的变量的值位于该特定值区间中)上的积分可以与该点属于由相应概率密度函数近似的对象的相应概率相关联。因此，如果作为与阈值比较的结果，一个点由于其对于变量的值而被分配给特定的片段，那么这意味着所述点属于与该片段相关联的对象的概率比属于其相关联的片段通过阈值与所分配的片段分离的其他对象的概率更高。
[0029]
在一些实施例中，对于点云的每个点，m个变量中的至少一个指定该点在选定的固定空间方向上的、投影在该空间方向上的位置。以这种方式，特别地，基于点的空间位置(在空间方向上)，不同对象或对象和背景的分离成为可能。举例来说，这可以用于基于由点位置给出的深度信息获得具有深度维度z的二维或三维点云(m∈{2；3})中的图像或点云的分割，特别是也在前景/背景分割的含义内。特别地，空间方向可以对应于用于定义m维空间中的点的位置的坐标系的坐标轴的方向。
[0030]
在一些实施例中，选择固定的空间方向，以便与从应用于点云的主分量分析中出现的第一主分量正交地延伸。这尤其有利于关于一个空间方向从背景或其他对象中应分离出的对象的识别，该空间方向不与第一主分量的方向重合，优选地甚至与其垂直或至少基本垂直。由于来自主分量分析的第一主分量表示非球对称对象的主要分量，因此可以特别容易分离那些主分量至少主要与所考虑的固定空间方向成一定角度延伸的对象。例如，如果所选择的固定空间方向对应于深度图像的深度方向(例如，“z”方向)，则可以特别好地识别或分离与图像中的深度方向成一定角度成像并且其对应于手臂纵向方向的主分量因此也与所选择的固定空间方向成一定角度(例如，在与z方向正交的x或y方向上)的手臂。
[0031]
具体地，在一些其中m∈{2；3}的实施例中，可以选择固定空间方向，使得它在m＝2的情况下对应于由主分量分析产生的第二主分量，并且在m＝3的情况下对应于由主分量分析产生的第三主分量。因此，主分量中最不占优势的主分量被选择为固定空间方向，结果是，其更占优势的第一或第二主分量与固定空间方向成一定角度、特别是正交的对象因此可以被特别好地识别或分离。
[0032]
在一些实施例中，该方法还包括：对图像进行过滤，使得过滤后的图像仅仍然包含点云中的点，所述点被分配给分别被指认为相应识别对象的表示的片段之一。以这种方式，尤其可以实施过滤功能，该过滤功能具有仅识别或指认感兴趣的一个或多个对象的效果，而在适用的情况下，其他对象或图像背景至少在很大程度上被忽略(可能除了被错误地分配给剩余的感兴趣的一个或多个对象的那些点)。
[0033]
具体地，在这些实施例的一些中，可以实现对图像的过滤，使得过滤后的图像仍然仅包含点云中的点，所述点被分配给被指认为所分配的识别对象的表示的片段中的恰好一个特定的所选择片段。因此，可以实现这样的结果，其中最多或者特别是仅恰好一个单个对象被指认。
[0034]
在一些实施例中，其中对于m＝1，点云的每个点的变量指定该点在所选固定空间方向上的、投影在该空间方向上的位置，从被指认为相应识别对象的表示的片段集合中选择的片段分别是这样的片段，其被分配的点根据它们投影在所选固定空间方向上的位置，当在作为观察方向的该空间方向上被观察时，并且当平均地考虑时，比分配给任何其他所指认的片段的点更近。如果只有一个最前面的对象(或最前面的对象)应该被识别为前景，
这可以有利地特别用于前景/背景分割的目的。
[0035]
在一些实施例中，m》1适用，并且m个变量中的至少一个指示点云中每个点的温度值或颜色值。m个变量中的另一个可以特别与相应点的位置相关。因此，特别是如果待指认的一个或多个对象通常具有偏离其环境温度的表面温度(尤其是对于活体，尤其是人或动物，通常就是这种情况)，则可以实现特别可靠的、也就是说选择性的分割。
[0036]
在一些实施例中，生成输出数据(并且优选地输出，特别是经由接口输出)，并且这些数据表示以一种或多种以下方式实施的将点分配给片段或者指认至少一个识别的对象的结果：(i)对于对象中的至少一个，输出数据基于点云的一个或多个点，特别是所有点，表示该对象的图像表示，所述点云被分配给属于该对象的片段；(ii)输出数据表示一条信息，该信息指示通过点的分段分配在图像中识别了多少不同的对象；(iii)输出数据表示一条信息，该信息指示点被分别分配到的相应片段或对象；(iv)输出数据表示一条信息，该信息对于点的至少一个子集，指定了在由分配给点的m个变量的值所确定的位置处的一个或多个概率密度函数的相应函数值。在选项(i)的情况下，图像表示尤其可以由分配给该片段的点集合中的特定点来确定，或者作为取决于这些点的特定点，尤其是计算出的点，例如作为集合中点的分布的中心点。相反，图像表示也可以特别地被定义为由该集合的点跨越的空间区域或主体。
[0037]
在一些实施例中，对于m个变量中的至少一个(特别是对于所有m个变量)，相关联的(各自的)概率密度函数各自具有一曲线，其中函数值作为变量值的函数增加到最大值，然后再次下降，该最大值是概率密度函数的曲线中出现的唯一最大值。这种函数曲线尤其可以是钟形的(对称的或不对称的)，这种函数曲线特别适用于该方法，并且特别适用于由扫描对象产生的点云的频率分布的近似，特别是如果所述一个或多个对象各自具有凸形形状。
[0038]
特别地，在这些实施例中的一些中，m个变量中的至少一个的相应概率密度函数中的至少一个(特别是每个概率密度函数)可以是高斯函数。一个或多个高斯函数尤其可以通过参数(例如，使得c＝1适用于上述公式(3))而被归一化或可被归一化。除了上述对于近似由扫描凸形对象产生的点云的频率分布的良好适用性之外，高斯函数的选择也是有利的，因为多个已知的、有效的和鲁棒的近似方法可用于此目的。
[0039]
在一些实施例中，频率分布中的至少一个经受各自的平滑处理，并且关于该至少一个频率分布的近似是关于借助于平滑处理而被平滑的对应频率分布实施的。以这种方式，可以进一步提高近似的质量，并因此进一步提高由点云表示的对象的基于近似的识别或分离的质量和可靠性。
[0040]
在一些实施例中，基于被指认为相应对象的表示的一个或多个片段的相应点来执行手势识别过程，以便识别借助于点云在图像中成像的人的姿势。这尤其可以在汽车应用的情形中实施，尤其是在为了控制车辆功能的目的而对车辆乘客所做的姿势进行姿势识别的情形中。
[0041]
本发明的第二方面涉及一种具有至少一个处理器的数据处理系统，所述处理器被配置成执行根据本发明第一方面的方法。
[0042]
特别地，该系统可以是用于另一个或更高级系统的计算机或控制器，例如用于车辆或用于生产机器或生产线。
[0043]
本发明的第三方面涉及一种具有指令的计算机程序，当在根据第二方面的系统上执行所述指令时，使得该系统执行根据第一方面的方法。
[0044]
特别地，计算机程序可以存储在非易失性数据载体中。这优选地是光学数据载体或闪存模块形式的数据载体。如果这样的计算机程序将独立于一个或多个程序将在其上运行的处理器平台被处理，这可能是有利的。在另一个实施方式中，计算机程序可以作为文件存在于数据处理单元上，特别是在服务器上，并且可以经由数据链路下载，数据链路例如互联网或专用数据链路，例如专有或本地网络。此外，计算机程序可以具有多个独立的交互程序模块。
[0045]
根据第二方面的系统可以相应地具有存储计算机程序的程序存储器。替代地，该系统还可以被配置为经由通信链路访问外部可用的计算机程序，例如在一个或多个服务器或其他数据处理单元上，特别是为了与其交换在该方法或计算机程序运行时使用的数据，或者构成计算机程序的输出。
[0046]
关于本发明第一方面解释的特征和优点相应地也适用于本发明的其他方面。
附图说明
[0047]
本发明的其他优点、特征和应用可能性可以在下面结合附图的详细描述中找到。
[0048]
在附图中：
[0049]
图1示意性地示出了不同的示例性场景，每个场景具有两个待彼此分离的对象的对象布置，并且示出了在每种情况下、为此目的由传感器通过扫描场景捕获的相应点云的截面图像；
[0050]
图2示出了用于说明根据本发明的方法的示例性实施例的、针对m＝1的情况的图；
[0051]
图3示出了用于说明近似对一维变量的选择的依赖性的图示；和
[0052]
图4示出了用于说明在根据本发明的方法的示例性实施例中、针对m＝2的情况、在每种情况下将点分配给特定片段的图，其中对于每个点，除了深度坐标之外，在该点的位置处还使用作为相应点的属性记录的对象的局部温度值作为分配的基础。
[0053]
在附图中，相同的附图标记始终用于本发明的相同或相应的元件。
具体实施方式
[0054]
为了说明由本发明解决的示例性问题，图1描绘了各种示例性场景105a、110a、115a和120a的概览100，以及通过点云p分别对应的截面图105b、110b、115b和120b，点云p是通过借助深度图像传感器，特别是tof摄像头(飞行时间传感器)扫描相应场景而生成的。所捕捉的深度图像所涉及的并且深度图像传感器在其中测量从传感器到相应对象的距离的深度方向在此作为示例被选择为“z”方向。因此，tof摄像头可以被认为安装在场景上方，使得观察方向在z方向上竖直向下指向。点云中的一个点pi由其(x，y，z)坐标给出，其中(x，y)是与传感器的视线成直角的(水平)平面，z是深度值，也就是说从该点到传感器的距离。
[0055]
每个场景示出了由人的人手形成的第一对象o1，以及任何其他另外的对象o2，其可以是例如人的身体的另一部分或者属于车辆内部的主体。
[0056]
在场景105a的情况下，两个对象o1和o2在垂直于z方向的方向上(例如x方向)彼此侧向相邻定位，在该方向上它们之间存在间隙。由于这个间隙，对应于两个对象o1和o2的点
云部分，如截面图105b中所示，可以容易地被彼此分离，并且可以各自被分配给单独的图像片段。这里，如果间隙大于点云p内的平均点间距，则这种分配基本上是无误差的。
[0057]
在场景110a的情况下，两个对象o1和o2在z方向上彼此偏移，在它们之间存在z方向上的间隙。由于这个间隙，对应于两个对象o1和o2的点云部分，如在截面图110b中所示，由于它们各自明显不同的深度值(z坐标)，在这里也可以容易地被彼此分离，并且可以分别被分配给它们自己的图像片段，因此分配给对象o1或o2。无论如何，如果间隙大于点云p内的平均点距离，则这种分配也基本上是无误差的。
[0058]
相比之下，在场景115a的情况下，两个对象o1和o2在z方向上彼此仅偏移分离开非常小的间隙，并且它们在垂直于z方向的方向上重叠。在这种情况下，视图115b中的对应点云p不再允许点云p基于所识别的间隙、以类似简单且无误差的方式被分成在每种情况下对应于两个对象o1和o2的点云部分或片段，如场景105a和110a中那样，因为点云p内的平均点间距在大小上类似于间隙。
[0059]
在场景120a的情况下，对象分离的起点甚至更加困难，在场景120a中，两个对象o1和o2在z方向和垂直于z方向的方向上都彼此重叠或接触，结果不再存在可由点云p成像的间隙，因此使用简单手段的对象分离或分割变得不可靠或完全失败，如针对场景105a和105b所解释的。
[0060]
在图2中示出的根据本发明的方法的示例性实施例200中，包含场景205的多个对象(这里作为示例是两个对象o1和o2)被图像传感器扫描，特别是借助于深度图像传感器，例如tof摄像头，以便生成点云p形式的场景的图像表示，如视图210中所示。由深度图像传感器输出的图像数据，特别是对于点云p的每个点pi，可以表示该点在深度方向(这里选择为z方向)上的相应坐标，并且可选地表示其他坐标或对象的附加测量属性。在这种情形下，方法200的以下解释集中在z坐标上，该z坐标最初应当作为在方法200的范围内使用的唯一一维变量被纳入考虑，因此这里最初考虑m＝1的情况。下面将参照图4说明m＞1的情况。
[0061]
从点云p开始，相对于点云中出现的点的z坐标确定频率分布h(k)，其中k＝k(z)表示z的离散值，这将在下文中详细解释。在视图220中，所得到的频率分布h(k)使用表示后者的直方图来示出。
[0062]
例如，对于常见的m＝3的情况，对于任何深度值(一维变量)，这可以通过如下示例的以一般化的方式数学表达：设p＝{p1，...，pn}是三维点云，并且是特定方向上的给定单位矢量，本文称为“深度方向”。举例来说，假设这是本示例中的z方向。此外，设是点pi的有向深度(深度值)，其中《pi，d》表示两个向量pi和d的点积。深度值集合{d1，...，dn}(相当于本示例中点{pi，...，pn}的z坐标的集合)用作对象分离或分割的进一步步骤的基础。
[0063]
现在可以如下确定相对于深度值{d1，...，dn}的频率分布，特别是直方图：这种(深度)直方图具有γ＞0的特定粒度。例如，可以选择等于γ＝1cm。为了在一方面分割或对象指认的结果质量和另一方面方法的效率(特别是在计算费用方面)之间获得良好的折衷，选择应该基于相应应用的要求。现在，对于每个深度值di，设其中象征向下舍入。对于设nj现在是那些i∈{1，...，n}的数量，对此j＝ki适用。于是，映射
为频率分布定义了这样的直方图。
[0064]
这可以被生动地描述如下：可能的深度值的值范围被细分成一系列长度γ的部段，并且点云p的每个点pi(至少每个点待分配给一片段)根据其深度值di被分配给部段之一。然后，对于每个值直方图指示深度值近似(即，在本示例中向下舍入)对应于j
·
γ的点的数量。有限大的粒度需要前述的离散化，因为对于同一部段内的k，di的所有值被赋予相同的ki值。
[0065]
现在再次参考图2的特定示例，在方法200的进一步过程中，优选地在对所述频率分布应用平滑(视图225)之后，通过概率密度函数的有限线性组合来近似频率分布h(k)，在当前情况下，概率密度函数各自被选择为归一化高斯函数。这导致使用高斯函数形成的对应的近似函数f(h(z))＝f1(z)+f2(z)，在当前情况下使用两个不同的高斯函数f1(k)和f2(k)形成，如视图230所示。因此，f(h(z))是来自视图225的(经过平滑的)频率分布的近似值。
[0066]
通常，在这种情况下，归一化的高斯函数应该被理解为可由以下公式表示的函数其中分布的平均值μ、标准偏差σ和归一化因子c每个都是函数f的参数(符号“f”和“f”在本文中同义使用；相应地，这同样适用于用于其他符号的各种标记)，并且关于方法200，在这种情况下，z被选为独立变量：
[0067][0068]
因此，近似问题在于找到n个不同的高斯函数fi和相应参数集合{μi，σi，ci}，其中对于其每个函数i＝1，
…
，n，使得每个k的值(即相应的离散z值)的(经过平滑的)频率分布h(k)由这些高斯函数的和来近似：
[0069][0070]
选择高斯函数用于近似在各个方面都是有利的。特别地，已经示出，当使用深度图像传感器扫描凸凸形主体，特别是人体的许多身体部分，例如手臂和腿或头部时，这些函数在出现时可以提供频率分布的非常好的近似。如果扫描期间的每个点状距离测量被认为是独立的随机变量，那么高斯函数对于前述近似的良好适用性也可以在数学上证明，特别是基于中心极限值定理。
[0071]
此外，使用高斯曲线的函数近似的各种有效方法是可用的。这包括例如在a.goshtasby、w.d.o
′
neill的“curve fitting by a sum of gaussians(高斯和曲线拟合)”(cvgip：graphical models and image processing(图形模型和图像处理)，vol.56.mp 4，july,1994，pp.281-288)中描述的近似方法。可用的近似方法的其他示例特别可以在因特网上找到：https：//www.researchgate.net/publication/252062037_a_simple_algorithm_for_fitting_a_gaussian_function_dsp_tips_and_tricks/link/544732410cf22b3c14e0c0c8/download或https：//stats.stackexchange.com/questions/92748/multi-peak-gaussian-fit-in-r。
[0072]
如果高斯函数fq(z)是通过近似确定的，那么这些高斯函数中的每一个都可以用于定义图像的一片段或者由其表示的点云p。然后，对于每个点pi∈p，该点pi属于相应特定
片段的概率可以被解释为使得该概率与fq(di)成比例。在本示例中，每个点pi∈p的关联函数值f1(di)指示该点pi属于图像的第一片段的概率，并且相应地，每个点pi∈p的对应函数值f2(di)指示该点pi属于不同于图像的第一片段的第二片段的概率。
[0073]
因此，如图所示，可以特别地通过将每个点pi分别唯一地分配给片段q来实现两个片段的分离，该片段q的对于该点的函数值fq(di)在对该点的各种函数值中是最高的。该分配规则在视图235中示出，其中虚线分离线正好延伸穿过两个函数f1和f2的交点，并且该分隔线之上的所有点被分配给由f1表示的第一片段(q＝1)，该分隔线之下的所有点被分配给由f2表示的第二片段(q＝2)。如果点pi实际上位于分割线上(在di表示的精度内)，在这种情况下，有可能向片段中所选择的一个提供预定的分配，以避免模糊。然而，在di的表示精度足够高的情况下，这种情况通常不会发生或者很少发生。
[0074]
基于这种片段分配，如视图240所示，现在可以通过将相应片段的所有点分别分配给这些对象o1和o2中的正好一个来实施对一个对象或者在这种情况下两个对象o1和o2的指认。因此，相应的片段被确定为各自关联的对象的表示。
[0075]
然而，替换地，也可以在对象分配之前基于分割来过滤点云，结果是(除了所有点被分配给同一对象的限制情况之外)在过滤之后仅保留片段的真实子集，并且用作对象分配的基础。在本示例中，例如，对应于较大深度值z的q＝2的片段可以以这种方式被过滤出来。因此，对于q＝1，第一片段可以被确定为图像前景(z方向上最近的片段)中的指认对象o1(在该示例中为单个指认对象)的表示，而对于q＝2的第二片段不被解释为指认对象，而是根本不被解释或者例如被解释为图像背景b。
[0076]
如图3所示，基于两个不同场景的示例性比较300，一维变量的选择，尤其是在一维变量对应于特定方向(在这种情况下作为示例是z方向)上的位置的情况下可以影响所得的频率分布，从而影响通过近似从其确定的函数，并且最终还影响片段分配和对象指认的质量。
[0077]
在视图305中示出的第一场景中，z方向被选择为正交于在该方法的情形中将被指认为对象o1的人的手的主范围方向延伸，该主范围方向由方向向量表示。在近似的范围内，例如在这种情况下再次使用高斯函数的情况下，出现视图310中所示的情况，由此频率分布甚至可以通过使用单个高斯函数很好地近似，这又导致对对象o1的简单且非常可靠和精确的指认。
[0078]
相比之下，在视图315中示出的第二场景中，选择z方向，使得它不再正交于示出的在该方法的情形中将被指认为对象o1的人的手的主范围方向(由方向向量表示)延伸，而是相对于其成较小的角度延伸。在使用高斯函数进行近似的情形下，出现了视图320中所示的情况，由此频率分布只能通过使用多个高斯函数的线性组合来较好地近似，这又导致对对象o1的更困难且可能更不可靠或更不精确的指认。
[0079]
因此，在第一种场景下，一维变量的选择显然是优选的。因此，方法200可以特别地规定基于主分量分析的结果以这样的方式选择一维方向，即，为一维变量选择固定的空间方向，使得它正交于从应用于点云的主分量分析得到的第一主分量延伸。特别地，在本示例性情况下，在m＝2的情况下，从主分量分析得出的第二主分量可以被选择为此，并且在m＝3的情况下，从主分量分析得出的第三主分量可以被选择为此(参见视图305中的方向向量)。
以这种方式，选择最不占优势的主分量(在这种情况下是沿着z方向)，这通常优化了最占优势的主分量至少主要垂直于该最不占优势的主分量、并因此少主要垂直于扫描方向(在这种情况下是z方向)延伸的概率，从而导致倾向于用优化的片段分配和对象分配来近似第一场景的场景。
[0080]
图4涉及该方法的扩展，特别是方法200扩展到m＞1的情况。图表400用于在根据本发明的方法的示例性实施例中，对于m＝2的情况，将点分配给相应的特定片段的示例性说明。
[0081]
再次考虑从背景b中分辨手o1的示例性问题。该问题可以如下文被解决。到目前为止，在方法200中仅利用了像素的深度信息，但是即使这种先进的途径也会具有局限性：例如，在机动车辆中记录图像的情形中，如果(驾驶员的)手在某个时间点保持在变速杆旁边，准确地说，从图像传感器的角度来看在相同的深度水平，使得对于由扫描场景产生的点云的点出现相同或非常相似的深度值z，那么纯粹基于深度值将图像或点云分割成用于手的片段和用于背景b(或者作为第二对象o2的变速杆)的片段可能会失败。
[0082]
一般来说，对于某些场景可能出现这样的情况，其中可以通过m＝1的方法区分的点(即，它们属于不同的高斯曲线)属于不同的对象，但是不能保证没有以这种方式分辨的那些点属于相同的对象。换句话说，在这种情况下，任何函数，尤其是高斯函数，可能仅表示一个对象类别(即，不由所选特征进一步分辨的多个对象的集合)，而不一定恰好表示一个单独的对象。
[0083]
在选择性方面改进该方法的一种途径包括通过考虑至少一个额外的一维变量进行扩展，使得m＞1适用。特别地，如图4所示，除了深度坐标z之外，为各个点记录的局部温度值t可以附加地用作第二变量，并且因此用作在任何点pi进行分配的附加基础。
[0084]
现在通过示例的方式假设手具有比背景更高的(表面)温度，并且根据点pi各自的局部温度值ti对点pi的分类相应地提供了第二频率分布h
′
(k
′
(t))，或者简称为h
′
(t)，其与作为独立变量的温度相关，根据方法200，该频率分布又可以由分布密度函数gi的线性函数来近似，尽管与温度而不是z坐标相关。
[0085]
现在可以在根据图2的视图235的分割的相应应用中执行纯粹基于温度的分割和基于此的对象指认(对应于视图240)。这仍然对应于m＝1的情况，尽管是在基于温度的分割的情况下，而不是在基于深度值(基于z坐标)的分割的情况下。
[0086]
然而，如图4所示，组合使用变量z和t作为分割的基础甚至更有效。这里，变量z允许点云被细分为近处对象和远处对象或图像背景的类别。并行地，热变量(温度)t可以将点细分为“暖对象”和“冷对象”的类别。在本示例中，因此可以在至少四个类别(或相应的片段)之间进行区分：(i)暖且同时在近处的对象，(ii)暖且同时在远处的对象，(iii)冷且同时在近处的对象，以及(iv)冷且同时在远处的对象。在每种情况下，图像背景b也可以可选地被视为远处的对象。
[0087]
在数学上，这种概括可以具体表示如下：
[0088]
再次，设p＝{p1，...，pn}是由场景的感测扫描产生的点云，其中除了深度值z之外，每个点pi还被分配了在相应点pi的测量位置处的测量的局部温度值t。
[0089]
如上所述，根据等式(5)对最初被视为单个变量的点的深度z进行近似，以便确定近似点的深度值分布的函数fq(z)的线性组合。在这种情况下，每个函数fq(z)再次表示深度
片段。
[0090]
以同样的方式，根据等式(5)对这些点的温度(局部温度值t)进行近似(所述温度最初也被认为是单个变量)，以便确定函数的线性组合，特别是高斯函数gr(t)，其近似这些点的温度值分布。这里，每个函数gr(t)表示一温度片段。
[0091]
然后，乘积fq(z(pi))
·gr
(t(pi))的值，或缩写为fq(pi)
·gr
(pi)，可以解释为与点pi属于组合片段(q，r)的概率成比例，该组合片段形成为关于q的深度片段和关于r的温度片段的交集，其中q和r分别是用于为函数fq和gr连续编号的下标。该乘积的值现在被用于将相应的点pi分配给组合片段中的特定一个，使得对于该组合片段的乘积相对来说是最大的，对应于最可能分配的选择。
[0092]
具体地，在图4的示例中，对于所选择的点pi的乘积，组合f1(pi)
·
g2(pi)在所有组合中是最大的，其结果是特定点pi被分配给组合片段(1；2)，在这种情况下，它对应于最近同时也是最热的对象。该组合片段的点因此可以被指认为待识别对象的点，在这种情况下是手o1。
[0093]
根据本发明的方法，在其各种变型中，可以用于范围广泛的应用。这种应用尤其包括一方面将人的不同身体部位的图像表示、不同的人的图像表示或者一个或多个人的图像表示与另一方面一个或多个其他对象的图像表示分离，在每种情况下将图像表示彼此分离或者与背景分离。具体而言，该方法可以用于在由传感器捕获的图像中分离人的一个或多个身体部位，从而基于该分离或分割的结果以及随后将身体部位指认为对象，来进行关于人执行的任何可能姿势的姿势识别。
[0094]
虽然上面已经描述了至少一个示例性实施例，但是必须注意的是，在这方面存在大量的变型。这里还应注意，所描述的示例性实施例仅构成非限制性示例，并且它们不旨在限制因此在此描述的装置和方法的范围、适用性或配置。相反，以上描述将向本领域技术人员提供至少一个示例性实施例的实施的指示，其中应当理解，在这里不脱离分别在所附权利要求及其合法等同物中限定的主题的情况下，可以对示例性实施例中描述的功能装置和元件布置进行各种改变。
[0095]
附图标记列表
[0096]
100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
各种示例性场景的概览
[0097]
105a-120a
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
各种场景
[0098]
105b-120b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
各种场景105a-120a的点云
[0099]
200
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
用于识别对象的示例性方法
[0100]
205-240
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
方法200的中间阶段的视图
[0101]
300
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
两种不同场景的比较
[0102]
305
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一场景
[0103]
310
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一场景的近似函数
[0104]
315
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二场景
[0105]
320
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二场景的近似函数
[0106]
400
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
用于图示m＝2的情况中点的示例性分配的图表
[0107]
对象的第一主分量的方向向量
[0108]bꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
背景
[0109]fq
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
用于近似深度值的频率分布的概率密度函数(特别是高斯函数)的集合
[0110]gr
用于近似深度值的频率分布的概率密度函数(特别是高斯函数)的集合
[0111]
h(z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
频率分布
[0112]
p
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
点云
[0113]
piꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
点云的单个点
[0114]
o1；o2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
对象
[0115]
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
温度
[0116]zꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
深度。

技术特征：
1.一种用于识别一个或多个对象(o1；o2)的方法(200)，所述一个或多个对象基于作为多个点的n个点(p
i
)的m维点云(p)在图像中被表示，其中m>1，所述方法(200)包括：对于m个特定一维变量(z；t)中的每一个，其中m>0，为每个所述点(p
i
)基于该点的位置或特征确定所述变量(z；t)的相应分配值；对于每个所述变量(z；t)，确定关于分别为不同点(p
i
)确定的该变量(z；t)的值的相应频率分布(h)；借助于分配给所述基本变量(z；t)的有限数量的一维概率密度函数(f
g
；g
r
)的相应线性组合，近似每个所述频率分布(h)；分割所述图像，使得在m＝1的情况下，每个所述概率密度函数(f
g
；g
r
)，和在m>1的情况下，m个概率密度函数(f
g
；g
r
)的每个乘积，被唯一地分配所述图像的相应片段，其中分别对于每个变量(z；t)，被分配的概率密度函数之一(f
g
；g
r
)被表示在所述乘积中；将所述点云(p)的每个点分别分配一片段，给在m＝1的情况下所述片段被分配的概率密度函数、或者在m>1的情况下所述片段被分配的乘积、在由所述m个变量(z；t)的分配给点(p
i
)的值确定的位置处的概率密度函数(f
g
；g
r
)或乘积中具有相对最大的函数值或乘积值；和将每个都被分配了至少预定最小数量的点(p
i
)的那些片段中的至少一个片段指认为相应被识别对象(o1；o2)的表示。2.根据前述权利要求中任一项所述的方法(200)，其中，对于所述点云(p)中的每个点(p
i
)，所述m个变量(z)中的至少一个指定该点(p
i
)在选定的固定空间方向上的、投影在该空间方向上的位置。3.根据权利要求2所述的方法(200)，其中，所述固定空间方向被选择为使得正交于第一主分量延伸，所述第一主分量从应用于所述点云(p)的主分量分析中出现。4.根据权利要求3所述的方法(200)，其中，m∈{2；3}，并且所述固定空间方向被选择为使得它在m＝2的情况下对应于由所述主分量分析产生的第二主分量，并且在m＝3的情况下对应于由所述主分量分析产生的第三主分量。5.根据前述权利要求中任一项所述的方法(200)，还包括：对所述图像进行过滤，使得过滤后的图像仍然仅包含所述点云(p)中的、被分别分配给所述片段中给被指认为相应识别对象(o1；o2)的表示的一个片段的那些点(p
i
)。6.根据权利要求5所述的方法(200)，其中，对所述图像进行过滤，使得过滤后的图像仅仍然包含所述点云(p)中的、被分配给那些片段中被指认为所分配的识别对象(o1；o2)的表示的恰好一个特定选定片段的那些点(p
i
)。7.根据结合权利要求6的权利要求2至4中任一项所述的方法(200)，其中m＝1，并且从所述片段的集合中选择的、分别被指认为相应识别对象(o1；o2)的表示的片段是这样的片段，当在作为观察方向的选定的固定空间方向上观察时，并且当平均地考虑时，根据该片段的被分配的点(p
i
)在该空间方向上投影的位置，这些被分配的点(p
i
)比分配给任何其他所指认的片段的点更近。
8.根据前述权利要求中任一项所述的方法(200)，其中，m>1，并且对于所述点云(p)中的每个点(p
i
)，所述m个变量(z；t)中的至少一个指示温度值(t)或颜色值。9.根据前述权利要求中任一项所述的方法(200)，其中，生成输出数据，并且这些输出数据表示以以下方式中的一种或多种实施的点(p
i
)到片段的分配或者对至少一个识别的对象的指认的结果：-对于所述对象中的至少一个(o1；o2)，所述输出数据表示该对象(o1；o2)的图像表示，所述图像表示基于所述点云(p)中的、被分配给属于该对象(o1；o2)的片段的一个或多个点(p
i
)；-所述输出数据表示一条信息，所述信息指示通过点(p
i
)的片段分配在所述图像中识别了多少不同的对象；-所述输出数据表示一条信息，所述信息指示点(p
i
)分别被分配到的相应片段或对象(o1；o2)；-所述输出数据表示一条信息，对于点(pi)的至少一子集，所述信息指定由所述m个变量(z；t)分配给点(p
i
)的值所确定的位置处的所述概率密度函数(f
g
；g
r
)中的一个或多个的相应函数值。10.根据前述权利要求中任一项所述的方法(200)，其中，对于所述m个变量(z；t)中的至少一个，相关联的概率密度函数(f
g
；g
r
)每个都具有曲线，在所述曲线中，作为变量(z；t)的值的函数的函数值增加到最大值，然后再次下降，所述最大值是出现在所述概率密度函数的所述曲线中的唯一最大值。11.根据权利要求10所述的方法(200)，其中，对于所述m个变量(z；t)中的至少一个，相应的概率密度函数(f
q
；g
r
)中的至少一个是高斯函数。12.根据前述权利要求中任一项所述的方法(200)，其中，所述频率分布中的至少一个(h)经历相应的平滑处理，并且关于该至少一个频率分布(h)的近似是关于借助于所述平滑处理被平滑的对应频率分布(h)而实施的。13.根据前述权利要求中任一项所述的方法(200)，其中，基于所述片段中被指认为相应对象(o1；o2)的表示的一个或多个片段的各个点(p
i
)，执行姿势识别过程，以便借助于所述点云(p)识别在所述图像中成像的人的姿势。14.一种数据处理系统，具有至少一个处理器，所述处理器被配置成执行根据前述权利要求中任一项所述的方法(200)。15.一种计算机程序，具有指令，当在根据权利要求14所述的系统上执行时，所述指令使得所述系统执行根据权利要求1至13中任一项所述的方法(200)。

技术总结
一种用于识别一个或多个对象的方法，所述一个或多个对象借助于由为多个点的n个点组成的M维点云在图像中被表示，其中M>1，所述方法包括：对于数量为m且其中m>0的特定一维变量中的每一个，基于每个点的位置或属性确定对于该点的变量的关联值；对于每个变量，确定关于为各个点确定的所述变量的相应值的频率分布；通过与所讨论的变量相关联的有限数量的一维概率密度函数的线性组合来近似每个频率分布；分割图像，使得在m＝1的情况下，每个概率密度函数，以及在m>1的情况下，m个概率密度函数的每个乘积，被唯一地分配图像的片段，每个变量的相关概率密度函数之一被表示在所述乘积中；将点云的每个点分配给该片段，在m＝1的情况下，与该片段相关联的概率密度函数，或者在m>1的情况下，与该片段相关联的乘积，在由分配给该点的m个变量的值所确定的位置处，具有概率密度函数中相对最大的函数值或者乘积中相对最大的乘积值；以及将片段中被分配了至少预定最小数量的点的至少一个片段指认为相关联的识别对象的表示。设计了相应的装置和计算机程序来执行该方法。来执行该方法。来执行该方法。


技术研发人员：N
受保护的技术使用者：戈斯蒂冈有限责任公司
技术研发日：2021.12.21
技术公布日：2023/10/15