测量数据的零样本分类的制作方法

1.本发明涉及测量数据、并且特别是图像关于它们的语义内容的分类。


背景技术：

2.针对测量数据的分类器将测量数据的记录取作输入，并且将它们映射到关于给定类别集合中的至少一个类别的分类得分。它们通常以监督的方式利用被标注有“基础真值(ground truth)”分类得分的训练样本来训练。表征了分类器行为的参数被优化，使得当训练样本被分类器处理时，分类器将这些训练样本映射到它们对应的基础真值分类得分。
3.在训练期间，分类器仅仅见过根据它们的“基础真值”分类得分而属于有限类别集合的训练样本。在对测量数据进行分类的领域中，普遍的任务是使用给定经训练的分类器还关于该分类器在其训练期间尚未见过的类别对测量数据进行分类。该任务被称为“零样本分类(zero-shot classification)”。


技术实现要素：

4.本发明提供了一种用于操作针对测量数据的至少一个经训练的分类器的方法。特别地，测量数据可以表示由任何合适的物理传感器捕获的物理量。例如，测量数据可以包括至少一个图像和/或至少一个点云。图像是二维或三维空间中的规则网格中的点的布置，这些点携带测量值，诸如从感兴趣区域发射的光或超声的强度。例如，静态相机、视频相机、热相机和超声装置产生图像。点云是点的布置，这些点也携带测量值，但是不一定被布置在规则网格中。例如，如果利用雷达或lidar辐射探测一区域，则在其处辐射被反射回传感器的空间中的点被收集在点云中。
5.分类器包括具有至少一个特征提取部分和至少一个分类部分的神经网络。特征提取部分的目的是减少输入测量数据的高维数，并且产生指示某些特征存在的量。为此目的，特征提取部分可以特别地包括一个或多个卷积层，该卷积层以滑动方式将一个或多个滤波器核应用于它们的输入。特征提取部分包括神经元，该神经元的激活指示测量数据中的某些特征的存在。分类部分被配置成根据特征提取部分的输出来计算关于给定类别集合中的至少一个类别的分类得分。
6.在该方法的过程中，利用分类器的至少特征提取部分来处理测量数据的记录。然后，确定特征提取部分中的被所述处理激活的神经元集合。
7.根据被激活的神经元与属性之间的给定对应性，确定属性集合，该属性集合在测量数据所捕获的场景中的存在由被激活的神经元来指示。在简单的示例中，一个神经元的激活可以对应于一个属性的存在。但是也有可能的是，包括多个神经元的激活模式指示特定属性的存在。一方面的特定被激活的神经元与另一方面的属性之间的对应性可以在如下意义上是二元的：即，它要么存在，要么不存在，但是这不是必需的。相反，对应性可以利用编码了神经元激活和属性的存在有多强关联的权重或程度来标注。
8.例如，如果测量数据包括通过利用一个或多个传感器观察感兴趣区域而收集的图
像和/或点云，则属性可以对应于在该图像和/或点云中捕获的场景中存在的对象，诸如画、桌子、水槽、浴缸、毛巾或跑步机。
9.将该所确定的属性集合与由给定知识图将类别链接到的属性进行比较。该知识图可以定义类别与属性之间的任何种类的关系。
10.在其中测量数据包括图像和/或点云的所提到的示例中，类别可以对应于该图像示出的房间的类型，诸如艺术工作室、厨房、浴室或健身房。艺术工作室既具有画又具有桌子。厨房既具有桌子又具有水槽。浴室具有水槽、浴缸和毛巾。健身房具有跑步机和毛巾。
11.因此，在特别有利的实施例中，知识图中的类别与属性之间的关系可以包括：
12.·
关系：即，对应于类别的实体具有和/或包括对应于属性的实体；和/或
13.·
关系：即，对应于类别的实体也是对应于属性的实体。
14.利用描述了对象类别的视觉和物理性质的这种常识知识图，可以以人类可解释的术语来解释神经元的行为。
15.根据知识图中的属性与从活动神经元确定的属性之间的比较的结果，至少一个所估计的类别作为由测量数据的记录所捕获的场景可能属于的类别。为此，给定知识图中的所有类别都是可用的。这些类别可以包括给定分类器在其训练期间尚未见过的类别。
16.通过以这种方式来确定所估计的类别，给定分类器可以被投入使用以解决所述零样本分类问题。也就是说，分类器可以预测出测量数据(诸如图像)的记录属于特定类别，即使该分类器在训练期间尚未见过该类别。本质上，这扩展了给定分类器的功能性。
17.原则上，也可以借助于如下来使分类器识别新类别：也包括该新类别的重新训练，或者从其先前训练的状态开始专门地在该新类别上的进一步训练。通过零样本分类来扩展分类器的功能性不需要给定分类器的任何进一步训练，并且因此不需要任何附加的训练样本。将功能性扩展到新类别的主要先决条件在于：
18.·
新类别被包括在知识图中，
19.·
知识图将该新类别链接到至少一个属性、特别是链接到已经见过的类别的属性，以及
20.·
给定的对应性将该属性链接到被激活的神经元和/或被激活的神经元的模式。
21.例如，如果分类器被训练成在厨房与浴室之间进行区分，并且它现在还将要识别艺术工作室和健身房，则艺术工作室和健身房需要被包括在知识图中并且连接到合适的属性。新类别以及它们与合适属性的连接可能已经被包括在现有知识图中，但是它们也可以以很少的努力被添加到知识图。特别地，如果已经在知识图中的针对已经见过的类别的属性也适用于新的未见过的类别，但是还没有连接到它，则这些属性与新类别之间的连接应当被添加到知识图。在目前被训练成在厨房和浴室之间进行区分的分类器的示例中，知识图已经包括作为属性的桌子，因为桌子对于厨房是典型的。但是在艺术工作室中也找到桌子，所以将桌子连接到艺术工作室是适当的，如果该连接还不存在的话。同样，知识图已经包括毛巾，因为在浴室里找到毛巾。但是在健身房中也找到毛巾，所以如果毛巾还没有链接到健身房，则它应当链接到健身房。
22.引入进一步的属性和/或现有属性与新类别之间的连接则是有利的，但是可选的，这允许消除歧义。例如，如果存在跑步机，则可以直接推断该房间是健身房。同样，如果存在画，则可以直接推断该房间是艺术工作室，因为将它们放置在厨房、浴室或健身房中是没有
道理的。但是某种消除歧义也是可能的，例如基于测量数据的记录所缺乏的属性。
23.例如，如果图像中存在毛巾，但是既不存在水槽也不存在浴缸，则大概率该房间是健身房，而不是需要浴缸和水槽的浴室。同样，如果存在桌子，但是不见水槽以及表明该房间是厨房的其他属性，则大概率该房间是艺术工作室。
24.根据目前提出的方法，零样本分类的功能性被“搭载(piggy-back)”到分类器上，而不必改变分类器的行为或其训练。即使从其中仅存在经训练的分类器但是在被激活的神经元与属性之间还不存在对应性、并且也不存在知识图的情形开始，也可以容易地获得对应性和知识图。示出了知识图的属性的测量数据的任何合适的记录可以用于确定被激活的神经元与属性之间的对应性。即使不使用给定分类器，也可以建立知识图本身。知识图也独立于分类器；也就是说，同一个知识图可以与许多不同的分类器一起使用。
25.不必触及分类器对于其中分类器的正确运作需要官方认证的高风险应用是特别有利的，该高风险应用诸如交通工具的至少部分自动化驾驶。用于先前类别的所有先前功能性仍将继续工作，因此通过添加用于检测新类别的能力，来之不易的认证将不会失效。
26.为此目的，在特别有利的实施例中，根据在处理测量数据的记录之后由分类器递送的输出，评估由测量数据的记录所捕获的场景是否属于分类器在其训练期间见过的类别。如果确定该场景属于见过的类别，则根据分类器的分类部分的输出来确定该场景最可能属于的类别。也就是说，对于见过的类别，分类器将与以前表现得完全一样。然而，如果确定该场景属于未见过的类别，则该场景最可能属于的类别被确定为如上面所描述的那样被确定的所估计类别。在任何情况下，这都比仅仅从见过的类别中选择最佳类别一一即，在所有不正确的解当中选择“最佳的”解——更接近正确的分类。
27.这种可能性已经可以在分类器的训练期间来提供。在进一步的特别有利的实施例中，分类器被训练成针对由测量数据的记录所捕获的场景属于未见过的类别的情况来计算附加分类得分。也就是说，在训练期间见过的各种具体类别的分类得分之上，针对未见过的类别的测量数据，还存在另一个类别“以上都不是(none ofthe above)”。任何种类的未见过的测量数据都可以用作该附加类别的训练材料。例如，该未见过的测量数据可能属于不在该分类器被训练成标识的具体类别目录中的类别。
28.在进一步的有利的实施例中，根据由分类器针对见过的类别输出的分类得分来评估由测量数据的记录所捕获的场景是否属于见过的类别。例如，如果关于所有见过的类别的分类得分全部低于某个阈值，则可以推断出，这些见过的类别中没有一个是真正适当的，并且分类器正在输出所有不正确的解当中的“最佳的”解。
29.在进一步的有利的实施例中，根据所确定的属性的集合中的至少一个属性，评估测量数据的记录中已经引起了该属性的部分。例如，如果测量数据的记录包括图像，则所述部分可以对应于图像区。测量数据的记录的如此确定的部分然后可以被确定为对于分类器的决策是显著的(salient)。也就是说，不管测量数据的记录属于见过的类别还是未见过的类别，都可以确定分类器将其决策基于测量数据的记录的哪些部分。这对于分类器的可解释性是重要的。
30.在特别有利的实施例中，特征提取部分的全连接层中的神经元关于它们是否被测量数据的记录的所述处理所激活而被检查。例如，如果测量数据包括图像，则全连接层中的神经元反映了高级抽象视觉特征。
31.在特别有利的实施例中，神经元响应于其激活值超过预定阈值而被确定为被激活的神经元。激活值可以例如包括去往神经元的输入的加权总和。这些加权总和的权重是在分类器的训练期间优化的参数。将非线性激活函数应用于激活值，使得获得神经元的最终输出值。
32.在特别有利的实施例中，知识图被选择为包括分类器在其训练期间已经见过的类别的超集。以这种方式，新引入的属性可以最优地用于在见过的和未见过的类别之间以及还在未见过的类别当中消除歧义。
33.在进一步的特别有利的实施例中，由测量数据的记录所捕获的场景属于一类别的可能性是基于由知识图链接到该类别的属性中有多少在所确定的属性集合中来确定的。特别地，对于所确定的属性集合以及前瞻性类别，该可能性可以通过将链接到前瞻性类别并被包括在所确定的属性集合中的属性的数量除以链接到前瞻性类别的属性的总数来确定。这将产生在0和1之间的可能性。
34.在进一步的特别有利的实施例中，针对多个类别，确定由测量数据的记录所捕获的场景属于相应类别的可能性。然后，根据这些可能性对该多个类别进行排序。这提供了一种天然方式来确定最可能符合所确定的属性的类别。
35.在进一步的特别有利的实施例中，测量数据的记录是利用多个分类器的特征提取部分来处理的。属性集合被池化，该属性集合在测量数据的记录所捕获的场景中的存在由该多个分类器的被激活的神经元来指示。也就是说，将使用所有分类器发现的所有属性与由给定知识图链接到类别的属性进行比较。以这种方式，由多个分类器学习的知识可以被放在一起，而不触及这些分类器中的任一个的内部。
36.零样本分类的最终目的是获得测量数据的记录向一类别的指派，该指派更有可能在手边的应用的情境中是适当的。这可以在该应用的情境中用于技术系统的改进的自动化控制。因此，在进一步的特别有利的实施例中，根据由测量数据的记录所捕获的场景最可能属于的类别来计算致动信号。利用致动信号的交通工具、用于质量检查的系统、监控系统和/或医学成像系统。以这种方式，相应的技术系统然后将执行的反应有可能在测量数据的记录中捕获的场景的情境中更适当。
37.该方法可以全部或部分地是计算机实现的，并且因此可以用软件来体现。因此，本发明还提供了一种包括机器可读指令的计算机程序，该机器可读指令当在一个或多个计算机和/或计算实例上执行时使得一个或多个计算机和/或计算实例执行上面描述的方法。特别地，用于交通工具的控制设备、过程控制器、微控制器和其他能够执行机器可读指令的电子设备也可以被视为计算机。计算实例包括虚拟机、容器以及机器可读指令可以在其中执行的任何其他执行环境。本发明还涉及一种具有计算机程序的机器可读数据载体和/或下载产品。下载产品是可以在在线商店中销售以用于通过下载立即履行的产品。本发明还提供了具有一个或多个计算机程序和/或具有一个或多个机器可读数据载体和/或下载产品的一个或多个计算机和/或计算实例。
附图说明
38.在下文中，使用附图来说明本发明，而没有任何限制本发明范围的意图。附图示出了：
39.图1用于操作经训练的分类器1的方法100的示例性实施例；
40.图2可以如何基于分类器1的特征提取部分3a中的被激活的神经元4来获得所估计的类别7#的图示。
具体实施方式
41.图1是用于操作经训练的分类器1的方法100的实施例的示意流程图。经训练的分类器1包括具有至少一个特征提取部分3a和至少一个分类部分3b的神经网络3。
42.在步骤110中，利用分类器1的至少特征提取部分3a来处理测量数据2的记录。
43.在步骤120中，根据在处理测量数据2的记录之后由分类器1递送的输出，确定由测量数据2的记录所捕获的场景是否属于分类器1在其训练期间见过的类别7。如果是这种情况(真值1)，则在步骤130中，根据分类器1的分类部分3b的输出来直接确定该场景最可能属于的类别7*。
44.然而，如果该场景属于未见过的类别(真值0)，则将基于分类器1的特征提取部分3a中的被激活的神经元4而确定的所估计的类别7#确定为该场景最可能属于的类别7*。下文中详细描述了所估计的类别7#的导出。
45.在步骤140中，确定特征提取部分中的被测量数据2的记录的处理所激活的神经元4集合。
46.在步骤150中，根据被激活的神经元4与属性6之间的给定对应性5，确定属性集合6。也就是说，被激活的神经元4指示这些属性6在测量数据2所捕获的场景中的存在。
47.在步骤160中，将这些所确定的属性6与由给定知识图8将类别7链接到的属性6
′
进行比较。
48.在步骤170中，根据该比较的结果，确定至少一个所估计的类别7#。该所估计的类别7#是由测量数据2的记录所捕获的场景可能属于的类别。原则上，该所估计的类别7#可以始终被用作该场景最可能属于的类别7*。在图1中所示的示例中，分析该场景属于见过的类别还是未见过的类别。在该示例中，所估计的类别7#仅针对未见过的类别的测量数据2的记录被用作该场景最可能属于的类别7*，以便不改变分类器1关于见过的类别的行为。
49.不管跟随哪个路径到达由测量数据2的记录所捕获的场景最可能属于的类别7*，在步骤200中，根据该类别7*，可以计算致动信号200a。在步骤210中，可以利用致动信号200a来致动交通工具50、用于质量检查的系统60、监控系统70和/或医学成像系统80。
50.此外，不管最可能的类别7*是如何被确定的，在步骤180中，根据所确定的属性6集合中的至少一个属性，可以确定测量数据2的记录中已经引起了该属性的部分2a。在步骤190中，测量数据2的记录的该部分2a(诸如图像区)可以被确定为对于分类器1的决策是显著的。也就是说，即使针对可以正常评估的见过的类别，特征提取部分3a中的被激活的神经元的评估也可以产生有用的信息。
51.根据框111，测量数据2的记录可以利用多个分类器1的特征提取部分3a来处理。根据框151，属性6集合然后可以被池化，该属性6集合在测量数据2的记录所捕获的场景中的存在由多个分类器1的被激活的神经元4来指示。
52.根据框121，分类器1可以被训练成针对由测量数据2的记录所捕获的场景属于未见过的类别7的情况来计算附加分类得分。针对测量数据2的给定记录，然后可以容易地确
定它属于见过的类别还是未见过的类别7，以便决定如何到达最可能的类别7*。
53.替代地或组合地，根据框122，可以根据由分类器1针对见过的类别7输出的分类得分来评估由测量数据2的记录所捕获的场景是否属于见过的类别7。
54.根据框141，可以选择特征提取部分3a的全连接层中的神经元关于它们是否被测量数据2的记录的处理所激活而被检查。
55.根据框142，神经元可以响应于其激活值超过预定阈值而被确定为被激活的神经元4。
56.根据框161，知识图8中的类别7与属性6
′
之间的关系可以包括：
57.·
关系：即，对应于类别7的实体具有和/或包括对应于属性6
′
的实体。例如，浴室具有水槽，并且也具有毛巾；和/或
58.·
关系：即，对应于类别7的实体也是对应于属性6
′
的实体。例如，汽车也是交通工具。
59.根据框162，知识图8可以被选择为包括分类器在其训练期间已经见过的类别7的超集。
60.根据框171，由测量数据2的记录所捕获的场景属于类别7的可能性7a可以基于由知识图8链接到该类别7的属性6
′
中有多少在所确定的属性6集合中来确定。
61.根据框172，针对多个类别7，可以确定由测量数据2的记录所捕获的场景属于相应类别7的可能性7a。根据框173，然后可以根据这些可能性对该多个类别7进行排序。
62.图2图示了在一方面给出了被激活的神经元4与属性6之间的对应性5、并且在另一方面给出了将类别7链接到属性6
′
的知识图8的情况下，可以如何基于分类器1的特征提取部分3a中的被激活的神经元4来获得所估计的类别7#。
63.在图2中所示的示例中，分类器1的特征提取部分3a从左到右包括三层神经元。用于确定由测量数据2的记录所捕获的场景最可能属于的类别7的通常方式是将特征提取部分3a的输出馈送到分类器1的分类部分3b中。如之前所讨论，对于属于分类器1在其训练期间已经见过的类别7的场景，这仍然可以完成。
64.对于未见过的类别，基于被激活的神经元4(在图2中以阴影示出)，在给定的对应性5中查找对应的属性6。在图2中所示的简单示例中，对应性是一对一的，但是这不是必需的。如之前所讨论，属性6也可以对应于多个被激活的神经元4的任意模式。
65.知识图8将每个类别7连接到一个或多个属性6
′
。也就是说，如果这些属性6
′
以组合存在，则大概率由测量数据2所捕获的场景属于对应于属性6
′
的该组合的类别7。在图2中所示的示例中，在知识图8中找到从被激活的神经元4导出的属性组合，并且将对应的类别7确定为该场景可能属于的所估计的类别7#。

技术特征：
1.一种用于操作针对测量数据(2)的至少一个经训练的分类器(1)的方法(100)，其中该分类器(1)包括具有至少一个特征提取部分(3a)和至少一个分类部分(3b)的神经网络(3)，其中特征提取部分(3a)中的神经元的激活指示测量数据(2)中的特征的存在，并且分类部分(3b)被配置成根据特征提取部分(3a)的输出来计算关于给定类别(7)集合中的至少一个类别(7)的分类得分，所述方法(100)包括以下步骤：
·
利用分类器(1)的至少特征提取部分(3a)来处理(110)测量数据(2)的记录；
·
确定(140)特征提取部分(3a)中的被所述处理(110)激活的神经元(4)集合；
·
根据被激活的神经元(4)与属性(6)之间的给定对应性(5)，确定(150)属性(6)集合，所述属性(6)集合在测量数据(2)所捕获的场景中的存在由被激活的神经元(4)来指示；
·
将类别(7)由给定知识图(8)链接到的属性(6
′
)与所述确定的属性(6)集合进行比较(160)；以及
·
根据该比较的结果，评估(170)至少一个所估计的类别(7#)作为由测量数据(2)的记录所捕获的场景可能属于的类别。2.根据权利要求1所述的方法(100)，进一步包括：
·
根据在处理测量数据(2)的记录之后由分类器(1)递送的输出，评估(120)由测量数据(2)的记录所捕获的场景是否属于分类器(1)在其训练期间见过的类别(7)；以及
·
响应于确定所述场景属于见过的类别(7)，根据分类器(1)的分类部分(3b)的输出来确定(130)所述场景最可能属于的类别(7*)，而
·
响应于确定所述场景属于未见过的类别(7)，将所述场景最可能属于的类别(7*)确定为所估计的类别(7#)。3.根据权利要求2所述的方法(100)，其中分类器(1)被训练(121)成针对由测量数据(2)的记录所捕获的场景属于未见过的类别(7)的情况来计算附加分类得分。4.根据权利要求2或3所述的方法(100)，其中根据由分类器(1)针对见过的类别(7)输出的分类得分来评估(122)由测量数据(2)的记录所捕获的场景是否属于见过的类别(7)。5.根据权利要求1至4中任一项所述的方法(100)，进一步包括：
·
根据所确定的属性(6)的集合中的至少一个属性，评估(180)测量数据(2)的记录中的已经引起了该属性的部分(2a)；以及
·
确定(190)测量数据(2)的记录的该部分(2a)对于分类器(1)的决策是显著的。6.根据权利要求1至5中任一项所述的方法(100)，其中特征提取部分(3a)的全连接层中的神经元关于它们是否被所述处理(140)所激活而被检查(141)。7.根据权利要求1至6中任一项所述的方法(100)，其中神经元响应于其激活值超过预定阈值而被确定(142)为被激活的神经元(4)。8.根据权利要求1至7中任一项所述的方法(100)，其中知识图(8)中的类别(7)与属性(6
′
)之间的关系包括(161)：
·
关系：即，对应于类别(7)的实体具有和/或包括对应于属性(6
′
)的实体；和/或
·
关系：即，对应于类别(7)的实体也是对应于属性(6
′
)的实体。9.根据权利要求1至8中任一项所述的方法(100)，其中知识图(8)被选择(162)为包括分类器在其训练期间已经见过的类别(7)的超集。10.根据权利要求1至9中任一项所述的方法(100)，其中由测量数据(2)的记录所捕获
的场景属于一类别(7)的可能性(7a)是基于由知识图(8)链接到该类别(7)的属性(6
′
)中有多少在所确定的属性(6)集合中来确定(171)的。11.根据权利要求1至10中任一项所述的方法(100)，其中
·
针对多个类别(7)，确定(172)由测量数据(2)的记录所捕获的场景属于相应类别(7)的可能性(7a)；以及
·
根据这些可能性(7a)对所述多个类别(7)进行排序(173)。12.根据权利要求1至11中任一项所述的方法(100)，其中测量数据(2)的记录是利用多个分类器(1)的特征提取部分(3a)来处理(111)的，并且所述属性(6)集合被池化(151)，所述属性(6)集合在测量数据(2)的记录所捕获的场景中的存在由所述多个分类器(1)的被激活的神经元(4)来指示。13.根据权利要求1至12中任一项所述的方法(100)，其中测量数据的记录包括至少一个图像和/或至少一个点云。14.根据权利要求1至13中任一项所述的方法，进一步包括：
·
根据由测量数据(1)的记录所捕获的场景最可能属于的类别(7*)来计算(200)致动信号(200a)；以及
·
利用致动信号(200a)来致动(210)交通工具(50)、用于质量检查的系统(60)、监控系统(70)和/或医学成像系统(80)。15.一种包括机器可读指令的计算机程序，所述机器可读指令在由一个或多个计算机和/或计算实例执行时使得所述一个或多个计算机和/或计算实例执行权利要求1至14中任一项所述的方法(100)。16.一种具有权利要求15的计算机程序的机器可读数据载体。17.一个或多个具有权利要求15的计算机程序和/或具有权利要求16的机器可读数据载体的计算机。

技术总结
测量数据的零样本分类。用于操作针对测量数据的至少一个经训练分类器的方法，分类器包括具有至少一个特征提取部分和至少一个分类部分的神经网络，特征提取部分中的神经元的激活指示测量数据中的特征的存在，分类部分被配置成根据特征提取部分的输出计算关于给定类别集合中的至少一个类别的分类得分，该方法包括以下步骤：利用分类器的至少特征提取部分处理测量数据的记录；确定特征提取部分中的被所述处理激活的神经元集合；根据被激活的神经元与属性之间的给定对应性确定属性集合；将由给定知识图将类别链接到的属性与确定的属性集合进行比较；和根据该比较的结果，评估至少一个所估计的类别作为由测量数据的记录所捕获场景可能属于的类别。场景可能属于的类别。场景可能属于的类别。


技术研发人员：D
受保护的技术使用者：罗伯特
技术研发日：2023.03.23
技术公布日：2023/9/26