待标注样本筛选方法、装置、电子设备及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种待标注样本筛选方法、装置、电子设备及存储介质。


背景技术：

2.深度学习的训练依赖于大规模的标记数据，然而对大规模数据集进行标注是非常耗时且代价昂贵的，为降低标注成本，目前主流技术方案是基于对抗训练的方法，例如sraal(state-relabeling adversarial active learning，状态重标注对抗主动学习方法)方法，即选出部分样本进行标注，虽然sraal方法在降低标注成本上可取得一定的效果，但是方案除对任务模型本身进行训练外，还需要训练额外的筛选模型，从而导致应用过程复杂，应用低效的问题。


技术实现要素：

3.本技术的主要目的在于提供一种待标注样本筛选方法、装置、电子设备及存储介质，旨在解决目前降低标注成本方案应用低效的技术问题。
4.为实现上述目的，本技术提供一种待标注样本筛选方法，所述待标注样本筛选方法包括：
5.将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息；
6.根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度；
7.若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本。
8.可选地，所述可能性为概率值，所述根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度的步骤包括：
9.基于各概率值中最大概率值和各所述概率值的概率分布生成所述第一训练样本集的不确定度。
10.可选地，在所述将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤之前，所述方法包括：
11.将标注样本集中的第二训练样本输入至初始任务模型得到所述第二训练样本的分类结果；
12.基于所述分类结果与所述第二训练样本的标签之间的差异，生成所述初始任务模型的模型损失；
13.基于所述模型损失和梯度下降法反向传播更新所述初始任务模型的模型参数，得到所述预训练任务模型。
14.可选地，所述待标注样本筛选方法还包括：
15.在所述待标注样本被人工标记得到第二训练样本后，更新所述未标注样本集得到
新的未标注样本集，更新所述标注样本集得到新的标注样本集；
16.基于所述新的标注样本集对所述预训练任务模型进行迭代优化，得到新的预训练任务模型；
17.基于所述新的未标注样本集和所述新的预训练任务模型，执行所述将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤，直至所述预训练任务模型的模型性能达到预设需求标准。
18.可选地，所述更新所述未标注样本集得到新的未标注样本集，更新所述标注样本集得到新的标注样本集的步骤包括：
19.从所述未标注样本集中删除所述待标注样本得到新的未标注样本集；
20.将所述待标注样本被人工标记得到第二训练样本加入至所述标注样本集，得到所述新的标注样本集。
21.可选地，所述最大概率值与所述不确定度成反比，所述概率分布的集中度与所述不确定度成正比。
22.可选地，所述若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本的步骤：
23.对所述未标注样本集中各第一训练样本的不确定度排序得到不确定度序列，其中，所述不确定度序列中前部位置的不确定度大于后部位置的不确定度；
24.将不确定度序列中前部预设数量的不确定度所对应的第一训练样本作为所述待标注样本。
25.此外，为实现上述目的，本技术还提供一种待标注样本筛选装置，所述待标注样本筛选装置包括：
26.输入模块，用于将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息；
27.生成模块，用于根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度；
28.确定模块，用于若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本。
29.此外，为实现上述目的，本技术还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的待标注样本筛选程序，所述待标注样本筛选程序被所述处理器执行时实现上述的待标注样本筛选方法的步骤。
30.此外，为实现上述目的，本技术还提供一种存储介质，所述可储介质上存储有待标注样本筛选程序，所述待标注样本筛选程序被处理器执行时实现如上述的待标注样本筛选方法的步骤。
31.本技术实施例提出的一种待标注样本筛选方法、装置、电子设备及存储介质。在申请本实施例中，将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息；根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度；若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本。即本技术实施例对筛选样本时，是基于本身的任务模型进行筛选的，即通过任务模型得到未标注样本的分类信息，再通过分类信息生成该未标注样本的不确定度，不确定
度可反映出任务模型对该未标注样本的辨识度，也即进行标注的必要性，若不确定度符合预设高不确定度标注条件，则该训练样本确定为待标注样本，以进行人工标注。可以理解的是，在本实施例中，实现了通过任务模型对需要标注的样本筛，一方面，仅需对筛选出来的待标注样本进行标注，减少了人工标注的成本，另一方面，本技术无需训练额外的模型，减少了计算节点，还一方面，本实施例是直接通过任务模型对训练样本进行筛选，保证筛选的样本是任务模型确实所需要的，故本实施例的筛选方法可保证其在实际应用时的高效性。
附图说明
32.图1是本技术实施例方案涉及的硬件运行环境的电子设备结构示意图；
33.图2为本技术待标注样本筛选方法的第一实施例的流程示意图；
34.图3为本技术待标注样本筛选方法中第二实施例的流程示意图；
35.图4为本技术待标注样本筛选方法中第三实施例的流程示意图；
36.图5为本技术待标注样本筛选方法中uig方法模型示意图；
37.图6为本技术待标注样本筛选方法的对比效果示意图；
38.图7为本技术待标注样本筛选方法中待标注样本选取结果对比示意图；
39.图8为本技术待标注样本筛选方法中待标注样本筛选装置的示意图。
40.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
41.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
42.如图1所示，图1是本技术实施例方案涉及的硬件运行环境的电子设备结构示意图。
43.本技术实施例的电子设备可以是服务器，也可以是智能手机、pc、平板电脑、便携计算机等电子终端设备。
44.如图1所示，该电子设备可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
45.可选地，电子设备还可以包括摄像头、rf(radio frequency，射频)电路，传感器、音频电路、wifi模块等等。终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。本领域技术人员可以理解，图1中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
46.本领域技术人员可以理解，图1中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
47.此外，如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、
网络通信模块、用户接口模块以及待标注样本筛选程序。
48.在图1所示的电子设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的待标注样本筛选程序，并执行以下操作：
49.将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息；
50.根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度；
51.若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本。
52.在一可行实施方式中，处理器1001可以调用存储器1005中存储的待标注样本筛选程序，还执行以下操作：
53.所述可能性为概率值，所述根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度的步骤包括：
54.基于各概率值中最大概率值和各所述概率值的概率分布生成所述第一训练样本集的不确定度。
55.在一可行实施方式中，处理器1001可以调用存储器1005中存储的待标注样本筛选程序，还执行以下操作：
56.在所述将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤之前，所述方法包括：
57.将标注样本集中的第二训练样本输入至初始任务模型得到所述第二训练样本的分类结果；
58.基于所述分类结果与所述第二训练样本的标签之间的差异，生成所述初始任务模型的模型损失；
59.基于所述模型损失和梯度下降法反向传播更新所述初始任务模型的模型参数，得到所述预训练任务模型。
60.在一可行实施方式中，处理器1001可以调用存储器1005中存储的待标注样本筛选程序，还执行以下操作：
61.所述待标注样本筛选方法还包括：
62.在所述待标注样本被人工标记得到第二训练样本后，更新所述未标注样本集得到新的未标注样本集，更新所述标注样本集得到新的标注样本集；
63.基于所述新的标注样本集对所述预训练任务模型进行迭代优化，得到新的预训练任务模型；
64.基于所述新的未标注样本集和所述新的预训练任务模型，执行所述将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤，直至所述预训练任务模型的模型性能达到预设需求标准。
65.在一可行实施方式中，处理器1001可以调用存储器1005中存储的待标注样本筛选程序，还执行以下操作：
66.所述更新所述未标注样本集得到新的未标注样本集，更新所述标注样本集得到新的标注样本集的步骤包括：
67.从所述未标注样本集中删除所述待标注样本得到新的未标注样本集；
68.将所述待标注样本被人工标记得到第二训练样本加入至所述标注样本集，得到所述新的标注样本集。
69.在一可行实施方式中所述最大概率值与所述不确定度成反比，所述概率分布的集中度与所述不确定度成正比。
70.在一可行实施方式中，处理器1001可以调用存储器1005中存储的待标注样本筛选程序，还执行以下操作：
71.所述若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本的步骤：
72.对所述未标注样本集中各第一训练样本的不确定度排序得到不确定度序列，其中，所述不确定度序列中前部位置的不确定度大于后部位置的不确定度；
73.将不确定度序列中前部预设数量的不确定度所对应的第一训练样本作为所述待标注样本。
74.为清楚的说明本技术的方法，现对传统方案sraal方法，进行简要说明：
75.sraal方法会在任务模型的基础上集成的一个筛选模型，且该筛选模型依赖于专门的学习方法进行训练，例如对抗性学习。故应用sraal方法时，除了需要利用筛选出的样本进行标注后对任务模型进行训练外，还需要对筛选模型进行训练，而任务模型和筛选模型是彼此独立的，故筛选模型在对样本进行筛选时，筛选出额的样本可能并不是任务模型确实需要的模型。而且，由于增加了额外的筛选模型，从而导致计算节点数量很大，增加了计算时间。故sraal方法在实际应用时存在有低效的问题。
76.本技术为解决上述问题，提出了一种待标注样本筛选方法，利用任务模型本身完成样本筛选，再将筛选出的样本进行人工标注，一方面，仅需对筛选出来的样本进行标注，减少了人工标注的成本，另一方面，本技术无需训练额外的模型，减少了计算节点，还一方面，本技术是直接通过任务模型对训练样本进行筛选，保证筛选的样本是任务模型确实所需要的。
77.参照图2，本技术待标注样本筛选方法的第一实施例，所述待标注样本筛选方法包括：
78.步骤s10，将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息；
79.需要说明的是，上述待标注样本筛选反方可应用于分类、多标签分类和语义分割等任务模型的训练过程，在后续步骤以图像分类为例进行说明。上述预训练任务模型是经过部分标注样本训练后的模型，例如，假设存在有300万条样本，但可用于模型训练的样本通常需要进行标注，可从300万条样本中选取1万条样本，即选取部分样本进行人工标注，在将这1万条标注后的样本用于初始任务模型的训练，得到预训练任务模型，使得预训练任务模型具有简单分类能力，可以理解的是，若仅使用较小部分的样本对初始任务模型进行训练，通常得到预训练模型的模型性能通常是无法满足实际分类需求的。故需要使用更多的标注后的样本对预训练模型进行训练。
80.示例性的，将未标注样本集中的第一训练样本输入至预训练任务模型得到第一训练样本的分类信息，例如，基于上述例子，另外299万条未标注的样本即为第一训练样本。还
需要说明的是，上述由于第一训练样本是未标注的样本，所述并不能对预训练任务模型进行训练，但是第一训练样本输入到预训练任务模型后可得到，预训练任务模型对第一训练样本的分类结果，例如，以图像分类为例，假设要分类的图像存在三类，分别为狗、猫和老虎，分类结果为狗、猫和老虎中的任意一种，通常预训练任务模型得到分类结果是基于各种分类对象的可能性得到，也即分类信息得到。对应的，分类信息可包括，该图像分别为狗、猫和老虎的可行性，再将可能性最大的结果作为分类结果。
81.步骤s20，根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度；
82.示例性的，分类信息中各分类对象的可能性，即为此时预训练任务模型将该图像分类各分类对象的概率。例如，设有三类标签为狗、猫和老虎，该预训练模型对一第一训练样本识别得到的分类信息为狗0.6、猫0.1和老虎0.3，由于此时狗的概率最高，所以预训练模型的分类结果为该图像是狗。而由于该第一训练样本未进行标注，所以预训练任务模型并不知晓自身的分类结果是否正确，故无法进行训练。但是分类信息中各分类对象的可能性可以表现出预训练任务模型对该图像是否具有较强的辨识能力。例如，上述狗的可能性远大猫和老虎的可行性，故预训练任务模型对该图像的辨识能力较强，也就意味着，该第一训练样本对预训练任务模型来说不确定度是较低的，故预训练任务模型使用该第一训练样本进行训练的必要性较小。反之，若假设分类信息为狗0.1、猫0.5和老虎0.4，虽然，模型最后输出的分类结果会是猫，但是猫和老虎的可能性是比较接近，该第一训练样本也有较高的概率可能是老虎，也意味该第一训练样本位于预训练任务模型放的决策边界附近，具有较高的不确定度。上述不确定度的计算方式或者衡量方式，可由技术人员根据需求进行设置。例如可计算各分类对象的可能性的方差值，方差值与不确定度成反比。可以理解的是，方差值可反映出各分类对象的可能性的波动情况，若波动情况较大，也就意味着各分类对象的可能性相差较大，预训练任务模型对该第一训练样本的不确定度就越低，反之，若方差值越小，则各分类对象的可能性波动较小，各分类对象的可能性相差较小，预训练任务模型对该第一训练模型不确定度就越高。
83.步骤s30，若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本。
84.需要说明的是，若预训练任务模型对一第一训练样本的不确定度较低，则表示该预训练任务模型对该第一训练样本的标识度较高，故若继续标注该第一训练样本对预训练任务模型进行训练，对预训练模型的来说取得的收益(即模型性能的提升)较少，故可不是使用该第一训练样本进行训练，对应的该第一训练样本可不进行标注，从而减少人工成本。反之，若预训练任务模型对一第一训练样本的不确定度较高，则表示该预训练任务模型对该第一训练样本的标识度低，相应的，对标注该第一训练样本对预训练任务模型进行训练，可取得较好的收益(即模型性能的提升幅度更大)，故可对该第一训练样本进行标注。
85.示例性的，上述预设高不确定度标注条件可以是预设不确定度阈值，例如，若一第一训练样本的不确定度阈值大于预设不确定度阈值，则可确定该第一训练样本为待标注样本。预设高不确定度标注条件也可以是前预设数量不确定度的第一训练样本。例如，得到299万条样本从小到大进行排序后，将前k名不确定度的第一训练样本作为待标注样本。待标注样本即为需要人工进行标注的样本，最后待标注样本的在人工标注后，即可用于预训
练任务模型的训练，以提升预训练任务模型的模型性能。
86.在本实施例中，将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息；根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度；若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本。即本技术实施例对筛选样本时，是基于本身的任务模型进行筛选的，即通过任务模型得到未标注样本的分类信息，再通过分类信息生成该未标注样本的不确定度，不确定度可反映出任务模型对该未标注样本的辨识度，也即进行标注的必要性，若不确定度符合预设高不确定度标注条件，则该训练样本确定为待标注样本，以进行人工标注。可以理解的是，在本实施例中，实现了通过任务模型对需要标注的样本筛，一方面，仅需对筛选出来的待标注样本进行标注，减少了人工标注的成本，另一方面，本技术无需训练额外的模型，减少了计算节点，还一方面，本实施例是直接通过任务模型对训练样本进行筛选，保证筛选的样本是任务模型确实所需要的，故本实施例的筛选方法可保证其在实际应用时的高效性。
87.在一可行的实施方式中，所述可能性为概率值，所述根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度的步骤包括：
88.步骤s21，基于各概率值中最大概率值和各所述概率值的概率分布生成所述第一训练样本集的不确定度。
89.在一可行的实施方式中，所述最大概率值与所述不确定度成反比，所述概率分布的集中度与所述不确定度成正比。
90.示例性的，本实施例提出一种不确定度的生成方法。生成过程可基于不确定度生成器(uncertainty indicator generator,uig)实现。
91.不确定度生成器的输入：对每个未标注样本，经过预处理和模型推理后，得到的预测向量v(维度等于样本分类个数)；
92.不确定度生成器的输出：取值范围[0,1)内的不确定度，一个标量值；
[0093]
不确定度的计算公式如下：
[0094][0095]
其中，预训练任务模型基于标注样本池d
l
进行了训练；xu是未标注图像；v＝p(xu|d
l
)，是预训练任务模型对xu的预测概率向量(即各分类对象的可能性)；maxi(v)是概率向量v的第i个最大概率值；m是从图像总类别个数中选择出的类别个数。对于常规分类任务和语义分割任务，m取值为1。对于多标签分类任务，m可以对每个图像都取不同的值，其取值可以通过maxm(v)≥0.5》max
m+1
(v)来确定。
[0096]
假设类别总数为c，minvar(v)可以计算为
[0097][0098]
其中，minvar(v)是v'的方差；向量v'的前m个元素和v相同，其他c-m个元素的方差是：
[0099][0100]
v'是通过最可能的前m个类别元素和剩余元素划分的，因此，minvar(v)/var(v)可以当做整体元素的前m个元素和剩余元素的边缘采样。var(v)与minvar(v)的取值差异越大，则考虑的不确定性越高。minvar(v)/var(v)反映了概率分布的集中程度。则更多考虑了取值较大的前m个元素的不确定性。
[0101]
计算出的不确定度是一个标量。具有三个特征：范围在[0,1)内；与最大概率值呈负相关；与概率分布的集中度呈正相关。不确定度越接近1，图像越不确定，就越有可能被选中作为待标注样本。
[0102]
以狗、猫和老虎三分类为例，假设任务模型对某个图像的预测输出为[0.6,0.1,0.3]。这种情况下，v＝[0.6,0.1,0.3]，v
′
是[0.2,0.2]。var是v的方差，minvar是v
′
的方差，其取值分别为0.042和0.036。max1(v)是v的最大值，取值为0.6。将这些值输入至不确定度生成器计算，可以得出不确定度为0.49。如果对另一个预测输出v等于[0.4,0.4,0.2]的图像(其中狗和猫的预测输出概率相同，都是0.4，因此无法区分猫和狗)进行计算，则得到的不确定度为0.90，可以认为该图像具有高不确定性。相应的，后者根有可能被确定为待标注样本。
[0103]
在一可行的实施方式中，所述在所述将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤之前，所述方法包括：
[0104]
步骤s01，将标注样本集中的第二训练样本输入至初始任务模型得到所述第二训练样本的分类结果；
[0105]
步骤s02，基于所述分类结果与所述第二训练样本的标签之间的差异，生成所述初始任务模型的模型损失；
[0106]
步骤s03，基于所述模型损失和梯度下降法反向传播更新所述初始任务模型的模型参数，得到所述预训练任务模型。
[0107]
需说明的是，在对未标注的第一训练样本进行筛选前，需保证预训练任务模型具有初步的分类能力。
[0108]
示例性的，可从未标注样本集中选取部分第一训练样本，并在人工标注后得到初始的标注样本集，相应的在标注样本集中的样本为标注后的第二训练样本。对于标注样本集中的任意一第二训练样本，将该第二训练样本输入至初始任务模型，初始任务模型可以是图像分类模型，使用tensorflow(基于数据流编程的符号数学系统)或pytorch(一种开源的机器学习库)，也可以使用其他ai(artificial intelligence，人工智能)训练框架，如keras(一种开源的神经网络库)等，搭建任务模型及训练框架，图像分类模型根据任务本身需要选择适当的模型(ai训练框架里面内置了常见的图像分类模型，如vgg(visual geometry group，视觉几何组)，也可以其他已有的模型)，此外，也可设置得到初始预训练任务模型的训练参数(如迭代轮次，批次大小，模型优化方法，学习率等)。
[0109]
将第二训练样本输入至初始任务模型时，通常会对第二训练样本进行缩放等处理预，如将1920*1080*3的图片处理成固定512*512*3维度的特征矩阵，再将预处理的结果输入至初始任务模型，从而得到第二训练样本分类的分类结果，设分类结果为而该第二训练样本的标签为y
l
，通过与y
l
之间的差异，即可生成初始任务模型的模型损失，再基于模
型损失通过梯度下降方法进行反向传播，按照设定的优化方法对初始任务模型的模型参数进行更新，经过多个第二训练样本的多轮迭代训练，达到停止标准后，即可得到预训练任务模型(也是初始的预训练任务模型)。
[0110]
参照图3，基于本技术第一实施例提出本技术的第二实施例，本实施例中与上述实施相同部分可参照上述内容，此处不再赘述。待标注样本筛选方法还包括：
[0111]
步骤a10,在所述待标注样本被人工标记得到第二训练样本后，更新所述未标注样本集得到新的未标注样本集，更新所述标注样本集得到新的标注样本集；
[0112]
步骤a20,基于所述新的标注样本集对所述预训练任务模型进行迭代优化，得到新的预训练任务模型；
[0113]
步骤a30,基于所述新的未标注样本集和所述新的预训练任务模型，执行所述将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤，直至所述预训练任务模型的模型性能达到预设需求标准。
[0114]
示例性的，在标注样本被人工标记后即可得到新的第二训练样本，并对未标注样本集进行更新得到新的未标注样本集，以及对标注样本集进行更新得到新的标注样本集。可以理解的是，此时加入标注样本集中第二训练样本都是通过筛选后的样本，故基于新的标注样本集对预训练任务模型进行迭代优化后，可大幅度提高得到的新的预训练任务模型的模型性能。具体的迭代优化过程，可参照上述内容，此处不再赘述。
[0115]
而在新的未标注样本集和新的预训练任务模型，再返回执行将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤，直到预训练任务模型的模型性能达到预设需求标准，例如，预设需求标准可以是，模型损失收敛，或者达到预设训练次数等。
[0116]
可以理解的是，在本实施例中，在筛选出的待标注样本被标注成为新的第二训练样本后，再通过新的第二训练样本对预训练任务进行训练，以提升预训练任务模型的模型性能。并再性能提升的基础重新筛选待标注样本，如此循环，直至预训练任务模型的模型性能提升到预设的需求标准。使得，每次人工标注的样本都是针对预训练任务模型的短板，从而保证每次标注的样本都是预训练任务模型最需要的样本，尽可能的减少人工标注的工作量。
[0117]
在一可行的实施方式中，所述更新所述未标注样本集得到新的未标注样本集，更新所述标注样本集得到新的标注样本集的步骤包括：
[0118]
步骤a11，从所述未标注样本集中删除所述待标注样本得到新的未标注样本集；
[0119]
步骤a12，将所述待标注样本被人工标记得到第二训练样本加入至所述标注样本集，得到所述新的标注样本集。
[0120]
示例性的，在对待标注样本进行标注得到第二训练样本后，可从未标注样本集中的删除待标注样本，生成新的未标注样本集。将得到第二训练样本加入到标注样本集，生成新的标注样本集。
[0121]
参照图4，基于本技术第二实施例提出本技术的第三实施例，本实施例中与上述实施相同部分可参照上述内容，此处不再赘述。所述若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本的步骤：
[0122]
步骤b10，对所述未标注样本集中各第一训练样本的不确定度排序得到不确定度
序列，其中，所述不确定度序列中前部位置的不确定度大于后部位置的不确定度；
[0123]
步骤b20，将不确定度序列中前部预设数量的不确定度所对应的第一训练样本作为所述待标注样本。
[0124]
示例性的，在遍历未标注样本集得到每个第一训练样本集的不确定度后，可对各不确定度按从大到小的顺序进行排序后得到不确定度序列，使得不确定度序列中前部位置的不确定度大于后部位置的不确度。再将不确定度序列中前部预设熟练的不确定度对对应的第一训练样本作为待标注样本。例如，将对未标注样本集中每个样本图片计算出不确定度后，按照不确定度的取值按照由大到小到排序，取出前k个(如1万)不确定性最高的样本图片，作为需要人工标注的样本图片。通过排名的方式筛选待标注样本，可保证每次筛选出来的待标注样本都是预训练模型最需要的样本。
[0125]
此外，为清楚的说明本技术的方案，本技术待标注样本筛选方法整体流程如下：
[0126]
输入为：
[0127]
dl:标注样本数据集；du:未标注样本数据集；t:随机初始化的任务模型；c:主动学习过程的循环次数；n:采样个数。
[0128]
输出为：
[0129]
训练后的预选训练任务模型t的参数。
[0130]
计算过程为：
[0131][0132]
参照图5，为本技术待标注样本筛选方法中，uig方法模型示意图。
[0133]
从图中未标注样本集出发，将未标注样本集中的未标注的第一训练样本xu输入到任务模型(也即预训练任务模型)，得到分类信息p(y∣x)，将分类结果输入至不确定性指标生成器(也即不确定度生成器)得到xu的不确定性指标(不确定度)，若xu的不确定度较高，则可将该xu作为待标注样本，进行人工标注，若xu的不确定度较低，则可重新获取未标注的样本，返回执行将未标注的样本输入到任务模型的步骤。当xu进行人工标注后，即可得到新的第二训练样本(xu，y)，将第二训练样本加入到标注样本集，标注样本集中的样本则可用
于任务模型训练，如将注样本集中的标注样本输入到任务模型后得到分类结果，再将分类结果与标注样本的标签比较得到模型损失，再通过模型损失对任务模型进行训练，以更新模型参数。
[0134]
参照图6，使用cityscapes数据集的部分真实图像与uig方法的训练输出结果的对比示意图。图中包括，真实的标注、使用全部数据训练的结果，以及使用，使用50％比例采样数据训练的结果。可以看到，uig方法在只使用50％比例采样数据训练时，可以得到与使用全部数据进行训练时效果几乎相同的结果，从而表明了本技术中方法的有效性。
[0135]
参照图7，显示了在二维数据集中sraal方法和uig方法各自选中的样本。其中，sraal方法和uig方法选择的样本用黑色的叉号标记。从图中可以看到，sraal选择的样本分布在整个区域，uig方法选择的样本更加靠近图中虚线，即模型的决策边界附近，因而所选样本具有更高的不确定性。
[0136]
请参阅图8，此外，本技术实施例还提供一种待标注样本筛选装置100，所述待标注样本筛选装置100包括：
[0137]
输入模块10，用于将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息；
[0138]
生成模块20，用于根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度；
[0139]
确定模块30，用于若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本。
[0140]
可选地，所述可能性为概率值，所述生成模块20还用于：
[0141]
基于各概率值中最大概率值和各所述概率值的概率分布生成所述第一训练样本集的不确定度。
[0142]
可选地，所述待标注样本筛选装置100还包括第一训练模块40，所述第一训练模块40用于：
[0143]
将标注样本集中的第二训练样本输入至初始任务模型得到所述第二训练样本的分类结果；
[0144]
基于所述分类结果与所述第二训练样本的标签之间的差异，生成所述初始任务模型的模型损失；
[0145]
基于所述模型损失和梯度下降法反向传播更新所述初始任务模型的模型参数，得到所述预训练任务模型。
[0146]
可选地，所述待标注样本筛选装置100还包括第二训练模块50，所述第二训练模块50用于：
[0147]
在所述待标注样本被人工标记得到第二训练样本后，更新所述未标注样本集得到新的未标注样本集，更新所述标注样本集得到新的标注样本集；
[0148]
基于所述新的标注样本集对所述预训练任务模型进行迭代优化，得到新的预训练任务模型；
[0149]
基于所述新的未标注样本集和所述新的预训练任务模型，执行所述将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤，直至所述预训练任务模型的模型性能达到预设需求标准。
[0150]
可选地，所述第二训练模块50还用于：
[0151]
从所述未标注样本集中删除所述待标注样本得到新的未标注样本集；
[0152]
将所述待标注样本被人工标记得到第二训练样本加入至所述标注样本集，得到所述新的标注样本集。
[0153]
可选地，在所述生成模块20生成不确定度的生成过程中，所述最大概率值与所述不确定度成反比，所述概率分布的集中度与所述不确定度成正比。
[0154]
可选地，所述确定模块30还用于：
[0155]
对所述未标注样本集中各第一训练样本的不确定度排序得到不确定度序列，其中，所述不确定度序列中前部位置的不确定度大于后部位置的不确定度；
[0156]
将不确定度序列中前部预设数量的不确定度所对应的第一训练样本作为所述待标注样本。
[0157]
本技术提供的待标注样本筛选装置，采用上述实施例中的待标注样本筛选方法，旨在解决目前降低标注成本方案应用低效的技术问题。与现有技术相比，本技术实施例提供的待标注样本筛选装置的有益效果与上述实施例提供的待标注样本筛选方法的有益效果相同，且该待标注样本筛选装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
[0158]
此外，为实现上述目的，本技术还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的待标注样本筛选程序，所述待标注样本筛选程序被所述处理器执行时实现如上述的待标注样本筛选方法的步骤。
[0159]
本技术电子设备的具体实施方式与上述待标注样本筛选方法各实施例基本相同，在此不再赘述。
[0160]
此外，为实现上述目的，本技术还提供一种存储介质，所述存储介质上存储有待标注样本筛选程序，所述待标注样本筛选程序被处理器执行时实现如上述的待标注样本筛选方法的步骤。
[0161]
本技术存储介质具体实施方式与上述待标注样本筛选方法各实施例基本相同，在此不再赘述。
[0162]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0163]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0164]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0165]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本申
请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种待标注样本筛选方法，其特征在于，所述待标注样本筛选方法包括：将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息；根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度；若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本。2.如权利要求1所述的待标注样本筛选方法，其特征在于，所述可能性为概率值，所述根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度的步骤包括：基于各概率值中最大概率值和各所述概率值的概率分布生成所述第一训练样本集的不确定度。3.如权利要求1所述的待标注样本筛选方法，其特征在于，在所述将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤之前，所述方法包括：将标注样本集中的第二训练样本输入至初始任务模型得到所述第二训练样本的分类结果；基于所述分类结果与所述第二训练样本的标签之间的差异，生成所述初始任务模型的模型损失；基于所述模型损失和梯度下降法反向传播更新所述初始任务模型的模型参数，得到所述预训练任务模型。4.如权利要求3所述的待标注样本筛选方法，其特征在于，所述待标注样本筛选方法还包括：在所述待标注样本被人工标记得到第二训练样本后，更新所述未标注样本集得到新的未标注样本集，更新所述标注样本集得到新的标注样本集；基于所述新的标注样本集对所述预训练任务模型进行迭代优化，得到新的预训练任务模型；基于所述新的未标注样本集和所述新的预训练任务模型，执行所述将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息的步骤，直至所述预训练任务模型的模型性能达到预设需求标准。5.如权利要求4所述的待标注样本筛选方法，其特征在于，所述更新所述未标注样本集得到新的未标注样本集，更新所述标注样本集得到新的标注样本集的步骤包括：从所述未标注样本集中删除所述待标注样本得到新的未标注样本集；将所述待标注样本被人工标记得到第二训练样本加入至所述标注样本集，得到所述新的标注样本集。6.如权利要求2所述的待标注样本筛选方法，其特征在于，所述最大概率值与所述不确定度成反比，所述概率分布的集中度与所述不确定度成正比。7.如权利要求1所述的待标注样本筛选方法，其特征在于，所述若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本的步骤：对所述未标注样本集中各第一训练样本的不确定度排序得到不确定度序列，其中，所
述不确定度序列中前部位置的不确定度大于后部位置的不确定度；将不确定度序列中前部预设数量的不确定度所对应的第一训练样本作为所述待标注样本。8.一种待标注样本筛选装置，其特征在于，所述待标注样本筛选装置包括：输入模块，用于将未标注样本集中的第一训练样本输入至预训练任务模型得到所述第一训练样本的分类信息；生成模块，用于根据所述分类信息中各分类对象的可能性生成所述第一训练样本集的不确定度；确定模块，用于若所述不确定度符合预设高不确定度标注条件，则确定所述第一训练样本为待标注样本。9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的待标注样本筛选程序，其中：所述待标注样本筛选程序被所述处理器执行时实现如权利要求1至7中任一项所述的待标注样本筛选方法的步骤。10.一种存储介质，其特征在于，所述存储介质上存储有待标注样本筛选程序，所述待标注样本筛选程序被处理器执行时实现如权利要求1至7中任一项所述的待标注样本筛选方法的步骤。

技术总结
本申请公开了一种待标注样本筛选方法、装置、电子设备及存储介质，涉及人工智能技术领域，本申请实施例对筛选样本时，基于本身的任务模型进行筛选的，即通过任务模型得到未标注样本的分类信息，再通过分类信息生成该未标注样本的不确定度，不确定度可反映出任务模型对该未标注样本的辨识度，若不确定度符合预设高不确定度标注条件，则该训练样本确定为待标注样本，以进行人工标注。本申请仅需对筛选出来的待标注样本进行标注，减少了人工标注的成本，且本申请无需训练额外的模型，减少了计算节点，且本申请直接通过任务模型对训练样本进行筛选，保证筛选的样本是任务模型确实所需要的，保证其在实际应用的高效性。保证其在实际应用的高效性。保证其在实际应用的高效性。


技术研发人员：王升元 李海刚 乔栋 陈熠 张永涛 王宏伟 刘宇宏 付源 霍海燕 孟利青
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2023.07.27
技术公布日：2023/10/20