小样本目标检测方法、装置、设备、介质及产品与流程

1.本技术涉及人工智能领域，尤其涉及一种小样本目标检测方法、装置、设备、介质及产品。


背景技术：

2.随着科学技术的飞速发展，人工智能领域的相关技术突飞猛进，借助人工智能的相关技术能够实现目标检测。
3.在现有技术中，预先搭建待训练神经网络模型，采用大量标注了真实检测结果的目标对象图像对待训练神经网络模型进行训练，直至达到预设训练收敛条件，将达到预设训练收敛条件时的待训练神经网络模型确定为目标对象检测模型，以便采用目标对象检测模型对图像中的对象进行目标检测。
4.但是，现有技术的方法需要大量的目标对象图像，若目标对象图像的数量较少，则无法根据较少数量的目标对象图像训练出目标对象检测模型。


技术实现要素：

5.本技术提供一种小样本目标检测方法、装置、设备、介质及产品，用以解决无法根据较少数量的目标对象图像训练出目标对象检测模型问题。
6.第一方面，本技术提供一种小样本目标检测方法，包括：
7.获取采用大样本数据集训练的第一目标对象检测模型，其中，所述第一目标对象检测模型包括特征提取网络和边框预测网络，所述边框预测网络包括基于支持向量机的分类器；
8.获取所述大样本数据集和小样本数据集，并根据所述大样本数据集和所述小样本数据集生成平衡训练集，其中，所述大样本数据集包括多张第一目标对象图像，所述小样本数据集包括多张第二目标对象图像，所述第一目标对象图像的数量远大于所述第二目标对象图像的数量；
9.冻结所述第一目标对象检测模型的特征提取网络的权重，初始化所述第一目标对象检测模型的边框预测网络的权重，并采用所述平衡训练集对所述第一目标对象检测模型进行训练；
10.将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，所述第二目标对象检测模型用于检测第二目标对象和第一目标对象。
11.第二方面，本技术提供一种小样本目标检测装置，包括：
12.获取模块，用于获取采用大样本数据集训练的第一目标对象检测模型，其中，所述第一目标对象检测模型包括特征提取网络和边框预测网络，所述边框预测网络包括基于支持向量机的分类器；
13.生成模块，用于获取所述大样本数据集和小样本数据集，并根据所述大样本数据集和所述小样本数据集生成平衡训练集，其中，所述大样本数据集包括多张第一目标对象
图像，所述小样本数据集包括多张第二目标对象图像，所述第一目标对象图像的数量远大于所述第二目标对象图像的数量；
14.训练模块，用于冻结所述第一目标对象检测模型的特征提取网络的权重，初始化所述第一目标对象检测模型的边框预测网络的权重，并采用所述平衡训练集对所述第一目标对象检测模型进行训练；
15.确定模块，用于将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，所述第二目标对象检测模型用于检测第二目标对象和第一目标对象。
16.第三方面，本技术提供一种电子设备，所述电子设备包括：处理器，以及与所述处理器通信连接的存储器；
17.所述存储器存储计算机执行指令；
18.所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面所述的小样本目标检测方法。
19.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的小样本目标检测方法。
20.第五方面，本技术提供一种计算机程序产品，所述计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的小样本目标检测方法。
21.本技术提供的小样本目标检测方法、装置、设备、介质及产品，获取采用大样本数据集训练的第一目标对象检测模型，其中，第一目标对象检测模型包括特征提取网络和边框预测网络，边框预测网络包括基于支持向量机的分类器；获取大样本数据集和小样本数据集，并根据大样本数据集和小样本数据集生成平衡训练集，其中，大样本数据集包括多张第一目标对象图像，小样本数据集包括多张第二目标对象图像，第一目标对象图像的数量远大于第二目标对象图像的数量；冻结第一目标对象检测模型的特征提取网络的权重，初始化第一目标对象检测模型的边框预测网络的权重，并采用平衡训练集对第一目标对象检测模型进行训练；将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，第二目标对象检测模型用于检测第二目标对象和第一目标对象。通过上述方案，首先采用由较多数量的第一目标对象图像组成的大样本数据集和由较少数量的第二目标对象图像组成的小样本数据集生成平衡训练集，然后冻结第一目标对象检测模型的特征提取网络的权重，采用平衡训练集对采用大样本数据集训练出的第一目标对象检测模型的边框预测网络的权重进行重新训练，从而获得既能够检测第一目标对象又能够检测第二目标对象的第二目标对象检测模型，实现了根据较少数量的第二目标对象图像训练出第二目标对象检测模型的目的。
附图说明
22.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
23.图1为本技术实施例提供的小样本目标检测方法的场景示意图；
24.图2为本技术实施例提供的小样本目标检测方法的流程示意图；
25.图3为本技术实施例提供的小样本目标检测方法的另一流程示意图；
26.图4为本技术实施例提供的小样本目标检测装置的结构示意图；
27.图5为本技术实施例提供的电子设备的结构示意图。
28.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
29.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
30.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
31.需要说明的是，本技术小样本目标检测方法、装置、设备、介质及产品可用于人工智能领域，也可用于除人工智能之外的任意领域，本技术小样本目标检测方法、装置、设备、介质及产品的应用领域不作限定。
32.为了清楚理解本技术的技术方案，首先对现有技术的方案进行详细介绍。
33.随着互联网的发展，线上办理业务已经成为银行的重要关注方向，目标检测是其中一项至关重要的技术。随着银行业务的扩张以及对客户信息安全的多重审核需求，现有业务中目标检测场景可能不足以应对日后扩张的新业务的需求，存在检测对象单一、缺少新业务对应的目标对象图像样本以及单独训练新业务的目标对象检测模型耗时较长等问题。
34.在现有技术中，如果想要训练出一个单独对图像中的对象进行目标检测的目标对象检测模型，需要提前准备大量标注了真实检测结果的目标对象图像，由大量标注了真实检测结果的目标对象图像组成训练集，然后采用该训练集对预先搭建的神经网络模型进行训练，在达到预设训练收敛条件时，停止训练，将达到预设训练收敛条件时的神经网络模型确定为目标对象检测模型，进而才能够通过目标对象检测模型对图像中的对象进行准确地目标检测。但是，由于新业务对应的目标对象图像样本数量较少，因此，无法根据较少数量的新业务对应的目标对象图像训练出目标对象检测模型。
35.针对上述无法根据较少数量的目标对象图像训练出目标对象检测模型的问题，发明人在研究中发现，为了解决该问题，可以利用已有的、事先采用大量第一目标对象图像训练好的、用于检测第一目标对象的模型，加以少量的、当前想要检测的第二目标对象图像，训练出测试性能较好的、既能够用于检测第二目标对象、又能够用于检测第一目标对象的模型，从而使得模型的检测对象更加多元化，既可以保留原有的训练结果在新的环境下继续使用，又可以减少第二目标对象图像样本采集量和训练时间，实现对第二目标对象的目标检测，对业务场景的拓展和技术开发都非常友好。
36.下面对本技术实施例提供的小样本目标检测方法的应用场景进行介绍。
37.假设在开展新的业务时，需要检测户口本这一原先没有的对象，则可以利用已有的识别身份证的模型，加以少量户口本图像重新训练该模型，也即第一目标对象为身份证，第二目标对象为户口本。
38.如图1所示，场景包括用户终端100和服务器200。服务器200存储有由大量身份证图像组成的大样本数据集和预先采用该大样本数据集训练得到的身份证检测模型，身份证检测模型包括特征提取网络和边框预测网络，边框预测网络包括基于支持向量机的分类器。用户终端100将由数量较少的户口本图像组成的小样本数据集和模型训练请求发送给服务器200，服务器200在接收到模型训练请求和小样本数据集之后，根据大样本数据集和小样本数据集生成平衡训练集，然后冻结身份证检测模型的特征提取网络的权重，初始化身份证检测模型的边框预测网络的权重，并采用平衡训练集对冻结特征提取网络权重和初始化边框预测网络权重后的身份证检测模型进行训练，进而将达到第一预设训练收敛条件时的身份证检测模型确定为户口本检测模型，并存储户口本检测模型，该户口本检测模型既能够用于检测图像中的户口本、又能够用于检测图像中的身份证，由此，扩展了原有业务中的身份证检测场景，为开拓新业务的户口本检测场景、识别户口本提供技术支持。
39.下面，通过具体实施例对本技术所示的技术方案进行详细说明。可选地，如下实施例可以单独存在，也可以相互结合，对于相同或相似的内容，在不同的实施例中不再重复说明。
40.图2为本技术实施例提供的小样本目标检测方法的流程图，如图2所示，本技术实施例提供的小样本目标检测方法包括：
41.s10：获取采用大样本数据集训练的第一目标对象检测模型，其中，第一目标对象检测模型包括特征提取网络和边框预测网络，边框预测网络包括基于支持向量机的分类器。
42.大样本数据集包括数量较多的第一目标对象图像。采用数量较多的第一目标对象图像能够训练得到第一目标对象检测模型，第一目标对象检测模型用于对第一目标对象进行检测。第一目标对象检测模型可从本地直接获取，也可从云端联网获取，在此不作限定。
43.示例性地，第一目标对象检测模型为以预设faster-rcnn模型为主体训练得到的模型，进而特征提取网络包括骨干(英文为backbone)网络、区域生成网络(英文为region proposal networks，简称为rpn)和感兴趣区域池化(英文为region of interest pooling，简称为roi pooling)，边框预测网络包括回归器和基于支持向量机的分类器。
44.可以理解的是，使用基于支持向量机的分类器可以有效简化分类和回归问题，并且由于支持向量机算法并不关心样本空间的维数，所以可以大大减少训练成本和时间。
45.s20：获取大样本数据集和小样本数据集，并根据大样本数据集和小样本数据集生成平衡训练集，其中，大样本数据集包括多张第一目标对象图像，小样本数据集包括多张第二目标对象图像，第一目标对象图像的数量远大于第二目标对象图像的数量。
46.大样本数据集可从本地数据库中直接获取，也可从云端联网获取，在此不作限定。小样本数据集可从本地数据库中直接获取，也可从云端联网获取，在此不作限定。在获取到大样本数据集和小样本数据集之后，可在本地根据大样本数据集和小样本数据集生成平衡训练集。
47.示例性地，大样本数据集中第一目标对象图像的数量为几千张，小样本数据集中第二目标对象图像的数量为几十张，第一目标对象图像的数量远大于第二目标对象图像的数量，由于第二目标对象图像的数量较少，无法单独训练出专用于检测第二目标对象的模型。
48.s30：冻结第一目标对象检测模型的特征提取网络的权重，初始化第一目标对象检测模型的边框预测网络的权重，并采用平衡训练集对第一目标对象检测模型进行训练。
49.具体地，在冻结第一目标对象检测模型的特征提取网络的权重，初始化第一目标对象检测模型的边框预测网络的权重之后，采用平衡训练集对冻结了特征提取网络权重和初始化了边框预测网络权重的第一目标对象检测模型进行训练，以保持第一目标对象检测模型的特征提取网络的权重不变、微调第一目标对象检测模型的边框预测网络的权重。
50.s40：将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，第二目标对象检测模型用于检测第二目标对象和第一目标对象。
51.在某些实施方式中，第一预设训练收敛条件为迭代次数达到第一预设迭代次数；在某些实施方式中，第一预设训练收敛条件为损失函数值达到最小值；在某些实施方式中，第一预设训练收敛条件为训练时长达到第一预设训练时长，在此不作限定。
52.本技术提供的小样本目标检测方法，获取采用大样本数据集训练的第一目标对象检测模型，其中，第一目标对象检测模型包括特征提取网络和边框预测网络，边框预测网络包括基于支持向量机的分类器；获取大样本数据集和小样本数据集，并根据大样本数据集和小样本数据集生成平衡训练集，其中，大样本数据集包括多张第一目标对象图像，小样本数据集包括多张第二目标对象图像，第一目标对象图像的数量远大于第二目标对象图像的数量；冻结第一目标对象检测模型的特征提取网络的权重，初始化第一目标对象检测模型的边框预测网络的权重，并采用平衡训练集对第一目标对象检测模型进行训练；将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，第二目标对象检测模型用于检测第二目标对象和第一目标对象。通过上述方案，首先采用由较多数量的第一目标对象图像组成的大样本数据集和由较少数量的第二目标对象图像组成的小样本数据集生成平衡训练集，然后冻结第一目标对象检测模型的特征提取网络的权重，采用平衡训练集对采用大样本数据集训练出的第一目标对象检测模型的边框预测网络的权重进行重新训练，从而获得既能够检测第一目标对象又能够检测第二目标对象的第二目标对象检测模型，实现了根据较少数量的第二目标对象图像快速训练出具有较好性能的第二目标对象检测模型的目的。
53.请结合图3，可选地，步骤s10，包括：
54.s11：获取大样本数据集，其中，大样本数据集包括多张第一目标对象图像及其对应的边框。
55.在某些实施方式中，预先采用边框对第一目标对象图像中的第二目标对象进行标注，进而根据多张第二目标对象图像及其对应的边框生成大样本数据集，将大样本数据集存储在本地数据库中，从而方便后续从本地数据库中直接获取大样本数据集。
56.s12：采用大样本数据集对预设faster-rcnn模型进行训练。
57.预设faster-rcnn模型可包括backbone网络、rpn层、roi pooling层、回归器和基于支持向量机的分类器。backbone网络可包括卷积层、relu激活函数层和池化层，通过卷积
层、relu激活函数层和池化层可获得图像特征图谱，将图像特征图谱共享到后续的rpn层和roi pooling层，用于生成候选框提取第一目标对象图像特征。
58.由于rpn层的候选框生成只用判断候选区域是正负样本，因此是类别不可知的，所以第一目标对象检测模型的特征提取网络得到的特征可以很好的适应第二目标对象检测模型的训练。
59.s13：将满足第二预设训练收敛条件的预设faster-rcnn模型确定为第一目标对象检测模型。
60.在某些实施方式中，第二预设训练收敛条件为迭代次数达到第二预设迭代次数；在某些实施方式中，第二预设训练收敛条件为损失函数值达到最小值；在某些实施方式中，第二预设训练收敛条件为训练时长达到第二预设训练时长，在此不作限定。
61.上述实施例的小样本目标检测方法，获取大样本数据集，其中，大样本数据集包括多张第一目标对象图像及其对应的边框；采用大样本数据集对预设faster-rcnn模型进行训练；将满足第二预设训练收敛条件的预设faster-rcnn模型确定为第一目标对象检测模型。如此，能够获得用于准确检测第一目标对象的第一目标对象检测模型。
62.可选地，大样本数据集包括至少一个类别的第一目标对象图像，小样本数据集包括至少一个类别的第二目标对象图像。
63.相应地，步骤s20，包括：
64.s21：确定预设图像数量。
65.预设图像数量可根据经验预先设置，在此不作限定。
66.s22：对各类别第一目标对象图像进行第一处理，获得预设图像数量的各类别第一目标对象图像，其中，第一处理包括筛选处理。
67.由于大样本数据集中的第一目标对象图像的数量较多，因此可对各类别第一目标对象图像进行筛选处理，挑选出分辨率更高或质量更优的第一目标对象图像，并且保证筛选出的各类别第一目标对象图像的数量均为预设图像数量。
68.s23：对各类别第二目标对象图像进行第二处理，获得预设图像数量的各类别第二目标对象图像，其中，第二处理包括截取处理、旋转处理、翻转处理中的一种或多种。
69.由于小样本数据集中的第二目标对象图像的数量较少，因此可对各类别第二目标对象图像进行截取处理、旋转处理或翻转处理中的一种或多种处理，增加各类别第二目标对象图像的数量，并且保证增加后的各类别第二目标对象图像的数量均为预设图像数量。
70.s24：采用预设图像数量的各类别第一目标对象图像和预设图像数量的各类别第二目标对象图像生成平衡训练集。
71.示例性地，大样本数据集包括1000张身份证图像和1000张银行卡图像，小样本数据集包括10张户口本图像和10张学生证图像，预设图像数量为100，进而对1000张身份证图像进行筛选处理，筛选出100张身份证图像；对1000张银行卡图像进行筛选处理，筛选出100张银行卡图像；对10张户口本图像进行截取处理、旋转处理和翻转处理，生成100张户口本图像；对10张学生证图像进行截取处理、旋转处理和翻转处理，生成100张学生证图像，最后根据筛选出的100张身份证图像、筛选出的100张银行卡图像、生成的100张户口本图像和生成的100张学生证图像构建平衡训练集。
72.需要指出的是，上述所提到的具体数值只为了作为例子详细说明本技术的实施，
而不应理解为对本技术的限制。在其他例子或实施方式或实施例中，可根据本技术来选择其他数值，在此不作具体限定。
73.上述实施例的小样本目标检测方法，确定预设图像数量；对各类别第一目标对象图像进行第一处理，获得预设图像数量的各类别第一目标对象图像，其中，第一处理包括筛选处理；对各类别第二目标对象图像进行第二处理，获得预设图像数量的各类别第二目标对象图像，其中，第二处理包括截取处理、旋转处理、翻转处理中的一种或多种；采用预设图像数量的各类别第一目标对象图像和预设图像数量的各类别第二目标对象图像生成平衡训练集。如此，能够保证平衡训练集中各类别图像的数量一致，进而保证后续根据平衡训练集训练出的第二目标对象检测模型既能够较好地保留原有检测第一目标对象的能力，又能够具备较优的检测第二目标对象的能力。
74.可选地，步骤s30，包括：
75.s31：随机初始化第一目标对象检测模型的边框预测网络的权重。
76.可采用现有的随机初始化算法对第一目标对象检测模型的边框预测网络的权重进行初始化，此不赘述，
77.上述实施例的小样本目标检测方法，随机初始化第一目标对象检测模型的边框预测网络的权重。如此，对随机初始化边框预测网络权重的第一目标对象检测模型进行训练，能够避免训练结果偏向第一目标对象或第二目标对象，保证训练结果的准确性。
78.可选地，平衡训练集包括目标对象图像及其对应的标注数据，标注数据包括真实框和类别。
79.相应地，步骤s30，包括：
80.s32：将目标对象图像输入第一目标对象检测模型，获得预测框。
81.具体地，将目标对象图像输入第一目标对象检测模型，第一目标对象检测模型对目标对象图像中的目标对象的边框进行预测，并输出预测框。
82.示例性地，预测框可表示为anchor a＝(a
x
,ay,aw,ah)，其中，a
x
、ay、aw、ah为预测框的参数，(a
x
,ay)为预测框的中线点坐标，aw为预测框的宽度值，ah为预测框的高度值。真实框可表示为anchor g＝(g
x
,gy,gw,gh)，其中，g
x
、gy、gw、gh为真实框的参数，(g
x
,gy)为真实框的中线点坐标，gw为真实框的宽度值，gh为真实框的高度值。
83.s33：根据真实框和预测框，计算损失函数值。
84.可选地，损失函数值通过以下公式(1)进行计算：
[0085][0086]
其中，loss为损失函数值，n为预测框数量，gi为第i个预测框对应的真实框的参数，a为第i个预测框的参数，w和b为支持向量机的参数，λ为超参数。
[0087]
如此，基于hinge函数较准确地计算真实框与预测框的差距。
[0088]
在训练过程中，为了保证预测框尽可能接近真实框，可以寻求一种变换，使得f(a
x
,ay,aw,ah)＝(g
′
x
,g
′y,g
′w,g
′h)≈(g
x
,gy,gw,gh)，其中，g
′
x
、g
′y、g
′w、g
′h为变换后的预测框g
′
的参数。
[0089]
示例性地，可先对预测框a进行平移处理，再对平移后的预测框进行缩放处理，以获得变换后的预测框g
′
。
[0090]
平移处理可通过以下公式(2)和公式(3)表示：
[0091]g′
x
＝aw·dx
(a)+a
x
公式(2)，
[0092]g′y＝ah·dy
(a)+ay公式(3)，
[0093]
其中，g
′
x
和g
′y为平移后的预测框的中心点坐标。
[0094]
缩放处理可通过以下公式(4)和公式(5)表示：
[0095]g′w＝aw·
exp(dw(a))公式(4)，
[0096]g′h＝ah·
exp(dh(a))公式(5)，
[0097]
其中，g
′w为缩放后预测框的宽度值，g
′h为缩放后预测框的高度值。
[0098]
上述d
x
(a)、dy(a)、dw(a)和dh(a)用于生成公式(1)中支持向量机的参数w和b。
[0099]
s34：根据损失函数值和预设学习率对第一目标对象检测模型的边框预测网络的权重进行调整。
[0100]
示例性地，预设学习率为0.019，这样可以在少样本的基础上让分类器更加关注整体的误差，减少噪声和异常点带来的影响。同时，为了加快求得损失函数的最小值，采用梯度下降法优化迭代过程，将预设学习率设为0.019，损失函数的收敛速度最快。
[0101]
上述实施例的小样本目标检测方法，将目标对象图像输入第一目标对象检测模型，获得预测框；根据真实框和预测框，计算损失函数值；根据损失函数值和预设学习率对第一目标对象检测模型的边框预测网络的权重进行调整。如此，平衡训练集对第一目标对象检测模型的边框预测网络的权重进行微调，
[0102]
可选地，步骤s40，包括：
[0103]
s41：将损失函数值取得最小值时的第一目标对象检测模型确定为第二目标对象检测模型。
[0104]
具体地，第一预设训练收敛条件为损失函数值取得最小值，从而在损失函数值取得最小值时，停止训练，并将损失函数值取得最小值时的第一目标对象检测模型确定为第二目标对象检测模型。
[0105]
上述实施例的小样本目标检测方法，将损失函数值取得最小值时的第一目标对象检测模型确定为第二目标对象检测模型。如此，能够获得检测性能较好的第二目标对象检测模型。
[0106]
可选地，在步骤s40之后，还包括：
[0107]
s50：获取待检测图像。
[0108]
示例性地，待检测图像可为银行柜员拍摄并上传的图像、也可为银行自助终端拍摄并上传的图像、也可为用户拍摄并通过网上银行上传的图像，在此不做限定。
[0109]
s60：将待检测图像输入第二目标对象检测模型，对待检测图像进行目标检测，并输出目标检测结果。
[0110]
在一个例子中，第二目标对象为学生证，待检测图像中包括学生证和放置学生证的桌面，在将待检测图像输入第二目标对象检测模型之后，第二目标对象检测模型将待检测图像中的学生证框选出来并确定框选的对象为学生证，然后输出目标检测结果。
[0111]
在另一个例子中，第一目标对象为身份证，待检测图像中包括身份证和放置身份证的手掌，在将待检测图像输入第二目标对象检测模型之后，第二目标对象检测模型将待检测图像中的身份证框选出来并确定框选的对象为身份证，然后输出目标检测结果。
[0112]
上述实施例的小样本目标检测方法，获取待检测图像；将待检测图像输入第二目
标对象检测模型，对待检测图像进行目标检测，并输出目标检测结果。如此，能够采用第二目标对象检测模型较准确地检测出输入的待检测图像中是否包含第一目标对象或第二目标对象，并输出目标检测结果，便于后续根据目标检测结果执行相应的处理。
[0113]
图4为本技术实施例提供的小样本目标检测装置的结构示意图，如图4所示，本技术实施例提供的小样本目标检测装置400包括获取模块401、生成模块402、训练模块403和确定模块404。
[0114]
其中，获取模块401，用于获取采用大样本数据集训练的第一目标对象检测模型，其中，第一目标对象检测模型包括特征提取网络和边框预测网络，边框预测网络包括基于支持向量机的分类器。生成模块402，用于获取大样本数据集和小样本数据集，并根据大样本数据集和小样本数据集生成平衡训练集，其中，大样本数据集包括多张第一目标对象图像，小样本数据集包括多张第二目标对象图像，第一目标对象图像的数量远大于第二目标对象图像的数量。训练模块403，用于冻结第一目标对象检测模型的特征提取网络的权重，初始化第一目标对象检测模型的边框预测网络的权重，并采用平衡训练集对第一目标对象检测模型进行训练。确定模块404，用于将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，第二目标对象检测模型用于检测第二目标对象和第一目标对象。
[0115]
可选地，获取模块401，具体用于：获取大样本数据集，其中，大样本数据集包括多张第一目标对象图像及其对应的边框；采用大样本数据集对预设faster-rcnn模型进行训练；将满足第二预设训练收敛条件的预设faster-rcnn模型确定为第一目标对象检测模型。
[0116]
可选地，大样本数据集包括至少一个类别的第一目标对象图像，小样本数据集包括至少一个类别的第二目标对象图像。
[0117]
相应地，生成模块402，具体用于：确定预设图像数量；对各类别第一目标对象图像进行第一处理，获得预设图像数量的各类别第一目标对象图像，其中，第一处理包括筛选处理；对各类别第二目标对象图像进行第二处理，获得预设图像数量的各类别第二目标对象图像，其中，第二处理包括截取处理、旋转处理、翻转处理中的一种或多种；采用预设图像数量的各类别第一目标对象图像和预设图像数量的各类别第二目标对象图像生成平衡训练集。
[0118]
可选地，训练模块403，具体用于：随机初始化第一目标对象检测模型的边框预测网络的权重。
[0119]
可选地，平衡训练集包括目标对象图像及其对应的标注数据，标注数据包括真实框和类别。
[0120]
相应地，训练模块403，具体用于：将目标对象图像输入第一目标对象检测模型，获得预测框；根据真实框和预测框，计算损失函数值；根据损失函数值和预设学习率对第一目标对象检测模型的边框预测网络的权重进行调整。
[0121]
可选地，损失函数值通过以下公式进行计算：
[0122][0123]
其中，loss为损失函数值，n为预测框数量，gi为第i个预测框对应的真实框的参数，a为第i个预测框的参数，w和b为支持向量机的参数，λ为超参数。
[0124]
可选地，确定模块404，具体用于：将损失函数值取得最小值时的第一目标对象检
测模型确定为第二目标对象检测模型。
[0125]
可选地，小样本目标检测装置400还包括检测模型。检测模块，用于：获取待检测图像；将待检测图像输入第二目标对象检测模型，对待检测图像进行目标检测，并输出目标检测结果。
[0126]
本技术实施例提供的小样本目标检测装置400可以执行上述小样本目标检测方法实施例所示的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0127]
图5为本技术实施例提供的电子设备的结构示意图，如图5所示，本技术实施例提供的电子设备500包括：处理器501，以及与处理器501通信连接的存储器502；存储器502存储计算机执行指令；处理器501执行存储器502存储的计算机执行指令，以实现上述任一项实施例的小样本目标检测方法。
[0128]
例如，当处理器501执行存储器502存储的计算机执行指令时，实现如下小样本目标检测方法的步骤：
[0129]
s10：获取采用大样本数据集训练的第一目标对象检测模型，其中，第一目标对象检测模型包括特征提取网络和边框预测网络，边框预测网络包括基于支持向量机的分类器；
[0130]
s20：获取大样本数据集和小样本数据集，并根据大样本数据集和小样本数据集生成平衡训练集，其中，大样本数据集包括多张第一目标对象图像，小样本数据集包括多张第二目标对象图像，第一目标对象图像的数量远大于第二目标对象图像的数量；
[0131]
s30：冻结第一目标对象检测模型的特征提取网络的权重，初始化第一目标对象检测模型的边框预测网络的权重，并采用平衡训练集对第一目标对象检测模型进行训练；
[0132]
s40：将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，第二目标对象检测模型用于检测第二目标对象和第一目标对象。
[0133]
在图5对应的实施例中，程序可以包括程序代码，程序代码包括计算机执行指令。处理器501可以是通用处理器，包括中央处理器cpu、网络处理器(network processor，np)等；还可以是数字信号处理器dsp、专用集成电路asic、现场可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。存储器502可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0134]
其中，存储器502和处理器501通过总线连接。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component interconnect，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0135]
示例性地，电子设备可以是服务器，笔记本电脑，平板电脑，计算机等。
[0136]
本技术实施例提供的电子设备500可以执行上述小样本目标检测方法实施例所示的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0137]
本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一项实施例的小样本目标检测方法。
[0138]
本技术实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，该计
算机程序被处理器执行时实现上述任一项实施例的小样本目标检测方法。
[0139]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0140]
进一步需要说明的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0141]
应该理解，上述的装置实施例仅是示意性的，本技术的装置还可通过其它的方式实现。例如，上述实施例中单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
[0142]
另外，若无特别说明，在本技术各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
[0143]
集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，处理器可以是任何适当的硬件处理器，比如cpu、gpu、fpga、dsp和asic等等。若无特别说明，存储器可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器rram(resistive random access memory)、动态随机存取存储器dram(dynamic random access memory)、静态随机存取存储器sram(static random-access memory)、增强动态随机存取存储器edram(enhanced dynamic random access memory)、高带宽内存hbm(high-bandwidth memory)、混合存储立方hmc(hybrid memory cube)等等。
[0144]
集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0145]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些
技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

技术特征：
1.一种小样本目标检测方法，其特征在于，包括：获取采用大样本数据集训练的第一目标对象检测模型，其中，所述第一目标对象检测模型包括特征提取网络和边框预测网络，所述边框预测网络包括基于支持向量机的分类器；获取所述大样本数据集和小样本数据集，并根据所述大样本数据集和所述小样本数据集生成平衡训练集，其中，所述大样本数据集包括多张第一目标对象图像，所述小样本数据集包括多张第二目标对象图像，所述第一目标对象图像的数量远大于所述第二目标对象图像的数量；冻结所述第一目标对象检测模型的特征提取网络的权重，初始化所述第一目标对象检测模型的边框预测网络的权重，并采用所述平衡训练集对所述第一目标对象检测模型进行训练；将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，所述第二目标对象检测模型用于检测第二目标对象和第一目标对象。2.根据权利要求1所述的方法，其特征在于，所述获取采用大样本数据集训练的第一目标对象检测模型，包括：获取所述大样本数据集，其中，所述大样本数据集包括多张所述第一目标对象图像及其对应的边框；采用所述大样本数据集对预设faster-rcnn模型进行训练；将满足第二预设训练收敛条件的预设faster-rcnn模型确定为所述第一目标对象检测模型。3.根据权利要求1所述的方法，其特征在于，所述大样本数据集包括至少一个类别的第一目标对象图像，所述小样本数据集包括至少一个类别的第二目标对象图像；所述根据所述大样本数据集和所述小样本数据集生成平衡训练集，包括：确定预设图像数量；对各类别所述第一目标对象图像进行第一处理，获得所述预设图像数量的各类别所述第一目标对象图像，其中，所述第一处理包括筛选处理；对各类别所述第二目标对象图像进行第二处理，获得所述预设图像数量的各类别所述第二目标对象图像，其中，所述第二处理包括截取处理、旋转处理、翻转处理中的一种或多种；采用所述预设图像数量的各类别所述第一目标对象图像和所述预设图像数量的各类别所述第二目标对象图像生成所述平衡训练集。4.根据权利要求1所述的方法，其特征在于，所述初始化所述第一目标对象检测模型的边框预测网络的权重，包括：随机初始化所述第一目标对象检测模型的边框预测网络的权重。5.根据权利要求1所述的方法，其特征在于，所述平衡训练集包括目标对象图像及其对应的标注数据，所述标注数据包括真实框和类别；所述采用所述平衡训练集对所述第一目标对象检测模型进行训练，包括：将所述目标对象图像输入所述第一目标对象检测模型，获得预测框；根据所述真实框和所述预测框，计算损失函数值；
根据所述损失函数值和预设学习率对所述第一目标对象检测模型的边框预测网络的权重进行调整。6.根据权利要求5所述的方法，其特征在于，所述损失函数值通过以下公式进行计算：其中，loss为所述损失函数值，n为预测框数量，g
i
为第i个预测框对应的真实框的参数，a为第i个预测框的参数，w和b为所述支持向量机的参数，λ为超参数。7.根据权利要求5所述的方法，其特征在于，所述将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，包括：将所述损失函数值取得最小值时的第一目标对象检测模型确定为所述第二目标对象检测模型。8.根据权利要求1-7中任一项所述的方法，其特征在于，在所述将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型之后，还包括：获取待检测图像；将所述待检测图像输入所述第二目标对象检测模型，对所述待检测图像进行目标检测，并输出目标检测结果。9.一种小样本目标检测装置，其特征在于，包括：获取模块，用于获取采用大样本数据集训练的第一目标对象检测模型，其中，所述第一目标对象检测模型包括特征提取网络和边框预测网络，所述边框预测网络包括基于支持向量机的分类器；生成模块，用于获取所述大样本数据集和小样本数据集，并根据所述大样本数据集和所述小样本数据集生成平衡训练集，其中，所述大样本数据集包括多张第一目标对象图像，所述小样本数据集包括多张第二目标对象图像，所述第一目标对象图像的数量远大于所述第二目标对象图像的数量；训练模块，用于冻结所述第一目标对象检测模型的特征提取网络的权重，初始化所述第一目标对象检测模型的边框预测网络的权重，并采用所述平衡训练集对所述第一目标对象检测模型进行训练；确定模块，用于将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，所述第二目标对象检测模型用于检测第二目标对象和第一目标对象。10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至8任一项所述的小样本目标检测方法。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的小样本目标检测方法。12.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的小样本目标检测方法。

技术总结
本申请提供一种小样本目标检测方法、装置、设备、介质及产品，涉及人工智能领域。该方法包括：获取采用大样本数据集训练的第一目标对象检测模型，第一目标对象检测模型包括特征提取网络和边框预测网络，边框预测网络包括基于支持向量机的分类器；根据包括多张第一目标对象图像的大样本数据集和包括多张第二目标对象图像的小样本数据集生成平衡训练集；冻结特征提取网络的权重，初始化边框预测网络的权重，并采用平衡训练集对冻结权重和初始化权重后的第一目标对象检测模型进行训练；将满足第一预设训练收敛条件的第一目标对象检测模型确定为第二目标对象检测模型，第二目标对象检测模型用于检测第二目标对象和第一目标对象。测模型用于检测第二目标对象和第一目标对象。测模型用于检测第二目标对象和第一目标对象。


技术研发人员：曹哲 陈永录 廖琦 刘秦昭
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2023.05.30
技术公布日：2023/8/28