图像检测方法、装置、电子设备及计算机可读存储介质与流程
未命名
09-23
阅读:39
评论:0
1.本技术涉及图像处理技术领域,具体涉及一种图像检测方法、装置、电子设备及计算机可读存储介质。
背景技术:
2.随着人工智能技术在图像视觉领域的飞速发展,对不同场景下进行图像分类、识别和分割等图像检测任务的需求和应用越来越多。基于cnn(convolutional neural networks,卷积神经网络)模型被广泛应用在相关的任务中,虽然利用cnn模型提取图像特征和解决相关任务方面已经被证明其有效性。
3.但目前针对不同任务只能使用单一的cnn模型,即针对一个任务,训练一个对应的单任务模型,对于一个图像检测任务来说,需要训练一个用于执行该图像检测任务的模型,再使用该模型执行检测任务,当对一个图像需要执行多个不同的任务时,就需要训练多个不同的模型,这种方式导致图像检测的效率低下。
技术实现要素:
4.本技术实施例提供一种图像检测方法、装置、电子设备及计算机可读存储介质,能够提高图像检测任务的执行效率。
5.第一方面,本技术实施例提供一种图像检测方法,包括:
6.确定与当前图像检测任务对应的目标网络模型,目标网络模型是对预训练的多任务网络中对应于当前图像检测任务的单任务网络进行再次训练得到的;
7.将获取的待检测图像输入目标网络模型进行处理,输出与当前图像检测任务匹配的检测结果。
8.第二方面,本技术实施例还提供一种图像检测装置,包括:
9.确定模块,用于确定与当前图像检测任务对应的目标网络模型,目标网络模型是对预训练的多任务网络中对应于当前图像检测任务的单任务网络进行再次训练得到的;
10.检测模块,用于将获取的待检测图像输入目标网络模型进行处理,输出与当前图像检测任务匹配的检测结果。
11.第三方面,本技术实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如本技术任一实施例提供的图像检测方法中的步骤。
12.第四方面,本技术实施例还提供一种电子设备,电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如本技术任一实施例提供的图像检测方法中的步骤。
13.本技术实施例提供的技术方案,预训练一个多任务网络,该多任务网络中的多个单任务网络共用一个主网络。在多任务网络的预训练阶段,只需训练一个主网络即可,在执行当前图像检测任务时,对该预训练的多任务网络中与该当前图像检测任务对应的单任务
网络进行再次训练得到目标网络模型,基于该目标网络模型对获取的待检测图像执行图像检测任务,提高了图像检测任务的执行效率。
附图说明
14.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他的附图。
15.图1为本技术实施例提供的图像检测方法的第一种流程示意图。
16.图2为本技术实施例提供的图像检测方法的多任务网络的示意图。
17.图3为本技术实施例提供的图像检测装置的结构示意图。
18.图4为本技术实施例提供的电子设备的结构示意图。
具体实施方式
19.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有付出创造性劳动前提下所获取的所有其他实施例,都属于本技术的保护范围。
20.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
21.本技术实施例提供一种图像检测方法,该图像检测方法的执行主体可以是电子设备。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
22.请参阅图1,图1为本技术实施例提供的图像检测方法的第一种流程示意图。本技术实施例提供的图像检测方法的具体流程可以如下:
23.101、确定与当前图像检测任务对应的目标网络模型,目标网络模型是对预训练的多任务网络中对应于当前图像检测任务的单任务网络进行再次训练得到的。
24.本技术实施例中,预训练一个多任务网络,多任务网络包括主网络和结构互不相同的n个分支网络,主网络和任一分支网络构成一个单任务网络,每一单任务网络对应于一个预设图像检测任务,n为大于1的整数。
25.也就是说,多个图像检测任务共用一个主网络,并且每一个图像检测任务有一个单独的分支网络。如图2所示,该多任务网络包括主网络m和结构互不相同的n个分支网络ii,i∈[1,n],n≥2。预先,使用训练集对该多任务网络进行训练,确定出模型参数,得到预训练的多任务网络。其中,主网络学习到图像数据的特征表示,可以包括多个卷积层和池化层。不同的分支网络根据不同的任务形成不同维度的输出向量,并基于该输出向量计算对应的任务的检测结果,一般为全连接层。
[0026]
多任务网络中的主网络和任意一个分支网络都可以构成一个单任务网络,该单任
务网络可以为cnn网络。经过预训练的多任务网络在应用到具体的图像检测任务中时,再根据当前图像检测任务,在预训练的基础上对模型进行再次训练(fine tuning),得到该图像检测任务的目标网络模型。例如,使用新的训练集对主网络和该图像检测任务对应的分支网络构成的单任务网络进行再训练,以更新参数,由于该单任务网络之前经过了预训练,即使不进行再次训练,在执行任务时已经能够获取较好的结果,而在再次训练阶段,在经过预训练得到的模型参数的基础上,继续对模型参数进行优化,以使模型执行任务时可以得到更准确的结果。其中,模型再次训练时的计算量远小于预训练阶段的运算量。此外,基于图像数据的视觉特征可迁移性和解释性,多个单任务共用一个主网络,而在预训练阶段,提高了主网络的训练效率,进而从整体上提高了这多个单任务的训练效率。
[0027]
102、将获取的待检测图像输入目标网络模型进行处理,输出与当前图像检测任务匹配的检测结果。
[0028]
在执行当前图像检测任务时,获取待检测图像,将该待检测图像输入目标网络模型进行处理,输出与当前图像检测任务匹配的检测结果。
[0029]
本技术实施例中的图像检测任务包括但不限于图像分类任务,如对输入图像进行分类等;图像识别任务,如人脸识别等;位置检测任务,识别目标人脸在输入图像中的位置等;以及图像语义分割任务等图像视觉任务中。
[0030]
以当前图像检测任务是人脸识别任务为例,该人脸识别任务是对图像中包含的人脸进行识别,以检测输入的图像中是否包含预设人脸。获取待检测图像,将该待检测图像输入到目标网络模型进行处理,当检测到该待检测图像的人脸为预设人脸时,输出与该待检测图像中的人脸匹配的预设人脸的身份信息作为检测结果;反之,当检测到该待检测图像中的人脸不是预设人脸时,则输出的检测结果为无法识别身份信息。
[0031]
具体实施时,本技术不受所描述的各个步骤的执行顺序的限制,在不产生冲突的情况下,某些步骤还可以采用其它顺序进行或者同时进行。
[0032]
由上可知,本技术实施例提供的图像检测方法,预训练一个多任务网络,该多任务网络中,多个单任务网络共用一个主网络,在多任务网络的预训练阶段,只需训练一个主网络即可,在执行当前图像检测任务时,对该预训练的多任务网络中与该当前图像检测任务对应的单任务网络进行再次训练得到目标网络模型,基于该目标网络模型对获取的待检测图像执行图像检测任务,提高了图像检测任务的执行效率。
[0033]
在一实施例中,在确定与当前图像检测任务对应的目标网络模型之前,该方法还包括:
[0034]
获取每一预设图像检测任务对应的训练集;
[0035]
基于n个训练集对未训练的多任务网络进行训练,得到预训练的多任务网络。
[0036]
该实施例中对多任务网络的训练过程进行详细说明。预先根据各种预设图像检测任务构建出如图2所示的多任务网络的网络结构,并为每个图像检测任务准备对应的训练集,一共得到n个训练集。可以理解的是,对于不同的任务,训练集中的样本图像具有不同类型的标签数据。例如,若图像检测任务为图像分类任务,则样本图像的标签数据为类别数据,若图像检测任务为位置检测任务,则样本图像的标签数据为位置数据。
[0037]
在一些可能的实施例中,基于n个训练集对未训练的多任务网络进行训练,得到预训练的多任务网络,包括:
[0038]
对未训练的主网络进行初始化处理,得到初始化的主网络;
[0039]
基于n个训练集,对初始化的主网络和n个分支网络构成的n个单任务网络分别进行训练,仅更新n个分支网络的参数,得到n个预训练的分支网络;
[0040]
基于n个训练集,对初始化的主网络和n个预训练的分支网络构成的n个单任务网络依次进行训练,仅更新初始化的主网络的参数,得到预训练的多任务网络。
[0041]
该实施例中,基于深度学习的技术框架,提供一种多任务的cnn模型的训练方法,已知有n个预设图像检测任务,每一个预设图像检测任务对应于一个分支网络,该分支网络与主网络共同构成该图像检测任务对应的单任务网络。就与该单任务网络可以执行该图像检测任务。
[0042]
首先,对该主网络进行初始化处理,例如,对主网络的参数进行随机初始化处理。
[0043]
在一些可能的实施例中,对未训练的主网络进行初始化处理,得到初始化的主网络,包括:
[0044]
从n个训练集中确定第一训练集;
[0045]
基于第一训练集,对未训练的主网络以及与第一训练集对应的分支网络构成的单任务网络进行训练,得到初始化的主网络。
[0046]
具体地,从n个训练集中选择任意一个训练集,记为第一训练集dk,确定该第一训练集dk对应的分支网络,记为ik。该分支网络ik和主网络m组成一个完整的端到端模型model(m+ik),对应于预设图像检测任务tk。接下来使用第一训练集对该模型model(m+ik)进行迭代训练,直至模型收敛。模型收敛的条件可以是损失函数的值小于预设阈值,或者模型训练的迭代次数达到设定的迭代次数(epoch),例如,设定epoch=500,则模型迭代训练500次后,终止模型训练。在完成本次模型训练后,得到训练后的任务网络ik和主网络m,将本次训练后的主网络确定为初始化的主网络。其中,可以理解的是,本次训练的目的在于对主网络的参数进行初始化,所以可以在设定epoch的值时,可以设定较小的数值。或者,在设定损失函数的预设阈值时,可以设定较大的数值,以减少迭代的次数。
[0047]
得到初始化的主网络后,接下来对多任务网络中的所有任务头进行逐一训练。这一过程主要是为了得到各个人物头网络的参数。例如,在一实施例中,对于每一个分支网络,该分支网络与主网络构成一个单任务网络,该单任务网络是一个完整的端到端模型。基于该端到端模型对应的训练集分别进行训练,以更新模型参数,包括主网络的参数和分支网络的参数。
[0048]
或者,在另一实施例中,基于n个训练集,对初始化的主网络和n个分支网络构成的n个单任务网络分别进行训练,仅更新n个分支网络的参数,得到n个预训练的分支网络,包括:
[0049]
从n个训练集中确定一未用于第一迭代训练的训练集作为第二训练集;
[0050]
基于第二训练集,对初始化的主网络以及与第二训练集对应的分支网络构成的单任务网络进行第一迭代训练,直至模型收敛;其中,在训练过程中,初始化的主网络的参数保持不变;
[0051]
返回执行从n个训练集中确定一未用于第一迭代训练的训练集作为第二训练集的步骤,直至n个单任务网络训练完成。
[0052]
首先,需要说明的是,下文中的“第一迭代训练”和“第二迭代训练”中的“第一”和“第二”仅是为了区分两个不同的迭代训练过程,不用于描述特定顺序。其中,第一迭代训练主要是指为了更新任务头参数而对端到端模型进行的迭代训练,第二迭代训练主要是指为了更新主网络参数而对端到端模型进行的迭代训练。
[0053]
例如,该多任务网络包括n个分支网络,对应于n个预设图像检测任务和n个训练集。从n个训练集中按顺序选择一个未用于第一迭代训练的训练集,记为第二训练集dj,确定该第二训练集dj对应的分支网络,记为ij。该分支网络ij和主网络m组成一个完整的端到端模型model(m+ij),对应于预设图像检测任务tj,其中,主网络m的参数已经过初始化处理。基于第二训练集对该端到端模型model(m+ij)进行第一迭代训练,直至模型收敛,其中,在迭代训练过程中,将主网络的参数冻结,只更新分支网络ij的参数。将主网络的参数冻结的意思是指,在模型训练的过程中,不对主网络的参数进行更新,主网络的参数始终为初始化的主网络的参数,只对分支网络ij的参数进行更新。该端到端模型model(m+ij)迭代训练的终止条件为模型收敛,例如,模型收敛的条件可以是损失函数的值小于预设阈值,或者模型训练的迭代次数达到设定的迭代次数,例如,设定epoch=200,则模型迭代训练200次后,终止模型训练。然后,从n个训练集中获取一个新的训练集,即未经过上述训练过程的训练集,记为第二训练集,然后重复执行上述步骤,训练对应的端到端模型,直至n个单任务网络全部训练完成,得到每一个分支网络的参数。其中,每个训练集只会被选择一次。
[0054]
其中,可以理解的是,由于在对主网络进行初始化的过程中,已经对其中一个分支网络进行了训练,即上文中的第一训练集对应的分支网络,因此,在一些实施例中,为了提高训练效率,可以在主网络的初始化完成后,存储该第一训练集对应的分支网络的参数。在执行从n个训练集中确定一未用于第一迭代训练的训练集作为第二训练集的步骤时,从n个训练集中除第一训练集之外的剩余训练集中确定一未用于第一迭代训练的训练集作为第二训练集,即j≠k。
[0055]
在完成n个图像检测任务的分支网络的训练后,接下来对主网络进行预训练。
[0056]
例如,在一实施例中,可以选择任意一个除dk之外的一个训练集,基于该训练集,对该训练集对应的端到端模型进行训练,直至模型收敛,在模型训练过程中,对主网络的参数和分支网络的参数都进行更新,进而得到预训练的主网络。
[0057]
或者,在另一实施例中,使用每一个训练集执行上述训练过程,只是在下一个模型训练时,使用上一模型训练后得到的主网络的参数作为当前模型的主网络的参数的初始参数。
[0058]
或者,在又一实施例中,基于n个训练集,对初始化的主网络和n个预训练的分支网络构成的n个单任务网络依次进行训练,仅更新初始化的主网络的参数,得到预训练的多任务网络,包括:
[0059]
从n个训练集中确定一未用于第二迭代训练的训练集作为第三训练集;
[0060]
基于第三训练集,对初始化的主网络以及与第三训练集对应的预训练的分支网络构成的单任务网络进行第二迭代训练,直至模型收敛;其中,在训练过程中,第三训练集对应的预训练的分支网络的参数保持不变;
[0061]
返回执行从n个训练集中确定一未用于第二迭代训练的训练集作为第三训练集的步骤,直至n个单任务网络训练完成。
[0062]
该实施例中,从n个训练集中按顺序选择一个未用于第一迭代训练的训练集,记为
第三训练集dm,确定该第三训练集dm对应的分支网络,记为im。该分支网络im和主网络m组成一个完整的端到端模型model(m+im),对应于预设图像检测任务tm,其中,主网络m的参数为上文中的初始化过程后的参数,分支网络im的参数为经过上文中第一迭代训练后的参数。其中,在一些实施例中,m≠k。
[0063]
基于第三训练集dm对该端到端模型model(m+im)进行第二迭代训练,直至模型收敛,其中,在迭代训练过程中,只更新主网络的参数冻结,将分支网络ij的参数冻结,其中参数冻结的含义请参照上文,在此不再赘述。该模型训练完成后,得到该主网络的新参数;然后,从n个训练集中获取一个新的训练集,即未经过上述训练过程的训练集,作为新的第三训练集。基于该新的第三训练集,在上述更新后的主网络的参数的基础上,对由更新后的主网络和新的第三训练集对应的分支网络构成的端到端模型进行训练,如此循环往复,直至n个单任务网络全部训练完成。其中,每一个单任务网络只被训练一次。
[0064]
其中,在一些实施例中,确定与当前图像检测任务对应的目标网络模型,包括:
[0065]
获取当前图像检测任务对应的第四训练集;
[0066]
从预训练的多任务网络中确定与当前图像检测任务对应的预训练的单任务网络;
[0067]
基于第四训练集,对与当前图像检测任务对应的预训练的单任务网络进行再次训练,得到与当前图像检测任务对应的目标网络模型。
[0068]
该实施例中,在完成多任务网络的预训练之后,对于每一个预设图像检测任务对应的端到端模型进行参数的再次训练。首先,确定当前图像检测任务,获取该当前图像检测任务对应的第四训练集,该第四训练集可以与预训练时使用的训练集相同,也可以不同。基于该第四训练集对当前图像检测任务对应的预训练的单任务网络进行参数的再次训练,其中,预训练的单任务网络由预训练的主网络和预训练的分支网络构成。他们的参数是根据上文中的预训练过程获取到的。
[0069]
通过本上述实施例提供的方案,基于深度学习的技术框架,实现了多任务的模型训练方法,在训练过程中,对不同分支网络进行迭代训练,以提升模型训练的鲁棒性,对不同任务的图像数据都可以处理和学习,训练后的主网络,在不同视觉任务上进行简单的再次训练后即可使用。本技术提高了不同任务通用特征学习的泛化性能,提高了新任务训练的效率,提高了视觉特征的可迁移性,可以应用于各类图像视觉任务中。
[0070]
在一实施例中还提供一种图像检测装置。请参阅图3,图3为本技术实施例提供的图像检测装置300的结构示意图。其中该图像检测装置300包括:
[0071]
确定模块301,用于确定与当前图像检测任务对应的目标网络模型,目标网络模型是对预训练的多任务网络中对应于当前图像检测任务的单任务网络进行再次训练得到的;
[0072]
检测模块302,用于将获取的待检测图像输入目标网络模型进行处理,输出与当前图像检测任务匹配的检测结果;
[0073]
在一些实施例中,多任务网络包括主网络和结构互不相同的n个分支网络,主网络和任一分支网络构成一个单任务网络,每一单任务网络对应于一个预设图像检测任务,n为大于1的整数。
[0074]
在一些实施例中,该图像检测装置300还包括:
[0075]
模型训练模块,用于获取每一预设图像检测任务对应的训练集,得到n个训练集;基于n个训练集对未训练的多任务网络进行训练,得到预训练的多任务网络。
[0076]
在一些实施例中,模型训练模块,用于对未训练的主网络进行初始化处理,得到初始化的主网络;基于n个训练集,对初始化的主网络和n个分支网络构成的n个单任务网络分别进行训练,仅更新n个分支网络的参数,得到n个预训练的分支网络;基于n个训练集,对初始化的主网络和n个预训练的分支网络构成的n个单任务网络依次进行训练,仅更新初始化的主网络的参数,得到预训练的多任务网络。
[0077]
在一些实施例中,模型训练模块,用于从n个训练集中确定第一训练集;基于第一训练集,对未训练的主网络以及与第一训练集对应的分支网络构成的单任务网络进行训练,得到初始化的主网络。
[0078]
在一些实施例中,模型训练模块,用于从n个训练集中确定一未用于第一迭代训练的训练集作为第二训练集;基于第二训练集,对初始化的主网络以及与第二训练集对应的分支网络构成的单任务网络进行第一迭代训练,直至模型收敛;其中,在训练过程中,初始化的主网络的参数保持不变;返回执行从n个训练集中确定一未用于第一迭代训练的训练集作为第二训练集的步骤,直至n个单任务网络训练完成。
[0079]
在一些实施例中,模型训练模块,用于从n个训练集中确定一未用于第二迭代训练的训练集作为第三训练集;基于第三训练集,对初始化的主网络以及与第三训练集对应的预训练的分支网络构成的单任务网络进行第二迭代训练,直至模型收敛;其中,在训练过程中,第三训练集对应的预训练的分支网络的参数保持不变;返回执行从n个训练集中确定一未用于第二迭代训练的训练集作为第三训练集的步骤,直至n个单任务网络训练完成。
[0080]
在一些实施例中,模型训练模块,用于获取当前图像检测任务对应的第四训练集;从预训练的多任务网络中确定与当前图像检测任务对应的预训练的单任务网络;基于第四训练集,对与当前图像检测任务对应的预训练的单任务网络进行再次训练,得到与当前图像检测任务对应的目标网络模型。
[0081]
应当说明的是,本技术实施例提供的图像检测装置与上文实施例中的图像检测方法属于同一构思,通过该图像检测装置可以实现图像检测方法实施例中提供的任一方法,其具体实现过程详见图像检测方法实施例,此处不再赘述。
[0082]
由上可知,本技术实施例提出的图像检测装置,预训练一个多任务网络,该多任务网络中,多个单任务网络共用一个主网络,在多任务网络的预训练阶段,只需训练一个主网络即可,在执行当前图像检测任务时,对该预训练的多任务网络中与该当前图像检测任务对应的单任务网络进行再次训练得到目标网络模型,基于该目标网络模型对获取的待检测图像执行图像检测任务,提高了图像检测任务的执行效率。
[0083]
本技术实施例还提供一种电子设备,该电子设备可以为终端,该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(pc,personal computer)、个人数字助理(personal digital assistant,pda)等终端设备。请参阅图4,图4为本技术实施例提供的电子设备的结构示意图。该电子设备400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中,处理器401与存储器402电性连接。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0084]
处理器401是电子设备400的控制中心,利用各种接口和线路连接整个电子设备
400的各个部分,通过运行或加载存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备400的各种功能和处理数据,从而对电子设备400进行整体监控。
[0085]
在本技术实施例中,电子设备400中的处理器401会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能:
[0086]
确定与当前图像检测任务对应的目标网络模型,目标网络模型是对预训练的多任务网络中对应于当前图像检测任务的单任务网络进行再次训练得到的;
[0087]
将获取的待检测图像输入目标网络模型进行处理,输出与当前图像检测任务匹配的检测结果。
[0088]
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
[0089]
可选的,如图4所示,电子设备400还包括:触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407。其中,处理器401分别与触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407电性连接。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0090]
触控显示屏403可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏403可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并生成相应的操作指令,且操作指令执行对应程序。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器401,并能接收处理器401发来的命令并加以执行。
[0091]
射频电路404可用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
[0092]
音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路405可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路405接收后转换为音频数据,再将音频数据输出处理器401处理后,经射频电路404以发送给比如另一电子设备,或者将音频数据输出至存储器402以便进一步处理。音频电路405还可能包括耳塞插孔,以提供外设耳机与电子设备的通信。
[0093]
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0094]
电源407用于给电子设备400的各个部件供电。可选的,电源407可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等
功能。电源407还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0095]
尽管图4中未示出,电子设备400还可以包括摄像头、传感器、无线保真模块、蓝牙模块等,在此不再赘述。
[0096]
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0097]
由上可知,本实施例提供的电子设备,预训练一个多任务网络,该多任务网络中,多个单任务网络共用一个主网络,在多任务网络的预训练阶段,只需训练一个主网络即可,在执行当前图像检测任务时,对该预训练的多任务网络中与该当前图像检测任务对应的单任务网络进行再次训练得到目标网络模型,基于该目标网络模型对获取的待检测图像执行图像检测任务,提高了图像检测任务的执行效率。
[0098]
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
[0099]
为此,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如本技术实施例提供的任意一种图像检测方法中的步骤。例如,该计算机程序可以执行如下步骤:
[0100]
确定与当前图像检测任务对应的目标网络模型,目标网络模型是对预训练的多任务网络中对应于当前图像检测任务的单任务网络进行再次训练得到的;
[0101]
将获取的待检测图像输入目标网络模型进行处理,输出与当前图像检测任务匹配的检测结果。
[0102]
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
[0103]
其中,该存储介质可以包括只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。
[0104]
由于该存储介质中所存储的计算机程序,可以执行本技术实施例所提供的任一种图像检测方法中的步骤,因此,可以实现本技术实施例所提供的任一种图像检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
[0105]
以上对本技术实施例所提供的一种图像检测方法、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
技术特征:
1.一种图像检测方法,其特征在于,包括:确定与当前图像检测任务对应的目标网络模型,所述目标网络模型是对预训练的多任务网络中对应于所述当前图像检测任务的单任务网络进行再次训练得到的;将获取的待检测图像输入所述目标网络模型进行处理,输出与所述当前图像检测任务匹配的检测结果。2.如权利要求1所述的方法,其特征在于,所述多任务网络包括主网络和结构互不相同的n个分支网络,所述主网络和任一所述分支网络构成一个单任务网络,每一所述单任务网络对应于一个预设图像检测任务,所述n为大于1的整数。3.如权利要求2所述的方法,其特征在于,所述确定与当前图像检测任务对应的目标网络模型之前,所述方法还包括:获取每一所述预设图像检测任务对应的训练集;基于n个训练集对未训练的多任务网络进行训练,得到所述预训练的多任务网络。4.如权利要求3所述的方法,其特征在于,所述基于n个训练集对未训练的多任务网络进行训练,得到所述预训练的多任务网络,包括:对未训练的主网络进行初始化处理,得到初始化的主网络;基于n个训练集,对所述初始化的主网络和所述n个分支网络构成的n个单任务网络分别进行训练,仅更新所述n个分支网络的参数,得到n个预训练的分支网络;基于所述n个训练集,对所述初始化的主网络和所述n个预训练的分支网络构成的n个单任务网络依次进行训练,仅更新所述初始化的主网络的参数,得到所述预训练的多任务网络。5.如权利要求4所述的方法,其特征在于,所述对未训练的主网络进行初始化处理,得到初始化的主网络,包括:从所述n个训练集中确定第一训练集;基于所述第一训练集,对未训练的主网络以及与所述第一训练集对应的分支网络构成的单任务网络进行训练,得到初始化的主网络。6.如权利要求5所述的方法,其特征在于,所述基于n个训练集,对所述初始化的主网络和所述n个分支网络构成的n个单任务网络分别进行训练,仅更新所述n个分支网络的参数,得到n个预训练的分支网络,包括:从n个训练集中确定一未用于第一迭代训练的训练集作为第二训练集;基于所述第二训练集,对所述初始化的主网络以及与所述第二训练集对应的分支网络构成的单任务网络进行第一迭代训练,直至模型收敛;其中,在训练过程中,所述初始化的主网络的参数保持不变;返回执行所述从n个训练集中确定一未用于第一迭代训练的训练集作为第二训练集的步骤,直至所述n个单任务网络训练完成。7.如权利要求6所述的方法,其特征在于,所述基于所述n个训练集,对所述初始化的主网络和所述n个预训练的分支网络构成的n个单任务网络依次进行训练,仅更新所述初始化的主网络的参数,得到所述预训练的多任务网络,包括:从所述n个训练集中确定一未用于第二迭代训练的训练集作为第三训练集;基于所述第三训练集,对所述初始化的主网络以及与所述第三训练集对应的预训练的
分支网络构成的单任务网络进行第二迭代训练,直至模型收敛;其中,在训练过程中,所述第三训练集对应的预训练的分支网络的参数保持不变;返回执行从所述n个训练集中确定一未用于第二迭代训练的训练集作为第三训练集的步骤,直至所述n个单任务网络训练完成。8.如权利要求3至7任一项所述的方法,其特征在于,所述确定与当前图像检测任务对应的目标网络模型,包括:获取当前图像检测任务对应的第四训练集;从所述预训练的多任务网络中确定与所述当前图像检测任务对应的预训练的单任务网络;基于所述第四训练集,对与所述当前图像检测任务对应的预训练的单任务网络进行再次训练,得到与所述当前图像检测任务对应的目标网络模型。9.一种图像检测装置,其特征在于,包括:确定模块,用于确定与当前图像检测任务对应的目标网络模型,所述目标网络模型是对预训练的多任务网络中对应于所述当前图像检测任务的单任务网络进行再次训练得到的;检测模块,用于将获取的待检测图像输入所述目标网络模型进行处理,输出与所述当前图像检测任务匹配的检测结果。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的图像检测方法中的步骤。11.一种电子设备,其特征在于,所述电子设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的图像检测方法中的步骤。
技术总结
本申请公开了一种图像检测方法、装置、电子设备及计算机可读存储介质。该方法包括:确定与当前图像检测任务对应的目标网络模型,目标网络模型是对预训练的多任务网络中对应于当前图像检测任务的单任务网络进行再次训练得到的;将获取的待检测图像输入目标网络模型进行处理,输出与当前图像检测任务匹配的检测结果。采用本申请,提高了图像检测任务的执行效率。效率。效率。
技术研发人员:俞大海 李敬源
受保护的技术使用者:TCL科技集团股份有限公司
技术研发日:2022.03.17
技术公布日:2023/9/22
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/