计算方法、装置、计算机设备和存储介质与流程
未命名
09-27
阅读:68
评论:0
1.本公开涉及计算机技术领域,特别是涉及一种计算方法、装置、计算机设备和存储介质。
背景技术:
2.随着神经网络技术的发展,神经网络技术在图像重建恢复中也得到了广泛的发展和应用。为得到更好的能够对输入图像进行恢复输出更接近于真实图像的生成器(generator),通过同步对生成器和判别器(discriminator,也称鉴别器)进行训练的方式,得到所需的生成器。相关技术中,利用重建损失函数和对抗损失函数(adversarial loss)进行模型训练得到的生成器,但是训练好的生成器的输出图像存在边缘变形、出现错误纹理、偏色等问题。
技术实现要素:
3.基于此,有必要针对上述技术问题,提供一种计算方法、装置、计算机设备和存储介质。
4.根据本公开的一方面,提供了一种计算方法,所述方法包括:
5.基于生成网络模型对样本图像进行恢复处理,生成第一输出图像;
6.根据所述第一输出图像和第一损失函数计算出第一梯度;
7.根据判别网络模型对所述第一输出图像的第一判别结果,计算出第二梯度;
8.根据判别网络模型对与所述样本图像对应的标签图像的第二判别结果和第二损失函数,计算出第二梯度偏置;
9.将所述第二梯度与所述第二梯度偏置的差值作为第三梯度;
10.根据所述第一梯度和所述第三梯度,计算出目标梯度;
11.根据所述目标梯度对所述生成网络模型的参数进行更新,以完成所述生成网络模型的模型训练。
12.在一种可能的实现方式中,根据所述第一梯度和所述第三梯度,计算出目标梯度,包括:
13.根据所述第一梯度的第一p-范数和所述第三梯度的第三p-范数,对所述第一梯度和/或所述第三梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致;
14.将p-范数一致的第一梯度和第三梯度的和作为所述目标梯度。
15.在一种可能的实现方式中,根据所述第一梯度的第一p-范数和所述第三梯度的第三p-范数,对所述第一梯度和/或所述第三梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致,包括:
16.根据所述第一p-范数和所述第三p-范数,确定出目标p-范数,所述目标p-范数大于或等于所述第一p-范数和所述第三p-范数中的最小值、且小于或等于所述第一p-范数和所述第三p-范数中的最大值;
17.将所述第三梯度和所述第一梯度中p-范数与所述目标p-范数不一致的梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致。
18.在一种可能的实现方式中,根据所述第一梯度和所述第三梯度,计算出目标梯度,包括:
19.在根据所述第一梯度和所述第三梯度,计算出目标梯度之前,根据梯度调整模型对所述第一梯度和所述第三梯度进行调整。
20.在一种可能的实现方式中,所述方法包括:
21.根据所述目标梯度对所述生成网络模型的参数进行更新之后,基于更新后生成网络模型对样本图像进行恢复处理,生成第二输出图像;
22.根据所述第二输出图像和第一损失函数,计算出第一损失值;
23.根据判别网络模型对所述第二输出图像的判别结果和第二损失函数,计算出更新用第二损失值;
24.根据所述更新用第一损失值和所述更新用第二损失值计算出所述梯度值调整模型的第三损失值;
25.根据所述第三损失值对所述梯度调整模型进行更新,已完成所述损失值调整模型的模型训练。
26.在一种可能的实现方式中,第一损失函数包括重建损失函数,第二损失函数包括对抗损失函数。
27.根据本公开的另一方面,提供了一种计算装置,所述装置包括:
28.第一图像获取模块,用于基于生成网络模型对样本图像进行恢复处理,生成第一输出图像;
29.第一梯度获取模块,用于根据所述第一输出图像和第一损失函数计算出第一梯度;
30.第二梯度获取模块,用于根据判别网络模型对所述第一输出图像的第一判别结果,计算出第二梯度;
31.偏置获取模块,用于根据判别网络模型对与所述样本图像对应的标签图像的第二判别结果和第二损失函数,计算出第二梯度偏置;
32.第三梯度获取模块,用于将所述第二梯度与所述第二梯度偏置的差值作为第三梯度;
33.目标梯度获取模块,用于根据所述第一梯度和所述第三梯度,计算出目标梯度;
34.第一更新模块,用于根据所述目标梯度对所述生成网络模型的参数进行更新,以完成所述生成网络模型的模型训练。
35.在一种可能的实现方式中,所述目标梯度获取模块,包括:
36.第一梯度调整子模块,用于根据所述第一梯度的第一p-范数和所述第三梯度的第三p-范数,对所述第一梯度和/或所述第三梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致;
37.梯度计算子模块,用于将p-范数一致的第一梯度和第三梯度的和作为所述目标梯度。
38.在一种可能的实现方式中,所述第一梯度调整子模块,包括:
39.目标范数确定子模块,用于根据所述第一p-范数和所述第三p-范数,确定出目标p-范数,所述目标p-范数大于或等于所述第一p-范数和所述第三p-范数中的最小值、且小于或等于所述第一p-范数和所述第三p-范数中的最大值;
40.调整子模块,用于将所述第三梯度和所述第一梯度中p-范数与所述目标p-范数不一致的梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致。
41.在一种可能的实现方式中,所述目标梯度获取模块,包括:
42.第二梯度调整子模块,用于在根据所述第一梯度和所述第三梯度,计算出目标梯度之前,根据梯度调整模型对所述第一梯度和所述第三梯度进行调整。
43.在一种可能的实现方式中,所述装置还包括:
44.第二图像获取模块,用于根据所述目标梯度对所述生成网络模型的参数进行更新之后,基于更新后生成网络模型对样本图像进行恢复处理,生成第二输出图像;
45.第一计算模块,用于根据所述第二输出图像和第一损失函数,计算出第一损失值;
46.第二计算模块,用于根据判别网络模型对所述第二输出图像的判别结果和第二损失函数,计算出更新用第二损失值;
47.第三计算模块,用于根据所述更新用第一损失值和所述更新用第二损失值计算出所述梯度值调整模型的第三损失值;
48.第二更新模块,用于根据所述第三损失值对所述梯度调整模型进行更新,已完成所述损失值调整模型的模型训练。
49.在一种可能的实现方式中,第一损失函数包括重建损失函数,第二损失函数包括对抗损失函数。
50.根据本公开的另一方面,提供了一种人工智能芯片,所述芯片包括上述计算装置。
51.根据本公开的一方面,提供了另一种电子设备,所述电子设备包括上述人工智能芯片。
52.根据本公开的另一方面,提供了一种板卡,所述板卡包括:存储器件、接口装置和控制器件以及上述人工智能芯片;
53.其中,所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接;
54.所述存储器件,用于存储数据;
55.所述接口装置,用于实现所述人工智能芯片与外部设备之间的数据传输;
56.所述控制器件,用于对所述人工智能芯片的状态进行监控;
57.其中,所述存储器件包括:多组存储单元,每一组所述存储单元与所述人工智能芯片通过总线连接,所述存储单元为:ddr sdram;
58.所述芯片包括:ddr控制器,用于对每个所述存储单元的数据传输与数据存储的控制;
59.所述接口装置为:标准pcie接口。
60.根据本公开的一方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。
61.本公开实施例所提供的计算方法及装置,可以提高模型训练速度,平衡训练过程中两个损失函数的优化方向的冲突,且可以提高训练得到的模型的精度和准确度,使其输
出的图像能够边缘无变形、无错误纹理、无偏色更接近真实图像。
62.根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
63.包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
64.图1示出根据本公开实施例的计算方法的流程图。
65.图2示出本公开实施例通过实现方式一进行梯度调整的示意图。
66.图3示出本公开实施例中通过梯度调整模型调整梯度以及更新梯度调整模型的过程示意图。
67.图4是示出根据本公开实施例的一种组合处理装置1200的结构图。
68.图5是示出根据本公开实施例的一种板卡1300的结构示意图。
具体实施方式
69.下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
70.应当理解,本公开的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
71.还应当理解,在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
72.如在本说明书和权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0073]
相关技术中,在进行生成器和判别器的同步优化训练过程中,利用重建损失函数和对抗损失函数进行更新优化,但由于两损失函数的优化方向不完全一致,甚至可能存在较大冲突,为解决这种冲突带来的影响,相关技术中一般根据经验,设置两个损失函数的比例系数。其中,增大重建损失函数的比例系数时,生成器的输出图像包含较多的模糊和较少的错误;增大对抗损失函数的比例系数时,生成器的输出图像包含较少的模糊和较多的错误。根据经验选择每个损失函数的比重,不能做到很好的兼顾。同时,对抗损失函数来自不断优化的判别器,数值范围本身就可能变化,固定的比例系数可能不能有效地平衡数值范
围动态变化的两个损失函数在决定优化方向上的比重。
[0074]
为解决上述技术问题,本公开提供了一种计算方法及装置,可以提高模型训练速度,平衡训练过程中两个损失函数的优化方向的冲突,且可以提高训练得到的模型的精度和准确度,使其输出的图像能够边缘无变形、无错误纹理、无偏色更接近真实图像。图1示出根据本公开实施例的计算方法的流程图。如图1所示,该方法可以应用于处理器,该方法包括步骤s11-步骤s17。
[0075]
在步骤s11中,基于生成网络模型对样本图像进行恢复处理,生成第一输出图像。
[0076]
其中,生成网络模型可以为根据图像重建任务创建的模型,其可以为生成器。将图像输入生成网络模型后,生成网络模型能够输出网络输出图(output image)(如本文所述的第一输出图像、第二输出图像、输出图像等)。为训练出满足需要的生成网络模型,在训练过程中需要借助判别网络模型完成训练。判别网络模型可以为判别器,用于对生成网络模型输出的图像进行类别标签概率判断,输出的判别结果包括输入的图像与属于不同类别标签的概率(本文也称类别概率),类别标签包括:真(true),可以用1表示,代表输入判别网络的图像为真实拍摄得到的图像;假(false),可以用0表示,代表输入判别网络的图像不是真实拍摄得到的图像。其中,在进行模型训练之前可以先获取到多个样本图像以及与每个样本图像分别对应的标签图像(ground truth image)。其中,标签图像的类别标签为“真”。在第一输出图像的类别标签应为“假”。
[0077]
在步骤s12中,根据所述第一输出图像和第一损失函数计算出第一梯度。
[0078]
在本实施例中,第一损失函数可以是重建损失函数,重建损失函数可以包括均方差损失函数(mean square error loss function,mseloss)、1-范数损失函数(l1 loss function,l1loss),等等。在检测到生成网络模型输出的第一输出图像之后,可以根据第一损失函数计算出对应于第一输出图像的第一损失值,而后根据第一损失值计算出第一梯度。
[0079]
在步骤s13中,根据判别网络模型对所述第一输出图像的第一判别结果和第二损失函数,计算出第二梯度。
[0080]
在本实施例中,第二损失函数可以包括对抗损失函数(adversarial loss),其中对抗损失函数也记作gan loss。对抗损失函数可以包括二分类交叉熵损失函数(binary cross entropy loss,bceloss),等。可以将第一输出图像输入到判别网络模型,得到判别网络模型针对第一输出图像的第一判别结果,而后根据第一判别结果、第二损失函数和正负类别标签(也即上文所述的类别标签“真”、“假”)计算出对应于第一输出图像的第二损失值。进而根据第二损失值计算出第二梯度。
[0081]
在步骤s14中,根据判别网络模型对与所述样本图像对应的标签图像的第二判别结果和第二损失函数,计算出和所述第二梯度偏置。
[0082]
其中,可以将第一输出图像对应的标签图像输入到判别网络模型,得到判别网络模型针对标签图像的第二判别结果,而后根据第二判别结果、第二损失函数和正负类别标签(也即上文所述的类别标签“真”、“假”)计算出对应于标签图像的第三损失值。进而根据第三损失值计算出第二梯度偏置。
[0083]
在步骤s15中,将所述第二梯度与所述第二梯度偏置的差值作为第三梯度。
[0084]
在步骤s16中,根据所述第一梯度和所述第三梯度,计算出目标梯度。
[0085]
在本实施例中,在目标梯度为零的情况下,确定生成网络模型输出的第一输出图像与对应的标签图像已经可以达到一致(如相似度达到指定程度,完全相同等),可以停止进行生成网络模型和判别网络模型的更新优化,结束模型训练。以第三梯度作为后续步骤中计算出目标梯度的依据,可以保证在生成网络模型输出的第一输出图像与对应的标签图像一致的情况下,能够给生成为零的目标梯度,使模型训练可以顺利停止。
[0086]
其中,相关技术中也利用对抗损失函数和和重建损失函数进行生成网络模型和判别网络模型的更新优化,但存在无论成网络模型输出的第一输出图像与对应的标签图像是否一致,均生成非零梯度,无法确定何时可以停止模型训练。以下以相关技术中对抗损失对抗损失函数为二分类交叉熵损失函数(binary cross entropy loss,bceloss)为例说明相关技术中存在的问题。具体如下:
[0087]
bceloss为:其中,y是判别标签(其为true或者false),是类别网络模型输出的类别概率。实际训练过程中几乎不可能达到0或者1,其是(0,1)范围内的浮点数。此时容易发现bceloss对的梯度恒不为0。而又因为由第一输出图像out经过判别网络模型得到,容易发现对第一输出图像out的第二梯度不为0,因此有不为0。这代表即使生成网络模型生成的第一输出图像和标签图图像gt完全一样,基于对抗损失函数所计算出的第二梯度也会非零梯度,导致生成网络模型不能在能产生与标签图像gt一致的第一输出图像out的理想状态位置停留。
[0088]
而重建损失函数采用做差再计算范数的方式实现,能够保证在第一输出图像out与对应的标签图像gt一致时,生成网络模型得到的第一梯度为0,使得模型训练可以在生成网络模型处于理想状态时停止。
[0089]
而相关技术中,生成网络模型是基于上述第一梯度和第二梯度确定总梯度,而后基于该总梯度进行生成网络模型更新优化。但由于相关技术中总梯度多采用第一梯度和第二梯度加权求和的方式确定,则由于第二梯度恒大于零,则总梯度恒大于零,自然无法保证模型训练可以在生成网络模型处于理想状态时停止。
[0090]
而本公开实施例中,为了使对抗损失函数l
rec
和重建损失函数l
adv
都可以在生成网络模型在处于理想状态的位置停留,即能够使得第一输出图像out与对应的标签图像gt一致的生成网络模型的参数组合,引入第二梯度偏置来强制使得第一输出图像out与对应的标签图像gt一致时生成网络模型不会收到任何非0梯度。
[0091]
则在l
rec
和l
adv
简单以相加的方式组合计算出目标梯度(也即直接将第一梯度与第三梯度相加的和作为目标梯度)时,使用l
rec
对标签图像gt的偏导,第二梯度偏置生成网络模型的参数w获取的目标梯度可以为:
[0092]
其中,为重建损失函数l
rec
对第一输出图像out计算得到的梯度,为第一
输出图像out对参数w的梯度,为第一梯度。为第三梯度,为根据第二梯度和第二梯度偏置计算出第三梯度的梯度计算函数。
[0093]
在一种可能的实现方式中,在梯度计算函数为在一种可能的实现方式中,在梯度计算函数为的情况下,当第一输出图像out与标签图像gt一致时,情况下,当第一输出图像out与标签图像gt一致时,则
[0094]
在一种可能的实现方式中,根据第一梯度和第三梯度计算出目标梯度的方式可以包括方式一和方式二:
[0095]
方式一,如上,目标梯度方式一,如上,目标梯度为第一梯度,为第二梯度。
[0096]
方式二:
[0097]
可以根据所述第一梯度的第一p-范数和所述第三梯度的第三p-范数,对所述第一梯度和/或所述第三梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致。将p-范数一致的第一梯度和第三梯度的和作为所述目标梯度。
[0098]
其中,根据所述第一梯度的第一p-范数和所述第三梯度的第三p-范数,对所述第一梯度和/或所述第三梯度进行调整,可以包括以下实现方式一、二、三中的任意一种:
[0099]
实现方式一:将第一p-范数和所述第三p-范数中的较小者确定为目标p-范数,而后对第一梯度和第三梯度中p-范数不是目标p-范数的一个梯度进行调整,以使得调整后,第一梯度和第三梯度的p-范数均为目标p-范数。
[0100]
实现方式二:将第一p-范数和所述第三p-范数中的较大者确定为目标p-范数,而后对第一梯度和第三梯度中p-范数不是目标p-范数的一个梯度进行调整,以使得调整后,第一梯度和第三梯度的p-范数均为目标p-范数。
[0101]
实现方式三:根据第一p-范数和所述第三p-范数通过预设方式确定出目标p-范数,而后对第一梯度和第三梯度进行调整,以使得调整后,第一梯度和第三梯度的p-范数均为目标p-范数。其中,预设方式可以包括:将第一p-范数和第三p-范数的均值确定为目标p-范数,对第一p-范数和第三p-范数进行加权求和后得到目标p-范数,对第一p-范数和第三p-范数加权求和确定出数值处于第一p-范数和第三p-范数所组成的数值范围区间内,也即目标p-范数小于或等于第一p-范数和第三p-范数中的较大者且大于或等于第一p-范数和第三p-范数中的较小者。
[0102]
其中,对第一梯度和/或第三梯度的调整指对梯度乘标量系数,乘系数后两梯度的p-范数一致,均为目标p-范数。
[0103]
这样,通过上述实现方式一、二、三可以将第一梯度和第三梯度的p-范数均调整为目标p-范数,这样可以保证模型训练过程的稳定进行,避免出现模型训练崩溃的发生。举例来说,图2示出本公开实施例通过实现方式一进行梯度调整的示意图。如图2中“调整前”所示,在对第一梯度和/或第三梯度进行调整之前两梯度指向的方向之间有较大的夹角时,数值较大、p-范数较大的大梯度g2(第一梯度和第三梯度中的较大者),向数值较小、p-范数较小的小梯度g1(第一梯度和第三梯度中的较小者)投影,该大梯度g2的投影g2的长度可能超
过了较小的梯度g1的长度g1本身,这使得相加后的目标梯度方向,包含小梯度g1的相反方向和小梯度g1的垂直方向。
[0104]
在梯度下降方法中,梯度方向处在其对应的损失函数数值变化最快的方向,其法线方向数值变化较慢。当如图2所示的“调整前”情况出现时,小梯度g1相反方向的分量,会在应用于更新网络参数后,导致小梯度g1对应的损失函数变大,而其垂直方向该损失函数不够敏感,不足以弥补该反向分量的影响。即小梯度g1对应的损失函数的作用被大梯度g2对应的损失函数覆盖。而损失函数的升高,代表在相应的评价标准下,有更多的误差出现。其中,最速梯度下降方向指损失函数数值下降最快的参数调整方向,该方向在网络优化中一般指损失函数对网络模型的参数的导数的反方向。损失函数对参数的导数一般记作梯度方向,该方向本身是损失函数的最速上升方向,在优化参数的过程中会用原始参数减去该方向的步长有限分量,从而实现梯度下降。在图2的示例中,一旦出现某个梯度投影大于另一个梯度本身(g2大于g1),则目标梯度包含g2对应的损失函数的最速下降方向,在应用该目标梯度执行原始参数优化时,会在网络参数的更新量中引入最速梯度上升方向分量。
[0105]
则可以如上述实现方式二对大梯度g2进行调整,调整后得到如图2中“调整后”部分所示的调整后大梯度g2’,此时小梯度g1的p-范数和调整后大梯度g2’的p-范数一致。而由于小梯度g1的p-范数和调整后大梯度g2’的p-范数一致,即使二者夹角很大,将一个梯度(g1或g2’)向另一个梯度做投影后,投影的长度都不会超过被投影梯度本身的长度。此时,基于g1和g2’计算得到的目标梯度,进而根据目标梯度计算出来的生成网络模型的参数更新量,不会包含任何一个损失函数(也即第一损失函数和第二损失函数)的最速上升方向,缓解了两个损失函数不平衡的状态。
[0106]
第一梯度和第三梯度根据链式法则,都包含
①
对应的损失函数对第一输出图像out的偏导和
②
第一输出图像out对网络参数w的偏导两部分。而结合第一损失函数和第二损失函数在模型训练过程中的数值变化,上述实现方式二的一种示意性示例中,可只修改损失函数对w的偏导。以p-范数为1-范数为例,一种简单的实现方式可以为:其中,表示第一损失函数的1-范数与第二损失函数的1-范数之间的比值。为第一梯度,为第三梯度。
[0107]
方式三:
[0108]
可以在通过上述方式二计算出目标梯度之前,先通过梯度调整模型(coordinator)对第一梯度和/或第二梯度进行第一次调整之后,再执行上述方式二的p-范数一致的第二次调整,最后根据两次调整后得到的第一梯度和第三梯度计算目标梯度。并在根据目标梯度完成生成网络模型的更新优化之后,更新梯度调整模型。
[0109]
图3示出本公开实施例中通过梯度调整模型调整梯度以及更新梯度调整模型的过程示意图,如图3所示,对第一梯度和/或第二梯度进行第一次调整,,可以包括:执行上述步骤s11-步骤s15之后,将第一梯度和第二梯度输入到梯度调整模型中,得到该模型输出的调整后第一梯度和调整后第三梯度。而后再继续执行上述方式二的步骤计算出目标梯度。梯
度调整模型可以对第一梯度和第三梯度进行调整,其可以在整个模型训练过程中与生成网络模型、类别网络模型同步优化,保证对第一梯度和第三梯度调整的准确。梯度调整模型对第一梯度和/或第三梯度的调整可以平衡两梯度对参数更新的影响,使生成网络模型逐渐更新优化。
[0110]
在步骤s17中,根据所述目标梯度对所述生成网络模型的参数进行更新,以完成所述生成网络模型的模型训练。
[0111]
其中,在计算出目标梯度之后,可以先进行目标梯度是否为零的判断。若目标梯度为零,则可以确定生成网络模型已经能够输出与对应的标签图像一致的输出图像,模型可以结束。若目标梯度不为零,则可以确定生成网络模型的训练还需要继续,根据目标梯度进行生成网络模型的参数更新。
[0112]
其中,在完成生成网络模型的更新之后,将第一输出图像和对应的标签图像分别输入到判别网络模型,根据输出结果进行判别网络模型的参数更新。
[0113]
在一种可能的实现方式中,在步骤s17中进行生成网络模型的参数更新之后,得到新的生成网络模型。而后如图3所示,进行梯度调整模型的更新,包括:将本次更新生成网络模型所使用的样本图像(也即图3中第一行输入生成网络模型的样本图像与图3中第二行输入生成网络模型的样本图像为同一样本图像)输入新的生成网络模型,得到该新的生成网络模型输出的第二输出图像。而后计算出对应于第二输出图像的第一损失值和第二损失值(其计算过程与上述步骤s12、步骤s13中计算出对应于第一输出图像的第一损失值和第二损失值的过程相似,此处不予赘述)。并根据第一损失值和第二损失值计算出梯度调整模型的第三损失值,再根据第三损失值l
coor
计算出梯度调整模型的梯度,最终根据该梯度调整模型的梯度进行梯度调整模型的参数更新优化。
[0114]
在一种可能的实现方式中,根据第二输出图像的第一损失值和第二损失值计算出第三损失值可以通过如下公式计算:
[0115]
l
coor
=relu(l
rec,new-l
rec,old
)+relu(l
adv,new-l
adv,old
)
[0116]
其中,l
rec,old
表示与第二输出图像对应的样本图像相同的第一输出图像的第一损失值,也即图3中第一行的第一损失值。l
adv,old
表示与第二输出图像对应的样本图像相同的第一输出图像的第二损失值,也即图3中第一行的第二损失值。l
rec,new
表示与第二输出图像的第一损失值,也即图3中第二行的第一损失值。l
adv,new
表示与第二输出图像的第二损失值,也即图3中第二行的第二损失值。
[0117]
relu(l
rec,new-l
rec,old
)的数值大于零时,证明对于同一样本图像而言,生成网络模型更新之后对应的第一损失函数的损失值变大,需要更新优化梯度调整模型;同样,relu(l
adv,new-l
adv,old
)的数值大于零时,证明对于同一样本图像而言,生成网络模型更新之后对应的第二损失函数的损失值变大,也需要更新优化梯度调整模型。而l
coor
的值可以表示:如果新的损失函数比旧的损失函数数值小,relu后l
coor
为0,说明两个损失函数都可以在一次更新后数值变小,说明都得到的优化,这次可以不在意这个损失函数,可以不进行梯度调整模型的更新;如果新的损失函数比旧的损失函数数值大,relu后l
coor
非0,这次需要更新优化梯度调整模型。
[0118]
本公开还提供一种计算装置,该装置应用于处理器,该装置包括:
[0119]
第一图像获取模块,用于基于生成网络模型对样本图像进行恢复处理,生成第一输出图像;
[0120]
第一梯度获取模块,用于根据所述第一输出图像和第一损失函数计算出第一梯度;
[0121]
第二梯度获取模块,用于根据判别网络模型对所述第一输出图像的第一判别结果,计算出第二梯度;
[0122]
偏置获取模块,用于根据判别网络模型对与所述样本图像对应的标签图像的第二判别结果和第二损失函数,计算出第二梯度偏置;
[0123]
第三梯度获取模块,用于将所述第二梯度与所述第二梯度偏置的差值作为第三梯度;
[0124]
目标梯度获取模块,用于根据所述第一梯度和所述第三梯度,计算出目标梯度;
[0125]
第一更新模块,用于根据所述目标梯度对所述生成网络模型的参数进行更新,以完成所述生成网络模型的模型训练。
[0126]
在一种可能的实现方式中,所述目标梯度获取模块,包括:
[0127]
第一梯度调整子模块,用于根据所述第一梯度的第一p-范数和所述第三梯度的第三p-范数,对所述第一梯度和/或所述第三梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致;
[0128]
梯度计算子模块,用于将p-范数一致的第一梯度和第三梯度的和作为所述目标梯度。
[0129]
在一种可能的实现方式中,所述第一梯度调整子模块,包括:
[0130]
目标范数确定子模块,用于根据所述第一p-范数和所述第三p-范数,确定出目标p-范数,所述目标p-范数大于或等于所述第一p-范数和所述第三p-范数中的最小值、且小于或等于所述第一p-范数和所述第三p-范数中的最大值;
[0131]
调整子模块,用于将所述第三梯度和所述第一梯度中p-范数与所述目标p-范数不一致的梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致。
[0132]
在一种可能的实现方式中,所述目标梯度获取模块,包括:
[0133]
第二梯度调整子模块,用于在根据所述第一梯度和所述第三梯度,计算出目标梯度之前,根据梯度调整模型对所述第一梯度和所述第三梯度进行调整。
[0134]
在一种可能的实现方式中,所述装置还包括:
[0135]
第二图像获取模块,用于根据所述目标梯度对所述生成网络模型的参数进行更新之后,基于更新后生成网络模型对样本图像进行恢复处理,生成第二输出图像;
[0136]
第一计算模块,用于根据所述第二输出图像和第一损失函数,计算出第一损失值;
[0137]
第二计算模块,用于根据判别网络模型对所述第二输出图像的判别结果和第二损失函数,计算出更新用第二损失值;
[0138]
第三计算模块,用于根据所述更新用第一损失值和所述更新用第二损失值计算出所述梯度值调整模型的第三损失值;
[0139]
第二更新模块,用于根据所述第三损失值对所述梯度调整模型进行更新,已完成所述损失值调整模型的模型训练。
[0140]
在一种可能的实现方式中,第一损失函数包括重建损失函数,第二损失函数包括
对抗损失函数。
[0141]
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本公开所必须的。
[0142]
进一步需要说明的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0143]
应该理解,上述的装置实施例仅是示意性的,本公开的装置还可通过其它的方式实现。例如,上述实施例中所述单元/模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,多个单元、模块或组件可以结合,或者可以集成到另一个系统,或一些特征可以忽略或不执行。
[0144]
另外,若无特别说明,在本公开各个实施例中的各功能单元/模块可以集成在一个单元/模块中,也可以是各个单元/模块单独物理存在,也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
[0145]
图4是示出根据本公开实施例的一种组合处理装置1200的结构图。如图4中所示,该组合处理装置1200包括计算处理装置1202、接口装置1204、其他处理装置1206和存储装置1208。根据不同的应用场景,计算处理装置中可以包括一个或多个计算装置1210,该计算装置可以配置用于执行本文结合附图1所描述的计算方法中各步骤的操作。
[0146]
在不同的实施例中,本公开的计算处理装置可以配置成执行用户指定的操作。在示例性的应用中,该计算处理装置可以实现为单核人工智能处理器或者多核人工智能处理器。类似地,包括在计算处理装置内的一个或多个计算装置可以实现为人工智能处理器核或者人工智能处理器核的部分硬件结构。当多个计算装置实现为人工智能处理器核或人工智能处理器核的部分硬件结构时,就本公开的计算处理装置而言,其可以视为具有单核结构或者同构多核结构。
[0147]
在示例性的操作中,本公开的计算处理装置可以通过接口装置与其他处理装置进行交互,以共同完成用户指定的操作。根据实现方式的不同,本公开的其他处理装置可以包括中央处理器(central processing unit,cpu)、图形处理器(graphics processing unit,gpu)、人工智能处理器等通用和/或专用处理器中的一种或多种类型的处理器。这些处理器可以包括但不限于数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,并且其数目可以根据实际需要来确定。如前所述,仅就本公开的计算处理
装置而言,其可以视为具有单核结构或者同构多核结构。然而,当将计算处理装置和其他处理装置共同考虑时,二者可以视为形成异构多核结构。
[0148]
在一个或多个实施例中,该其他处理装置可以作为本公开的计算处理装置(其可以具体化为人工智能例如神经网络运算的相关运算装置)与外部数据和控制的接口,执行包括但不限于数据搬运、对计算装置的开启和/或停止等基本控制。在另外的实施例中,其他处理装置也可以和该计算处理装置协作以共同完成运算任务。
[0149]
在一个或多个实施例中,该接口装置可以用于在计算处理装置与其他处理装置间传输数据和控制指令。例如,该计算处理装置可以经由所述接口装置从其他处理装置中获取输入数据,写入该计算处理装置片上的存储装置(或称存储器)。进一步,该计算处理装置可以经由所述接口装置从其他处理装置中获取控制指令,写入计算处理装置片上的控制缓存中。替代地或可选地,接口装置也可以读取计算处理装置的存储装置中的数据并传输给其他处理装置。
[0150]
附加地或可选地,本公开的组合处理装置还可以包括存储装置。如图中所示,该存储装置分别与所述计算处理装置和所述其他处理装置连接。在一个或多个实施例中,存储装置可以用于保存所述计算处理装置和/或所述其他处理装置的数据。例如,该数据可以是在计算处理装置或其他处理装置的内部或片上存储装置中无法全部保存的数据。
[0151]
在一些实施例里,本公开还公开了一种芯片(例如图5中示出的芯片1302)。在一种实现中,该芯片是一种系统级芯片(system on chip,soc),并且集成有一个或多个如图4中所示的组合处理装置。该芯片可以通过对外接口装置(如图5中示出的对外接口装置1306)与其他相关部件相连接。该相关部件可以例如是摄像头、显示器、鼠标、键盘、网卡或wifi接口。在一些应用场景中,该芯片上可以集成有其他处理单元(例如视频编解码器)和/或接口模块(例如dram接口)等。在一些实施例中,本公开还公开了一种芯片封装结构,其包括了上述芯片。在一些实施例里,本公开还公开了一种板卡,其包括上述的芯片封装结构。下面将结合图5对该板卡进行详细地描述。
[0152]
图5是示出根据本公开实施例的一种板卡1300的结构示意图。如图5中所示,该板卡包括用于存储数据的存储器件1304,其包括一个或多个存储单元1310。该存储器件可以通过例如总线等方式与控制器件1308和上文所述的芯片1302进行连接和数据传输。进一步,该板卡还包括对外接口装置1306,其配置用于芯片(或芯片封装结构中的芯片)与外部设备1312(例如服务器或计算机等)之间的数据中继或转接功能。例如,待处理的数据可以由外部设备通过对外接口装置传递至芯片。又例如,所述芯片的计算结果可以经由所述对外接口装置传送回外部设备。根据不同的应用场景,所述对外接口装置可以具有不同的接口形式,例如其可以采用标准pcie接口等。
[0153]
在一个或多个实施例中,本公开板卡中的控制器件可以配置用于对所述芯片的状态进行调控。为此,在一个应用场景中,该控制器件可以包括单片机(micro controller unit,mcu),以用于对所述芯片的工作状态进行调控。
[0154]
根据上述结合图4和图5的描述,本领域技术人员可以理解本公开也公开了一种电子设备或装置,其可以包括一个或多个上述板卡、一个或多个上述芯片和/或一个或多个上述组合处理装置。
[0155]
根据不同的应用场景,本公开的电子设备或装置可以包括服务器、云端服务器、服
务器集群、数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、pc设备、物联网终端、移动终端、手机、行车记录仪、导航仪、传感器、摄像头、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、视觉终端、自动驾驶终端、交通工具、家用电器、和/或医疗设备。所述交通工具包括飞机、轮船和/或车辆;所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机;所述医疗设备包括核磁共振仪、b超仪和/或心电图仪。本公开的电子设备或装置还可以被应用于互联网、物联网、数据中心、能源、交通、公共管理、制造、教育、电网、电信、金融、零售、工地、医疗等领域。进一步,本公开的电子设备或装置还可以用于云端、边缘端、终端等与人工智能、大数据和/或云计算相关的应用场景中。在一个或多个实施例中,根据本公开方案的算力高的电子设备或装置可以应用于云端设备(例如云端服务器),而功耗小的电子设备或装置可以应用于终端设备和/或边缘端设备(例如智能手机或摄像头)。在一个或多个实施例中,云端设备的硬件信息和终端设备和/或边缘端设备的硬件信息相互兼容,从而可以根据终端设备和/或边缘端设备的硬件信息,从云端设备的硬件资源中匹配出合适的硬件资源来模拟终端设备和/或边缘端设备的硬件资源,以便完成端云一体或云边端一体的统一管理、调度和协同工作。
[0156]
需要说明的是,为了简明的目的,本公开将一些方法及其实施例表述为一系列的动作及其组合,但是本领域技术人员可以理解本公开的方案并不受所描述的动作的顺序限制。因此,依据本公开的公开或教导,本领域技术人员可以理解其中的某些步骤可以采用其他顺序来执行或者同时执行。进一步,本领域技术人员可以理解本公开所描述的实施例可以视为可选实施例,即其中所涉及的动作或模块对于本公开某个或某些方案的实现并不一定是必需的。另外,根据方案的不同,本公开对一些实施例的描述也各有侧重。鉴于此,本领域技术人员可以理解本公开某个实施例中没有详述的部分,也可以参见其他实施例的相关描述。
[0157]
在具体实现方面,基于本公开的公开和教导,本领域技术人员可以理解本公开所公开的若干实施例也可以通过本文未公开的其他方式来实现。例如,就前文所述的电子设备或装置实施例中的各个单元来说,本文在考虑了逻辑功能的基础上对其进行划分,而实际实现时也可以有另外的划分方式。又例如,可以将多个单元或组件结合或者集成到另一个系统,或者对单元或组件中的一些特征或功能进行选择性地禁用。就不同单元或组件之间的连接关系而言,前文结合附图所讨论的连接可以是单元或组件之间的直接或间接耦合。在一些场景中,前述的直接或间接耦合涉及利用接口的通信连接,其中通信接口可以支持电性、光学、声学、磁性或其它形式的信号传输。
[0158]
在本公开中,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元示出的部件可以是或者也可以不是物理单元。前述部件或单元可以位于同一位置或者分布到多个网络单元上。另外,根据实际的需要,可以选择其中的部分或者全部单元来实现本公开实施例所述方案的目的。另外,在一些场景中,本公开实施例中的多个单元可以集成于一个单元中或者各个单元物理上单独存在。
[0159]
在一些实现场景中,上述集成的单元可以采用软件程序模块的形式来实现。如果以软件程序模块的形式实现并作为独立的产品销售或使用时,所述集成的单元可以存储在计算机可读取存储器中。基于此,当本公开的方案以软件产品(例如计算机可读存储介质)的形式体现时,该软件产品可以存储在存储器中,其可以包括若干指令用以使得计算机设
备(例如个人计算机、服务器或者网络设备等)执行本公开实施例所述方法的部分或全部步骤。前述的存储器可以包括但不限于u盘、闪存盘、只读存储器(read only memory,rom)、随机存取存储器(random access memory,ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0160]
在另外一些实现场景中,上述集成的单元也可以采用硬件的形式实现,即为具体的硬件电路,其可以包括数字电路和/或模拟电路等。电路的硬件结构的物理实现可以包括但不限于物理器件,而物理器件可以包括但不限于晶体管或忆阻器等器件。鉴于此,本文所述的各类装置(例如计算装置或其他处理装置)可以通过适当的硬件处理器来实现,例如cpu、gpu、fpga、dsp和asic等。进一步,前述的所述存储单元或存储装置可以是任意适当的存储介质(包括磁存储介质或磁光存储介质等),其例如可以是可变电阻式存储器(resistive random access memory,rram)、动态随机存取存储器(dynamic random access memory,dram)、静态随机存取存储器(static random access memory,sram)、增强动态随机存取存储器(enhanced dynamic random access memory,edram)、高带宽存储器(high bandwidth memory,hbm)、混合存储器立方体(hybrid memory cube,hmc)、rom和ram等。
[0161]
虽然本文已经示出和描述了本公开的多个实施例,但对于本领域技术人员显而易见的是,这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本公开思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本公开的过程中,可以采用对本文所描述的本公开实施例的各种替代方案。所附权利要求书旨在限定本公开的保护范围,并因此覆盖这些权利要求范围内的等同或替代方案。
[0162]
以上对本公开实施例进行了详细介绍,本文中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明仅用于帮助理解本公开的方法及其核心思想。同时,本领域技术人员依据本公开的思想,基于本公开的具体实施方式及应用范围上做出的改变或变形之处,都属于本公开保护的范围。综上所述,本说明书内容不应理解为对本公开的限制。
技术特征:
1.一种计算方法,其特征在于,所述方法包括:基于生成网络模型对样本图像进行恢复处理,生成第一输出图像;根据所述第一输出图像和第一损失函数计算出第一梯度;根据判别网络模型对所述第一输出图像的第一判别结果,计算出第二梯度;根据判别网络模型对与所述样本图像对应的标签图像的第二判别结果和第二损失函数,计算出第二梯度偏置;将所述第二梯度与所述第二梯度偏置的差值作为第三梯度;根据所述第一梯度和所述第三梯度,计算出目标梯度;根据所述目标梯度对所述生成网络模型的参数进行更新,以完成所述生成网络模型的模型训练。2.根据权利要求1所述的方法,其特征在于,根据所述第一梯度和所述第三梯度,计算出目标梯度,包括:根据所述第一梯度的第一p-范数和所述第三梯度的第三p-范数,对所述第一梯度和/或所述第三梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致;将p-范数一致的第一梯度和第三梯度的和作为所述目标梯度。3.根据权利要求2所述的方法,其特征在于,根据所述第一梯度的第一p-范数和所述第三梯度的第三p-范数,对所述第一梯度和/或所述第三梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致,包括:根据所述第一p-范数和所述第三p-范数,确定出目标p-范数,所述目标p-范数大于或等于所述第一p-范数和所述第三p-范数中的最小值、且小于或等于所述第一p-范数和所述第三p-范数中的最大值;将所述第三梯度和所述第一梯度中p-范数与所述目标p-范数不一致的梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致。4.根据权利要求1-3任意一项所述的方法,其特征在于,根据所述第一梯度和所述第三梯度,计算出目标梯度,包括:在根据所述第一梯度和所述第三梯度,计算出目标梯度之前,根据梯度调整模型对所述第一梯度和所述第三梯度进行调整。5.根据权利要求4所述的方法,其特征在于,所述方法包括:根据所述目标梯度对所述生成网络模型的参数进行更新之后,基于更新后生成网络模型对样本图像进行恢复处理,生成第二输出图像;根据所述第二输出图像和第一损失函数,计算出第一损失值;根据判别网络模型对所述第二输出图像的判别结果和第二损失函数,计算出更新用第二损失值;根据所述更新用第一损失值和所述更新用第二损失值计算出所述梯度值调整模型的第三损失值;根据所述第三损失值对所述梯度调整模型进行更新,已完成所述损失值调整模型的模型训练。6.根据权利要求1-5任意一项所述的方法,其特征在于,第一损失函数包括重建损失函数,第二损失函数包括对抗损失函数。
7.一种计算装置,其特征在于,所述装置包括:第一图像获取模块,用于基于生成网络模型对样本图像进行恢复处理,生成第一输出图像;第一梯度获取模块,用于根据所述第一输出图像和第一损失函数计算出第一梯度;第二梯度获取模块,用于根据判别网络模型对所述第一输出图像的第一判别结果,计算出第二梯度;偏置获取模块,用于根据判别网络模型对与所述样本图像对应的标签图像的第二判别结果和第二损失函数,计算出第二梯度偏置;第三梯度获取模块,用于将所述第二梯度与所述第二梯度偏置的差值作为第三梯度;目标梯度获取模块,用于根据所述第一梯度和所述第三梯度,计算出目标梯度;第一更新模块,用于根据所述目标梯度对所述生成网络模型的参数进行更新,以完成所述生成网络模型的模型训练。8.根据权利要求7所述的装置,其特征在于,所述目标梯度获取模块,包括:第一梯度调整子模块,用于根据所述第一梯度的第一p-范数和所述第三梯度的第三p-范数,对所述第一梯度和/或所述第三梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致;梯度计算子模块,用于将p-范数一致的第一梯度和第三梯度的和作为所述目标梯度。9.根据权利要求8所述的装置,其特征在于,所述第一梯度调整子模块,包括:目标范数确定子模块,用于根据所述第一p-范数和所述第三p-范数,确定出目标p-范数,所述目标p-范数大于或等于所述第一p-范数和所述第三p-范数中的最小值、且小于或等于所述第一p-范数和所述第三p-范数中的最大值;调整子模块,用于将所述第三梯度和所述第一梯度中p-范数与所述目标p-范数不一致的梯度进行调整,以使调整后第一梯度与第三梯度的p-范数一致。10.根据权利要求7-9任意一项所述的装置,其特征在于,所述目标梯度获取模块,包括:第二梯度调整子模块,用于在根据所述第一梯度和所述第三梯度,计算出目标梯度之前,根据梯度调整模型对所述第一梯度和所述第三梯度进行调整。11.根据权利要求10所述的装置,其特征在于,所述装置还包括:第二图像获取模块,用于根据所述目标梯度对所述生成网络模型的参数进行更新之后,基于更新后生成网络模型对样本图像进行恢复处理,生成第二输出图像;第一计算模块,用于根据所述第二输出图像和第一损失函数,计算出第一损失值;第二计算模块,用于根据判别网络模型对所述第二输出图像的判别结果和第二损失函数,计算出更新用第二损失值;第三计算模块,用于根据所述更新用第一损失值和所述更新用第二损失值计算出所述梯度值调整模型的第三损失值;第二更新模块,用于根据所述第三损失值对所述梯度调整模型进行更新,已完成所述损失值调整模型的模型训练。12.根据权利要求7-11任意一项所述的装置,其特征在于,第一损失函数包括重建损失函数,第二损失函数包括对抗损失函数。
13.一种人工智能芯片,其特征在于,所述芯片包括如权利要求7-12中任意一项所述的计算装置。14.一种电子设备,其特征在于,所述电子设备包括如权利要求13所述的人工智能芯片。15.一种板卡,其特征在于,所述板卡包括:存储器件、接口装置和控制器件以及如权利要求13所述的人工智能芯片;其中,所述人工智能芯片与所述存储器件、所述控制器件以及所述接口装置分别连接;所述存储器件,用于存储数据;所述接口装置,用于实现所述人工智能芯片与外部设备之间的数据传输;所述控制器件,用于对所述人工智能芯片的状态进行监控;其中,所述存储器件包括:多组存储单元,每一组所述存储单元与所述人工智能芯片通过总线连接,所述存储单元为:ddr sdram;所述芯片包括:ddr控制器,用于对每个所述存储单元的数据传输与数据存储的控制;所述接口装置为:标准pcie接口。16.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
技术总结
本公开涉及一种计算方法、装置、计算机设备和存储介质。该方法包括:基于生成网络模型对样本图像进行恢复处理,生成第一输出图像;根据第一输出图像和第一损失函数计算出第一梯度;根据判别网络模型对第一输出图像的第一判别结果,计算出第二梯度;根据判别网络模型对与样本图像对应的标签图像的第二判别结果和第二损失函数,计算出第二梯度偏置;将第二梯度与第二梯度偏置的差值作为第三梯度;根据第一梯度和第三梯度,计算出目标梯度;根据目标梯度对生成网络模型的参数进行更新,以完成生成网络模型的模型训练。可以提高模型训练速度,平衡训练过程中两损失函数的优化方向的冲突,且可以提高训练得到的模型的精度和准确度。度。度。
技术研发人员:请求不公布姓名
受保护的技术使用者:寒武纪(昆山)信息科技有限公司
技术研发日:2022.03.08
技术公布日:2023/9/23
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/