深度学习模型的训练方法、图像生成方法及装置与流程
未命名
09-23
阅读:41
评论:0
1.本公开涉及人工智能技术领域,尤其涉及计算机视觉、深度学习等技术领域。具体涉及一种深度学习模型的训练方法、图像生成方法及装置。
背景技术:
2.随着人工智能技术在图像处理领域技术的深入应用,利用深度学习模型处理的样本数据的复杂程度也越来越高。相应地,为了提高训练集的样本数据在迭代训练中的数据拟合能力,深度学习模型的复杂程度也会越来越高,以至于将样本数据中的非一般性特征学习到模型中,出现过拟合现象。
技术实现要素:
3.本公开提供了一种深度学习模型的训练方法、图像生成方法及装置。
4.根据本公开的一方面,提供了一种深度学习模型的训练方法,包括:对第一图像和第二图像分别进行目标点检测,得到第一目标点分布图和第二目标点分布图,其中,目标点表征用于标识图像的目标对象的姿态和轮廓的像素点,第一图像是对初始模型进行第n轮次训练时生成的,第二图像是对初始模型进行第n+1轮次训练时生成的,n为大于1的整数;对第一目标点分布图和第二目标点分布图进行处理,得到第一图像与第二图像的差异度;以及响应于确定差异度小于等于第一预定阈值,得到经训练的深度学习模型。
5.根据本公开的另一方面,提供了一种图像生成方法,包括:获取待处理数据,其中,待处理数据包括以下至少之一:待处理文本、待处理图像;以及利用深度学习模型对待处理数据进行处理,生成目标图像,其中,深度学习模型是利用上述训练方法训练得到的。
6.根据本公开的另一方面,提供了一种深度学习模型的训练装置,包括:检测模块、处理模块和训练模块。检测模块,用于对第一图像和第二图像分别进行目标点检测,得到第一目标点分布图和第二目标点分布图,其中,目标点表征用于标识图像的目标对象的姿态和轮廓的像素点,第一图像是对初始模型进行第n轮次训练时生成的,第二图像是对初始模型进行第n+1轮次训练时生成的,n为大于1的整数。处理模块,用于对第一目标点分布图和第二目标点分布图进行处理,得到第一图像与第二图像的差异度。训练模块,用于响应于确定差异度小于等于第一预定阈值,得到经训练的深度学习模型。
7.根据本公开的另一方面,提供了一种图像生成装置,包括:获取模块和生成模块。获取模块,用于获取待处理数据,其中,待处理数据包括以下至少之一:待处理文本、待处理图像。生成模块,用于利用深度学习模型对待处理数据进行处理,生成目标图像,其中,深度学习模型是利用上述训练方法训练得到的。
8.根据本公开的另一方面,提供了一种芯片,包括前文描述的深度学习模型的训练装置或图像生成装置。
9.根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与上述至少一个处理器通信连接的存储器;其中,上述存储器存储有可被上述至少一个处理器
执行的指令,上述指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行如上的方法。
10.根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,上述计算机指令用于使上述计算机执行如上的方法。
11.根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现如上的方法。
12.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案,不构成对本公开的限定。其中:
14.图1示意性示出了根据本公开实施例的可以应用深度学习模型的训练方法、图像生成方法及装置的示例性系统架构;
15.图2示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图;
16.图3示意性示出了根据本公开实施例的对第一图像和第二图像进行处理得到离散度差异的示意图;
17.图4示意性示出了根据本公开实施例的对第一图像和第二图像进行处理得到特征差异的示意图;
18.图5示意性示出了根据本公开实施例的图像生成方法的流程图;
19.图6示意性示出了根据本公开实施例的深度学习模型的训练装置的框图;
20.图7示意性示出了根据本公开实施例的图像生成装置的框图;以及
21.图8示意性示出了根据本公开实施例的适于实现深度学习模型的训练方法或图像生成方法的电子设备的框图。
具体实施方式
22.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
23.在深度学习模型的训练中,过拟合的现象普遍存在。相关技术中一般采用正则化方法以启发式的代价函数、样本数据增强、标签平滑等方法,抑制模型的过拟合现象。
24.但是,在图像处理场景中涉及到的深度学习模型,例如:目标检测模型、图文模型等,这些模型的样本数据的复杂程度较高,上述抑制模型过拟合的方法在这些模型中的应用效果较差。
25.有鉴于此,本公开实施例提供了一种深度学习模型的训练方法:首先对相邻两个训练轮次的深度学习模型生成的图像进行目标点检测,得到第一目标点分布图和第二目标点分布图。然后,对第一目标点分布图和第二目标点分布图进行处理,得到第一图像与第二图像的差异度,基于该差异度确定深度学习模型的训练终点。由于相邻两个训练轮次生成的图像的目标点表征图像的目标对象的姿态和轮廓的关键像素点特征,因此,目标点分布
图之间的差异度,可以反映出目标对象在相邻两个训练轮次中生成的图像中的稳定性。当差异度小于等于第一预定阈值时,表示深度学习模型已经可以生成目标对象的关键像素点特征相对稳定地图像,满足训练需求的同时,可以有效防止过拟合的现象,从而提高了深度学习模型的稳定性和训练效率。
26.图1示意性示出了根据本公开实施例的可以应用深度学习模型的训练方法、图像生成方法及装置的示例性系统架构。
27.需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如,在另一实施例中,可以应用深度学习模型的训练方法、图像生成方法及装置的示例性系统架构可以包括终端设备,但终端设备可以无需与服务器进行交互,即可实现本公开实施例提供的深度学习模型的训练方法、图像生成方法及装置。
28.如图1所示,根据该实施例的系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103,网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
29.用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
30.第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
31.服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
32.需要说明的是,本公开实施例所提供的深度学习模型的训练方法、图像生成方法一般可以由第一终端设备101、第二终端设备102或第三终端设备103执行。相应地,本公开实施例所提供的深度学习模型的训练方法、图像生成装置也可以设置于第一终端设备101、第二终端设备102或第三终端设备103中。
33.或者,本公开实施例所提供的深度学习模型的训练方法、图像生成方法一般也可以由服务器105执行。相应地,本公开实施例所提供的深度学习模型的训练方法、图像生成装置一般可以设置于服务器105中。本公开实施例所提供的深度学习模型的训练方法、图像生成方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的深度学习模型的训练方法、图像生成装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
34.例如,在进行深度学习模型训练时,第一终端设备101、第二终端设备102、第三终
端设备103可以获取第一图像和第二图像,然后将获取的第一图像、第二图像发送给服务器105,由服务器105对第一图像和第二图像进行目标点检测,得到第一目标点分布图和第二目标点分布图;对第一目标点分布图和第二目标点分布图进行处理,得到第一图像与第二图像的差异度;以及响应于确定差异度小于等于第一预定阈值,向第一终端设备101、第二终端设备102、第三终端设备103发送深度学习模型训练的终止指令,得到经训练的深度学习模型。或者由能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群对第一图像和第二图像进行处理,并最终得到第一图像与第二图像的差异度,确定深度学习模型的训练终点。
35.应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
36.在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
37.在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
38.图2示意性示出了根据本公开实施例的深度学习模型的训练方法、图像生成方法的流程图。
39.如图2所示,该方法包括操作s210~s230。
40.在操作s210,对第一图像和第二图像分别进行目标点检测,得到第一目标点分布图和第二目标点分布图。
41.在操作s220,对第一目标点分布图和第二目标点分布图进行处理,得到第一图像与第二图像的差异度。
42.在操作s230,响应于确定差异度小于等于第一预定阈值,得到经训练的深度学习模型。
43.根据本公开的实施例,第一图像是对初始模型进行第n轮次训练时生成的,第二图像是对初始模型进行第n+1轮次训练时生成的,n为大于1的整数。
44.根据本公开的实施例,目标点可以表征用于标识图像的目标对象的姿态和轮廓的像素点。目标点可以包括关键点和边缘点。关键点可以表征用于标识图像的目标对象的姿态的像素点。边缘点可以表征用于表示图像的目标对象的轮廓的像素点。
45.例如:目标对象可以是人或动物,关键点可以包括人或动物的头部、身体、四肢等部位能够表征人或动物当前姿态的像素点。边缘点可以包括人或动物的整体轮廓的像素点。
46.例如:目标对象也可以是建筑物,关键点可以是建筑物的角点的像素点,例如:三角形屋顶的三个顶点等。边缘点可以是建筑物的整体轮廓的像素点。
47.根据本公开的实施例,第一目标点分布图可以表征目标点在第一图像的不同像素区域内的分布数量。第二目标点分布图可以表征目标点在第二图像的不同像素区域内的分布数量。
48.例如:第一图像中可以包括4个像素区域,目标点可以包括100个,其中,在第一个像素区域可以包括20个目标点,在第二个像素区域可以包括30个目标点,在第三个像素区
域可以包括35的目标点,在第四个像素区域可以包括15个目标点。
49.根据本公开的实施例,第一目标点分布图还可以表征目标点在第一图像的不同像素区域内的分布特征。第二目标点分布图还可以表征目标点在第二图像的不同像素区域内的分布特征。
50.例如:在第一个像素区域内可以包括20个目标点,这20个目标点的颜色、位置坐标、亮度等属性特征,均可以作为第一像素区域内目标点的分布特征。
51.根据本公开的实施例,第一图像与第二图像的差异度可以包括目标点分布数量的差异度和分布特征的差异度。
52.根据本公开的实施例,目标点的分布数量的差异度可以采用信息熵进行度量。信息熵可以表征特定信息的不确定性。当某种特定信息出现概率越低,则该特定信息的不确定性越高,信息熵越高。
53.例如:当目标对象的关键点广泛分布于图像的不同像素区域时,图像的信息熵较大。当目标对象的关键点仅分布于图像的某一像素区域时,图像的信息熵较小。因此,可以基于信息熵度量目标对象的关键点的分布数量的差异度。
54.根据本公开的实施例,目标点的分布特征的差异度可以采用余弦相似度进行度量。
55.根据本公开的实施例,第一图像和第二图像可以是二维图像,也可以是三维等更高维度的图像。对于高维图像,例如:三维图像,可以在进行目标点检测之前,将三维图像转化为二维图像,例如:将三维图像沿着z轴进行分割处理,得到一组二维图像。
56.根据本公开的实施例,第一预定阈值可以根据实际应用需求进行设定。响应于确定差异度小于等于第一预定阈值,表示经过第n+1轮次训练得到的深度学习模型生成的图像的目标点的分布数量和分布特征相对稳定,可以将第n+1训练得到的深度学习模型作为经训练的深度学习模型。
57.根据本公开的实施例,由于相邻两个训练轮次生成的图像的目标点表征图像的目标对象的姿态和轮廓的关键像素点特征,因此,目标点分布图之间的差异度,可以反映出目标对象在相邻两个训练轮次中生成的图像中的稳定性。当差异度小于等于第一预定阈值时,表示深度学习模型已经可以生成目标对象的关键像素点特征相对稳定地图像,满足训练需求的同时,可以有效防止过拟合的现象,从而提高了深度学习模型的稳定性和训练效率。
58.根据本公开的实施例,对第一图像和第二图像分别进行目标点检测,得到第一目标点分布图和第二目标点分布图,可以包括如下操作:分别对第一图像、第二图像进行关键点检测,得到第一关键点分布图和第二关键点分布图;以及分别对第一图像、第二图像进行边缘点检测,得到第一边缘点分布图和第二边缘点分布图。
59.根据本公开的实施例,对图像进行边缘点检测和关键点检测的方法均属于较为成熟的技术,在此不作赘述。
60.根据本公开的实施例,第一目标点分布图可以包括第一关键点分布图和第一边缘点分布图。第二目标点分布图可以包括第二关键点分布图和第二边缘点分布图。
61.根据本公开的实施例,上述操作s220可以包括如下操作:对第一关键点分布图和第二关键点分布图进行处理,得到关键点的离散度差异,其中,关键点表征用于标识目标对
象的姿态的像素点;对第一边缘点分布图和第二边缘点分布图进行处理,得到边缘点的特征差异,其中,边缘点表征用于表征目标对象的轮廓的像素点;以及根据关键点的离散度差异和边缘点的特征差异,得到差异度。
62.根据本公开的实施例,对第一关键点分布图和第二关键点分布图进行处理,得到关键点的离散度差异,可以包括如下操作:对第一关键点分布图进行处理,得到第一关键点的离散程度;对第二关键点分布图进行处理,得到第二关键点的离散程度;以及根据第一关键点的离散程度和第二关键点的离散程度,得到关键点的离散程度差异。
63.图3示意性示出了根据本公开的实施例,对第一图像和第二图像进行处理得到关键点的离散程度差异的示意图。
64.如图3所示,在实施例300中,将样本数据311输入第n轮次训练的模型312,得到第一图像314。将样本数据311输入第n+1轮次训练的模型313,得到第二图像315。
65.根据本公开的实施例,对第一关键点分布图进行处理,得到第一关键点的离散程度,可以包括:对第一关键点分布图进行栅格化处理,得到多个第一栅格区域和多个第一栅格区域内的关键点数量;以及根据多个第一栅格区域内的关键点数量,得到第一关键点的离散程度。
66.例如:对第一图像314进行关键点检测和栅格化处理之后,得到被划分为多个第一栅格区域的第一关键点分布图321,并统计每一个第一栅格区域内的关键点数量,得到多个第一栅格区域内的关键点数量323。
67.如图3所示,在第一关键点分布图321中可以包括栅格区域a1、栅格区域a2、栅格区域a3和栅格区域a4。栅格区域a1中的关键点的数量是8个,栅格区域a2中的关键点数量是6个,栅格区域a3中的关键点的数量是10个,栅格区域a4中的关键点的数量是8个。
68.根据本公开的实施例,可以按照栅格区域a1、栅格区域a2、栅格区域a3和栅格区域a4出现关键点数量的概率,得到第一关键点分布图的信息熵h1,即第一关键点的离散程度325。
69.根据本公开的实施例,对第二关键点分布图的处理方法与对第一关键点分布图的处理方法相同。
70.例如:对第二图像315进行关键点检测和栅格化处理之后,得到被划分为多个第二栅格区域的第二关键点分布图322。并统计每一个第二栅格区域内的关键点数量,得到多个第二栅格区域内的关键点数量324。
71.如图3所示,在第二关键点分布图322中可以包括栅格区域b1、栅格区域b2、栅格区域b3和栅格区域b4。栅格区域b1中的关键点的数量是6个,栅格区域b2中的关键点数量是12个,栅格区域b3中的关键点的数量是4个,栅格区域b4中的关键点的数量是10个。
72.根据本公开的实施例,可以按照栅格区域b1、栅格区域b2、栅格区域b3和栅格区域b4出现关键点数量的概率,得到第二关键点分布图的信息熵h2,即第二关键点的离散程度326。
73.根据本公开的实施例,根据第一关键点的离散程度325和第二关键点的离散程度326,可以得到关键点的离散程度差异327。
74.根据本公开的实施例,第一关键点的离散程度325可以表示第一图像中目标对象的关键点分布的离散程度,离散程度越大,则第一关键点分布图的信息熵h1越大。同理,第
二关键点的离散程度326可以表示第二图像中目标对象的关键点分布的离散程度,离散程度越大,则第二关键点分布图的信息熵h2越大。
75.根据本公开的实施例,关键点的离散程度差异327可以表征第一图像与第二图像的信息增益。信息增益可以表征相邻两个轮次训练的模型生成图像的稳定程度。
76.例如:当信息增益大于0时,可以表示深度学习模型生成图像的稳定程度较低,需要继续训练。当信息增益等于0时,可以表示深度学习模型生成图像的温度程度较高,结束训练。
77.根据本公开的实施例,基于关键点在图像的不同栅格区域的分布数量,得到图像的信息熵。由于信息熵的差异可以表征模型生成图像的稳定程度,因此,可以有效提高深度学习模型的稳定程度,并降低过拟合的现象的发生概率。
78.为了提高深度学习模型的精度,还需要考虑目标对象的轮廓的分布特征。
79.因此,对第一边缘点分布图和第二边缘点分布图进行处理,得到边缘点的特征差异,可以包括如下操作:分别对第一边缘点分布图、第二边缘点分布图进行处理,得到第一边缘点的分布特征和第二边缘点的分布特征;在确定第一边缘点的分布特征与第二边缘点的分布特征的相似度小于等于第二预定阈值的情况下,分别对第一边缘点、第二边缘点进行聚类,得到第一边缘实体对象和第二边缘实体对象;以及对第一边缘实体对象和第二边缘实体对象进行处理,得到特征差异。
80.图4示意性示出了根据本公开实施例的对第一图像和第二图像进行处理,得到边缘点的特征差异的示意图。
81.如图4所示,在实施例400中,将样本数据311输入第n轮次训练的模型312,得到第一图像314。将样本数据311输入第n+1轮次训练的模型313,得到第二图像315。
82.根据本公开的实施例,对第一边缘点分布图进行处理,得到第一边缘点的分布特征,可以包括如下操作:对第一边缘点分布图进行区域划分,得到多个第一边缘点区域和多个第一边缘点区域内的边缘点数量;对多个第一边缘点区域内的边缘点数量进行拟合,得到第一边缘点的分布特征。
83.例如:对第一图像314进行边缘点检测和区域划分,得到包括多个第一边缘点区域的第一边缘点分布图421。
84.由于图像中可以包括多个目标对象,每一个目标对象的轮廓可以对应一个边缘实体对象。在进行边缘点特征差异对比时,可以通过对边缘点进行聚类,得到边缘实体对象。在确定边缘实体对象近似的情况下,在对边缘实体对象的边缘点特征进行差异分析。
85.因此,在区域划分时,可以按列将图像进行区域划分,得到多个矩形区域。
86.如图4所示,在第一边缘点分布图421中可以包括边缘点区域p1、边缘点区域p2。在第二边缘点分布图422中可以包括边缘点区域q1、边缘点区域q2。
87.例如:可以通过统计边缘点区域p1、边缘点区域p2的边缘点的数量,得到边缘点区域p1、边缘点区域p2的边缘点的分布概率。再对边缘点区域p1、边缘点区域p2的边缘点的分布概率,基于高斯分布进行拟合处理,得到第一边缘点的高斯分布序列,即第一边缘点的分布特征。
88.同理,可以通过统计边缘点区域q1、边缘点区域q2的边缘点的数量,得到边缘点区域q1、边缘点区域q2的边缘点的分布概率。再对边缘点区域q1、边缘点区域q2的边缘点的分
布概率,基于高斯分布进行拟合处理,得到第二边缘点的高斯分布序列,即第二边缘点的分布特征。
89.根据本公开的实施例,在确定第一边缘点的高斯分布序列与第二边缘点的高斯分布序列的差异小于等于第二预定阈值的情况下,表示第一边缘点的分布特征与第二边缘点的分布特征近似。可以对第一边缘点进行聚类,得到第一边缘实体对象423。还可以对第二边缘点进行聚类,得到第二边缘实体对象424。
90.需要说明的是,在基于高斯分布进行拟合处理时,得到的高斯分布序列中可以包括多段拟合数据。对于图像内容复杂程度较高,例如:图像中可以包括人、猫、狗、鸟等多个目标对象。每一段拟合数据可以对应一个目标对象,或一个目标对象的一部分。因此,在对边缘点进行聚类时,可以对相似拟合数据对应的边缘点分别进行聚类,以得到多个边缘实体对象。例如:人的轮廓、猫的轮廓、狗的轮廓、鸟的轮廓。
91.根据本公开的实施例,通过对边缘点分布图的区域划分和边缘点的拟合,得到边缘点的分布特征,可以适应于图像内容复杂程度较高的场景,从而提高深度学习模型的训练精度。
92.根据本公开的实施例,对第一边缘实体对象和第二边缘实体对象进行处理,得到特征差异,可以包括如下操作:提取第一边缘实体对象的第一边缘点特征;提取第二边缘实体对象的第二边缘点特征;以及基于相似度函数,对第一边缘点特征和第二边缘点特征进行处理,得到特征差异。
93.根据本公开的实施例,第一边缘点特征包括第一边缘实体对象的边缘点的颜色特征和位置特征。第二边缘点特征包括第二边缘实体对象的边缘点的颜色特征和位置特征。
94.例如:颜色特征可以表征边缘实体对象的边缘点的颜色属性,例如:红色、黄色、蓝色等。位置特征可以表征边缘实体对象的边缘点的相对位置属性,例如:相邻边缘点的位置坐标之差。
95.根据本公开的实施例,第一边缘点特征可以是由第一边缘实体对象的边缘点的颜色特征和位置特征组成的特征向量。同理,第二边缘点特征可以是由第二边缘实体对象的边缘点的颜色特征和位置特征组成的特征向量。
96.根据本公开的实施例,相似度函数可以是余弦相似度函数,也可以是应用于度量特征相似度的其他函数。相似度越大,表示特征差异越小。
97.根据本公开的实施例,基于相似度函数,根据边缘点的颜色特征和位置特征得到图像的特征差异。可以在深度学习模型训练过程中,保证生成图像的内容的准确度,从而提高模型训练的精度。
98.需要说明的是,为了进一步提高深度学习模型的精度,在确定第一图像与第二图像的差异度小于等于第一预定阈值的情况下,可以按照本公开实施例提供的方法对第二图像与标签图像进行处理,得到第二图像与标签图像之间的差异度。当第二图像与标签图像的差异度小于等于第三预定阈值的情况下,得到经训练的深度学习模型。
99.根据本公开的实施例,第三预定阈值可以与第一预定阈值相同,也可以不同,在此不作具体限定。
100.关键点的离散度差异可以反映模型的稳定性,边缘点的特征差异可以反映模型的精度。可以根据实际应用场景的需求,为模型训练过程配置关键点的离散度差异的权重和
边缘点的特征差异的权重。
101.例如:对于图文模型,即在利用对文本语义特征进行分析,生成目标图像的场景中,目标图像的内容相对简单。例如:文本内容可以是“房子前面有一只狗”,生成的目标图像中只要包括房子和狗即可,至于房子与狗的姿态并不重要。因此,在配置离散度差异的第一权重和特征差异的第二权重时,第一权重可以较低,第二权重可以较高。
102.例如:对于目标检测模型,即对图像中的目标对象进行标识或识别的场景中,目标图像的内容相对复杂。因此,在配置离散度差异的第一权重和特征差异的第二权重时,第一权重和第二权重可以各占50%的权重。
103.根据本公开的实施例,根据离散度差异、第一权重、特征差异和第二权重,得到差异度。
104.例如:第一图像与第二图像的离散度差异可以是δh,第一权重可以是w1,第一图像与第二图像的特征差异可以是δs,第二权重可以是w2,差异度可以表示为δh
·
w1+δs
·
w2。
105.根据本公开的实施例,通过为离散度差异和特征差异分配权重,得到第一图像与第二图像的差异度,可以根据应用场景的不同需求,对深度学习模型进行训练,提高深度学习模型在不同应用场景的适应度和训练效率。
106.图5示意性示出了根据本公开实施例的图像生产方法的流程图。
107.如图5所示,该方法500可以包括操作s510~s520。
108.在操作s510,获取待处理数据。
109.在操作s520,利用深度学习模型对待处理数据进行处理,生成目标图像。
110.根据本公开的实施例,待处理数据包括以下至少之一:待处理文本、待处理图像。
111.根据本公开的实施例,深度学习模型可以是利用文本生成图像的模型,也可以是利用图像生成图像的模型。
112.根据本公开的实施例,由于在模型训练过程中有效降低了过拟合现象的发生,因此,该模型生成的图像的准确度较高。
113.图6示意性示出了根据本公开实施例的深度学习模型的训练装置的框图。
114.如图6所示,该训练装置600可以包括检测模块610、处理模块620和训练模块630。
115.检测模块610,用于对第一图像和第二图像分别进行目标点检测,得到第一目标点分布图和第二目标点分布图,其中,目标点表征用于标识图像的目标对象的姿态和轮廓的像素点,第一图像是对初始模型进行第n轮次训练时生成的,第二图像是对初始模型进行第n+1轮次训练时生成的,n为大于1的整数;
116.处理模块620,用于对第一目标点分布图和第二目标点分布图进行处理,得到第一图像与第二图像的差异度;以及
117.训练模块630,用于响应于确定差异度小于等于第一预定阈值,得到经训练的深度学习模型。
118.根据本公开的实施例,第一目标点分布图包括:第一关键点分布图和第一边缘点分布图;第二目标点分布图包括:第二关键点分布图和第二边缘点分布图。处理模块610可以包括:第一处理子模块、第二处理子模块和差异度获得子模块。
119.第一处理子模块,用于对第一关键点分布图和第二关键点分布图进行处理,得到
关键点的离散度差异,其中,关键点表征用于标识目标对象的姿态的像素点。
120.第二处理子模块,用于对第一边缘点分布图和第二边缘点分布图进行处理,得到边缘点的特征差异,其中,边缘点表征用于表征目标对象的轮廓的像素点。
121.差异度获得子模块,用于根据关键点的离散度差异和边缘点的特征差异,得到差异度。
122.根据本公开的实施例,第二处理子模块,可以包括:第一处理单元、聚类单元和第二处理单元。
123.第一处理单元,用于分别对第一边缘点分布图、第二边缘点分布图进行处理,得到第一边缘点的分布特征和第二边缘点的分布特征。
124.聚类单元,用于在确定第一边缘点的分布特征与第二边缘点的分布特征的相似度小于等于第二预定阈值的情况下,分别对第一边缘点、第二边缘点进行聚类,得到第一边缘实体对象和第二边缘实体对象。
125.第二处理单元,用于对第一边缘实体对象和第二边缘实体对象进行处理,得到特征差异。
126.根据本公开的实施例,第一处理单元可以包括:第一区域划分子单元、第一拟合子单元、第二区域划分子单元和第二拟合子单元。
127.第一区域划分子单元,用于对第一边缘点分布图进行区域划分,得到多个第一边缘点区域和多个第一边缘点区域内的边缘点数量。
128.第一拟合子单元,用于对多个第一边缘点区域内的边缘点数量进行拟合,得到第一边缘点的分布特征。
129.第二区域划分子单元,用于对第二边缘点分布图进行区域划分,得到多个第二边缘点区域和多个第二边缘点区域内的边缘点数量。
130.第二拟合子单元,用于对多个第二边缘点区域内的边缘点数量进行拟合,得到第二边缘点的分布特征。
131.根据本公开的实施例,第二处理单元可以包括:第一提取子单元、第二提取子单元和相似度计算子单元。
132.第一提取子单元,用于提取第一边缘实体对象的第一边缘点特征,其中,第一边缘点特征包括第一边缘实体对象的边缘点的颜色特征和位置特征。
133.第二提取子单元,用于提取第二边缘实体对象的第二边缘点特征,其中,第二边缘点特征包括第二边缘实体对象的边缘点的颜色特征和位置特征。
134.相似度计算子单元,用于基于相似度函数,对第一边缘点特征和第二边缘点特征进行处理,得到特征差异。
135.根据本公开的实施例,第一处理子模块可以包括:第三处理单元、第四处理单元和离散程度差异获得单元。
136.第三处理单元,用于对第一关键点分布图进行处理,得到第一关键点的离散程度。
137.第四处理单元,用于对第二关键点分布图进行处理,得到第二关键点的离散程度。
138.离散程度差异获得单元,用于根据第一关键点的离散程度和第二关键点的离散程度,得到关键点的离散程度差异。
139.根据本公开的实施例,第三处理单元,可以包括:第一栅格化单元和第一离散程度
获得单元。
140.第一栅格化单元,用于对第一关键点分布图进行栅格化处理,得到多个第一栅格区域和多个第一栅格区域内的关键点数量。
141.第一离散程度获得单元,用于根据多个第一栅格区域内的关键点数量,得到第一关键点的离散程度。
142.根据本公开的实施例,第四处理单元,可以包括:第二栅格化单元和第二离散程度获得单元。
143.第二栅格化单元,用于对第二关键点分布图进行栅格化处理,得到多个第二栅格区域和多个第二栅格区域内的关键点数量。
144.第二离散程度获得单元,用于根据多个第二栅格区域内的关键点数量,得到第二关键点的离散程度。
145.根据本公开的实施例,差异度获得子模块可以包括:确定单元和获得单元。
146.确定单元,用于确定离散度差异的第一权重和特征差异的第二权重。
147.获得单元,用于根据离散度差异、第一权重、特征差异和第二权重,得到差异度。
148.根据本公开的实施例,检测模块可以包括:关键点检测子模块和边缘点检测子模块。
149.关键点检测子模块,用于分别对第一图像、第二图像进行关键点检测,得到第一关键点分布图和第二关键点分布图。
150.边缘点检测子模块,用于分别对第一图像、第二图像进行边缘点检测,得到第一边缘点分布图和第二边缘点分布图。
151.图7示意性示出了根据本公开实施例的图像生成装置的框图。
152.如图7所示,该图像生成装置700可以包括获取模块710和生成模块720。
153.获取模块710,用于获取待处理数据,其中,待处理数据包括以下至少之一:待处理文本、待处理图像;以及
154.生成模块720,用于利用深度学习模型对待处理数据进行处理,生成目标图像,其中,深度学习模型是利用前文所述的深度学习模型的训练方法训练得到的。
155.根据本公开的实施例,本公开还提供了一种芯片、一种电子设备、一种可读存储介质和一种计算机程序产品。
156.根据本公开的另一方面,提供了一种芯片,包括前文描述的深度学习模型的训练装置或图像生成装置。
157.根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上的方法。
158.根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如上的方法。
159.根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如上所述的方法。
160.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字
助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
161.如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序,来执行各种适当的动作和处理。在ram 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
162.设备800中的多个部件连接至i/o接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
163.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如深度学习模型的训练方法或图像生成方法。例如,在一些实施例中,深度学习模型的训练方法或图像生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时,可以执行上文描述的深度学习模型的训练方法或图像生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行深度学习模型的训练方法或图像生成方法。
164.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
165.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
166.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可
读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
167.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
168.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
169.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式系统的服务器,或者是结合了区块链的服务器。
170.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
171.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
技术特征:
1.一种深度学习模型的训练方法,包括:对第一图像和第二图像分别进行目标点检测,得到第一目标点分布图和第二目标点分布图,其中,所述目标点表征用于标识图像的目标对象的姿态和轮廓的像素点,所述第一图像是对初始模型进行第n轮次训练时生成的,所述第二图像是对所述初始模型进行第n+1轮次训练时生成的,n为大于1的整数;对所述第一目标点分布图和所述第二目标点分布图进行处理,得到所述第一图像与所述第二图像的差异度;以及响应于确定所述差异度小于等于第一预定阈值,得到经训练的深度学习模型。2.根据权利要求1所述的方法,其中,所述第一目标点分布图包括:第一关键点分布图和第一边缘点分布图;所述第二目标点分布图包括:第二关键点分布图和第二边缘点分布图;所述对所述第一目标点分布图和所述第二目标点分布图进行处理,得到所述第一图像与所述第二图像的差异度,包括:对所述第一关键点分布图和所述第二关键点分布图进行处理,得到关键点的离散度差异,其中,所述关键点表征用于标识所述目标对象的姿态的像素点;对所述第一边缘点分布图和所述第二边缘点分布图进行处理,得到边缘点的特征差异,其中,所述边缘点表征用于表征所述目标对象的轮廓的像素点;以及根据所述关键点的离散度差异和所述边缘点的特征差异,得到所述差异度。3.根据权利要求2所述的方法,其中,所述对所述第一边缘点分布图和所述第二边缘点分布图进行处理,得到边缘点的特征差异,包括:分别对所述第一边缘点分布图、所述第二边缘点分布图进行处理,得到第一边缘点的分布特征和第二边缘点的分布特征;在确定所述第一边缘点的分布特征与所述第二边缘点的分布特征的相似度小于等于第二预定阈值的情况下,分别对所述第一边缘点、所述第二边缘点进行聚类,得到第一边缘实体对象和第二边缘实体对象;以及对所述第一边缘实体对象和所述第二边缘实体对象进行处理,得到特征差异。4.根据权利要求3所述的方法,其中,所述分别对所述第一边缘点分布图、所述第二边缘点分布图进行处理,得到第一边缘点的分布特征和第二边缘点的分布特征,包括:对所述第一边缘点分布图进行区域划分,得到多个第一边缘点区域和所述多个第一边缘点区域内的边缘点数量;对所述多个第一边缘点区域内的边缘点数量进行拟合,得到所述第一边缘点的分布特征;对所述第二边缘点分布图进行区域划分,得到多个第二边缘点区域和所述多个第二边缘点区域内的边缘点数量;以及对所述多个第二边缘点区域内的边缘点数量进行拟合,得到所述第二边缘点的分布特征。5.根据权利要求3所述的方法,其中,所述对所述第一边缘实体对象和所述第二边缘实体对象进行处理,得到特征差异,包括:提取所述第一边缘实体对象的第一边缘点特征,其中,所述第一边缘点特征包括所述第一边缘实体对象的边缘点的颜色特征和位置特征;
提取所述第二边缘实体对象的第二边缘点特征,其中,所述第二边缘点特征包括所述第二边缘实体对象的边缘点的颜色特征和位置特征;以及基于相似度函数,对所述第一边缘点特征和所述第二边缘点特征进行处理,得到所述特征差异。6.根据权利要求2所述的方法,其中,所述对所述第一关键点分布图和所述第二关键点分布图进行处理,得到关键点的离散度差异,包括:对所述第一关键点分布图进行处理,得到第一关键点的离散程度;对所述第二关键点分布图进行处理,得到第二关键点的离散程度;以及根据所述第一关键点的离散程度和所述第二关键点的离散程度,得到所述关键点的离散程度差异。7.根据权利要求6所述的方法,其中,所述对所述第一关键点分布图进行处理,得到第一关键点的离散程度,包括:对所述第一关键点分布图进行栅格化处理,得到多个第一栅格区域和所述多个第一栅格区域内的关键点数量;以及根据所述多个第一栅格区域内的关键点数量,得到第一关键点的离散程度。8.根据权利要求6所述的方法,其中,所述对所述第二关键点分布图进行处理,得到第二关键点的离散程度,包括:对所述第二关键点分布图进行栅格化处理,得到多个第二栅格区域和所述多个第二栅格区域内的关键点数量;以及根据所述多个第二栅格区域内的关键点数量,得到第二关键点的离散程度。9.根据权利要求2所述的方法,其中,所述根据所述关键点的离散度差异和所述边缘点的特征差异,得到所述差异度,包括:确定离散度差异的第一权重和特征差异的第二权重;以及根据所述离散度差异、所述第一权重、所述特征差异和所述第二权重,得到所述差异度。10.根据权利要求1所述的方法,其中,所述对第一图像和第二图像分别进行目标点检测,得到第一目标点分布图和第二目标点分布图,包括:分别对所述第一图像、所述第二图像进行关键点检测,得到第一关键点分布图和第二关键点分布图;以及分别对所述第一图像、所述第二图像进行边缘点检测,得到第一边缘点分布图和第二边缘点分布图。11.一种图像生成方法,包括:获取待处理数据,其中,所述待处理数据包括以下至少之一:待处理文本、待处理图像;以及利用深度学习模型对所述待处理数据进行处理,生成目标图像,其中,所述深度学习模型是利用权利要求1~10任一项所述的训练方法训练得到的。12.一种深度学习模型的训练装置,包括:检测模块,用于对第一图像和第二图像分别进行目标点检测,得到第一目标点分布图和第二目标点分布图,其中,所述目标点表征用于标识图像的目标对象的姿态和轮廓的像
素点,所述第一图像是对初始模型进行第n轮次训练时生成的,所述第二图像是对所述初始模型进行第n+1轮次训练时生成的,n为大于1的整数;处理模块,用于对所述第一目标点分布图和所述第二目标点分布图进行处理,得到所述第一图像与所述第二图像的差异度;以及训练模块,用于响应于确定所述差异度小于等于第一预定阈值,得到经训练的深度学习模型。13.根据权利要求12所述的装置,其中,所述第一目标点分布图包括:第一关键点分布图和第一边缘点分布图;所述第二目标点分布图包括:第二关键点分布图和第二边缘点分布图;所述处理模块包括:第一处理子模块,用于对所述第一关键点分布图和所述第二关键点分布图进行处理,得到关键点的离散度差异,其中,所述关键点表征用于标识所述目标对象的姿态的像素点;第二处理子模块,用于对所述第一边缘点分布图和所述第二边缘点分布图进行处理,得到边缘点的特征差异,其中,所述边缘点表征用于表征所述目标对象的轮廓的像素点;以及差异度获得子模块,用于根据所述关键点的离散度差异和所述边缘点的特征差异,得到所述差异度。14.根据权利要求13所述的装置,其中,所述第二处理子模块,包括:第一处理单元,用于分别对所述第一边缘点分布图、所述第二边缘点分布图进行处理,得到第一边缘点的分布特征和第二边缘点的分布特征;聚类单元,用于在确定所述第一边缘点的分布特征与所述第二边缘点的分布特征的相似度小于等于第二预定阈值的情况下,分别对所述第一边缘点、所述第二边缘点进行聚类,得到第一边缘实体对象和第二边缘实体对象;以及第二处理单元,用于对所述第一边缘实体对象和所述第二边缘实体对象进行处理,得到特征差异。15.根据权利要求14所述的装置,其中,所述第一处理单元包括:第一区域划分子单元,用于对所述第一边缘点分布图进行区域划分,得到多个第一边缘点区域和所述多个第一边缘点区域内的边缘点数量;第一拟合子单元,用于对所述多个第一边缘点区域内的边缘点数量进行拟合,得到所述第一边缘点的分布特征;第二区域划分子单元,用于对所述第二边缘点分布图进行区域划分,得到多个第二边缘点区域和所述多个第二边缘点区域内的边缘点数量;以及第二拟合子单元,用于对所述多个第二边缘点区域内的边缘点数量进行拟合,得到所述第二边缘点的分布特征。16.根据权利要求14所述的装置,其中,所述第二处理单元包括:第一提取子单元,用于提取所述第一边缘实体对象的第一边缘点特征,其中,所述第一边缘点特征包括所述第一边缘实体对象的边缘点的颜色特征和位置特征;第二提取子单元,用于提取所述第二边缘实体对象的第二边缘点特征,其中,所述第二边缘点特征包括所述第二边缘实体对象的边缘点的颜色特征和位置特征;以及相似度计算子单元,用于基于相似度函数,对所述第一边缘点特征和所述第二边缘点
特征进行处理,得到所述特征差异。17.根据权利要求13所述的装置,其中,所述第一处理子模块包括:第三处理单元,用于对所述第一关键点分布图进行处理,得到第一关键点的离散程度;第四处理单元,用于对所述第二关键点分布图进行处理,得到第二关键点的离散程度;以及离散程度差异获得单元,用于根据所述第一关键点的离散程度和所述第二关键点的离散程度,得到所述关键点的离散程度差异。18.根据权利要求17所述的装置,其中,所述第三处理单元,包括:第一栅格化单元,用于对所述第一关键点分布图进行栅格化处理,得到多个第一栅格区域和所述多个第一栅格区域内的关键点数量;以及第一离散程度获得单元,用于根据所述多个第一栅格区域内的关键点数量,得到第一关键点的离散程度。19.根据权利要求17所述的装置,其中,所述第四处理单元,包括:第二栅格化单元,用于对所述第二关键点分布图进行栅格化处理,得到多个第二栅格区域和所述多个第二栅格区域内的关键点数量;以及第二离散程度获得单元,用于根据所述多个第二栅格区域内的关键点数量,得到第二关键点的离散程度。20.根据权利要求13所述的装置,其中,所述差异度获得子模块包括:确定单元,用于确定离散度差异的第一权重和特征差异的第二权重;以及获得单元,用于根据所述离散度差异、所述第一权重、所述特征差异和所述第二权重,得到所述差异度。21.根据权利要求12所述的装置,其中,所述检测模块包括:关键点检测子模块,用于分别对所述第一图像、所述第二图像进行关键点检测,得到第一关键点分布图和第二关键点分布图;以及边缘点检测子模块,用于分别对所述第一图像、所述第二图像进行边缘点检测,得到第一边缘点分布图和第二边缘点分布图。22.一种图像生成装置,包括:获取模块,用于获取待处理数据,其中,所述待处理数据包括以下至少之一:待处理文本、待处理图像;以及生成模块,用于利用深度学习模型对所述待处理数据进行处理,生成目标图像,其中,所述深度学习模型是利用权利要求1~10任一项所述的训练方法训练得到的。23.一种芯片,包括如权利要求12~22中任一项所述的装置。24.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。25.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。
26.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。
技术总结
本公开提供了深度学习模型的训练方法、图像生成方法及装置,涉及人工智能技术领域,尤其涉及计算机视觉、深度学习等技术领域。该深度学习模型的训练方法的具体实现方案为:对第一图像和第二图像分别进行目标点检测,得到第一目标点分布图和第二目标点分布图,其中,目标点表征用于标识图像的目标对象的姿态和轮廓的像素点,第一图像是对初始模型进行第n轮次训练时生成的,第二图像是对初始模型进行第n+1轮次训练时生成的,n为大于1的整数;对第一目标点分布图和第二目标点分布图进行处理,得到第一图像与第二图像的差异度;以及响应于确定差异度小于等于第一预定阈值,得到经训练的深度学习模型。深度学习模型。深度学习模型。
技术研发人员:孟庆春 欧阳剑
受保护的技术使用者:昆仑芯(北京)科技有限公司
技术研发日:2023.06.30
技术公布日:2023/9/22
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/