一种基于深度学习的多张绘画生成3D模型的方法及系统与流程

一种基于深度学习的多张绘画生成3d模型的方法及系统
技术领域
1.本发明涉及绘画建模技术领域，尤其涉及一种基于深度学习的多张绘画生成3d模型的方法及系统。


背景技术：

2.深度学习是一种机器学习方法，通过构建多层神经网络进行训练，自动地从数据中提取特征并实现分类、回归等任务。
3.目前，绘画生成算法已成为人工智能领域的研究热点之一。利用深度学习技术，通过对大量艺术品样本的学习和分析，可以实现高质量、多样性的绘画生成，具有广泛的应用前景。
4.在相关技术中，在对多张绘画进行3d模型生成时，需要人工对每一张绘画进行建模，且多张绘画之间的关联性无法很好的进行识别，需要大量的时间和准备工作。


技术实现要素：

5.为了现有技术存在的上述技术缺陷，本发明提供了一种基于深度学习的多张绘画生成3d模型的方法及系统，可以有效解决背景技术中的问题。
6.为了解决上述技术问题，本发明提供的技术方案具体如下：
7.第一方面，本发明实施例公开了一种基于深度学习的多张绘画生成3d模型的方法，包括以下步骤：
8.将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；
9.根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；
10.根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；
11.依据挑选的重要特征构建深度学习模型，并获取训练样本集；
12.根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3d模型。
13.在上述任一方案中优选的是，所述将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量，包括以下步骤：
14.将多张绘画图像空白区域进行裁剪，并通过公式：对每张绘画图像进行归一化，其中，i
min
和i
max
分别为绘画图像中的最小和最大像素值，i1为归一化后的绘画图像；
15.将绘画图像中的每一个像素点分配到不同的语义标签；
16.从每个区域中提取有用的特征，并建立每个区域的特征向量；
17.通过公式：xi＝[f
i,1
,f
i,2
,...,f
i,nr
],f
i,j
∈rd，对绘画图像的特征向量进行表示，其中，xi为特征矩阵，f
i,j
为第i个绘画图像中第j个区域的特征向量，nr为一个绘画图像中的总区域数，d表示每个区域的特征向量的维度，r为实数集。
[0018]
在上述任一方案中优选的是，所述将绘画图像中的每一个像素点分配到不同的语义标签，包括：
[0019]
通过相关技术构建语义分割模型，设置比输入图像为x∈r
w*h*c
,模型输出的每个像素点的概率分布矩阵为y∈r
w*h*n
,则语义分割为y＝f
seg
(x)，其中，w、h、c和n分别为图像的宽度、高度、通道数和类别数量，f
seg
为cnn模型；
[0020]
通过公式：计算语义分割模型预测值与真实标签之间的差异，以通过l
seg
训练f
seg
，其中，y
i1,j1,n
为预测的y矩阵中第(i1,j1)个像素点属于第n个类别的概率，y
true,i1,j1,n
为真实标签。
[0021]
在上述任一方案中优选的是，所述步骤从每个区域中提取有用的特征，并建立每个区域的特征向量，包括：
[0022]
将图像中每个区域表示为一个特征向量f
i,j
∈rd，并计算出每个区域内的统计信息，其中f
i,j
为第i个绘画图像中第j个区域的特征向量，d表示每个区域的特征向量的维度，r为实数集；
[0023]
提取区域的边缘信息，并通过公式：计算出该区域的边缘特征向量，其中，ej为第j个区域中的边缘像素集合，len(ej),width(ej),shape(ej)分别为边缘的长度、平均宽度和曲率；
[0024]
通过深度卷积神经网络提取区域的深度信息，则深度特征向量为：其中，w1、h1和c1分别为深度特征的宽度、高度和通道数，z为深度卷积神经网络的输出，f
fc
为全连接层，为d维特征向量，zj为卷积特征。
[0025]
在上述任一方案中优选的是，所述根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类，包括以下步骤：
[0026]
通过公式计算两两绘画图像间的余弦相似度，其中，s
i2,j2
为第i2张绘画图像和第j2张绘画图像之间的余弦相似度，x
i2
和x
j2
分别为第i2张绘画图像的特征向量和第j2张绘画图像的特征向量；
[0027]
随机选择k个初始的聚类中心μ1,μ2,...μk；
[0028]
通过公式：计算每个特征向量xi与聚类中心μj之间的距离d
i,j
，并将xi分配给距离最近的聚类中心所在的簇cj，其中，j3表示聚类算法中的一个簇或类别；
[0029]
更新聚类中心的位置，使其成为簇内所有数据点的平均值；
[0030]
将每个数据点xi所属的簇cj作为分类结果yi；
[0031]
根据聚类算法得到的分类结果，可以将所有的绘画图像分成k个不同的类别。
[0032]
在上述任一方案中优选的是，所述根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征，包括以下步骤：
[0033]
设置共有c张绘画图像，每张绘画图像由m个特征，通过公式
计算每个特征的信息增益gain(s,f)，其中，s为分类结果，f为某个特征，
values(f)
为f特征取值的集合，|sv|为属于v取值的样本数量，ent(s)为分类结果s的熵；
[0034]
通过公式计算分类结果s的熵，并照信息增益大小对所有特征进行排序，选择信息增益较大的前n个特征作为最终的关键特征，其中，u为分类结果的总数，|s
p
|为属于第p个分类结果的样本数量。
[0035]
在上述任一方案中优选的是，依据挑选的重要特征构建深度学习模型，并获取训练样本集，包括以下步骤：
[0036]
构建gan模型，所述gan模型包括生成器和判别器，所述生成器用于接受随机噪声或特征向量作为输入，输出一组3d模型数据，所述判别器用于判断给定的3d模型是否真实；
[0037]
通过公式x＝g(z),z∈rd计算gan生成器出书的3d模型数据x∈r
l
，其中g(
·
)为生成器函数，d和l分别为特征向量和3d模型数据的维度。
[0038]
在上述任一方案中优选的是，根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3d模型，包括以下步骤：
[0039]
将训练样本集进行预处理；
[0040]
将预处理后的训练数据输入至gan模型中，并使训练目标为3d模型预测结果与真实3d模型之间的误差最小化。
[0041]
在上述任一方案中优选的是，所述使训练目标为3d模型预测结果与真实3d模型之间的误差最小化，包括：
[0042]
定义生成器的损失函数lg为生成的3d模型与真实3d模型之间的欧氏距离，定义判别器的损失函数ld为二分类交叉熵损失函数，定义gan模型的总体损失函数l为l＝l
g-λld,其中λ为一个超参数；
[0043]
通过公式l＝α||x
c-g(z)||2+βlog(1-dy(g(z)))计算gan模型的总体损失函数l，其中α和β为损失函数超参数，z为选择的特征向量，xc为训练样本集中的3d模型数据，dy为判别器，在每次迭代过程中，反向传播更新生成器和判别器的参数，最小化总体损失函数l，以使gan模型能够生成更逼真和高质量的3d模型。
[0044]
第二方面，一种基于深度学习的多张绘画生成3d模型的系统，所述系统包括：
[0045]
提取模块，用于将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；
[0046]
分类模块，用于根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；
[0047]
挑选模块，用于根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；
[0048]
构建模块，用于依据挑选的重要特征构建深度学习模型，并获取训练样本集；
[0049]
输出模块，用于根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3d模型；
[0050]
所述系统通过如第一方面所述的方法基于深度学习的多张绘画生成3d模型。
[0051]
与现有技术相比，本发明的有益效果：
[0052]
本发明提供的基于深度学习的多张绘画生成3d模型的方法，能够在避免花费大量时间对每张绘画图像进行建模的情况下生成对应的3d模型，能够自动提取多张绘画图像中的重要特征，而无需手动进行繁琐的特征提取工作，可以将多张绘画图像划分为不同的类别，有效地减少了样本数据的复杂性。
附图说明
[0053]
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0054]
图1是本发明基于深度学习的多张绘画生成3d模型的方法的流程图；
[0055]
图2是本发明基于深度学习的多张绘画生成3d模型的系统的模块图。
具体实施方式
[0056]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0057]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
[0058]
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0059]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0060]
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
[0061]
如图1所示，本发明提供了一种基于深度学习的多张绘画生成3d模型的方法，包括以下步骤：
[0062]
步骤1，将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；
[0063]
步骤2，根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；
[0064]
步骤3，根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；
[0065]
步骤4，依据挑选的重要特征构建深度学习模型，并获取训练样本集；
[0066]
步骤5，根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3d模型。
[0067]
在本发明实施例所述的基于深度学习的多张绘画生成3d模型的方法中，通过步骤1可以提取每张绘画图像的关键信息，方便后续的聚类和建模，并且能够减少数据噪声和冗余信息，提高模型的训练效率；
[0068]
通过步骤2可以把各个绘画之间的异同点清晰地表现出来并可视化展示，有效减少了样本数据的复杂性，提高了模型的训练效率；
[0069]
通过步骤3可以针对不同类别的绘画图像进行特征挑选，能够提高模型的泛化性能，使其输出的3d模型更加真实可靠；
[0070]
通过步骤4可以利用深度学习技术进行自动特征提取，并为模型训练提供可靠的数据基础，进一步提高模型的训练精度和效率；
[0071]
通过步骤5可以实现对多张绘画图像的3d模型生成，提高了3d模型的生成精度和效率。
[0072]
具体的，所述步骤1，将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量，包括以下步骤：
[0073]
步骤11，将多张绘画图像空白区域进行裁剪，并通过公式：对每张绘画图像进行归一化，其中，i
min
和i
max
分别为绘画图像中的最小和最大像素值，i1为归一化后的绘画图像；
[0074]
步骤12，将绘画图像中的每一个像素点分配到不同的语义标签；
[0075]
步骤13，从每个区域中提取有用的特征，并建立每个区域的特征向量；
[0076]
步骤14，通过公式：xi＝[f
i,1
,f
i,2
,...,f
i,nr
],f
i,j
∈rd，对绘画图像的特征向量进行表示，其中，xi为特征矩阵，f
i,j
为第i个绘画图像中第j个区域的特征向量，nr为一个绘画图像中的总区域数，d表示每个区域的特征向量的维度，r为实数集。
[0077]
进一步的，所述步骤12，将绘画图像中的每一个像素点分配到不同的语义标签，包括：
[0078]
通过相关技术构建语义分割模型，设置比输入图像为x∈r
w*h*c
,模型输出的每个像素点的概率分布矩阵为y∈r
w*h*n
,则语义分割为y＝f
seg
(x)，其中，w、h、c和n分别为图像的宽度、高度、通道数和类别数量，f
seg
为cnn模型；
[0079]
通过公式：计算语义分割模型预测值与真实标签之间的差异，以通过l
seg
训练f
seg
，其中，y
i1,j1,n
为预测的y矩阵中第(i1,j1)个像素点属于第n个类别的概率，y
true,i1,j1,n
为真实标签。
[0080]
进一步的，所述步骤13，从每个区域中提取有用的特征，并建立每个区域的特征向量，包括：
[0081]
步骤131，将图像中每个区域表示为一个特征向量f
i,j
∈rd，并计算出每个区域内的统计信息，其中f
i,j
为第i个绘画图像中第j个区域的特征向量，d表示每个区域的特征向量的维度，r为实数集；
[0082]
步骤132，提取区域的边缘信息，并通过公式：计算出该区域的边缘特征向量，其中，ej为第j个区域中的边缘像素集合，len(ej),width
(ej),shape(ej)分别为边缘的长度、平均宽度和曲率；
[0083]
步骤133，通过深度卷积神经网络提取区域的深度信息，则深度特征向量为：其中，w1、h1和c1分别为深度特征的宽度、高度和通道数，z为深度卷积神经网络的输出，f
fc
为全连接层，为d维特征向量，zj为卷积特征。
[0084]
具体的，所述步骤2，根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类，包括以下步骤：
[0085]
步骤21，通过公式计算两两绘画图像间的余弦相似度，其中，s
i2,j2
为第i2张绘画图像和第j2张绘画图像之间的余弦相似度，x
i2
和x
j2
分别为第i2张绘画图像的特征向量和第j2张绘画图像的特征向量；
[0086]
步骤22，随机选择k个初始的聚类中心μ1,μ2,...μk；
[0087]
步骤23，通过公式：计算每个特征向量xi与聚类中心μj之间的距离d
i,j
，并将xi分配给距离最近的聚类中心所在的簇cj，其中，j3表示聚类算法中的一个簇或类别；
[0088]
步骤24，更新聚类中心的位置，使其成为簇内所有数据点的平均值；
[0089]
步骤25，将每个数据点xi所属的簇cj作为分类结果yi；
[0090]
步骤26，根据聚类算法得到的分类结果，可以将所有的绘画图像分成k个不同的类别。
[0091]
具体的，所述步骤3，根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征，包括以下步骤：
[0092]
步骤31，设置共有c张绘画图像，每张绘画图像由m个特征，通过公式计算每个特征的信息增益gain(s,f)，其中，s为分类结果，f为某个特征，values(f)为f特征取值的集合，|sv|为属于v取值的样本数量，ent(s)为分类结果s的熵；
[0093]
步骤32，通过公式计算分类结果s的熵，并照信息增益大小对所有特征进行排序，选择信息增益较大的前n个特征作为最终的关键特征，其中，u为分类结果的总数，|s
p
|为属于第p个分类结果的样本数量。
[0094]
具体的，所述步骤4，依据挑选的重要特征构建深度学习模型，并获取训练样本集，包括以下步骤：
[0095]
步骤41，构建gan模型，所述gan模型包括生成器和判别器，所述生成器用于接受随机噪声或特征向量作为输入，输出一组3d模型数据，所述判别器用于判断给定的3d模型是否真实；
[0096]
步骤42，通过公式x＝g(z),z∈rd计算gan生成器出书的3d模型数据x∈r
l
，其中g(
·
)为生成器函数，d和l分别为特征向量和3d模型数据的维度。
[0097]
具体的，所述步骤5，根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3d模型，包括以下步骤：
[0098]
步骤51，将训练样本集进行预处理；
[0099]
步骤52将预处理后的训练数据输入至gan模型中，并使训练目标为3d模型预测结果与真实3d模型之间的误差最小化。
[0100]
其中，所述使训练目标为3d模型预测结果与真实3d模型之间的误差最小化，包括：
[0101]
定义生成器的损失函数lg为生成的3d模型与真实3d模型之间的欧氏距离，定义判别器的损失函数ld为二分类交叉熵损失函数，定义gan模型的总体损失函数l为l＝l
g-λld,其中λ为一个超参数；
[0102]
通过公式l＝α||x
c-g(z)||2+βlog(1-dy(g(z)))计算gan模型的总体损失函数l，其中α和β为损失函数超参数，z为选择的特征向量，xc为训练样本集中的3d模型数据，dy为判别器，在每次迭代过程中，反向传播更新生成器和判别器的参数，最小化总体损失函数l，以使gan模型能够生成更逼真和高质量的3d模型。
[0103]
如图2所示，本发明还提供了一种基于深度学习的多张绘画生成3d模型的系统，所述系统包括：
[0104]
提取模块，用于将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；
[0105]
分类模块，用于根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；
[0106]
挑选模块，用于根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；
[0107]
构建模块，用于依据挑选的重要特征构建深度学习模型，并获取训练样本集；
[0108]
输出模块，用于根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3d模型。
[0109]
与现有技术相比，本发明提供的有益效果是：
[0110]
本发明提供的基于深度学习的多张绘画生成3d模型的方法，能够在避免花费大量时间对每张绘画图像进行建模的情况下生成对应的3d模型，能够自动提取多张绘画图像中的重要特征，而无需手动进行繁琐的特征提取工作，可以将多张绘画图像划分为不同的类别，有效地减少了样本数据的复杂性。
[0111]
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于深度学习的多张绘画生成3d模型的方法，其特征在于：包括以下步骤：将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；依据挑选的重要特征构建深度学习模型，并获取训练样本集；根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3d模型。2.根据权利要求1所述的基于深度学习的多张绘画生成3d模型的方法，其特征在于：所述将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量，包括以下步骤：将多张绘画图像空白区域进行裁剪，并通过公式：对每张绘画图像进行归一化，其中，i
min
和i
max
分别为绘画图像中的最小和最大像素值，i1为归一化后的绘画图像；将绘画图像中的每一个像素点分配到不同的语义标签；从每个区域中提取有用的特征，并建立每个区域的特征向量；通过公式：x
i
＝[f
i,1
,f
i,2
,
…
,f
i,nr
],f
i,j
∈r
d
，对绘画图像的特征向量进行表示，其中，x
i
为特征矩阵，f
i,j
为第i个绘画图像中第j个区域的特征向量，nr为一个绘画图像中的总区域数，d表示每个区域的特征向量的维度，r为实数集。3.根据权利要求2所述的基于深度学习的多张绘画生成3d模型的方法，其特征在于：所述将绘画图像中的每一个像素点分配到不同的语义标签，包括：通过相关技术构建语义分割模型，设置比输入图像为x∈r
w*h*c
,模型输出的每个像素点的概率分布矩阵为y∈r
w*h*n
,则语义分割为y＝f
seg
(x)，其中，w、h、c和n分别为图像的宽度、高度、通道数和类别数量，f
seg
为cnn模型；通过公式：计算语义分割模型预测值与真实标签之间的差异，以通过l
seg
训练f
seg
，其中，y
i1,j1,n
为预测的y矩阵中第(i1,j1)个像素点属于第n个类别的概率，y
true,i1,j1,n
为真实标签。4.根据权利要求3所述的基于深度学习的多张绘画生成3d模型的方法，其特征在于：所述步骤从每个区域中提取有用的特征，并建立每个区域的特征向量，包括：将图像中每个区域表示为一个特征向量f
i,j
∈r
d
，并计算出每个区域内的统计信息，其中f
i,j
为第i个绘画图像中第j个区域的特征向量，d表示每个区域的特征向量的维度，r为实数集；提取区域的边缘信息，并通过公式：计算出该区域的边缘特征向量，其中，e
j
为第j个区域中的边缘像素集合，len(e
j
)、width(e
j
)和shape(e
j
)分别为边缘的长度、平均宽度和曲率；通过深度卷积神经网络提取区域的深度信息，则深度特征向量为：其中，w1、h1和c1分别为深度特征的宽度、高度和通道数，z为深
度卷积神经网络的输出，f
fc
为全连接层，为d维特征向量，z
j
为卷积特征。5.根据权利要求4所述的基于深度学习的多张绘画生成3d模型的方法，其特征在于：所述根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类，包括以下步骤：通过公式计算两两绘画图像间的余弦相似度，其中，s
i2,j2
为第i2张绘画图像和第j2张绘画图像之间的余弦相似度，x
i2
和x
j2
分别为第i2张绘画图像的特征向量和第j2张绘画图像的特征向量；随机选择k个初始的聚类中心μ1,μ2,
…
,μ
k
,；通过公式：计算每个特征向量x
i
与聚类中心μ
j
之间的距离d
i,j
，并将x
i
分配给距离最近的聚类中心所在的簇c
j
，其中，j3表示聚类算法中的一个簇或类别；更新聚类中心的位置，使其成为簇内所有数据点的平均值；将每个数据点x
i
所属的簇c
j
作为分类结果y
i
；根据聚类算法得到的分类结果，可以将所有的绘画图像分成k个不同的类别。6.根据权利要求5所述的基于深度学习的多张绘画生成3d模型的方法，其特征在于：所述根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征，包括以下步骤：设置共有c张绘画图像，每张绘画图像由m个特征，通过公式计算每个特征的信息增益gain(s,f)，其中，s为分类结果，f为某个特征，values(f)为f特征取值的集合，|s
v
|为属于v取值的样本数量，ent(s)为分类结果s的熵；通过公式计算分类结果s的熵，并照信息增益大小对所有特征进行排序，选择信息增益较大的前n个特征作为最终的关键特征，其中，u为分类结果的总数，|s
p
|为属于第p个分类结果的样本数量。7.根据权利要求6所述的基于深度学习的多张绘画生成3d模型的方法，其特征在于：依据挑选的重要特征构建深度学习模型，并获取训练样本集，包括以下步骤：构建gan模型，所述gan模型包括生成器和判别器，所述生成器用于接受随机噪声或特征向量作为输入，输出一组3d模型数据，所述判别器用于判断给定的3d模型是否真实；通过公式x＝g(z),z∈r
d
计算gan生成器出书的3d模型数据x∈r
l
，其中g(
·
)为生成器函数，d和l分别为特征向量和3d模型数据的维度。8.根据权利要求7所述的基于深度学习的多张绘画生成3d模型的方法，其特征在于：根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3d模型，包括以下步骤：将训练样本集进行预处理；将预处理后的训练数据输入至gan模型中，并使训练目标为3d模型预测结果与真实3d
模型之间的误差最小化。9.根据权利要求8所述的基于深度学习的多张绘画生成3d模型的方法，其特征在于：所述使训练目标为3d模型预测结果与真实3d模型之间的误差最小化，包括：定义生成器的损失函数l
g
为生成的3d模型与真实3d模型之间的欧氏距离，定义判别器的损失函数l
d
为二分类交叉熵损失函数，定义gan模型的总体损失函数l为l＝l
g-λl
d
,其中λ为一个超参数；通过公式l＝α||x
c-g(z)||2+βlog(1-dy(g(z)))计算gan模型的总体损失函数l，其中α和β为损失函数超参数，z为选择的特征向量，x
c
为训练样本集中的3d模型数据，dy为判别器，在每次迭代过程中，反向传播更新生成器和判别器的参数，最小化总体损失函数l，以使gan模型能够生成更逼真和高质量的3d模型。10.一种基于深度学习的多张绘画生成3d模型的系统，其特征在于：所述系统包括：提取模块，用于将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；分类模块，用于根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；挑选模块，用于根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；构建模块，用于依据挑选的重要特征构建深度学习模型，并获取训练样本集；输出模块，用于根据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3d模型；所述系统通过如权利要求1所述的方法基于深度学习的多张绘画生成3d模型。

技术总结
本发明涉及一种基于深度学习的多张绘画生成3D模型的方法，包括以下步骤：将多张绘画图像进行预处理，并提取每一个绘画图像的特征向量；根据特征向量计算两两绘画图像间的关联度，并对所有绘画图像进行聚类；根据聚类结果标记每张图像的所属类别，并在所属类别中挑选重要特征；依据挑选的重要特征构建深度学习模型，并获取训练样本集；据训练样本集对深度学习模型进行训练，并将多张绘画图像输入至训练完成的深度学习模型中，输出的对应的3D模型。本发明能够在避免花费大量时间对每张绘画图像进行建模的情况下生成对应的3D模型，能够自动提取多张绘画图像中的重要特征，而无需手动进行繁琐的特征提取工作。进行繁琐的特征提取工作。进行繁琐的特征提取工作。


技术研发人员：甘凌 顾大桐 王步国
受保护的技术使用者：北京元跃科技有限公司
技术研发日：2023.06.02
技术公布日：2023/8/31