风格化三维重建方法、装置、设备及存储介质与流程

1.本公开涉及人工智能技术领域，具体涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景下，尤其涉及一种风格化三维重建方法、装置、设备及存储介质。


背景技术：

2.随着人工智能技术的不断发展，三维(three dimensional,3d)人脸重建技术逐渐兴起。为满足用户的多样化需求，3d风格化人脸重建也受到了很多关注。
3.目前进行3d风格化人脸重建的方式可以包括：根据预先制作的大量风格化基底文件，进行3d风格化人脸重建；或者，对真实人脸的3d重建结果进行风格化形变，以实现3d风格化人脸重建。
4.但是，上述预先制作大量风格化基底文件，以进行3d风格化人脸重建的方式，耗费了大量的资源和成本，且风格化控制程度有限。而对真实人脸的3d重建结果进行风格化形变的方式，很难控制风格化的结果。


技术实现要素：

5.本公开提供了一种风格化三维重建方法、装置、设备及存储介质，可以降低实现风格化三维重建的成本，且能够对风格化的结果进行控制，增强三维重建的风格化控制程度。
6.根据本公开的第一方面，提供了一种风格化三维重建方法，所述方法包括：根据目标对象的第一图像，对目标对象进行三维重建，得到目标对象的三维基底；根据虚拟对象的第二图像，对虚拟对象进行三维重建，得到虚拟对象的三维基底，第二图像符合目标风格类型；根据目标对象的三维基底和虚拟对象的三维基底，生成目标对象的融合三维基底；根据预设标准三维基底和虚拟对象的三维基底，生成标准融合三维基底；根据目标对象的融合三维基底、标准融合三维基底、预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果。
7.根据本公开的第二方面，提供了一种风格化三维重建装置，所述装置包括：重建单元、生成单元、变换单元。
8.重建单元，用于根据目标对象的第一图像，对目标对象进行三维重建，得到目标对象的三维基底；重建单元，还用于根据虚拟对象的第二图像，对虚拟对象进行三维重建，得到虚拟对象的三维基底，第二图像符合目标风格类型；生成单元，用于根据目标对象的三维基底和虚拟对象的三维基底，生成目标对象的融合三维基底；生成单元，还用于根据预设标准三维基底和虚拟对象的三维基底，生成标准融合三维基底；变换单元，用于根据目标对象的融合三维基底、标准融合三维基底、预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果。
9.根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指
令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或者第二方面所述的方法。
10.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据第一方面或者第二方面所述的方法。
11.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据第一方面或者第二方面所述的方法。
12.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案，不构成对本公开的限定。其中：
14.图1为本公开实施例提供的风格化三维重建方法的流程示意图；
15.图2为本公开实施例提供的风格化三维重建方法的另一流程示意图；
16.图3a为公开本实施例提供的第一仿射变换矩阵中非平移部分的数值增大时的流程示意图；
17.图3b为本公开实施例提供的第一仿射变换矩阵中非平移部分的数值减小时的流程示意图；
18.图4为本公开实施例提供的风格化三维重建方法的又一流程示意图；
19.图5a为本公开实施例提供的第二仿射变换矩阵中非平移部分的数值增大时的流程示意图；
20.图5b为本公开实施例提供的第二仿射变换矩阵中非平移部分的数值减小时的流程示意图；
21.图6为本公开实施例提供的风格化三维重建方法的流程示意图；
22.图7为本公开实施例提供的风格化三维重建装置的组成示意图；
23.图8为本公开实施例提供的可以用来实施本公开的实施例的示例电子设备800的示意性框图。
具体实施方式
24.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
25.应当理解，在本公开各实施例中，字符“/”一般表示前后关联对象是一种“或”的关系。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
26.随着人工智能技术的不断发展，三维(three dimensional,3d)人脸重建技术逐渐兴起。为满足用户的多样化需求，3d风格化人脸重建也受到了很多关注。
27.目前进行3d风格化人脸重建的方式可以包括：根据预先制作的大量风格化基底文件，进行3d风格化人脸重建；或者，对真实人脸的3d重建结果进行风格化形变，以实现3d风
格化人脸重建。
28.但是，上述预先制作大量风格化基底文件，以进行3d风格化人脸重建的方式，耗费了大量的资源和成本，且风格化控制程度有限。而对真实人脸的3d重建结果进行风格化形变的方式，很难控制风格化的结果。
29.示例性地，根据预先制作的大量风格化基底文件，进行3d风格化人脸重建的方式，需要预先制作大量3d风格化基底文件，基于可微渲染训练框架，使用深度学习(deep-learning)的方式预测融合形变(blend-shapes)系数，将预测的融合形变(blend-shapes)系数与制作的风格化基底文件线性求和得到风格化人脸重建结果。但这种方式大量依赖模型师人力，预先生成大量基底文件，时间和经济成本较高，且过多依赖模型师介入，会导致最终重建风格用户不满意度风险提升，一旦需要变更风格，人力、经济、时间成本翻倍，无法移植使用。以风格化人脸重建为例，重建过程完全依赖二维(two dimensional，2d)风格化人脸的关键点约束，这部分需要额外训练一个风格化人脸关键点检测算法，耗费标注成本，且存在一定人脸关键点定位误差，导致最终风格化人脸重建结果有偏差。
30.而直接从真实人脸的3d重建结果进行3d风格化形变的方式，虽然耗费成本较低，但形变结果不可控，无法保证美观度，甚至无法保证所有重建结果的风格化程度一致性，因此用户不满意的风险很高。
31.在此背景技术下，本公开提供了一种风格化三维重建方法，本公开可以降低实现风格化三维重建的成本，同时能够控制风格化程度。
32.示例性地，该风格化三维重建方法的执行主体可以是计算机或服务器，或者还可以是其他具有数据处理能力的设备。在此对该方法的执行主体不作限制。
33.一些实施例中，服务器可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本公开对服务器的具体实现方式也不作限制。
34.图1为本公开实施例提供的风格化三维重建方法的流程示意图。如图1所示，该方法可以包括s101-s105。
35.s101、根据目标对象的第一图像，对目标对象进行三维重建，得到目标对象的三维基底。
36.示例性地，目标对象可以包括人、动物等形象。目标对象的第一图像可以包括目标对象的真实照片、画像等。可以利用神经网络模型对目标对象进行三维重建，得到目标对象的三维基底。
37.基于上述实施方式，示例地，可以将目标对象的第一图像输入预设的神经网络模型中，该预设神经网络模型可以根据输入的目标对象的第一图像输出目标对象的三维基底。
38.示例地，上述预设的神经网络模型，可以是采用不同形象的真实照片和不同形象的真实照片对应的三维基底组成的训练集，对初始神经网络模型进行训练得到的。
39.s102、根据虚拟对象的第二图像，对虚拟对象进行三维重建，得到虚拟对象的三维基底，第二图像符合目标风格类型。
40.示例性地，虚拟对象可以包括不同风格的虚拟形象，虚拟对象的第二图像可以包括不同风格的虚拟形象的2d风格原画，2d风格原画可以由美工师根据不同的场景需求来生
成。虚拟对象的三维基底也可以称为风格化基底。可以利用神经网络模型对虚拟对象进行三维重建，得到虚拟对象的三维基底。在实际应用中，还可以由模型师根据虚拟对象的2d风格原画创建一个对应的虚拟对象的三维基底，此处不作限制。
41.基于上述实施方式，示例地，可以将虚拟对象的第二图像输入预设的神经网络模型中，该预设神经网络模型可以根据输入的虚拟对象的第二图像输出虚拟对象的三维基底。
42.示例地，上述预设的神经网络模型，可以是采用不同风格的虚拟形象的2d风格原画和不同风格虚拟形象的2d风格原画对应的三维基底组成的训练集，对初始神经网络模型进行训练得到的。
43.s103、根据目标对象的三维基底和虚拟对象的三维基底，生成目标对象的融合三维基底。
44.示例性地，可以将生成的目标对象的三维基底和虚拟对象的三维基底进行重拓扑，生成目标对象的融合三维基底。
45.基于上述实施方式，示例地，以目标对象为人为例，先用人脸的三维基底和风格化基底在绘图软件上标定几十个对应序列关键点，然后贴合，可以生成人脸的融合三维基底，生成的人脸的融合三维基底具有真实人脸形状、且具备风格化人脸拓扑结构。
46.s104、根据预设标准三维基底和虚拟对象的三维基底，生成标准融合三维基底。
47.示例性地，预设标准三维基底也可以称为中性三维基底，可以将预设标准三维基底和虚拟对象的三维基底进行重拓扑，生成标准融合三维基底。
48.基于上述实施方式，示例地，以目标对象为人为例，预设标准三维基底可以是一个不具有任何表情、形态的人脸三维基底，生成标准融合三维基底的方式可以参考上述生成目标对象的融合三维基底的方式，此处不再赘述。
49.s105、根据目标对象的融合三维基底、标准融合三维基底、预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果。
50.示例性地，可以将生成的目标对象的融合三维基底、标准融合三维基底、预设标准三维基底输入预设的变形迁移(deformation transfer，dt)算法中，在dt算法中对目标对象的融合三维基底、标准融合三维基底、预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果。本公开实施例通过根据目标对象的第一图像，对目标对象进行三维重建，得到目标对象的三维基底，根据符合目标风格类型的虚拟对象的第二图像，对虚拟对象进行三维重建，得到虚拟对象的三维基底，然后根据目标对象的三维基底和虚拟对象的三维基底，生成目标对象的融合三维基底，根据预设标准三维基底和虚拟对象的三维基底，生成标准融合三维基底，再根据生成的目标对象的融合三维基底、标准融合三维基底和预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果。大大降低了实现风格化三维重建的成本，同时能够在dt算法中对风格化的结果进行控制，增强三维重建的风格化控制程度。
51.一些实施例中，其中，标准融合三维基底通过第一仿射变换矩阵进行仿射变换，目标对象的风格化程度与第一仿射变换矩阵中非平移部分的数值的大小正相关。
52.示例性地，dt算法中包括第一仿射变换矩阵，可以采用第一仿射变换矩阵对标准融合三维基底进行仿射变换，第一仿射变换矩阵中包括非平移部分，在进行仿射变换时，通
过改变第一仿射变换矩阵中非平移部分的数值，可以控制目标对象的风格化程度，即控制目标对象的风格化形变程度。
53.基于上述实施方式，示例地，目标对象的风格化程度与第一仿射变换矩阵中非平移部分的数值的大小正相关，第一仿射变换矩阵中非平移部分的数值越大，目标对象的风格化程度越大，即第一仿射变换矩阵中非平移部分的数值越大，目标对象的横向、纵向、外扩尺度越大。
54.本实施例通过限定标准融合三维基底通过第一仿射变换矩阵进行仿射变换，目标对象的风格化程度与第一仿射变换矩阵中非平移部分的数值的大小正相关，从而限定了可以通过改变第一仿射变换矩阵中非平移部分的数值来控制目标对象的风格化程度，实现了风格化三维重建中风格化形变程度的可控。
55.一些实施例中，上述根据目标对象的融合三维基底、标准融合三维基底、预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果之前，该方法还包括：响应于用户的第一配置操作，增大或减小第一仿射变换矩阵中非平移部分的数值。
56.示例性地，用户可以根据需求手动配置第一仿射变换矩阵中非平移部分的数值大小，也可以通过一个预设算法依次增大或减小第一仿射变换矩阵中非平移部分的数值，以任意调整风格化程度。
57.基于上述实施方式，示例地，当用户需要调整风格化程度时，可以直接输入增加或减去某个数值，也可以根据预设的算法，每操作一次，增加或减去一个固定的数值，直到满足自己的需求。
58.本实施例通过响应于的第一配置操作，增大或减小第一仿射变换矩阵中非平移部分的数值，使用户可以根据自己的需求任意调整风格化程度，提高了调整风格化程度的灵活性。
59.图2为本公开实施例提供的风格化三维重建方法的另一流程示意图。如图2所示，该方法可以包括s201-s203。
60.s201、显示三维重建界面，三维重建界面包括第一滑动区域，第一滑动区域中包括第一滑动控件。
61.示例性地，可以设计一个滚动条(scrollbar)，第一滑动区域包括该滚动条最大的可滑动区域，第一滑动控件可以为滚动条滑块。
62.s202、响应于用户对第一滑动控件的触控操作，控制第一滑动控件在第一滑动区域中滑动。
63.示例性地，用户对第一滑动控件的触控操作可以包括用户拖动滚动条滑块滑动，也可以包括用户单击滚动条空白处时，滚动滑块移动到用户单击的位置。
64.s203、在第一滑动控件停止滑动后，根据第一滑动控件的滑动方向和滑动距离，增大或减小第一仿射变换矩阵中非平移部分的数值。
65.其中，对第一滑动控件的触控操作为第一配置操作，第一滑动区域包括第一滑动方向和第二滑动方向，当第一滑动控件向第一滑动方向滑动时，第一仿射变换矩阵中非平移部分的数值减小，当第一滑动控件向第二滑动方向滑动时，第一仿射变换矩阵中非平移部分的数值增大，第一滑动控件的滑动距离用于指示第一仿射变换矩阵中非平移部分的数值增大或减小的幅度。
66.基于上述实施方式，示例地，假设第一滑动控件滑动1毫米，第一仿射变换矩阵中非平移部分的数值变化为0.1，当用户拖动滚动条滑块向第一滑动方向滑动3毫米时，第一仿射变换矩阵中非平移部分的数值减小0.3，当用户拖动滚动条滑块向第二滑动方向滑动5毫米时，第一仿射变换矩阵中非平移部分的数值增大0.5。
67.本实施例通过显示三维重建界面，在三维重建界面设置第一滑动区域，第一滑动区域中包括第一滑动控件，用户通过对第一滑动控件的触控操作来控制第一滑动控件在第一滑动区域中滑动，从而在第一滑动控件停止滑动后，根据第一滑动控件的滑动方向和滑动距离，增大或减小第一仿射变换矩阵中非平移部分的数值，使用户根据自己的需求通过对第一滑动控件的触控操作，实现风格化程度大小的调整。
68.图3a为本实施例提供的第一仿射变换矩阵中非平移部分的数值增大时的流程示意图。如图3a所示，一些可能的实施方式中，第一仿射变换矩阵中非平移部分的数值增大的过程可以包括s301-s302。
69.s301、将第一仿射变换矩阵中非平移部分的数值减去1后乘以第一系数，得到第一值，第一系数为大于1的自然数。
70.示例性地，因为第一仿射变换矩阵中非平移部分是个单位阵，就是不发生变换，此时对角线元素都是1，因此实际改变形变程度的是减去1之后的剩余的数值部分，对这个部分乘以系数，就可以实现控制风格化程度。所以先将第一仿射变换矩阵中非平移部分的数值减去1后乘以第一系数，得到第一值，第一系数大于1表示提升3d风格化形变程度。
71.s302、将第一值加1，得到增大后的第一仿射变换矩阵中非平移部分的数值。
72.例如，第一仿射变换矩阵中非平移部分为3*3矩阵b，a1、a2、a3是第一系数，对矩阵b的具体变换表达式可以为b[0，0]＝1+(b[0，0]-1)*a1；b[1，1]＝1+(b[1，1]-1)*a2；b[2，2]＝1+(b[2，2]-1)*a3，根据上述表达式可以得到增大后的第一仿射变换矩阵中非平移部分的数值。
[0073]
图3b为本实施例提供的第一仿射变换矩阵中非平移部分的数值减小时的流程示意图。如图3b所示，另一些可能的实施方式中，第一仿射变换矩阵中非平移部分的数值减小的过程可以包括s303-s304。
[0074]
s303、将第一仿射变换矩阵中非平移部分的数值减去1后乘以第二系数，得到第二值，第二系数为大于0且小于1的自然数。
[0075]
示例性地，第二系数为大于0且小于1表示降低3d风格化形变程度。
[0076]
s304、将第二值加1，得到减小后的第一仿射变换矩阵中非平移部分的数值。
[0077]
示例性地，具体得到减小后的第一仿射变换矩阵中非平移部分的数值的方法可以参考上述得到增大后的第一仿射变换矩阵中非平移部分的数值的方法，此处不再赘述。
[0078]
本实施例将第一仿射变换矩阵中非平移部分的数值减去1后乘以第一系数，得到第一值，然后给第一值加1，可以得到增大后的第一仿射变换矩阵中非平移部分的数值；或者将第一仿射变换矩阵中非平移部分的数值减去1后乘以第二系数，得到第二值，然后给第二值加1，得到减小后的第一仿射变换矩阵中非平移部分的数值，从而通过具体改变第一仿射变换矩阵中非平移部分的数值，实现对3d风格化形变程度的提升或降低。
[0079]
一些实施例中，上述目标对象的融合三维基底通过第二仿射变换矩阵进行仿射变换，目标对象的风格化辨识度与第二仿射变换矩阵中非平移部分的数值的大小正相关。
[0080]
示例性地，dt算法中包括第一仿射变换矩和第二仿射变换矩阵，可以采用第一仿射变换矩阵对标准融合三维基底进行仿射变换，采用第二仿射变换矩阵对目标对象的融合三维基底进行仿射变换，第一仿射变换矩和第二仿射变换矩阵中包括非平移部分，在进行仿射变换时，通过改变第一仿射变换矩阵中非平移部分的数值，可以控制目标对象的风格化程度，通过改变第二仿射变换矩阵中非平移部分的数值，可以控制目标对象的风格化辨识度。第一仿射变换矩阵中非平移部分的数值越大，目标对象的风格化形变程度越大，第一仿射变换矩阵中非平移部分的数值越小，目标对象的风格化形变程度越小。第二仿射变换矩阵中非平移部分的数值越大，目标对象的风格化辨识度越高，第二仿射变换矩阵中非平移部分的数值越小，目标对象的风格化辨识度越低。
[0081]
本实施例将目标对象的融合三维基底通过第二仿射变换矩阵进行仿射变换，从而通过改变第二仿射变换矩阵中非平移部分的数值的大小来实现风格化三维重建中风格化辨识度的可控。另外，还可以通过改变第一仿射变换矩阵中非平移部分的数值的大小、改变第二仿射变换矩阵中非平移部分的数值的大小，从而控制目标对象的风格化辨识度和风格化形变程度。
[0082]
一些实施例中，上述根据目标对象的融合三维基底、标准融合三维基底、预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果之前，该方法还包括：响应于用户的第二配置操作，增大或减小第二仿射变换矩阵中非平移部分的数值。
[0083]
示例性地，用户可以根据需求手动配置第二仿射变换矩阵中非平移部分的数值大小，也可以通过一个预设算法依次增大或减小第二仿射变换矩阵中非平移部分的数值，以任意调整风格化辨识度。
[0084]
基于上述实施方式，示例地，当用户需要调整风格化辨识度时，可以直接输入增加或减去某个数值，也可以根据预设的算法，每操作一次，增加或减去一个固定的数值，直到满足自己的需求。
[0085]
本实施例通过响应于的第二配置操作，增大或减小第二仿射变换矩阵中非平移部分的数值，使用户可以根据自己的需求任意调整风格化辨识度，提高了调整风格化辨识度的灵活性。
[0086]
图4为本公开实施例提供的风格化三维重建方法的又一流程示意图。如图4所示，该方法可以包括s401-s403。
[0087]
s401、显示三维重建界面，三维重建界面包括第二滑动区域，第二滑动区域中包括第二滑动控件。
[0088]
示例性地，三维重建界面可以和s201中的三维重建界面相同，可以设计一个滚动条(scrollbar)，这个滚动条可以和s201中设置的滚动条为同一个，也可以是一个重新设置的滚动条。第二滑动区域包括该滚动条最大的可滑动区域，第二滑动控件可以为滚动条滑块。
[0089]
s402、响应于用户对第二滑动控件的触控操作，控制第二滑动控件在第二滑动区域中滑动。
[0090]
示例性地，用户对第二滑动控件的触控操作可以包括用户拖动滚动条滑块滑动，也可以包括用户单击滚动条空白处时，滚动滑块移动到用户单击的位置。
[0091]
s403、在第二滑动控件停止滑动后，根据第二滑动控件的滑动方向和滑动距离，增
大或减小第二仿射变换矩阵中非平移部分的数值。
[0092]
其中，对第二滑动控件的触控操作为第二配置操作，第二滑动区域包括第三滑动方向和第四滑动方向，当第二滑动控件向第三滑动方向滑动时，第二仿射变换矩阵中非平移部分的数值减小，当第二滑动控件向第四滑动方向滑动时，第二仿射变换矩阵中非平移部分的数值增大，第二滑动控件的滑动距离用于指示第二仿射变换矩阵中非平移部分的数值增大或减小的幅度。
[0093]
示例性地，第三滑动方向可以和第一滑动方向相同，在第二滑动控件停止滑动后，根据第二滑动控件的滑动方向和滑动距离，增大或减小第二仿射变换矩阵中非平移部分的数值，从而控制风格化辨识度的方法可以参考上述根据第一滑动控件的滑动方向和滑动距离，增大或减小第一仿射变换矩阵中非平移部分的数值的方法，此处不再赘述。
[0094]
本实施例通过显示三维重建界面，在三维重建界面设置第二滑动区域，第二滑动区域中包括第二滑动控件，用户通过对第二滑动控件的触控操作来控制第二滑动控件在第二滑动区域中滑动，从而在第二滑动控件停止滑动后，根据第二滑动控件的滑动方向和滑动距离，增大或减小第二仿射变换矩阵中非平移部分的数值，使用户根据自己的需求通过对第二滑动控件的触控操作，实现风格化辨识度的调整。
[0095]
图5a为本实施例提供的第二仿射变换矩阵中非平移部分的数值增大时的流程示意图。如图5a所示，一些可能的实施方式中，第二仿射变换矩阵中非平移部分的数值增大的过程可以包括s501-s502。
[0096]
s501、将第二仿射变换矩阵中非平移部分的数值减去1后乘以第三系数，得到第三值，第三系数为大于1的自然数。
[0097]
示例性地，第三系数大于1表示提高3d风格化辨识度。
[0098]
s502、将第三值加1，得到增大后的第二仿射变换矩阵中非平移部分的数值。
[0099]
示例性地，具体得到增大后的第二仿射变换矩阵中非平移部分的数值的方法可以参考上述得到增大后的第一仿射变换矩阵中非平移部分的数值的方法，此处不再赘述。
[0100]
图5b为本实施例提供的第二仿射变换矩阵中非平移部分的数值减小时的流程示意图。如图5b所示，另一些可能的实施方式中，第二仿射变换矩阵中非平移部分的数值减小的过程可以包括s503-s504。
[0101]
s503、将第二仿射变换矩阵中非平移部分的数值减去1后乘以第四系数，得到第四值，第四系数为大于0且小于1的自然数。
[0102]
示例性地，第四系数为大于0且小于1表示降低3d风格化辨识度。
[0103]
s504、将第四值加1，得到减小后的第二仿射变换矩阵中非平移部分的数值。
[0104]
示例性地，具体得到减小后的第二仿射变换矩阵中非平移部分的数值的方法可以参考上述得到增大后的第一仿射变换矩阵中非平移部分的数值的方法，此处不再赘述。
[0105]
本实施例将第二仿射变换矩阵中非平移部分的数值减去1后乘以第三系数，得到第三值，然后给第三值加1，可以得到增大后的第二仿射变换矩阵中非平移部分的数值；或者将第二仿射变换矩阵中非平移部分的数值减去1后乘以第四系数，得到第四值，然后给第四值加1，得到减小后的第二仿射变换矩阵中非平移部分的数值，从而通过具体改变第二仿射变换矩阵中非平移部分的数值，实现对3d风格化辨识度的提高或降低。
[0106]
本公开实施例还提供一种风格化三维重建方法，该风格化三维重建方法的执行主
体可以参考前述实施例，不再赘述。图6为本公开实施例提供的风格化三维重建方法的又一流程示意图。如图6所示，该方法可以包括s601-s605。
[0107]
s601、根据目标对象的第一图像，对目标对象进行三维重建，得到目标对象的三维基底。
[0108]
s602、根据虚拟对象的第二图像，对虚拟对象进行三维重建，得到虚拟对象的三维基底，第二图像符合目标风格类型。
[0109]
s603、根据目标对象的三维基底和虚拟对象的三维基底，生成目标对象的融合三维基底。
[0110]
s604、根据预设标准三维基底和虚拟对象的三维基底，生成标准融合三维基底。
[0111]
s605、根据目标对象的融合三维基底、标准融合三维基底、预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果。
[0112]
其中，目标对象的融合三维基底通过第二仿射变换矩阵进行仿射变换，目标对象的风格化辨识度与第二仿射变换矩阵中非平移部分的数值的大小正相关。
[0113]
示例性地，该方法可以实现对目标对象的风格化辨识度的控制，对目标对象的风格化辨识度的具体控制方法可以参考前述实施例中对目标对象的风格化程度进行控制的方法，此处不再赘述。
[0114]
本实施例通过根据目标对象的第一图像，对目标对象进行三维重建，得到目标对象的三维基底，根据符合目标风格类型的虚拟对象的第二图像，对虚拟对象进行三维重建，得到虚拟对象的三维基底，然后根据目标对象的三维基底和虚拟对象的三维基底，生成目标对象的融合三维基底，根据预设标准三维基底和虚拟对象的三维基底，生成标准融合三维基底，再根据生成的目标对象的融合三维基底、标准融合三维基底和预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果。可以通过改变第二仿射变换矩阵中非平移部分的数值来控制目标对象的风格化辨识度，实现了风格化三维重建中风格化辨识度的可控。
[0115]
图7为本公开实施例提供的风格化三维重建装置的组成示意图。如图7所示，该装置可以包括：重建单元701、生成单元702、变换单元703。
[0116]
重建单元701，用于根据目标对象的第一图像，对目标对象进行三维重建，得到目标对象的三维基底；重建单元701，还用于根据虚拟对象的第二图像，对虚拟对象进行三维重建，得到虚拟对象的三维基底，第二图像符合目标风格类型。
[0117]
生成单元702，用于根据目标对象的三维基底和虚拟对象的三维基底，生成目标对象的融合三维基底；生成单元702，还用于根据预设标准三维基底和虚拟对象的三维基底，生成标准融合三维基底。
[0118]
变换单元703，用于根据目标对象的融合三维基底、标准融合三维基底、预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果。
[0119]
可选地，其中，标准融合三维基底通过第一仿射变换矩阵进行仿射变换，目标对象的风格化程度与第一仿射变换矩阵中非平移部分的数值的大小正相关。
[0120]
可选地，变换单元703，还用于：响应于用户的第一配置操作，增大或减小第一仿射变换矩阵中非平移部分的数值。
[0121]
可选地，变换单元703，具体用于显示三维重建界面，三维重建界面包括第一滑动
区域，第一滑动区域中包括第一滑动控件；响应于用户对第一滑动控件的触控操作，控制第一滑动控件在第一滑动区域中滑动；在第一滑动控件停止滑动后，根据第一滑动控件的滑动方向和滑动距离，增大或减小第一仿射变换矩阵中非平移部分的数值；其中，对第一滑动控件的触控操作为第一配置操作，第一滑动区域包括第一滑动方向和第二滑动方向，当第一滑动控件向第一滑动方向滑动时，第一仿射变换矩阵中非平移部分的数值减小，当第一滑动控件向第二滑动方向滑动时，第一仿射变换矩阵中非平移部分的数值增大，第一滑动控件的滑动距离用于指示第一仿射变换矩阵中非平移部分的数值增大或减小的幅度。
[0122]
可选地，变换单元703，具体用于将第一仿射变换矩阵中非平移部分的数值减去1后乘以第一系数，得到第一值，第一系数为大于1的自然数；将第一值加1，得到增大后的第一仿射变换矩阵中非平移部分的数值；变换单元703，具体用于：将第一仿射变换矩阵中非平移部分的数值减去1后乘以第二系数，得到第二值，第二系数为大于0且小于1的自然数；将第二值加1，得到减小后的第一仿射变换矩阵中非平移部分的数值。
[0123]
可选地，目标对象的融合三维基底通过第二仿射变换矩阵进行仿射变换，目标对象的风格化辨识度与第二仿射变换矩阵中非平移部分的数值的大小正相关。
[0124]
可选地，变换单元703，还用于：响应于用户的第二配置操作，增大或减小第二仿射变换矩阵中非平移部分的数值。
[0125]
可选地，变换单元703，具体用于：显示三维重建界面，三维重建界面包括第二滑动区域，第二滑动区域中包括第二滑动控件；响应于用户对第二滑动控件的触控操作，控制第二滑动控件在第二滑动区域中滑动；在第二滑动控件停止滑动后，根据第二滑动控件的滑动方向和滑动距离，增大或减小第二仿射变换矩阵中非平移部分的数值；其中，对第二滑动控件的触控操作为第二配置操作，第二滑动区域包括第三滑动方向和第四滑动方向，当第二滑动控件向第三滑动方向滑动时，第二仿射变换矩阵中非平移部分的数值减小，当第二滑动控件向第四滑动方向滑动时，第二仿射变换矩阵中非平移部分的数值增大，第二滑动控件的滑动距离用于指示第二仿射变换矩阵中非平移部分的数值增大或减小的幅度。
[0126]
可选地，变换单元703，具体用于：将第二仿射变换矩阵中非平移部分的数值减去1后乘以第三系数，得到第三值，第三系数为大于1的自然数；将第三值加1，得到增大后的第二仿射变换矩阵中非平移部分的数值；变换单元703，具体用于：将第二仿射变换矩阵中非平移部分的数值减去1后乘以第四系数，得到第四值，第四系数为大于0且小于1的自然数；将第四值加1，得到减小后的第二仿射变换矩阵中非平移部分的数值。
[0127]
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0128]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质、一种计算机程序产品。
[0129]
示例性实施例中，电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上实施例所述的方法。
[0130]
示例性实施例中，可读存储介质可以是存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据以上实施例所述的方法。
[0131]
示例性实施例中，计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据以上实施例所述的方法。
[0132]
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0133]
如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0134]
电子设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0135]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如风格化三维重建方法。例如，在一些实施例中，风格化三维重建方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的风格化三维重建方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行风格化三维重建方法。
[0136]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0137]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件
包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0138]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0139]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0140]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0141]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0142]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0143]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种风格化三维重建方法，所述方法包括：根据目标对象的第一图像，对所述目标对象进行三维重建，得到所述目标对象的三维基底；根据虚拟对象的第二图像，对所述虚拟对象进行三维重建，得到所述虚拟对象的三维基底，所述第二图像符合目标风格类型；根据所述目标对象的三维基底和所述虚拟对象的三维基底，生成所述目标对象的融合三维基底；根据预设标准三维基底和所述虚拟对象的三维基底，生成标准融合三维基底；根据所述目标对象的融合三维基底、所述标准融合三维基底、所述预设标准三维基底进行仿射变换，得到所述目标对象的风格化三维重建结果。2.根据权利要求1所述的方法，其中，所述标准融合三维基底通过第一仿射变换矩阵进行仿射变换，所述目标对象的风格化程度与所述第一仿射变换矩阵中非平移部分的数值的大小正相关。3.根据权利要求2所述的方法，所述方法还包括：响应于用户的第一配置操作，增大或减小所述第一仿射变换矩阵中非平移部分的数值。4.根据权利要求3所述的方法，所述响应于用户的第一配置操作，增大或减小所述第一仿射变换矩阵中非平移部分的数值，包括：显示三维重建界面，所述三维重建界面包括第一滑动区域，所述第一滑动区域中包括第一滑动控件；响应于用户对所述第一滑动控件的触控操作，控制所述第一滑动控件在所述第一滑动区域中滑动；在所述第一滑动控件停止滑动后，根据所述第一滑动控件的滑动方向和滑动距离，增大或减小所述第一仿射变换矩阵中非平移部分的数值。5.根据权利要求3或4所述的方法，所述增大所述第一仿射变换矩阵中非平移部分的数值，包括：将所述第一仿射变换矩阵中非平移部分的数值减去1后乘以第一系数，得到第一值，所述第一系数为大于1的自然数；将所述第一值加1，得到增大后的所述第一仿射变换矩阵中非平移部分的数值；所述减小所述第一仿射变换矩阵中非平移部分的数值，包括：将所述第一仿射变换矩阵中非平移部分的数值减去1后乘以第二系数，得到第二值，所述第二系数为大于0且小于1的自然数；将所述第二值加1，得到减小后的所述第一仿射变换矩阵中非平移部分的数值。6.根据权利要求1-5任一项所述的方法，所述目标对象的融合三维基底通过第二仿射变换矩阵进行仿射变换，所述目标对象的风格化辨识度与所述第二仿射变换矩阵中非平移部分的数值的大小正相关。7.根据权利要求6所述的方法，所述方法还包括：响应于用户的第二配置操作，增大或减小所述第二仿射变换矩阵中非平移部分的数值。
8.根据权利要求7所述的方法，所述响应于用户的第二配置操作，增大或减小所述第二仿射变换矩阵中非平移部分的数值，包括：显示三维重建界面，所述三维重建界面包括第二滑动区域，所述第二滑动区域中包括第二滑动控件；响应于用户对所述第二滑动控件的触控操作，控制所述第二滑动控件在所述第二滑动区域中滑动；在所述第二滑动控件停止滑动后，根据所述第二滑动控件的滑动方向和滑动距离，增大或减小所述第二仿射变换矩阵中非平移部分的数值；其中，所述对所述第二滑动控件的触控操作为所述第二配置操作，所述第二滑动区域包括第三滑动方向和第四滑动方向，当所述第二滑动控件向所述第三滑动方向滑动时，所述第二仿射变换矩阵中非平移部分的数值减小，当所述第二滑动控件向所述第四滑动方向滑动时，所述第二仿射变换矩阵中非平移部分的数值增大，所述第二滑动控件的滑动距离用于指示所述第二仿射变换矩阵中非平移部分的数值增大或减小的幅度。9.根据权利要求7或8所述的方法，所述增大所述第二仿射变换矩阵中非平移部分的数值，包括：将所述第二仿射变换矩阵中非平移部分的数值减去1后乘以第三系数，得到第三值，所述第三系数为大于1的自然数；将所述第三值加1，得到增大后的所述第二仿射变换矩阵中非平移部分的数值；所述减小所述第二仿射变换矩阵中非平移部分的数值，包括：将所述第二仿射变换矩阵中非平移部分的数值减去1后乘以第四系数，得到第四值，所述第四系数为大于0且小于1的自然数；将所述第四值加1，得到减小后的所述第二仿射变换矩阵中非平移部分的数值。10.一种风格化三维重建装置，所述装置包括：重建单元，根据目标对象的第一图像，对所述目标对象进行三维重建，得到所述目标对象的三维基底；所述重建单元，还用于根据虚拟对象的第二图像，对所述虚拟对象进行三维重建，得到所述虚拟对象的三维基底，所述第二图像符合目标风格类型；生成单元，用于根据所述目标对象的三维基底和所述虚拟对象的三维基底，生成所述目标对象的融合三维基底；所述生成单元，还用于根据预设标准三维基底和所述虚拟对象的三维基底，生成标准融合三维基底；变换单元，根据所述目标对象的融合三维基底、所述标准融合三维基底、所述预设标准三维基底进行仿射变换，得到所述目标对象的风格化三维重建结果。11.根据权利要求10所述的装置，其中，所述标准融合三维基底通过第一仿射变换矩阵进行仿射变换，所述目标对象的风格化程度与所述第一仿射变换矩阵中非平移部分的数值的大小正相关。12.根据权利要求11所述的装置，所述变换单元，还用于：响应于用户的第一配置操作，增大或减小所述第一仿射变换矩阵中非平移部分的数值。
13.根据权利要求12所述的装置，所述变换单元，具体用于：显示三维重建界面，所述三维重建界面包括第一滑动区域，所述第一滑动区域中包括第一滑动控件；响应于用户对所述第一滑动控件的触控操作，控制所述第一滑动控件在所述第一滑动区域中滑动；在所述第一滑动控件停止滑动后，根据所述第一滑动控件的滑动方向和滑动距离，增大或减小所述第一仿射变换矩阵中非平移部分的数值；其中，所述对所述第一滑动控件的触控操作为所述第一配置操作，所述第一滑动区域包括第一滑动方向和第二滑动方向，当所述第一滑动控件向所述第一滑动方向滑动时，所述第一仿射变换矩阵中非平移部分的数值减小，当所述第一滑动控件向所述第二滑动方向滑动时，所述第一仿射变换矩阵中非平移部分的数值增大，所述第一滑动控件的滑动距离用于指示所述第一仿射变换矩阵中非平移部分的数值增大或减小的幅度。14.根据权利要求12或13所述的装置，所述变换单元，具体用于：将所述第一仿射变换矩阵中非平移部分的数值减去1后乘以第一系数，得到第一值，所述第一系数为大于1的自然数；将所述第一值加1，得到增大后的所述第一仿射变换矩阵中非平移部分的数值；所述变换单元，具体用于：将所述第一仿射变换矩阵中非平移部分的数值减去1后乘以第二系数，得到第二值，所述第二系数为大于0且小于1的自然数；将所述第二值加1，得到减小后的所述第一仿射变换矩阵中非平移部分的数值。15.根据权利要求10-14任一项所述的装置，所述目标对象的融合三维基底通过第二仿射变换矩阵进行仿射变换，所述目标对象的风格化辨识度与所述第二仿射变换矩阵中非平移部分的数值的大小正相关。16.根据权利要求15所述的装置，所述变换单元，还用于：响应于用户的第二配置操作，增大或减小所述第二仿射变换矩阵中非平移部分的数值。17.根据权利要求16所述的装置，所述变换单元，具体用于：显示三维重建界面，所述三维重建界面包括第二滑动区域，所述第二滑动区域中包括第二滑动控件；响应于用户对所述第二滑动控件的触控操作，控制所述第二滑动控件在所述第二滑动区域中滑动；在所述第二滑动控件停止滑动后，根据所述第二滑动控件的滑动方向和滑动距离，增大或减小所述第二仿射变换矩阵中非平移部分的数值；其中，所述对所述第二滑动控件的触控操作为所述第二配置操作，所述第二滑动区域包括第三滑动方向和第四滑动方向，当所述第二滑动控件向所述第三滑动方向滑动时，所述第二仿射变换矩阵中非平移部分的数值减小，当所述第二滑动控件向所述第四滑动方向滑动时，所述第二仿射变换矩阵中非平移部分的数值增大，所述第二滑动控件的滑动距离用于指示所述第二仿射变换矩阵中非平移部分的数值增大或减小的幅度。18.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存
储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9任一项所述的方法。19.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行根据权利要求1-9任一项所述的方法。20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9任一项所述的方法。

技术总结
本公开提供一种风格化三维重建方法、装置、设备及存储介质，涉及人工智能技术领域，具体涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、数字人等场景。具体实现方案包括：据目标对象的第一图像三维重建目标对象的三维基底；根据虚拟对象的第二图像三维重建虚拟对象的三维基底；根据目标对象和虚拟对象的三维基底，生成目标对象的融合三维基底；根据预设标准三维基底和虚拟对象的三维基底，生成标准融合三维基底；根据目标对象的融合三维基底、标准融合三维基底、预设标准三维基底进行仿射变换，得到目标对象的风格化三维重建结果。本公开可以降低风格化三维重建的成本，增强三维重建的风格化控制程度。增强三维重建的风格化控制程度。增强三维重建的风格化控制程度。


技术研发人员：王迪 周航 赵晨 郑程耀
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2023.05.30
技术公布日：2023/8/28