虚拟物体的生成方法、电子设备和计算机可读存储介质与流程

未命名 08-02 阅读:176 评论:0


1.本技术涉及虚拟模型处理领域,具体而言,涉及一种虚拟物体的生成方法、电子设备和计算机可读存储介质。


背景技术:

2.为了更方便的展示产品,目前大部分生产行业,例如服装行业、包装行业等,会选择根据产品的实体图像,例如在现实场景中服饰、包装盒等产品对应的图像,生成对应的三维(three-dimensional,简称为3d)模型,并以3d模型的形式将产品展示在虚拟环境中,以方便用户查看挑选产品。
3.但是以服饰产品为例,同一类型的服饰可能会有很多种不同的款式,同一款式的服饰还可能会有很多不同的标签,并且一个服饰在不同的场景下,例如平面展示、模特展示等场景中,服饰中的纹理、结构也都是不同的,这就导致可能需要花费大量的时间对3d模型进行调整,才能满足用户对服饰产品的展示预期,进而导致生成与产品相关的3d模型的效率较低。
4.针对上述的问题,目前尚未提出有效的解决方案。


技术实现要素:

5.本技术实施例提供了一种虚拟物体的生成方法、电子设备和计算机可读存储介质,以至少解决相关技术中生成虚拟物体的效率低的技术问题。
6.根据本技术实施例的一个方面,提供了一种虚拟物体的生成方法,包括:捕获处于物理环境中的目标对象在不同视角下的实体图像,其中,目标对象为覆盖在实体物体表面的物体信息;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体。
7.根据本技术实施例的另一方面,还提供了一种虚拟物体的生成方法,包括:响应作用于操作界面上的输入指令,在操作界面上显示不同视角下的图像,其中,图像是按照不同视角对真实环境中的真实服饰进行采集得到的;响应作用于操作界面上的生成指令,在操作界面上显示虚拟物体,其中,虚拟物体用于表征虚拟环境中与真实服饰的类别对应的服饰,虚拟物体是基于目标网格和目标纹理生成的,目标网格和目标纹理是基于图像分别对虚拟物体的基准网格和基准纹理进行变形得到的,基准网格和基准纹理是基于类别确定的。
8.根据本技术实施例的另一方面,还提供了一种虚拟物体的生成方法,包括:在虚拟现实vr设备或增强现实ar设备的呈现画面上展示不同视角下的实体图像,其中,实体图像是按照不同视角捕获处于物理环境中的目标对象得到的,目标对象为覆盖在实体物体表面的物体信息;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体
用于表征覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体;驱动vr设备或ar设备渲染展示虚拟物体。
9.根据本技术实施例的另一方面,还提供了一种虚拟物体的生成方法,包括:通过调用第一接口获取不同视角下的实体图像,其中,第一接口包括第一参数,第一参数的参数值为实体图像,实体图像是按照不同视角捕获处于物理环境中的目标对象得到的,目标对象为覆盖在实体物体表面的物体信息;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体;通过调用第二接口输出虚拟物体,其中,第二接口包括第二参数,第二参数的参数值为虚拟物体。
10.根据本技术实施例的另一方面,还提供了一种虚拟物体的生成方法,包括:捕获处于物理环境中的实体服饰在不同视角下的实体图像;基于实体服饰的类别,确定虚拟服饰的基准网格和基准纹理,其中,虚拟服饰为将实体服饰映射至虚拟环境中的关联对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟服饰。
11.根据本技术实施例的另一方面,还提供了一种电子设备,包括:存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行虚拟物体的生成方法。
12.根据本技术实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行虚拟物体的生成方法。
13.在本技术实施例中,采用捕获处于物理环境中的目标对象在不同视角下的实体图像;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征处于覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体的方式,通过捕获目标对象在不同视角下的实体图像,并利用该实体图像对目标对象对应的基准网格和基准纹理进行调整,能够保证确定出的目标网格和目标纹理的精细度,并且,根据目标网格和目标纹理,可以直接的自动生成上述的虚拟物体,很大程度上减小了工作人员手动建立虚拟物体的压力,在降低人工成本的同时,进一步提高了生成虚拟物体的效率,进而解决了相关技术中生成虚拟物体的效率低的技术问题。
14.容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本技术进行举例和解释,并不构成对本技术的限定。
附图说明
15.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
16.图1是根据本技术实施例1的一种虚拟物体的生成方法的虚拟现实设备的硬件环境的示意图;
17.图2是根据本技术实施例1的一种虚拟物体的生成的计算环境的结构框图;
18.图3是根据本技术实施例1的一种虚拟物体的生成方法的流程图;
19.图4是根据本技术实施例1的一种第一匹配结果的示意图;
20.图5是根据本技术实施例1的一种图像关键点的示意图;
21.图6是根据本技术实施例1的一种操作界面的示意图;
22.图7是根据本技术实施例1的一种实体图像和虚拟物体的对比示意图;
23.图8是根据本技术实施例1的一种虚拟物体的生成过程的示意图;
24.图9是根据本技术实施例2的一种虚拟物体的生成方法的流程图;
25.图10是根据本技术实施例3的一种虚拟物体的生成方法的流程图;
26.图11是根据本技术实施例4的一种虚拟物体的生成方法的流程图;
27.图12是根据本技术实施例5的一种虚拟物体的生成方法的流程图;
28.图13是根据本技术实施例6的一种虚拟物体的生成装置的结构框图;
29.图14是根据本技术实施例7的一种虚拟物体的生成装置的结构框图;
30.图15是根据本技术实施例8的一种虚拟物体的生成装置的结构框图;
31.图16是根据本技术实施例9的一种虚拟物体的生成装置的结构框图;
32.图17是根据本技术实施例10的一种虚拟物体的生成装置的结构框图;
33.图18是根据本技术实施例11的一种电子设备的结构框图。
具体实施方式
34.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
35.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
36.首先,在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
37.基准网格:预设的3d模型的初始模型网格,是一种3d资产的基础拓扑结构(结构)。
38.基准纹理:预设的3d模型的初始模型纹理,是一种3d资产的基础纹理结构(颜色)。
39.可微渲染器:支持可微渲染的3d渲染器,可以用于对3d模型进行渲染,可以把梯度传递回来,以便ai模型基于此进行优化过程。可微渲染(differentiable rendering)是一种依托于传统渲染模型的微分可导的渲染方法,可分为正向渲染和逆向渲染两个过程,其中正向渲染过程与传统渲染一致,而逆向渲染过程则是微分可导的,即使渲染图像中的像素相对于模型场景参数可导。
40.pbs:physically based standard shader,一种基于物理规则的标准着色器,可以用于按照光源漫反射、镜面反射等原理,对3d模型进行着色,以提高着色效果。
41.轮廓匹配:一种图像匹配方法,可以按照图像的轮廓上的关键点,将不同图像进行轮廓边缘逼近,以实现图像匹配的结果。
42.实施例1
43.根据本技术实施例,提供了一种虚拟物体的生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
44.图1是根据本技术实施例1的一种虚拟物体的生成方法的虚拟现实设备的硬件环境的示意图。如图1所示,虚拟现实设备104与终端106相连接,终端106与服务器102通过网络进行连接,上述虚拟现实设备104并不限定于:虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等,上述终端104并不限定于pc、手机、平板电脑等,服务器102可以为媒体文件运营商对应的服务器,上述网络包括但不限于:广域网、城域网或局域网。
45.可选地,该实施例的虚拟现实设备104包括:存储器、处理器和传输装置。存储器用于存储应用程序,该应用程序可以用于执行:捕获处于物理环境中的目标对象在不同视角下的实体图像,其中,目标对象为覆盖在实体物体表面的物体信息;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征处于覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体,从而解决了相关技术中生成虚拟物体的效率低的技术问题,达到了提高生成虚拟物体效率的目的,其中,虚拟物体可以是指覆盖在实体物体表面的具有实体的其他物体映射至虚拟环境所得到的3d模型,例如模特身上的服饰、车窗上的贴纸等。
46.该实施例的终端可以用于执行在虚拟现实(virtual reality,简称为vr)设备或增强现实(augmented reality,简称为ar)设备的呈现画面上展示不同视角下的实体图像;其中,实体图像是按照不同视角捕获处于物理环境中的目标对象得到的,目标对象为覆盖在实体物体表面的物体信息;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体;驱动vr设备或ar设备渲染展示虚拟物体。并向虚拟现实设备104发送显示指令,虚拟现实设备104在接收到显示指令之后,将生成的虚拟物体在目标投放位置显示出来。
47.可选地,该实施例的虚拟现实设备104带有的眼球追踪的hmd(head mount display,头戴式显示器)头显与眼球追踪模块与上述实施例中的作用相同,也即,hmd头显中的屏幕,用于显示实时的画面,hmd中的眼球追踪模块,用于获取用户眼球的实时运动轨迹。该实施例的终端通过跟踪系统获取用户在真实三维空间的位置信息与运动信息,并计算出用户头部在虚拟三维空间中的三维坐标,以及用户在虚拟三维空间中的视野朝向。
48.图1示出的硬件结构框图,不仅可以作为上述ar/vr设备(或移动设备)的示例性框图,还可以作为上述服务器的示例性框图,一种可选实施例中,图2以框图示出了使用上述
图1所示的ar/vr设备(或移动设备)作为计算环境201中计算节点的一种实施例。图2是根据本技术实施例1的一种虚拟物体的生成的计算环境的结构框图,如图2所示,计算环境201包括运行在分布料式网络上的多个(图中采用210-1,210-2,

,来示出)计算节点(如服务器)。不同计算节点都包含本地处理和内存资源,终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境201中的多个服务220-1,220-2,220-3和220-4进行提供,分别代表服务“a”,“d”,“e”和“h”。
49.终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务,在一些实施例中,可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务(计算环境201中提供的一个或多个服务)的供应和/或请求。
50.服务是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中,可以根据基于虚拟机(virtual machine,vm)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机,在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时,根据基于容器的虚拟化,可以启动容器来虚拟化整个操作系统(operating system,os),以便多个工作负载可以在单个操作系统实例上运行。
51.在基于容器虚拟化的一个实施例中,服务的若干容器可以被组装成一个pod(例如,kubernetes pod)。举例来说,如图2所示,服务220-2可以配备一个或多个pod 240-1,240-2,

,240-n(统称为pod)。pod可以包括代理245和一个或多个容器242-1,242-2,

,242-m(统称为容器)。pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求,代理245通常控制与服务相关的网络功能,如路由、负载均衡等。其他服务也可以配备类似的pod。
52.在操作过程中,执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务,执行一个服务的一个或多个功能需要调用另一个服务的一个或多个功能。如图2所示,服务“a”220-1从入口网关230接收终端用户202的用户请求,服务“a”220-1可以调用服务“d”220-2,服务“d”220-2可以请求服务“e”220-3执行一个或多个功能。
53.上述的计算环境可以是云计算环境,资源的分配由云服务提供上管理,允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能,而不是扩展单个硬件设备来处理潜在的负载。
54.在上述运行环境下,本技术提供了如图3所示的虚拟物体的生成方法。需要说明的是,该实施例的虚拟物体的生成方法可以由图1所示实施例的ar/vr设备执行,也可以由服务器执行。图3是根据本技术实施例1的一种虚拟物体的生成方法的流程图。
55.如图3所示,该方法可以包括如下步骤:
56.步骤s302,捕获处于物理环境中的目标对象在不同视角下的实体图像。
57.其中,目标对象为覆盖在实体物体表面的物体信息。
58.上述实体物体可以是指在现实场景中具有实体的任意物体,例如一个人、一辆车、一堵墙等,对应的目标对象可以是指覆盖在实体物体表面的具有实体的其他物体,例如人身上穿的服饰、车辆上贴的彩色贴膜、墙壁上贴的墙纸等。需要说明的是,上述的目标对象
并不需要一直覆盖在对应的实体物体中,例如上述的服饰,因此,可以直接利用摄像设备对目标对象进行拍摄,得到上述的实体图像。
59.上述物理环境可以是指实体物体存在的环境,例如放置实体物体的固态平台、吊挂实体物体的气态环境、浸泡实体物体的液态环境等。
60.在本实施例的一种可选方案中,可以通过根据实体图像生成目标对象在虚拟环境中对应的3d模型,而为了提高生成的模型的写实性,虚拟物体的生成系统(以下简称为生成系统)可以首先利用预设的摄像设备,从不同的角度对目标对象进行拍摄,得到多张在不同视角下对应的目标对象的实体图像,以提高获取到的实体图像的纹理细节的准确度,避免因目标对象的图像缺失,而导致最终生成的虚拟物体不准确。
61.在本实施例的一种可选方案中,为了提高生成效率,可以选取目标对象的正视图、俯视图和侧视图等常规视角下的图像,作为上述的实体图像;或者为了提高生成结果的精细度,可以根据目标对象当前的表面复杂度,确定出上述的不同视角,然后再获取不同视角下的实体图像。
62.举例来说,一件服饰的正反面的图案可能不同,例如在服饰正面可能包括厂商标志、衣扣、口袋和图案花饰,对应的表面复杂度较高,而在服饰背面可能是空的,对应的表面复杂度较低,则此时可以在服饰正面选取较多的不同视角,从而使获取到的关于服饰正面的实体图像,能够准确的表示出服饰细节,而在服饰的侧面和背面,选取较少的不同视角,从而提高生成目标对象对应的3d模型的效率。
63.步骤s304,基于目标对象的类别,确定虚拟物体的基准网格和基准纹理。
64.其中,虚拟物体用于表征处于覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象。
65.上述目标对象的类别可以由生成系统对实体图像中的目标对象进行图像识别确定出的,也可以是由用户主动指定的,具体的类别确定过程可根据实际情况而定,在此不做具体限定。上述基准网格和基准纹理可以是指与目标对象的类别相对应的标准网格和标准纹理,可以由美术人员预先构建。
66.在本实施例的一种可选方案中,可以根据一件物体在现实场景中的常见设计参数,例如一件卫衣通常包括两个长衣袖和躯干,服饰表面纹理较少、领口宽松等,预先生成对应的网格(mesh)数据和纹理图像,并将该网格数据和纹理图像,作为上述的基准网格和基准纹理,为了方便用户查看基准网格和基准纹理,可以将基准网格的表面设置相对平滑,将基准纹理中的图像细节设置较少。需要说明的是,网格数据和纹理图像可以是由用户利用模型设计工具,例如建模软件,自行绘制出的,以保证生成基准网格和基准纹理的精细度,也可以是由生成系统,对摆放平整的样本物体对应的图像进行扫描和网格划分得到的,以保证生成基准网格和基准纹理的效率,具体的基准网格和基准纹理的确定过程可以根据实际情况而定,在此不做具体限定。
67.上述虚拟物体可以是指前述的目标对象在虚拟环境中对应的3d模型。通过将目标对象虚拟化,生成对应的3d模型,即虚拟物体,可以使用户能够按照预期要求,模拟并查看该目标对象在不同场景下的变化结果,例如一件卫衣摆放在桌面上,和穿在模特身上的区别,不再需要实际的对目标对象进行操作,能够很大程度上提高用户查看预期要求下的目标对象的便利性和效率,并降低对应的操作成本。
68.在本实施例的一种可选方案中,生成系统可以首先判断目标对象的类别,然后再根据该类别,从预设的类别库中确定出虚拟物体对应的基准网格和基准纹理,并将该基准网格和基准纹理作为标准的生成框架,来生成上述的虚拟物体,不再需要人工的根据目标对象中的比例、纹理等信息,缓慢的构建出目标对象对应的整体框架,从而提高生成上述虚拟物体的效率。
69.需要说明的是,类别库可以是指目标对象的类别,与基准网格、基准纹理的映射关系库,具体的确定不同类别对应的基准网格和基准纹理的过程如前述所示,在此不再赘述。
70.步骤s306,基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理。
71.上述目标网格和目标纹理可以是指与捕获到的实体图像中,目标对象所呈现出的网格和纹理,一般目标网格和目标纹理,与基准网格和基准纹理相比,会存在一定的差异,举例来说,若目标对象是一本闭合的书,则对应的目标网格的线条数量少,而目标纹理是关于书表面的文字、图像对应的纹理,其复杂度可以会比基准纹理的复杂度高;若目标对象是一本打开的书,则对应的目标网格的线条数量可能会变多,而目标纹理是关于书内部的文字、图像对应的纹理,其复杂度相比于基准纹理可能会更高。
72.在本实施例的一种可选方案中,为了进一步的提高生成的虚拟物体的写实性,使虚拟物体以目标对象表面的物体信息更吻合,在得到基准网格和基准纹理之后,生成系统可以将前述捕获到的实体图像,与基准网格和基准纹理进行匹配,从而对基准网格和基准纹理进行调整,以得到与上述物体信息相似度较高的目标网格和目标纹理。
73.例如,生成系统可以从实体图像中裁剪出仅包含目标对象的部分,然后根据该部分中目标对象的比例、形状、纹理等信息,调整基准网格的比例大小、布料局形状、基准纹理的纹理形状等信息,以得到上述的目标网格和目标纹理。
74.步骤s308,基于目标网格和目标纹理,生成虚拟物体。
75.在本实施例的一种可选方案中,在得到目标网格和目标纹理之后,生成系统便可以将目标网格和目标纹理进行组装,以生成上述的虚拟物体。
76.在本实施例的一种可选方案中,在生成虚拟物体之后,生成系统还可以进一步的获取用户输入的变化指令,并根据该变化指令改变该虚拟物体。
77.举例来说,以目标对象是一块布料为例,对应的虚拟物体就可以是布料的3d模型,若上述的变化指令是将布料对折,则生成系统可以按照该变化指令,在保持虚拟物体整体大小、厚度、纹理不变的情况下,将该虚拟物体进行对折,从而模拟出对折后的布料的情况,使用户能够直接查看变化结果,而不需要实际的对该布料进行对折。
78.在本技术实施例中,采用捕获处于物理环境中的目标对象在不同视角下的实体图像;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征处于覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体的方式,通过捕获目标对象在不同视角下的实体图像,并利用该实体图像对目标对象对应的基准网格和基准纹理进行调整,能够保证确定出的目标网格和目标纹理的精细度,并且,根据目标网格和目标纹理,可以直接的自动生成上述的虚拟物体,很大程度上减小了工作人员手动建立虚拟物体的压力,在降低人工成本的同时,进一步
提高了生成虚拟物体的效率,进而解决了相关技术中生成虚拟物体的效率低的技术问题。
79.在本技术实施例中,基于实体图像对基准网格进行调整,得到目标网格,包括:将基准网格和实体图像进行轮廓匹配,得到第一匹配结果;基于第一匹配结果,确定控制系数,其中,控制系数用于对基准网格进行变形;基于控制系数对基准网格进行变形,得到目标网格。
80.上述控制系数可以是指与前述目标图像的类别相对应的控制系数,可以用来对基准网格进行调整,例如调整基准网格中指定区域的大小、摆放角度、与其他区域的相对位置等信息,为了提高利用控制系数对目标网格进行调整的准确度,可以针对不同的类别,生成不同的控制系数,例如,针对服饰中的无帽卫衣,可以进行调整的控制系数包括但不限于:衣长、袖长、衣袖部分与躯干部分的夹角;针对服饰中的有帽卫衣,除了前述的多个控制系数外,还可以包括但不限于:帽子宽度、帽子长度、帽子与衣袖的夹角、帽子与躯干的夹角等。
81.在本实施例的一种可选方案中,在利用实体图像对基准网格进行调整时,可以首先从捕获到的实体图像中,利用预设的图像识别算法,从实体图像中裁剪出与仅包含目标对象的部分,确定出该实体图像中目标对象所对应的轮廓,从而提高对基准网格进行调整的准确度,避免实体图像中其他部分对应的网格对调整结果产生影响。然后将目标对象对应的轮廓与基准网格进行轮廓匹配,得到上述的第一匹配结果,其中,第一匹配结果可以是指目标对象的轮廓与基准网格进行逐点重合,得到的重合结果,逐点重合的过程在下文介绍。
82.以卫衣为例,图4是根据本技术实施例1的一种第一匹配结果的示意图,第一匹配结果可以表现出基准网格与实体图像之间的差异,如图4所示,左侧代表的是对该卫衣正面的匹配结果,右侧代表的是卫衣背面的匹配结果,其中,灰色区域代表的是基准网格,白色区域代表的是卫衣的实体图像,可以从图中看出,在将第一关键点和第三关键点逐点匹配,即将目标对象对应的轮廓与基准网格进行轮廓匹配后,两者并没有重合,说明当前的基准网格与期望生成的卫衣的3d模型不符,存在一定的误差。
83.在得到第一匹配结果之后,可以进一步确定出需要对基准网格进行形变的控制系数,例如基准网格的长度、宽度、与预设平面的夹角等,并利用控制系数对基准网格进行形变调整,使基准网格的轮廓边缘逼近目标图像的轮廓边缘,从而得到上述的目标网格。
84.具体的,继续以图4为例,如图4所示,生成系统根据目标对象的类型获取到的基准网格的躯干长度,小于实体图像所展示的目标对象的躯干长度;基准网格的衣袖与躯干的夹角,小于实体图像所展示的目标对象的衣袖与躯干的夹角,则此时可以确定的控制系数至少包括:躯干长度,以及衣袖与躯干的夹角。通过对这两个控制系数中的值进行调整,例如增加躯干长度的大小、减小衣袖与躯干的夹角,使基准网格的轮廓边缘逼近目标图像的轮廓边缘,以得到目标网格。
85.在本实施例的一种可选方案中,生成系统可以在得到第一匹配结果之后,可以从预设的控制系数库中,选取上述目标对象的类别对应的预设控制系数,然后再根据第一匹配结果,对预设控制系数进行调整,例如可以根据第一匹配结果对应的匹配误差,对预设控制系数进行调整,确定不同轮廓处不同的调整大小,例如若目标对象是一件服饰,其衣袖处的匹配误差较大,则可以根据该匹配误差,增加衣袖处对应的预设控制系数,以得到上述的
控制系数。
86.在本实施例的一种可选方案中,除了上述的根据基准网格和实体图像的第一匹配结果对基准网格进行调整,得到目标网格外,生成系统还可以直接输出实体图像和基准网格到预设的模型编辑软件,例如3dmax(一种建模软件)中,由用户手动的根据实体图像对基准网格进行调整,从而提高得到的目标网格的准确度。
87.在本实施例的一种可选方案中,还可以基于神经网络预训练一个网格调整模型,来根据实体图像对基准网格进行调整,例如,该网格调整模型可以根据前述匹配出的第一匹配结果,利用图像识别的方式首先确定出基准网格和实体图像的差异,例如图4中实体图像的躯干长度大于基准网格的躯干长度,然后根据该差异自适应的对差异区域进行填充或裁剪,例如实体图像的躯干长度比基准网格的躯干长度大5个单位长度,则可以对应生成长度为5个单位长度的与基准网格躯干对应的子模型,并将该子模型填充至差异区域中来对基准网格进行调整,以使调整后的基准网格与实体图像相匹配。
88.在本技术实施例中,将基准网格和实体图像进行轮廓匹配,得到第一匹配结果,包括:确定实体图像中的第一关键点,以及基准网格上的第二关键点,其中,第一关键点用于表征目标对象的轮廓边缘,第二关键点用于表征虚拟物体的轮廓边缘;将第二关键点投影至二维平面,得到第三关键点;将第一关键点与第三关键点进行匹配,得到第一匹配结果。
89.上述第一关键点可以是指对目标对象进行特征识别,得到的位于目标对象轮廓上的关键特征点,例如一件服饰的领口上的点、肩膀处的点等;上述第二关键点可以是指由用户指定的,在基准网格上与第一关键点的位置相同的网格点;上述二维平面可以是指与实体图像相对应视角的平面,例如若实体图像是由用户在一件服饰的正面对该服饰进行拍摄得到的图像,则对应的二维平面就可以是正视图所对应的平面。
90.在本实施例的一种可选方案中,为了提高利用关键点进行轮廓匹配的准确度,可以选择上述的特征点作为关键点,即可以对实体图像进行特征识别,得到实体图像中,目标对象的轮廓上的第一关键点,例如一件服饰的领口上的点、肩膀处的点等,以及由用户指定的,在基准网格上的第二关键点,例如基准网格的领口上的点、肩膀处的点等。
91.在得到第二关键点之后,为了进一步的提高匹配结果的准确度,可以将第二关键点投影至二维平面中,以得到对应的第三关键点,最后再将第一关键点与第三关键点进行匹配,以得到上述的第一匹配结果。
92.为便于理解上述关键点,图5是根据本技术实施例1的一种图像关键点的示意图,为便于观察,以实体图像是服饰图像、关键点是特征点为例,以黑白两色表示,如图5所示,其中,左侧图像代表的是服饰的正面图像,右侧图像代表的是背面图像,其中的点1、点2、点3对应的是正面图像的多个第一关键点;点4、点5、点6对应的是背面图像的多个第一关键点。
93.在本实施例的一种可选方案中,在得到上述的多个第一关键点和第三关键点之后,便可以以逐点匹配的方式,将上述的点1和点4进行匹配、点2和点5进行匹配、点3和点6进行匹配,从而得到上述的第一匹配结果。
94.在本技术实施例中,基于第一匹配结果,确定控制系数,包括:在操作界面上显示第一匹配结果;响应作用于操作界面上的预设控件的输入操作,获取输入操作对应的操作数据,得到控制系数。
95.在本实施例的一种可选方案中,为了提高确定出的控制系数的精度,在获取到第一匹配结果之后,生成系统可以将第一匹配结果在预设的操作界面中显示,以供用户查看匹配结果,用户可以根据该匹配结果,人工确定匹配误差,以及需要对匹配误差进行调整的操作数据,生成系统可以接收该操作数据,并根据操作数据生成对应的控制系数。
96.图6是根据本技术实施例1的一种操作界面的示意图,如图6所示,其中,600代表的是上述的操作界面;602代表的操作界面中的模型显示区域,用来向用户展示上述的基准网格或最终生成的目标对象对应的3d模型,即物体信息;6022代表的是第一匹配结果,这里以图5中所示的第一匹配结果为例;控件604代表的是与目标对象的类别对应的控制系数,其中,为了便于理解,以加粗的黑色矩形表示当前选中的控制系数,以不加粗的黑色矩形表示当前未选中的控制系数;控件606代表的是在控制系数下对应的控制节点,例如若当前选中的控制系数为衣袖与躯干的夹角,则对应的控制节点可以包括但不限于:按x面旋转角度、按y面旋转角度、按z面旋转角度等,其中,x、y、z可以是指602中的三维方向,需要说明的,606中可以没有与控制系数对应的控制节点,例如若控制系数为躯干长度,则就可以不用设置对应的控制节点;控件608代表的是控制系数或控制节点对应的参数值大小,例如具体的躯干长度值、衣袖与躯干的夹角大小等。
97.生成系统可以将第一匹配结果展示在显示区域602中,用户可以根据需求,在控件604、606中选择需要改变的控制系数、控制节点,然后在控件608中对需要改变的参数值进行调整,即输入操作数据,生成系统在接收到用户输入的操作数据之后,便可以根据操作数据生成控制基准网格进行形变的控制系数。
98.在本技术实施例中,基于实体图像对基准纹理进行调整,得到目标纹理,包括:将实体图像映射至基准纹理,得到初始纹理;利用神经网络模型对实体图像进行纹理提取,得到纹理偏移量;基于纹理偏移量对初始纹理进行偏移处理,得到目标纹理。
99.在本实施例的一种可选方案中,在利用实体图像对基准纹理进行调整时,可以首先对实体图像进行图像识别,确定出实体图像中目标对象对应的纹理信息,然后可以将识别出的纹理信息,映射至基准纹理中,得到初始纹理。例如可以将实体图像中目标对象对应的区域图像以二维形式展开,确定出目标对象对应3d模型的uv图像,即该3d模型的表面纹理在二维平面中展开后所形成的图像,然后将该uv图像映射至上述的基准纹理中,以得到初始纹理,例如,可以从uv图像的边缘和基准纹理上选取多个特征点,例如前述的服饰的领口点、袖口点等,然后对这些特征点进行匹配,将上述的uv图像对应映射至基准纹理中,以得到对应的初始纹理。
100.考虑到识别出的实体纹理和基准纹理可能会存在形状、位置上的偏差,因此,在得到初始纹理之后,可以进一步对初始纹理进行形变、偏移处理,以得到与实体纹理相似度较高的目标纹理。
101.具体的,可以先利用预设的神经网络模型,例如使用实例分割算法(mask_rcnn算法),对初始实体图像进行纹理提取,确定出目标纹理的纹理偏移量,然后再利用该纹理偏移量,对初始纹理进行调整,以得到上述的目标纹理。
102.在本技术实施例中,将实体图像映射至基准纹理,得到初始纹理,包括:确定实体图像中的第一关键点,以及基准纹理上的第四关键点,其中,第四关键点用于表征基准纹理中与虚拟物体对应的轮廓边缘;将第一关键点与第四关键点进行匹配,得到第二匹配结果;
基于第二匹配结果,将实体图像映射至基准纹理,得到初始纹理。
103.在本实施例的一种可选方案中,与前述对基准网格的调整过程相类似,生成系统可以首先获取到实体图像中的第一关键点,以及基准纹理图像中与虚拟物体对应的第四关键点,然后基于第一关键点和第四关键点的位置,逐关键点进行匹配,得到多个关键点对应的第二匹配结果,最后,生成系统可以将前述的实体纹理与基准纹理,按照第二匹配结果进行匹配,从而得到上述的初始纹理。
104.在本技术实施例中,基于目标网格和目标纹理,生成虚拟物体,包括:利用可微渲染器对目标网格进行渲染,得到虚拟物体的渲染结果;利用基于物理规则的渲染方法基于目标纹理对渲染结果进行着色,得到虚拟物体。
105.上述基于物理规则的渲染方法可以是指基于物理规则的标准着色方法(比如,pbs)。
106.在本实施例的一种可选方案中,考虑到直接生成的目标网格是没有颜色的,而为了保证渲染处的虚拟物体的写实性,生成系统先可以利用可微渲染器,对目标网格进行细致的逐顶点渲染,得到能够表现虚拟物体整体颜色布局的渲染结果,然后再根据上述的渲染方法,例如pbs,按照上述的目标纹理,对上述的渲染结果进行着色,最终得到虚拟物体。
107.具体的,在对目标网格进行渲染时,可以利用可微渲染器,将目标网格映射预设的呈像平面中,以确定出目标网格的的二维图像,以及目标网格在三维控件的预设系数,例如目标网格的重心坐标,其中,二维图像能够完整的显示目标网格的轮廓。
108.在本实施例的一种可选方案中,考虑到利用可微渲染器渲染出的渲染结果是不具备颜色信息的,因此,可以进一步的利用上述的基于物理规则的渲染方法,例如pbs,基于目标纹理对上述的渲染结果进行着色处理,以得到虚拟物体。
109.在本技术实施例中,在基于目标网格和目标纹理,生成虚拟物体之后,该方法还包括:生成虚拟物体,其中,虚拟物体用于表征虚拟环境中与实体物体对应的虚拟物体;将虚拟物体覆盖在虚拟物体的表面,得到目标虚拟物体。
110.上述虚拟物体可以是指在预设的虚拟环境中,与实体物体相似的虚拟物体。
111.在本实施例的一种可选方案中,为了更方便向用户展示生成的虚拟物体,还可以根据实体物体的形状参数,例如物体各部分比例、各部分连接关系、形状大小等信息,对应生成一个该实体物体对应的3d模型,即上述的虚拟物体,然后将生成的虚拟物体覆盖至该虚拟物体的表面上,以生成一个与实体物体比例、纹理等参数一致的目标虚拟物体,用户可以进一步的对该目标虚拟物体进行操作,以满足预设的需求。
112.举例来说,若上述的实体物体为一个模特,该模特身上穿了一件外套,对应的虚拟物体是该外套对应的3d模型,则生成系统还可以进一步的根据模特的身高、身体各部分比例,建立一个与模特身形类似的3d模型,作为上述的虚拟物体,然后将该外套对应的虚拟物体覆盖至模特对应的虚拟物体上,便可以得到模特身穿外套的展示结果,即上述的目标虚拟模型。考虑到在现实场景中模特的展示动作、所在的展示场景等信息,可能不符合用户的要求,因此,用户可以对目标虚拟模型进行调整,使该目标虚拟模型处于不同的展示动作、展示场景中,从而方便用户查看不同情况下该外套所呈现出的效果。
113.图7是根据本技术实施例1的一种实体图像和虚拟物体的对比示意图,如图7所示,左侧图像代表的是目标对象对应的实体图像,选取的是正视图,右侧图像代表的是生成的
虚拟物体对应的图像,通过两个图像的比对可以看出,通过上述方法对实体图像进行处理,生成的虚拟物体的还原度较高,利用上述方法代替人工,能够在降低工作人员压力,提高生成效率的同时,保证生成结果与原图像的匹配程度,从而提高生成虚拟物体的写实性。
114.在本技术实施例中,基于目标网格和目标纹理,生成虚拟物体,包括:输出目标网格和目标纹理;接收反馈网格和反馈纹理,其中,反馈网格是对目标网格进行修改得到的网格,反馈纹理是对目标纹理进行修改得到的纹理;基于反馈网格和反馈纹理,生成虚拟物体。
115.上述反馈网格和反馈纹理可以是指由用户对生成的目标网格和目标纹理,按照自身想法进行调整得到的网格和纹理,也可以是由其他处理系统对生成的目标网格和目标纹理,按照用户预设的不同场景、不同应用情况等信息,调整得到的网格和纹理。
116.在本实施例的一种可选方案中,生成系统在生成上述的目标网格和目标纹理之后,可以在预设的操作界面中,按照预设的文件格式输出该目标网格和目标纹理,以方便用户查看该目标网格和目标纹理是否符合预期要求,以及对目标网格和目标纹理进行人工调整,若当前存在修改,则生成系统还可以进一步接收用户反馈的反馈网格和反馈纹理,并基于该反馈网格和反馈纹理,生成对应的虚拟物体,从而使生成的虚拟物体更符合用户的预期。
117.在本实施例的一种可选方案中,生成系统还可以将该目标网格和目标纹理输入至其他的处理系统中,其他处理系统可以根据用户预期要求,对目标网格和目标纹理进行自动调整,得到反馈网格和反馈纹理,并根据反馈网格和反馈纹理生成对应的虚拟物体。举例来说,若当前的目标对象是在大风天气下,模特身上的外套,则上述的预期要求可以包括大风天气,其他处理系统可以根据该大风天气,对目标网格和目标纹理进行调整,例如适当增加目标网格的偏移度,对目标纹理进行进一步的形变等,从而得到更符合用户预期要求的反馈网格和反馈纹理。
118.为了便于理解上述的虚拟物体的生成过程,图8是根据本技术实施例1的一种虚拟物体的生成过程的示意图,如图8所示,以生成服饰对应的虚拟物体为例,生成系统可以首先获取到服饰的图像,例如正视图,即服饰的正面图像和背面图像,以及该服饰类别对应的基准网格和基准纹理,然后利用服饰图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理,在确定目标纹理时,可以利用预设的神经网络对服饰图像进行处理,确定纹理偏移量,然后再利用纹理偏移量,生成上述的目标纹理。在得到目标纹理之后,可以利用可微渲染器对目标网格进行渲染,然后再利用预设基于物理规则的渲染方法,按照目标纹理对渲染结果进行着色,以生成最终的虚拟物体。
119.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
120.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知
悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。
121.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例的方法。
122.实施例2
123.根据本技术实施例,还提供了一种虚拟物体的生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
124.图9是根据本技术实施例2的一种虚拟物体的生成方法的流程图,如图9所示,该方法可以包括如下步骤:
125.步骤s902,响应作用于操作界面上的输入指令,在操作界面上显示不同视角下的图像。
126.其中,图像是按照不同视角对真实环境中的真实服饰进行采集得到的。
127.上述输入指令可以是指开始捕获处于真实环境中的目标对象,在不同视角下的图像的指令,其中,真实环境可以是指上述真实服饰存在的环境,例如放置服饰的固态平台、吊挂服饰的气态环境、浸泡服饰的液态环境等,目标对象为覆盖在真实表面的服饰信息,可以是指用户能够通过肉眼观测,或者通过摄像设备直接拍摄到的服饰外观。
128.当需要生成真是服饰的虚拟物体时,为了提高生成的虚拟物体的写实性,生成系统可以首先利用预设的摄像设备,从不同的角度对上述真实服饰进行拍摄,得到多张在不同视角下对应的服饰的图像,以提高获取到的图像的纹理细节的准确度。
129.在本实施例的一种可选方案中,为了提高生成效率,可以选取服饰的正视图、俯视图和侧视图等常规视角下的图像,作为上述的图像;或者为了提高生成结果的精细度,可以根据服饰当前的表面复杂度,确定出上述的不同视角,然后再获取不同视角下的服饰图像。
130.步骤s904,响应作用于操作界面上的生成指令,在操作界面上显示虚拟物体。
131.其中,虚拟物体用于表征虚拟环境中与真实服饰的类别对应的服饰,虚拟物体是基于目标网格和目标纹理生成的,目标网格和目标纹理是基于图像分别对虚拟物体的基准网格和基准纹理进行变形得到的,基准网格和基准纹理是基于类别确定的。
132.上述生成指令可以是指根据前述的不同角度的图像,生成服饰的物体信息的指令。
133.在本实施例的一种可选方案中,当生成系统接收到用户在操作界面上发送的生成指令后,可以首先根据上述真实服饰的类别,确定出该服饰对应的基准网格和基准纹理,然后将前述捕获到的实体图像,与基准网格和基准纹理进行匹配,从而对基准网格和基准纹理进行调整,以得到与上述物体信息相似度较高的目标网格和目标纹理。最后可以将目标网格和目标纹理进行组装,以生成上述的虚拟物体,从而提高生成的虚拟物体的写实性,使
虚拟物体以上述真实发生表面的物体信息更吻合。
134.在生成虚拟物体之后,生成系统可以进一步的将虚拟物体显示在上述的操作界面中,以方便用户查看。
135.需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
136.实施例3
137.根据本技术实施例,还提供了一种可以应用于虚拟现实vr设备、增强现实ar设备等虚拟现实场景下的虚拟物体的生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
138.图10是根据本技术实施例3的一种虚拟物体的生成方法的流程图,如图10所示,该方法可以包括如下步骤:
139.步骤s1002,在虚拟现实vr设备或增强现实ar设备的呈现画面上展示不同视角下的实体图像。
140.其中,实体图像是按照不同视角捕获处于物理环境中的目标对象得到的,目标对象为覆盖在实体物体表面的物体信息。
141.在本实施例的一种可选方案中,为了使确定出的实体图像更准确,以使生成的虚拟物体的写实性更高,可以通过虚拟现实vr设备或增强现实ar设备,来选取不同视角下的实体图像,并在vr或ar设备中展示实体图像,以使用户能够更好的查看捕获到的实体图像。
142.步骤s1004,基于目标对象的类别,确定虚拟物体的基准网格和基准纹理。
143.其中,虚拟物体用于表征覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象。
144.在本实施例的一种可选方案中,生成系统可以首先判断目标对象的类别,然后再根据该类别,从预设的类别库中确定出虚拟物体对应的基准网格和基准纹理,并将该基准网格和基准纹理作为标准的生成框架,来生成上述的虚拟物体,不再需要人工的根据目标对象中的比例、纹理等信息,缓慢的构建出目标对象对应的整体框架,从而提高生成上述虚拟物体的效率。
145.步骤s1006,基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理。
146.上述目标网格和目标纹理可以是指与捕获到的实体图像中,目标对象所呈现出的网格和纹理,一般目标网格和目标纹理,与基准网格和基准纹理相比,会存在一定的差异,举例来说,若目标对象是一本闭合的书,则对应的目标网格的线条数量少,而目标纹理是关于书表面的文字、图像对应的纹理,其复杂度可以会比基准纹理的复杂度高;若目标对象是一本打开的书,则对应的目标网格的线条数量可能会变多,而目标纹理是关于书内部的文字、图像对应的纹理,其复杂度相比于基准纹理可能会更高。
147.在本实施例的一种可选方案中,为了进一步的提高生成的虚拟物体的写实性,使虚拟物体以目标对象表面的物体信息更吻合,在得到基准网格和基准纹理之后,生成系统可以将前述捕获到的实体图像,与基准网格和基准纹理进行匹配,从而对基准网格和基准纹理进行调整,以得到与上述物体信息相似度较高的目标网格和目标纹理。
148.步骤s1008,基于目标网格和目标纹理,生成虚拟物体。
149.在本实施例的一种可选方案中,在得到目标网格和目标纹理之后,生成系统便可以将目标网格和目标纹理进行组装,以生成上述的虚拟物体。
150.步骤s1010,驱动vr设备或ar设备渲染展示虚拟物体。
151.在本实施例的一种可选方案中,可以直接驱动vr设备或ar设备,来对虚拟物体进行渲染。
152.需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
153.可选地,在本实施例中,上述虚拟物体的生成方法可以应用于由服务器、虚拟现实设备所构成的硬件环境中。在虚拟现实vr设备或增强现实ar设备的呈现画面上展示虚拟物体,服务器可以为媒体文件运营商对应的服务器,上述网格包括但不限于:广域网、城域网或局域网,上述虚拟现实设备并不限定于:虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。
154.可选地,虚拟现实设备包括:存储器、处理器和传输装置。存储器用于存储应用程序,该应用程序可以用于执行:基于实体图像对基准网格进行调整,得到目标网格,包括:将基准网格和实体图像进行轮廓匹配,得到第一匹配结果;基于第一匹配结果,确定控制系数,其中,控制系数用于对基准网格进行变形;基于控制系数对基准网格进行变形,得到目标网格。
155.存储器用于存储应用程序,该应用程序可以用于执行:将基准网格和实体图像进行轮廓匹配,得到第一匹配结果,包括:确定实体图像中的第一关键点,以及基准网格上的第二关键点,其中,第一关键点用于表征目标对象的轮廓边缘,第二关键点用于表征虚拟物体的轮廓边缘;将第二关键点投影至二维平面,得到第三关键点;将第一关键点与第三关键点进行匹配,得到第一匹配结果。
156.存储器用于存储应用程序,该应用程序可以用于执行:基于第一匹配结果,确定控制系数,包括:在操作界面上显示第一匹配结果;响应作用于操作界面上的预设控件的输入操作,获取输入操作对应的操作数据,得到控制系数。
157.存储器用于存储应用程序,该应用程序可以用于执行:基于实体图像对基准纹理进行调整,得到目标纹理,包括:将实体图像映射至基准纹理,得到初始纹理;利用神经网络模型对实体图像进行纹理提取,得到纹理偏移量;基于纹理偏移量对初始纹理进行偏移处理,得到目标纹理。
158.存储器用于存储应用程序,该应用程序可以用于执行:将实体图像映射至基准纹理,得到初始纹理,包括:确定实体图像中的第一关键点,以及基准纹理上的第四关键点,其中,第四关键点用于表征基准纹理中与虚拟物体对应的轮廓边缘;将第一关键点与第四关键点进行匹配,得到第二匹配结果;基于第二匹配结果,将实体图像映射至基准纹理,得到初始纹理。
159.存储器用于存储应用程序,该应用程序可以用于执行:基于目标网格和目标纹理,生成虚拟物体,包括:利用可微渲染器对目标网格进行渲染,得到虚拟物体的渲染结果;利用基于物理规则的渲染方法基于目标纹理对渲染结果进行着色,得到虚拟物体。
160.存储器用于存储应用程序,该应用程序可以用于执行:在基于目标网格和目标纹
理,生成虚拟物体之后,方法还包括:生成虚拟物体,其中,虚拟物体用于表征虚拟环境中与实体物体对应的虚拟物体;将虚拟物体覆盖在虚拟物体的表面,得到目标虚拟物体。
161.存储器用于存储应用程序,该应用程序可以用于执行:基于目标网格和目标纹理,生成虚拟物体,包括:输出目标网格和目标纹理;接收反馈网格和反馈纹理,其中,反馈网格是对目标网格进行修改得到的网格,反馈纹理是对目标纹理进行修改得到的纹理;基于反馈网格和反馈纹理,生成虚拟物体。
162.需要说明的是,该实施例的上述应用在vr设备或ar设备中的虚拟物体的生成方法可以包括图3所示实施例的方法,以实现驱动vr设备或ar设备展示虚拟物体的目的。
163.可选地,该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网格接收服务器发送的媒体文件,也可以用于上述处理器与存储器之间的数据传输。
164.可选地,在虚拟现实设备中,带有眼球追踪的头戴式显示器,该hmd头显中的屏幕,用于显示展示的视频画面,hmd中的眼球追踪模块,用于获取用户眼球的实时运动轨迹,跟踪系统,用于追踪用户在真实三维空间的位置信息与运动信息,计算处理单元,用于从跟踪系统中获取用户的实时位置与运动信息,并计算出用户头部在虚拟三维空间中的三维坐标,以及用户在虚拟三维空间中的视野朝向等。
165.在本技术实施例中,虚拟现实设备可以与终端相连接,终端与服务器通过网格进行连接,上述虚拟现实设备并不限定于:虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等,上述终端并不限定于pc、手机、平板电脑等,服务器可以为媒体文件运营商对应的服务器,上述网格包括但不限于:广域网、城域网或局域网。
166.需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
167.实施例4
168.根据本技术实施例,还提供了一种虚拟物体的生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
169.图11是根据本技术实施例4的一种虚拟物体的生成方法的流程图,如图11所示,该方法可以包括如下步骤:
170.步骤s1102,通过调用第一接口获取不同视角下的实体图像。
171.其中,第一接口包括第一参数,第一参数的参数值为实体图像,实体图像是按照不同视角捕获处于物理环境中的目标对象得到的,目标对象为覆盖在实体物体表面的物体信息。
172.上述物体信息可以是指用户能够通过肉眼观测,或者通过摄像设备直接拍摄到的物体外观,对应的目标对象可以是指在现实场景中具有实体的任意物体,例如一件服饰、一台电脑、一个包装盒等。
173.上述物理环境可以是指目标对象存在的环境,例如放置目标对象的固态平台、吊挂目标对象的气态环境、浸泡目标对象的液态环境等。上述第一接口可以是指用来调用捕获到的实体图像的接口,上述第一参数可以是指实体图像。
174.在本实施例的一种可选方案中,目标对象表面的物体信息,即上述的目标对象对应的3d模型,一般可以根据目标对象对应的实体图像建立,而为了提高生成的虚拟物体的写实性,生成系统可以首先利用预设的摄像设备,从不同的角度对目标对象进行拍摄,得到多张在不同视角下对应的目标对象的实体图像,以提高获取到的实体图像的纹理细节的准确度,避免因目标对象的图像缺失,而导致最终生成的虚拟物体不准确。
175.步骤s1104,基于目标对象的类别,确定虚拟物体的基准网格和基准纹理。
176.其中,虚拟物体用于表征覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象。
177.上述目标对象的类别可以由生成系统根据目标对象的外观设计确定出的,也可以是由用户主动指定的,具体的类别确定过程可根据实际情况而定,在此不做具体限定。上述基准网格和基准纹理可以是指与目标对象的类别相对应的标准网格和标准纹理。
178.在本实施例的一种可选方案中,生成系统可以首先判断目标对象的类别,然后再根据该类别,从预设的类别库中确定出虚拟物体对应的基准网格和基准纹理,并将该基准网格和基准纹理作为标准的生成框架,来生成上述的虚拟物体,不再需要人工的根据目标对象中的比例、纹理等信息,缓慢的构建出目标对象对应的整体框架,从而提高生成上述虚拟物体的效率。
179.步骤s1106,基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理。
180.上述目标网格和目标纹理可以是指与捕获到的实体图像中,目标对象所呈现出的网格和纹理,一般目标网格和目标纹理,与基准网格和基准纹理相比,会存在一定的差异。
181.在本实施例的一种可选方案中,为了进一步的提高生成的虚拟物体的写实性,使虚拟物体以目标对象表面的物体信息更吻合,在得到基准网格和基准纹理之后,生成系统可以将前述捕获到的实体图像,与基准网格和基准纹理进行匹配,从而对基准网格和基准纹理进行调整,以得到与上述物体信息相似度较高的目标网格和目标纹理。
182.步骤s1108,基于目标网格和目标纹理,生成虚拟物体。
183.在本实施例的一种可选方案中,在得到目标网格和目标纹理之后,生成系统便可以将目标网格和目标纹理进行组装,以生成上述的虚拟物体。
184.步骤s1110,通过调用第二接口输出虚拟物体。
185.其中,第二接口包括第二参数,第二参数的参数值为虚拟物体。
186.上述第二接口可以是指服务器提供给客户端调取虚拟物体的接口。
187.在本实施例的一种可选方案中,在生成虚拟物体后,生成系统还可以利用第二接口输出虚拟物体,以方便用户查看生成效果。
188.需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
189.实施例5
190.根据本技术实施例,还提供了一种虚拟物体的生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
191.图12是根据本技术实施例5的一种虚拟物体的生成方法的流程图,如图12所示,该方法可以包括如下步骤:
192.步骤s1202,捕获处于物理环境中的实体服饰在不同视角下的实体图像。
193.上述物理环境可以是指实体服饰存在的环境,例如放置实体服饰的固态平台、吊挂实体服饰的气态环境、浸泡实体服饰的液态环境等。
194.本实施例的一种可选方案中,可以通过根据实体图像生成实体服饰在虚拟环境中对应的3d模型,而为了提高生成的模型的写实性,生成系统可以首先利用预设的摄像设备,从不同的角度对实体服饰进行拍摄,得到多张在不同视角下对应的实体服饰的实体图像,以提高获取到的实体图像的纹理细节的准确度,避免因实体服饰的图像缺失,而导致最终生成的3d模型不准确。
195.步骤s1204,基于实体服饰的类别,确定虚拟服饰的基准网格和基准纹理。
196.其中,虚拟服饰为将实体服饰映射至虚拟环境中的关联对象。
197.上述基准网格和基准纹理可以是指与实体服饰的类别相对应的标准网格和标准纹理,可以由美术人员预先构建。上述虚拟服饰可以是指前述的目标对象在虚拟环境中对应的3d模型。通过将实体服饰虚拟化,生成对应的3d模型,即虚拟服饰,可以使用户能够按照预期要求,模拟并查看该实体服饰在不同场景下的变化结果,例如一件卫衣摆放在桌面上,和穿在模特身上的区别,不再需要实际的对实体服饰进行操作,能够很大程度上提高用户查看预期要求下的实体服饰的便利性和效率,并降低对应的操作成本。
198.在本实施例的一种可选方案中,生成系统可以首先判断实体服饰的类别,然后再根据该类别,从预设的类别库中确定出虚拟服饰对应的基准网格和基准纹理,并将该基准网格和基准纹理作为标准的生成框架,来生成上述的虚拟服饰,不再需要人工的根据目标对象中的比例、纹理等信息,缓慢的构建出实体服饰对应的整体框架,从而提高生成上述虚拟服饰的效率。
199.步骤s1206,基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理。
200.上述目标网格和目标纹理可以是指与捕获到的实体服饰所呈现出的网格和纹理。
201.在本实施例的一种可选方案中,为了进一步的提高生成的虚拟服饰的写实性,使虚拟服饰以实体服饰表面的物体信息更吻合,在得到基准网格和基准纹理之后,生成系统可以将前述捕获到的实体图像,与基准网格和基准纹理进行匹配,从而对基准网格和基准纹理进行调整,以得到与上述服饰信息相似度较高的目标网格和目标纹理。
202.步骤s1208,基于目标网格和目标纹理,生成虚拟服饰。
203.在本实施例的一种可选方案中,在得到目标网格和目标纹理之后,生成系统便可以将目标网格和目标纹理进行组装,以生成上述的虚拟服饰。
204.需要说明的是,本技术上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
205.实施例6
206.根据本技术实施例,还提供了一种用于实施上述虚拟物体的生成装置,该装置可以部署在目标客户端中。图13是根据本技术实施例6的一种虚拟物体的生成装置的结构框图,如图13所示,该装置1300包括:捕获模块1302,确定模块1304,调整模块1306,生成模块
1308。
207.其中,捕获模块1302用于捕获处于物理环境中的目标对象在不同视角下的实体图像,其中,目标对象为覆盖在实体物体表面的物体信息;确定模块1304用于基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征处于覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;调整模块1306用于基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;生成模块1308用于基于目标网格和目标纹理,生成虚拟物体。
208.此处需要说明的是,上述捕获模块1302,确定模块1304,调整模块1306,生成模块1308,对应于实施例1中的步骤s302至步骤s308,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。
209.本技术上述实施例中,调整模块1306包括:第一匹配单元,用于将基准网格和实体图像进行轮廓匹配,得到第一匹配结果;系数确定单元,用于基于第一匹配结果,确定控制系数,其中,控制系数用于对基准网格进行变形;网格变形单元,用于基于控制系数对基准网格进行变形,得到目标网格。
210.本技术上述实施例中,第一匹配单元还用于:确定实体图像中的第一关键点,以及基准网格上的第二关键点,其中,第一关键点用于表征目标对象的轮廓边缘,第二关键点用于表征虚拟物体的轮廓边缘;将第二关键点投影至二维平面,得到第三关键点;将第一关键点与第三关键点进行匹配,得到第一匹配结果。
211.本技术上述实施例中,系数确定单元还用于:在操作界面上显示第一匹配结果;响应作用于操作界面上的预设控件的输入操作,获取输入操作对应的操作数据,得到控制系数。
212.本技术上述实施例中,调整模块1306还包括:纹理映射单元,用于将实体图像映射至基准纹理,得到初始纹理;偏移量提取单元,用于利用神经网络模型对实体图像进行纹理提取,得到纹理偏移量;偏移处理单元,用于基于纹理偏移量对初始纹理进行偏移处理,得到目标纹理。
213.本技术上述实施例中,纹理映射单元还用于:确定实体图像中的第一关键点,以及基准纹理上的第四关键点,其中,第四关键点用于表征基准纹理中与虚拟物体对应的轮廓边缘;将第一关键点与第四关键点进行匹配,得到第二匹配结果;基于第二匹配结果,将实体图像映射至基准纹理,得到初始纹理。
214.本技术上述实施例中,生成模块1308包括:渲染单元,用于利用可微渲染器对目标网格进行渲染,得到虚拟物体的渲染结果;着色单元,用于利用基于物理规则的渲染方法基于目标纹理对渲染结果进行着色,得到虚拟物体。
215.本技术上述实施例中,该装置还包括:虚拟物体生成模块,用于生成虚拟物体,其中,虚拟物体用于表征虚拟环境中与实体物体对应的虚拟物体;虚拟物体覆盖模块,用于将虚拟物体覆盖在虚拟物体的表面,得到目标虚拟物体。
216.本技术上述实施例中,生成模块还1308包括:输出单元,用于输出目标网格和目标纹理;接收单元,用于接收反馈网格和反馈纹理,其中,反馈网格是对目标网格进行修改得到的网格,反馈纹理是对目标纹理进行修改得到的纹理;物体生成单元,用于基于反馈网格和反馈纹理,生成虚拟物体。
217.实施例7
218.根据本技术实施例,还提供了一种用于实施上述虚拟物体的生成装置,该装置可以部署在目标客户端中。图14是根据本技术实施例7的一种虚拟物体的生成装置的结构框图,如图14所示,该装置1400包括:第一显示模块1402,第二显示模块1404。
219.其中,第一显示模块1402用于响应作用于操作界面上的输入指令,在操作界面上显示不同视角下的图像,其中,图像是按照不同视角对真实环境中的真实服饰进行采集得到的;第二显示模块1404用于响应作用于操作界面上的生成指令,在操作界面上显示虚拟物体,其中,虚拟物体用于表征虚拟环境中与真实服饰的类别对应的服饰,虚拟物体是基于目标网格和目标纹理生成的,目标网格和目标纹理是基于图像分别对虚拟物体的基准网格和基准纹理进行变形得到的,基准网格和基准纹理是基于类别确定的。
220.此处需要说明的是,上述第一显示模块1402,第二显示模块1404,对应于实施例2中的步骤s902至步骤s908,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例2所公开的内容。
221.实施例8
222.根据本技术实施例,还提供了一种用于实施上述虚拟物体的生成装置,该装置可以部署在目标客户端中。图15是根据本技术实施例8的一种虚拟物体的生成装置的结构框图,如图15所示,该装置1500包括:第一展示模块1502,确定模块1504,调整模块1506,生成模块1508,第二展示模块1510。
223.其中,第一展示模块1502用于在虚拟现实vr设备或增强现实ar设备的呈现画面上展示不同视角下的实体图像,其中,实体图像是按照不同视角捕获处于物理环境中的目标对象得到的,目标对象为覆盖在实体物体表面的物体信息;确定模块1504用于基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;调整模块1506用于基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;生成模块1508用于基于目标网格和目标纹理,生成虚拟物体;第二展示模块1510用于驱动vr设备或ar设备渲染展示虚拟物体。
224.此处需要说明的是,上述第一展示模块1502,确定模块1504,调整模块1506,生成模块1508,第二展示模块1510,对应于实施例3中的步骤s1002至步骤s1010,五个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例3所公开的内容。
225.实施例9
226.根据本技术实施例,还提供了一种用于实施上述虚拟物体的生成装置,该装置可以部署在目标客户端中。图16是根据本技术实施例9的一种虚拟物体的生成装置的结构框图,如图16所示,该装置1600包括:获取模块1602,确定模块1604,调整模块1606,生成模块1608,输出模块1610。
227.其中,获取模块1602用于通过调用第一接口获取不同视角下的实体图像,其中,第一接口包括第一参数,第一参数的参数值为实体图像,实体图像是按照不同视角捕获处于物理环境中的目标对象得到的,目标对象为覆盖在实体物体表面的物体信息;确定模块1604用于基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对
象;调整模块1606用于基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;生成模块1608用于基于目标网格和目标纹理,生成虚拟物体;输出模块1610用于通过调用第二接口输出虚拟物体,其中,第二接口包括第二参数,第二参数的参数值为虚拟物体。
228.此处需要说明的是,上述获取模块1602,确定模块1604,调整模块1606,生成模块1608,输出模块1610,对应于实施例4中的步骤s1102至步骤s1110,五个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例4所公开的内容。
229.实施例10
230.根据本技术实施例,还提供了一种用于实施上述虚拟物体的生成装置,该装置可以部署在目标客户端中。图17是根据本技术实施例10的一种虚拟物体的生成装置的结构框图,如图17所示,该装置1700包括:捕获模块1702,确定模块1704,调整模块1706,生成模块1708。
231.其中:捕获模块1702用于捕获处于物理环境中的实体服饰在不同视角下的实体图像;确定模块1704用于基于实体服饰的类别,确定虚拟服饰的基准网格和基准纹理,其中,虚拟服饰为将实体服饰映射至虚拟环境中的关联对象;调整模块1706用于基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;生成模块1708用于基于目标网格和目标纹理,生成虚拟服饰。
232.此处需要说明的是,上述捕获模块1702,确定模块1704,调整模块1706,生成模块1708,对应于实施例5中的步骤s1202至步骤s1208,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例5所公开的内容。
233.实施例11
234.本技术的实施例可以提供一种电子设备,该电子设备可以是电子设备群中的任意一个电子设备。可选地,在本实施例中,上述电子设备也可以替换为移动终端等终端设备。
235.可选地,在本实施例中,上述电子设备可以位于计算机网格的多个网格设备中的至少一个网格设备。
236.在本实施例中,上述电子设备可以执行设计参数调整方法中以下步骤的程序代码:捕获处于物理环境中的目标对象在不同视角下的实体图像,其中,目标对象为覆盖在实体物体表面的物体信息;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征处于覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体。
237.可选地,图18是根据本技术实施例11的一种电子设备的结构框图。如图所示,该电子设备a可以包括:处理器1802和存储器1804,其中,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行实施例1中所示的虚拟物体的生成方法。
238.可选地,如图18所示,在电子设备a中还可以包括:存储控制器和外设接口,其中,外设接口与射频模块、音频模块和显示器连接。
239.其中,存储器可用于存储软件程序以及模块,如本技术实施例中的虚拟物体的生成方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的虚拟物体的生成方法。存储器可包
括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网格连接至终端a。上述网格的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
240.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:基于实体图像对基准网格进行调整,得到目标网格,包括:将基准网格和实体图像进行轮廓匹配,得到第一匹配结果;基于第一匹配结果,确定控制系数,其中,控制系数用于对基准网格进行变形;基于控制系数对基准网格进行变形,得到目标网格。
241.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:将基准网格和实体图像进行轮廓匹配,得到第一匹配结果,包括:确定实体图像中的第一关键点,以及基准网格上的第二关键点,其中,第一关键点用于表征目标对象的轮廓边缘,第二关键点用于表征虚拟物体的轮廓边缘;将第二关键点投影至二维平面,得到第三关键点;将第一关键点与第三关键点进行匹配,得到第一匹配结果。
242.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:基于第一匹配结果,确定控制系数,包括:在操作界面上显示第一匹配结果;响应作用于操作界面上的预设控件的输入操作,获取输入操作对应的操作数据,得到控制系数。
243.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:基于实体图像对基准纹理进行调整,得到目标纹理,包括:将实体图像映射至基准纹理,得到初始纹理;利用神经网络模型对实体图像进行纹理提取,得到纹理偏移量;基于纹理偏移量对初始纹理进行偏移处理,得到目标纹理。
244.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:将实体图像映射至基准纹理,得到初始纹理,包括:确定实体图像中的第一关键点,以及基准纹理上的第四关键点,其中,第四关键点用于表征基准纹理中与虚拟物体对应的轮廓边缘;将第一关键点与第四关键点进行匹配,得到第二匹配结果;基于第二匹配结果,将实体图像映射至基准纹理,得到初始纹理。
245.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:基于目标网格和目标纹理,生成虚拟物体,包括:利用可微渲染器对目标网格进行渲染,得到虚拟物体的渲染结果;利用基于物理规则的渲染方法基于目标纹理对渲染结果进行着色,得到虚拟物体。
246.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:在基于目标网格和目标纹理,生成虚拟物体之后,方法还包括:生成虚拟物体,其中,虚拟物体用于表征虚拟环境中与实体物体对应的虚拟物体;将虚拟物体覆盖在虚拟物体的表面,得到目标虚拟物体。
247.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:基于目标网格和目标纹理,生成虚拟物体,包括:输出目标网格和目标纹理;接收反馈网格和反馈纹理,其中,反馈网格是对目标网格进行修改得到的网格,反馈纹理是对目标纹理进行修改得到的纹理;基于反馈网格和反馈纹理,生成虚拟物体。
248.在本技术实施例中,采用捕获处于物理环境中的目标对象在不同视角下的实体图像;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征
处于覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体的方式,通过捕获目标对象在不同视角下的实体图像,并利用该实体图像对目标对象对应的基准网格和基准纹理进行调整,能够保证确定出的目标网格和目标纹理的精细度,并且,根据目标网格和目标纹理,可以直接的自动生成上述的虚拟物体,很大程度上减小了工作人员手动建立虚拟物体的压力,在降低人工成本的同时,进一步提高了生成虚拟物体的效率,进而解决了相关技术中生成虚拟物体的效率低的技术问题。
249.本领域普通技术人员可以理解,图18所示的结构仅为示意,计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图18其并不对上述电子装置的结构造成限定。例如,计算机终端a还可包括比图18中所示更多或者更少的组件(如网格接口、显示装置等),或者具有与图18所示不同的配置。
250.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
251.实施例12
252.本技术的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例1所提供的虚拟物体的生成方法所执行的程序代码。
253.在本实施例中,上述存储介质可以位于计算机网格中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
254.在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:捕获处于物理环境中的目标对象在不同视角下的实体图像,其中,目标对象为覆盖在实体物体表面的物体信息;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征处于覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体。
255.在本技术实施例中,上述存储介质还可以执行如下步骤的程序代码:基于实体图像对基准网格进行调整,得到目标网格,包括:将基准网格和实体图像进行轮廓匹配,得到第一匹配结果;基于第一匹配结果,确定控制系数,其中,控制系数用于对基准网格进行变形;基于控制系数对基准网格进行变形,得到目标网格。
256.在本技术实施例中,上述存储介质还可以执行如下步骤的程序代码:将基准网格和实体图像进行轮廓匹配,得到第一匹配结果,包括:确定实体图像中的第一关键点,以及基准网格上的第二关键点,其中,第一关键点用于表征目标对象的轮廓边缘,第二关键点用于表征虚拟物体的轮廓边缘;将第二关键点投影至二维平面,得到第三关键点;将第一关键点与第三关键点进行匹配,得到第一匹配结果。
257.在本技术实施例中,上述存储介质还可以执行如下步骤的程序代码:基于第一匹配结果,确定控制系数,包括:在操作界面上显示第一匹配结果;响应作用于操作界面上的预设控件的输入操作,获取输入操作对应的操作数据,得到控制系数。
258.在本技术实施例中,上述存储介质还可以执行如下步骤的程序代码:基于实体图像对基准纹理进行调整,得到目标纹理,包括:将实体图像映射至基准纹理,得到初始纹理;利用神经网络模型对实体图像进行纹理提取,得到纹理偏移量;基于纹理偏移量对初始纹理进行偏移处理,得到目标纹理。
259.在本技术实施例中,上述存储介质还可以执行如下步骤的程序代码:将实体图像映射至基准纹理,得到初始纹理,包括:确定实体图像中的第一关键点,以及基准纹理上的第四关键点,其中,第四关键点用于表征基准纹理中与虚拟物体对应的轮廓边缘;将第一关键点与第四关键点进行匹配,得到第二匹配结果;基于第二匹配结果,将实体图像映射至基准纹理,得到初始纹理。
260.在本技术实施例中,上述存储介质还可以执行如下步骤的程序代码:基于目标网格和目标纹理,生成虚拟物体,包括:利用可微渲染器对目标网格进行渲染,得到虚拟物体的渲染结果;利用基于物理规则的渲染方法基于目标纹理对渲染结果进行着色,得到虚拟物体。
261.在本技术实施例中,上述存储介质还可以执行如下步骤的程序代码:在基于目标网格和目标纹理,生成虚拟物体之后,方法还包括:生成虚拟物体,其中,虚拟物体用于表征虚拟环境中与实体物体对应的虚拟物体;将虚拟物体覆盖在虚拟物体的表面,得到目标虚拟物体。
262.在本技术实施例中,上述存储介质还可以执行如下步骤的程序代码:基于目标网格和目标纹理,生成虚拟物体,包括:输出目标网格和目标纹理;接收反馈网格和反馈纹理,其中,反馈网格是对目标网格进行修改得到的网格,反馈纹理是对目标纹理进行修改得到的纹理;基于反馈网格和反馈纹理,生成虚拟物体。
263.在本技术实施例中,采用捕获处于物理环境中的目标对象在不同视角下的实体图像;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征处于覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标对象实体物体在不同视角下的实体图像,并利用该实体图像对目标对象对应的基准网格和基准纹理进行调整,能够保证确定出的目标网格和目标纹理的精细度,并且,根据目标网格和目标纹理,可以直接的自动生成上述的虚拟物体,很大程度上减小了工作人员手动建立虚拟物体的压力,在降低人工成本的同时,进一步提高了生成虚拟物体的效率,进而解决了相关技术中生成虚拟物体的效率低的技术问题。
264.上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
265.在本技术的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
266.在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
267.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网格单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
268.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
269.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网格设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
270.以上仅是本技术的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。

技术特征:
1.一种虚拟物体的生成方法,其特征在于,包括:捕获处于物理环境中的目标对象在不同视角下的实体图像,其中,所述目标对象为覆盖在实体物体表面的物体信息;基于所述目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,所述虚拟物体用于表征覆盖在虚拟物体表面的物体信息,所述虚拟物体为处于虚拟环境中与所述实体物体关联的对象;基于所述实体图像对所述基准网格和所述基准纹理进行调整,得到目标网格和目标纹理;基于所述目标网格和所述目标纹理,生成所述虚拟物体。2.根据权利要求1所述的方法,其特征在于,基于所述实体图像对所述基准网格进行调整,得到目标网格,包括:将所述基准网格和所述实体图像进行轮廓匹配,得到第一匹配结果;基于所述第一匹配结果,确定控制系数,其中,所述控制系数用于对所述基准网格进行变形;基于所述控制系数对所述基准网格进行变形,得到所述目标网格。3.根据权利要求2所述的方法,其特征在于,将所述基准网格和所述实体图像进行轮廓匹配,得到第一匹配结果,包括:确定所述实体图像中的第一关键点,以及所述基准网格上的第二关键点,其中,所述第一关键点用于表征所述目标对象的轮廓边缘,所述第二关键点用于表征所述虚拟物体的轮廓边缘;将所述第二关键点投影至二维平面,得到第三关键点;将所述第一关键点与所述第三关键点进行匹配,得到所述第一匹配结果。4.根据权利要求2所述的方法,其特征在于,基于所述第一匹配结果,确定控制系数,包括:在操作界面上显示所述第一匹配结果;响应作用于所述操作界面上的预设控件的输入操作,获取所述输入操作对应的操作数据,得到所述控制系数。5.根据权利要求1所述的方法,其特征在于,基于所述实体图像对所述基准纹理进行调整,得到目标纹理,包括:将所述实体图像映射至所述基准纹理,得到初始纹理;利用神经网络模型对所述实体图像进行纹理提取,得到纹理偏移量;基于所述纹理偏移量对所述初始纹理进行偏移处理,得到所述目标纹理。6.根据权利要求5所述的方法,其特征在于,将所述实体图像映射至所述基准纹理,得到初始纹理,包括:确定所述实体图像中的第一关键点,以及所述基准纹理上的第四关键点,其中,所述第四关键点用于表征所述基准纹理中与所述虚拟物体对应的轮廓边缘;将所述第一关键点与所述第四关键点进行匹配,得到第二匹配结果;基于所述第二匹配结果,将所述实体图像映射至所述基准纹理,得到所述初始纹理。7.根据权利要求1所述的方法,其特征在于,基于所述目标网格和所述目标纹理,生成
所述虚拟物体,包括:利用可微渲染器对所述目标网格进行渲染,得到所述虚拟物体的渲染结果;利用基于物理规则的渲染方法基于所述目标纹理对所述渲染结果进行着色,得到所述虚拟物体。8.根据权利要求1所述的方法,其特征在于,在基于所述目标网格和所述目标纹理,生成所述虚拟物体之后,所述方法还包括:生成虚拟物体,其中,所述虚拟物体用于表征所述虚拟环境中与所述实体物体对应的虚拟物体;将所述虚拟物体覆盖在所述虚拟物体的表面,得到目标虚拟物体。9.根据权利要求1所述的方法,其特征在于,基于所述目标网格和所述目标纹理,生成所述虚拟物体,包括:输出所述目标网格和目标纹理;接收反馈网格和反馈纹理,其中,所述反馈网格是对所述目标网格进行修改得到的网格,所述反馈纹理是对所述目标纹理进行修改得到的纹理;基于所述反馈网格和所述反馈纹理,生成所述虚拟物体。10.一种虚拟物体的生成方法,其特征在于,包括:响应作用于操作界面上的输入指令,在所述操作界面上显示不同视角下的图像,其中,所述图像是按照所述不同视角对真实环境中的真实服饰进行采集得到的;响应作用于所述操作界面上的生成指令,在所述操作界面上显示虚拟物体,其中,所述虚拟物体用于表征虚拟环境中与所述真实服饰的类别对应的服饰,所述虚拟物体是基于目标网格和目标纹理生成的,所述目标网格和所述目标纹理是基于所述图像分别对所述虚拟物体的基准网格和基准纹理进行变形得到的,所述基准网格和所述基准纹理是基于所述类别确定的。11.一种虚拟物体的生成方法,其特征在于,包括:在虚拟现实vr设备或增强现实ar设备的呈现画面上展示不同视角下的实体图像,其中,所述实体图像是按照所述不同视角捕获处于物理环境中的目标对象得到的,所述目标对象为覆盖在实体物体表面的物体信息;基于所述目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,所述虚拟物体用于表征覆盖在虚拟物体表面的物体信息,所述虚拟物体为处于虚拟环境中与所述实体物体关联的对象;基于所述实体图像对所述基准网格和所述基准纹理进行调整,得到目标网格和目标纹理;基于所述目标网格和所述目标纹理,生成所述虚拟物体;驱动所述vr设备或所述ar设备渲染展示所述虚拟物体。12.一种虚拟物体的生成方法,其特征在于,包括:通过调用第一接口获取不同视角下的实体图像,其中,所述第一接口包括第一参数,所述第一参数的参数值为所述实体图像,所述实体图像是按照所述不同视角捕获处于物理环境中的目标对象得到的,所述目标对象为覆盖在实体物体表面的物体信息;基于所述目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,所述虚拟物体
用于表征覆盖在虚拟物体表面的物体信息,所述虚拟物体为处于虚拟环境中与所述实体物体关联的对象;基于所述实体图像对所述基准网格和所述基准纹理进行调整,得到目标网格和目标纹理;基于所述目标网格和所述目标纹理,生成所述虚拟物体;通过调用第二接口输出所述虚拟物体,其中,所述第二接口包括第二参数,所述第二参数的参数值为所述虚拟物体。13.一种虚拟服饰的生成方法,其特征在于,包括:捕获处于物理环境中的实体服饰在不同视角下的实体图像;基于所述实体服饰的类别,确定虚拟服饰的基准网格和基准纹理,其中,所述虚拟服饰为将所述实体服饰映射至虚拟环境中的关联对象;基于所述实体图像对所述基准网格和所述基准纹理进行调整,得到目标网格和目标纹理;基于所述目标网格和所述目标纹理,生成所述虚拟服饰。14.一种电子设备,其特征在于,包括:存储器,存储有可执行程序;处理器,用于运行所述程序,其中,所述程序运行时执行权利要求1至13中任意一项所述的方法。

技术总结
本申请公开了一种虚拟物体的生成方法、电子设备和计算机可读存储介质。其中,该方法包括:捕获处于物理环境中的目标对象在不同视角下的实体图像,其中,目标对象为覆盖在实体物体表面的物体信息;基于目标对象的类别,确定虚拟物体的基准网格和基准纹理,其中,虚拟物体用于表征覆盖在虚拟物体表面的物体信息,虚拟物体为处于虚拟环境中与实体物体关联的对象;基于实体图像对基准网格和基准纹理进行调整,得到目标网格和目标纹理;基于目标网格和目标纹理,生成虚拟物体。本申请解决了相关技术中生成虚拟物体的效率低的技术问题。术中生成虚拟物体的效率低的技术问题。术中生成虚拟物体的效率低的技术问题。


技术研发人员:高岱恒 张昕荻 高鑫 王琪 张邦
受保护的技术使用者:阿里巴巴达摩院(杭州)科技有限公司
技术研发日:2023.04.11
技术公布日:2023/8/1
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐