使用模板图像生成增强现实预渲染的制作方法

使用模板图像生成增强现实预渲染
1.相关申请
2.本技术要求于2021年1月20日提交的第17/153,263号美国非临时专利申请的优先权和权益。第17/153,263号美国非临时专利申请通过引用整体并入本文。
技术领域
3.本公开总体上涉及预渲染图像。更具体地，本公开涉及从一组模板图像预渲染增强现实图像，例如，以实现来自模板图像的有限增强现实体验，作为实时个性化增强现实体验的替代。


背景技术：

4.增强现实(ar)可以指真实世界环境的交互式体验的创建和执行，其中驻留在真实世界中的对象通过计算机生成的感知信息来增强。作为一个示例，ar体验可以包括通过将虚拟对象插入到由相机捕获的场景中和/或修改包括在该场景中的真实世界对象的外观来增强该场景。
5.当搜索具有强烈美学方面的产品(诸如化妆品)时，通常看到产品的包装或甚至产品本身也不足够。为了解决这个问题，已经努力在增强现实(ar)中数字化化妆品和其他产品，以允许消费者在自己身上或在他们的个人环境中可视化产品。然而，由于天然的冲突，许多用户可能不希望使用ar试穿。例如，用户可能没有处于使用相机实际可行的位置，用户可能不觉得他们看起来处于最好状态并且不愿意打开相机，和/或他们可能简单地不想授予相机权限。
6.此外，实况ar体验会需要大量的数据带宽和处理能力。


技术实现要素：

7.本公开的实施例的各方面和优点将在以下描述中部分地阐述，或者可以从描述中学习，或者可以通过实施例的实践来学习。
8.本公开的一个示例方面涉及一种用于提供预渲染增强图像的计算机实现的方法。所述方法可以包括由计算设备获得多个模板图像。所述方法可以包括由计算设备利用增强现实渲染模型处理多个模板图像以生成多个预渲染图像。在一些实施方式中，所述方法可以包括由计算设备接收对结果图像的请求和偏好。所述方法可以包括由计算设备至少部分地基于请求和偏好来提供预渲染结果。在一些实施方式中，预渲染结果可以是来自多个预渲染图像的预渲染图像。
9.本公开的另一示例方面涉及一种计算系统。计算机系统可以包括一个或多个处理器和一个或多个非暂时性计算机可读介质，其共同地存储指令，所述指令在由一个或多个处理器执行时使计算系统执行操作。操作可以包括获得增强现实资产。在一些实施方式中，增强现实资产可以包括数字化参数。操作可以包括获得多个模板图像。操作可以包括利用增强现实模型来处理多个模板图像，以至少部分地基于数字化参数来生成多个预渲染图
像，并存储多个预渲染图像。
10.本公开的另一示例方面涉及一个或多个非暂时性计算机可读介质，其共同地存储指令，所述指令在由一个或多个处理器执行时使计算系统执行操作。操作可以包括获得增强现实资产。增强现实资产可以包括数字化参数。在一些实施方式中，操作可以包括获得多个模板图像。操作可以包括利用增强现实模型来处理多个模板图像，以至少部分地基于数字化参数来生成多个预渲染图像。操作可以包括将多个预渲染图像存储在服务器上并且接收可以包括一个或多个搜索项的搜索查询。一个或多个搜索项可以与产品相关。在一些实施方式中，操作可以包括提供搜索结果。搜索结果可以包括来自从服务器检索的多个预渲染图像的预渲染图像。预渲染图像可以包括产品的渲染。
11.本公开的其他方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
12.参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。
附图说明
13.在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，在附图中：
14.图1a描绘了根据本公开的示例实施例的执行预渲染的示例计算系统的框图。
15.图1b描绘了根据本公开的示例实施例的执行预渲染的示例计算设备的框图。
16.图1c描绘了根据本公开的示例实施例的执行预渲染的示例计算设备的框图。
17.图2描绘了根据本公开的示例实施例的预渲染图像的示例显示的框图。
18.图3描绘了根据本公开的示例实施例的预渲染图像的示例显示的框图。
19.图4描绘了根据本公开的示例实施例的预渲染图像的示例显示的框图。
20.图5描绘了根据本公开的示例实施例的示例预渲染系统的框图。
21.图6描绘了根据本公开的示例实施例的用于执行预渲染的示例方法的流程图。
22.图7描绘了根据本公开的示例实施例的用于执行预渲染的示例方法的流程图。
23.图8描绘了根据本公开的示例实施例的用于执行预渲染的示例方法的流程图。
24.图9描绘了根据本公开的示例实施例的示例预渲染系统的框图。
25.跨多个附图重复的附图标号旨在标识各种实施方式中的相同特征。
具体实施方式
26.概述
27.一般来说，本公开针对用于预渲染增强现实模板图像的系统和方法，例如，以实现来自模板图像的有限增强现实体验，作为使用用户的特定影像(imagery)的实时个性化增强现实体验的替代。在一些实施方式中，系统和方法可以被实现为用于从一组模板图像生成预渲染增强现实图像的平台。所述系统可以包括获得增强现实资产和一组模板图像。模板图像可以是一组不同的图像，其示出了具有不同的特性或特征(诸如作为示例，不同的眼睛颜色或其他视觉特性)的人或设置。该组模板图像可以通过由获得的增强现实资产参数
化的增强模型或增强现实模型来处理。增强现实模型可以输出一组预渲染图像，并且预渲染图像可以存储在服务器上。在一些实施方式中，系统可以接收对结果图像的请求以及用户偏好。例如，请求可以是一个或多个搜索项形式的搜索查询。系统可以处理请求和偏好以确定结果图像。结果图像可以是来自该组预渲染图像的一个或多个预渲染图像。例如，用户可以选择(或预先选择)一个或多个偏好，其可以引导选择一个或多个预渲染图像作为结果图像。可以将结果提供给用户。以这种方式，可以向用户提供满足用户偏好的一个或多个预渲染图像(例如，从具有与用户的特性匹配的特性的模板生成的预渲染图像)。因此，在一些情况下，用户可以看到产品在类似于他们自己的人或设置上将看起来如何，但不需要位于使用相机实际可行的位置和/或提供他们自己或他们周围环境的实际影像。在一些实施方式中，系统还可以向用户提供到实时增强现实体验的链接，例如，使得如果需要，用户仍然可以追求完整实时ar体验。
28.在一些实施方式中，增强现实图像的预渲染可以由平台促进。平台可以用于收集使用平台制作的增强现实数据资产，或者可替代地，可以收集在平台外部生成的增强现实资产。平台可以从提供待售产品(例如，化妆品(例如，唇膏、眼影等)、家具或其他家庭用品(例如，电子设备、炊具、玻璃器具、装饰品、植物等)、服装、颜料、汽车、各种电子产品等)的第三方公司收集增强现实资产。此外，平台可以使用收集的增强现实资产来将渲染效果渲染到模板图像中以生成预渲染图像。模板图像可以本地存储或从平台外部获得。然后可以存储预渲染图像以供稍后显示给用户。例如，用户计算设备可以发送对一个或多个预渲染图像的请求。该请求可以是搜索查询、用户选择或对用户动作作出反应的自动请求。平台可以处理请求以及用户的偏好，以提供与请求和偏好相关的一个或多个预渲染图像。
29.所述系统和方法可以包括获得多个模板图像。多个模板图像可以是描绘类似焦点但具有变化的一组图像(例如，模板图像中的每一个描绘起居室，但每个图片描绘对该起居室的不同颜色方案，其中家具和装饰具有变化的主题和颜色)。所述系统和方法可以利用增强现实渲染模型处理多个模板图像以生成多个预渲染图像。在一些实施方式中，增强现实渲染模型可以包括对象跟踪和渲染。多个预渲染图像可以是一组增强图像，其中每个模板图像可以被增强以包括增强现实渲染效果。增强现实渲染效果可以是由第三方销售的产品，其中消费者可以在不同的模板场景中虚拟地“试穿”该产品(例如，渲染到模板房间图像中的家具物品)。在一些实施方式中，系统和方法可以包括接收对结果图像的请求和偏好。该请求可以来自用户计算系统，其中用户已经指示想要查看预渲染图像。在一些实施方式中，请求可以包括输入到搜索引擎中的搜索项。偏好可以包括在请求时做出的或先前存储的选择，其可以指示优选的模板类型或优选的模板。然后，系统和方法可以至少部分地基于请求和偏好来提供预渲染结果，其中预渲染结果可以是来自多个预渲染图像的预渲染图像。在一些实施方式中，预渲染结果可以是与偏好匹配的预渲染图像，其中偏好包括由用户从多个模板图像中选择的模板。在一些实施方式中，系统和方法可以提供到用于实况试穿的增强现实渲染体验的链接。
30.在一些实施方式中，系统和方法可以获得可以被存储以供增强现实模型或增强模型使用的增强现实资产。增强现实资产可以包括数字化参数。数字化参数可以使得增强现实模型或增强模型能够渲染特定渲染效果。在一些实施方式中，增强现实资产可以由增强现实模型用来处理一组模板图像以生成一组预渲染图像。然后可以存储该组预渲染图像以
供稍后检索。在一些实施方式中，该组预渲染图像可以存储在服务器上。
31.在一些实施方式中，可以通过对象跟踪计算机视觉算法和计算机渲染操作来处理该组模板图像，以生成模拟产品外观的增强现实预渲染图像。产品可以应用于模板图像中的描绘的面部，或者以其他方式插入到该组模板图像中的描绘的图像中。渲染操作会受到cpu或gpu算法和对应参数的影响。对应参数可以是在描绘的照明条件下真实地捕获插入到模板图像中的产品的外观的参数。
32.在一些实施方式中，系统和方法可以包括接收包括一个或多个搜索项的搜索查询，其中一个或多个搜索项与产品相关。此外，系统和方法可以包括提供搜索结果。搜索结果可以包括来自多个预渲染图像的预渲染图像。此外，预渲染图像可以包括产品的渲染。
33.在一些实施方式中，可以处理该组模板图像以生成能够由增强现实模型或增强模型处理的一组模板模型。在一些实施方式中，模板模型可以在处理之前被修改。系统和方法可以接收输入以修改多个模板模型中的模板模型。系统和方法可以至少部分地基于输入来修改模板模型。在一些实施方式中，系统和方法可以包括提供多个模板模型中的模板模型以用于显示。
34.在一些实施方式中，增强现实模型可以包括感知子图和渲染子图。感知子图在整个系统中可以是统一(uniform)的。感知子图可以与各种不同的渲染子图一起使用。渲染子图可以由第三方构建以生成渲染效果从而提供给用户。渲染子图可以由存储感知子图的增强现实预渲染平台构建然后使用。渲染子图可以取决于渲染效果和第三方而变化。在一些实施方式中，单个感知子图可以与多个渲染子图一起使用，以在增强图像或视频中渲染多个渲染。例如，可以处理面部的图片或视频以在面部上生成唇膏、眼影和睫毛膏的增强现实渲染。该处理可以包括单一感知子图，但针对每个相应产品(即，唇膏、眼影和睫毛膏)的渲染子图。
35.本文公开的系统和方法可以适用于各种增强现实体验(例如，家庭用品、化妆品、汽车(3d)、眼镜、珠宝、服装和理发)。例如，本文公开的系统和方法可以用于生成一组预渲染图像，以在各种环境或应用中向消费者提供产品的渲染。在一些实施方式中，模板图像可以是变化的设置、颜色方案和装饰的各种房间图像。期望的渲染效果可以是沙发。系统可以获取该组模板图像和与沙发相关的增强现实资产，并且可以生成一组预渲染图像以提供给用户。预渲染图像可以包括模板图像中的每一个中的期望沙发的增强现实渲染，以允许用户查看沙发在具有各种颜色方案、装饰和布局的各种房间类型中会看起来如何。
36.在一些实施方式中，多个模板图像可以包括具有不同的特性或特征(诸如作为示例，不同眼睛颜色或其他视觉特性)的一组面部图像，其中消费者可以选择和/或存储可能最类似于他(她)们的偏好模板。渲染效果可以是化妆渲染(例如，唇膏、眼影、睫毛膏、粉底等)。增强现实模型可以处理增强现实资产和一组模板图像以生成预渲染化妆图像，其中多个模板图像中的每一个可以被增强以包括化妆产品。例如，可以将一定色度(shade)的唇膏渲染到模板图像中的每一个中。
37.在一些实施方式中，可以从大的图像语料库中手动或自动地选择一组模板图像，以提供指示用于给定主题的变化的场景或特征的代表性图像的代表性模板图像分组。例如，主题可以是房间、街区、面部等。
38.本文公开的系统和方法可以用于向用户提供个性化广告。例如，可以存储用户的
偏好。存储的偏好可以定制所提供的产品广告，以在用户的优选模板图像上渲染广告产品。
39.在一些实施方式中，增强现实资产可以由产品品牌管理、生成和/或再现。数字化参数可以取自第三方公司。在一些实施方式中，数字化参数可以从第三方渲染引擎提取或者从提供的模板导出以用于增强现实渲染效果生成。
40.此外，可以手动或自动调整感知模型以提供优化的网格。调整可以对照明或变化的图像质量作出反应。平台可以提供预览以帮助修改增强现实模型。在一些实施方式中，平台可以包括用于检索图像的流水线。
41.预渲染图像可以包括标签以索引所渲染的产品。
42.在一些实施方式中，索引产品可以包括用于产品和产品颜色的统一命名过程，以获得更好的搜索结果。平台可以包括可以将增强现实资产与某些语义或词汇(lexographic)实体相关的数据结构。数据结构可以帮助理解搜索查询以创建产品映射。
43.在一些实施方式中，预渲染图像可以被提供为供用户滚动通过的转盘(carousel)。可替代地，可以在转盘中提供具有不同产品渲染但相同模板图像的变化的预渲染图像以用于个性化预览。此外，在一些实施方式中，转盘可以包括用于向用户提供增强现实渲染体验的虚拟“试穿”面板，该增强现实渲染体验处理用户的数据以提供用户增强图像或视频。
44.在一些实施方式中，增强现实平台可以经由用于数据资产获取的系统和方法来检索用于渲染增强现实效果的数据资产。用于数据资产获取的系统和方法可以涉及一个或多个系统或设备。第一计算设备可以是服务器、促进计算设备或中间计算设备。第二计算设备可以是第三方计算设备。第三方可以是视频游戏公司、产品制造商或产品品牌。第一计算设备和第二计算设备可以交换数据以为用户生成增强现实渲染体验。增强现实渲染体验可以包括渲染包括一个或多个产品或物品的增强现实视图。产品可以是化妆品(例如，唇膏、眼影等)、家具或其他家庭用品(例如，电子设备、炊具、玻璃器具、装饰品、植物等)、服装、颜料、汽车、各种电子产品或任何其他物品。
45.数据资产获取可以包括第一计算设备向第二计算设备发送软件开发工具包。软件开发工具包可以包括用于构建渲染效果着色器的模板。软件开发工具包可以包括示例效果、用于构建渲染效果的工具、以及用于帮助构建增强现实渲染的预览模式。第二计算设备可以用于构建渲染效果，并且一旦渲染效果被构建，第二计算设备就可以将构建的渲染效果数据导出到可渲染压缩文件(例如，.zip文件)中，该可渲染压缩文件可以包括重新创建渲染效果所需的数据资产。然后可以将数据资产发送到第一计算设备。第一计算设备在接收到数据资产时可以存储数据资产以供在提供给用户的增强现实渲染体验中使用。可以向用户提供所提供的增强现实渲染体验，其中用户可以输入他们的用户数据以进行处理，并且输出可以是包括在第二计算设备上构建的渲染效果的增强用户数据。用户数据可以是由用户设备捕获的图像数据或视频数据。在一些实施方式中，用户数据可以是实况相机馈送。
46.此外，在一些实施方式中，系统和方法可以用作视觉兼容性计算器。例如，所述系统和方法可以用于确保某个产品或部件将适合期望的空间或位置。所述系统和方法可以用于使用虚拟现实虚拟地测试产品的测量/大小。第三方可以提供数据资产，所述数据资产可以包括描述产品的测量的数据。然后，数据资产可以用于向用户提供增强现实渲染体验，其中产品根据由第三方提供的测量来渲染。该方面可以允许消费者“试穿”产品以使产品可能
占据的空间可视化。
47.本公开的系统和方法提供了许多技术效果和益处。作为一个示例，系统和方法可以使用一组模板图像和增强现实体验来生成一组预渲染图像。所述系统和方法还可以用于为消费者提供产品在变化模板上的预渲染图像。此外，该系统和方法可以使消费者能够查看满足消费者偏好的模板上的预渲染增强现实渲染。
48.本公开的系统和方法的另一技术益处是当增强现实实时试穿体验不理想时提供匹配消费者购物偏好的“试穿”图像的能力。
49.现在参考附图，将更详细地讨论本公开的示例实施例。
50.示例设备和系统
51.图1a描绘了根据本公开的示例实施例的执行预渲染的示例计算系统100的框图。系统100包括通过网络180通信地耦接的用户计算设备102、服务器计算系统130和训练计算系统150。
52.用户计算设备102可以是任何类型的计算设备，诸如例如个人计算设备(例如，膝上型计算机或台式计算机)、移动计算设备(例如，智能电话或平板计算机)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备或任何其他类型的计算设备。
53.用户计算设备102包括一个或多个处理器112和存储器114。一个或多个处理器112可以是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器114可以包括一个或多个非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器114可以存储由处理器112执行以使用户计算设备102执行操作的指令118和数据116。
54.在一些实施方式中，用户计算设备102可以存储或包括一个或多个增强现实模型120或增强现实模型。例如，增强现实模型120可以是各种机器学习模型或可以以其他方式包括各种机器学习模型，诸如神经网络(例如，深度神经网络)或其他类型的机器学习模型，包括非线性模型和/或线性模型。神经网络可以包括前馈神经网络、循环(recurrent)神经网络(例如，长短期记忆循环神经网络)、卷积神经网络或其他形式的神经网络。参考图5-9讨论示例增强现实渲染模型120。
55.在一些实施方式中，一个或多个增强现实渲染模型120可以通过网络180从服务器计算系统130接收，存储在用户计算设备存储器114中，然后由一个或多个处理器112使用或以其他方式实现。在一些实施方式中，用户计算设备102可以实现单个增强现实渲染模型120的多个并行实例。
56.更具体地，增强现实渲染模型可以利用感知模型和渲染模型来将增强现实渲染渲染到模板图像中。感知模型可以是存储在平台上的模型，其适用于各种渲染模型。渲染模型可以由第三方使用软件开发工具包来生成。渲染模型可以在由第三方构建之后被发送到平台。在一些实施方式中，平台可以从第三方接收用于渲染模型的数据资产。
57.模板图像可以由增强现实渲染模型处理，其中感知模型基于模板图像的处理生成网格和分割掩模，并且渲染模型可以处理模板图像、网格和分割掩模以生成预渲染图像。
58.附加地或可替代地，一个或多个增强现实渲染模型140可以被包括在服务器计算系统130中或以其他方式由服务器计算系统130存储和实现，所述服务器计算系统130根据客户端-服务器关系与用户计算设备102通信。例如，增强现实渲染模型140可以由服务器计
算系统140实现为web服务(例如，预渲染试穿服务)的一部分。因此，可以在用户计算设备102处存储和实现一个或多个模型120和/或可以在服务器计算系统130处存储和实现一个或多个模型140。
59.用户计算设备102还可以包括接收用户输入的一个或多个用户输入组件122。例如，用户输入组件122可以是对用户输入对象(例如，手指或触笔)的触摸敏感的触敏组件(例如，触敏显示屏或触摸板)。触敏组件可以用于实现虚拟键盘。其他示例用户输入组件包括麦克风、传统键盘或用户可以通过其提供用户输入的其他部件。
60.服务器计算系统130包括一个或多个处理器132和存储器134。一个或多个处理器132可以是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器134可以包括一个或多个非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器134可以存储由处理器132执行以使服务器计算系统130执行操作的指令138和数据136。
61.在一些实施方式中，服务器计算系统130包括一个或多个服务器计算设备或以其他方式由一个或多个服务器计算设备实现。在服务器计算系统130包括多个服务器计算设备的实例中，这样的服务器计算设备可以根据顺序计算架构、并行计算架构或其某种组合来操作。
62.如上所述，服务器计算系统130可以存储或以其他方式包括一个或多个机器学习增强现实渲染模型140。例如，模型140可以是或可以以其他方式包括各种机器学习模型。示例机器学习模型包括神经网络或其他多层非线性模型。示例神经网络包括前馈神经网络、深度神经网络、循环神经网络和卷积神经网络。参考图5-9讨论示例模型140。
63.用户计算设备102和/或服务器计算系统130可以经由与通过网络180通信地耦接的训练计算系统150的交互来训练模型120和/或140。训练计算系统150可以与服务器计算系统130分离，或者可以是服务器计算系统130的一部分。
64.训练计算系统150包括一个或多个处理器152和存储器154。一个或多个处理器152可以是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器154可以包括一个或多个非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器154可以存储由处理器152执行以使训练计算系统150执行操作的指令158和数据156。在一些实施方式中，训练计算系统150包括一个或多个服务器计算设备或以其他方式由一个或多个服务器计算设备实现。
65.训练计算系统150可以包括模型训练器160，模型训练器160使用各种训练或学习技术(诸如例如，误差的反向传播)来训练存储在用户计算设备102和/或服务器计算系统130处的机器学习模型120和/或140。例如，损失函数可以通过(多个)模型反向传播以更新(多个)模型的一个或多个参数(例如，基于损失函数的梯度)。可以使用各种损失函数，诸如均方误差、似然损失、交叉熵损失、铰链损失和/或各种其他损失函数。梯度下降技术可以用于在多个训练迭代上迭代地更新参数。
66.在一些实施方式中，执行误差的反向传播可以包括执行截断的通过时间的反向传播。模型训练器160可以执行数种泛化技术(例如，权重衰减、丢弃(dropout)等)以改善正被
训练的模型的泛化能力。
67.特别地，模型训练器160可以基于一组训练数据162来训练增强现实模型120和/或140。训练数据162可以包括例如由第三方利用软件开发工具包构建的着色器，其中第三方从促进计算设备或服务器计算系统130接收软件开发工具包。第三方可能已经通过利用软件开发工具包构建和测试增强现实体验生成了着色器和数据资产。
68.在一些实施方式中，如果用户已经提供同意，则训练示例可以由用户计算设备102提供。因此，在这样的实施方式中，提供给用户计算设备102的模型120可以由训练计算系统150在从用户计算设备102接收的用户特定数据上训练。在一些情况下，该过程可以被称为使模型个性化。
69.在一些实施方式中，可以使用模板图像来训练增强现实模型的感知模型和渲染模型。模板图像可以是来自作为预渲染图像提供给用户的模板图像语料库的图像，或者在一些实施方式中，训练模板图像可以是仅用于训练的不同组模板图像。
70.模型训练器160包括被用来提供期望功能的计算机逻辑。模型训练器160可以在硬件、固件和/或控制通用处理器的软件中实现。例如，在一些实施方式中，模型训练器160包括存储在存储设备上、加载到存储器中并由一个或多个处理器执行的程序文件。在其他实施方式中，模型训练器160包括存储在有形计算机可读存储介质(诸如ram硬盘或光学或磁性介质)中的一组或多组计算机可执行指令。
71.网络180可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合，并且可以包括任何数量的有线或无线链路。通常，通过网络180的通信可以使用各种各样的通信协议(例如，tcp/ip、http、smtp、ftp)、编码或格式(例如，html、xml)和/或保护方案(例如，vpn、安全http、ssl)经由任何类型的有线和/或无线连接来承载。
72.本说明书中描述的机器学习模型可以用于各种任务、应用和/或用例中。
73.在一些实施方式中，对本公开的(多个)机器学习模型的输入可以是图像数据。(多个)机器学习模型可以处理图像数据以生成输出。作为示例，(多个)机器学习模型可以处理图像数据以生成图像识别输出(例如，图像数据的识别、图像数据的潜在嵌入、图像数据的编码表示、图像数据的散列等)。作为另一示例，(多个)机器学习模型可以处理图像数据以生成图像分割输出。作为另一示例，(多个)机器学习模型可以处理图像数据以生成图像分类输出。作为另一示例，(多个)机器学习模型可以处理图像数据以生成图像数据修改输出(例如，图像数据的变更等)。作为另一示例，(多个)机器学习模型可以处理图像数据以生成编码图像数据输出(例如，图像数据的编码和/或压缩表示等)。作为另一示例，(多个)机器学习模型可以处理图像数据以生成放大的(upscale)图像数据输出。作为另一示例，(多个)机器学习模型可以处理图像数据以生成预测输出。
74.在一些实施方式中，对本公开的(多个)机器学习模型的输入可以是文本或自然语言数据。(多个)机器学习模型可以处理文本或自然语言数据以生成输出。作为示例，(多个)机器学习模型可以处理自然语言数据以生成语言编码输出。作为另一示例，(多个)机器学习模型可以处理文本或自然语言数据以生成潜在文本嵌入输出。作为另一示例，(多个)机器学习模型可以处理文本或自然语言数据以生成翻译输出。作为另一示例，(多个)机器学习模型可以处理文本或自然语言数据以生成分类输出。作为另一示例，(多个)机器学习模
型可以处理文本或自然语言数据以生成文本分割输出。作为另一示例，(多个)机器学习模型可以处理文本或自然语言数据以生成语义意图输出。作为另一示例，(多个)机器学习模型可以处理文本或自然语言数据以生成放大的文本或自然语言输出(例如，质量高于输入文本或自然语言的文本或自然语言数据等)。作为另一示例，(多个)机器学习模型可以处理文本或自然语言数据以生成预测输出。
75.在一些实施方式中，对本公开的(多个)机器学习模型的输入可以是潜在编码数据(例如，输入的潜在空间表示等)。(多个)机器学习模型可以处理潜在编码数据以生成输出。作为示例，(多个)机器学习模型可以处理潜在编码数据以生成识别输出。作为另一示例，(多个)机器学习模型可以处理潜在编码数据以生成重构输出。作为另一示例，(多个)机器学习模型可以处理潜在编码数据以生成搜索输出。作为另一示例，(多个)机器学习模型可以处理潜在编码数据以生成重新聚类输出。作为另一示例，(多个)机器学习模型可以处理潜在编码数据以生成预测输出。
76.在一些实施方式中，对本公开的(多个)机器学习模型的输入可以是传感器数据。(多个)机器学习模型可以处理传感器数据以生成输出。作为示例，(多个)机器学习模型可以处理传感器数据以生成识别输出。作为另一示例，(多个)机器学习模型可以处理传感器数据以生成预测输出。作为另一示例，(多个)机器学习模型可以处理传感器数据以生成分类输出。作为另一示例，(多个)机器学习模型可以处理传感器数据以生成分割输出。作为另一示例，(多个)机器学习模型可以处理传感器数据以生成分割输出。作为另一示例，(多个)机器学习模型可以处理传感器数据以生成可视化输出。作为另一示例，(多个)机器学习模型可以处理传感器数据以生成诊断输出。作为另一示例，(多个)机器学习模型可以处理传感器数据以生成检测输出。
77.在一些情况下，(多个)机器学习模型可以被配置为执行包括对输入数据进行编码以用于可靠和/或有效的传输或存储(和/或对应解码)的任务。在另一示例中，输入包括视觉数据(例如，一个或多个图像或视频)，输出包括压缩视觉数据，并且任务是视觉数据压缩任务。在另一示例中，任务可以包括生成输入数据(例如，视觉数据)的嵌入。
78.在一些情况下，输入包括视觉数据，并且任务是计算机视觉任务。在一些情况下，输入包括一个或多个图像的像素数据，并且任务是图像处理任务。例如，图像处理任务可以是图像分类，其中输出是一组分数，每个分数对应于不同对象类并且表示一个或多个图像描绘属于该对象类的对象的可能性。图像处理任务可以是对象检测，其中图像处理输出识别一个或多个图像中的一个或多个区域以及针对每个区域该区域描绘感兴趣对象的可能性。作为另一示例，图像处理任务可以是图像分割，其中图像处理输出针对一个或多个图像中的每个像素定义预定组类别中的每个类别的相应可能性。例如，该组类别可以是前景和背景。作为另一示例，该组类别可以是对象类。作为另一示例，图像处理任务可以是深度估计，其中图像处理输出针对一个或多个图像中的每个像素定义相应的深度值。作为另一示例，图像处理任务可以是运动估计，其中网络输入包括多个图像，并且图像处理输出针对输入图像之一的每个像素定义在网络输入中的图像之间的像素处描绘的场景的运动。
79.图1a示出了可以用于实现本公开的一个示例计算系统。也可以使用其他计算系统。例如，在一些实施方式中，用户计算设备102可以包括模型训练器160和训练数据集162。在这样的实施方式中，模型120可以在用户计算设备102处本地训练和使用。在一些这样的
实施方式中，用户计算设备102可以实现模型训练器160以基于用户特定的数据来使模型120个性化。
80.图1b描绘了根据本公开的示例实施例执行的示例计算设备10的框图。计算设备10可以是用户计算设备或服务器计算设备。
81.计算设备10包括数个应用(例如，应用1至应用n)。每个应用包含其自己的机器学习库和(多个)机器学习模型。例如，每个应用可以包括机器学习模型。示例应用包括文本消息传送应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。
82.如图1b所示，每个应用可以与计算设备的数个其他组件通信，其他组件诸如例如为一个或多个传感器、上下文管理器、设备状态组件和/或附加组件。在一些实施方式中，每个应用可以使用api(例如，公共api)与每个设备组件通信。在一些实施方式中，由每个应用使用的api特定于该应用。
83.图1c描绘了根据本公开的示例实施例执行的示例计算设备50的框图。计算设备50可以是用户计算设备或服务器计算设备。
84.计算设备50包括数个应用(例如，应用1至应用n)。每个应用与中央智能层通信。示例应用包括文本消息传送应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。在一些实施方式中，每个应用可以使用api(例如，跨所有应用的公共api)与中央智能层(以及存储在其中的(多个)模型)通信。
85.中央智能层包括数个机器学习模型。例如，如图1c所示，可以针对每个应用提供相应的机器学习模型(例如，模型)并由中央智能层管理该模型。在其他实施方式中，两个或更多个应用可以共享单个机器学习模型。例如，在一些实施方式中，中央智能层可以针对所有应用提供单个模型(例如，单个模型)。在一些实施方式中，中央智能层被包括在计算设备50的操作系统内或以其他方式由计算设备50的操作系统实现。
86.中央智能层可以与中央设备数据层通信。中央设备数据层可以是用于计算设备50的数据的集中式储存库。如图1c所示，中央设备数据层可以与计算设备的数个其他组件通信，其他组件诸如例如为一个或多个传感器、上下文管理器、设备状态组件和/或附加组件。在一些实施方式中，中央设备数据层可以使用api(例如，私有api)与每个设备组件通信。
87.示例模型布置
88.图2描绘了根据本公开的示例实施例的示例实施方式200的框图。在一些实施方式中，示例实施方式200包括描述搜索查询的结果的搜索结果列表204，并且作为接收到搜索结果列表204的结果，提供作为增强现实预渲染图像的预渲染图像208，所述增强现实预渲染图像包括来自搜索结果列表204的结果206中的一个或多个的所得产品的渲染。因此，在一些实施方式中，示例实施方式200可以包括可操作以接收搜索查询输入的搜索查询输入区域202。
89.图2的示例实施方式描绘了搜索引擎web服务210。搜索引擎输入区域202可以获取可以包括一个或多个搜索项的搜索查询。平台可以获取并处理搜索查询以提供搜索结果列表204。一个或多个搜索项可以涉及要购买的产品。在这些实施方式中，搜索结果列表204可以是与搜索项相关的一个或多个产品。在一些实施方式中，来自搜索结果列表204的结果206中的一个或多个可以包括与结果206相关联的一个或多个预渲染图像208。在一些实施方式中，预渲染图像208可以包括对应结果206的渲染。在一些实施方式中，用户可以进一步
选择虚拟实况试穿增强现实体验。
90.图3描绘了根据本公开的示例实施例的示例实施方式300的框图。示例实施方式300类似于图2的示例实施方式200，除了示例实施方式300进一步描绘了示例结果。
91.图3描绘了作为家具试穿体验的示例实施方式300。例如，如实施方式300中所示，产品302可以被渲染到模板环境中以生成预渲染图像。在该示例中，双人沙发304、电视306和地毯308是示例房间的模板图像的一部分。模板图像可以是可以被处理以生成多个预渲染图像的多个模板图像之一。在该示例中，多个预渲染图像可以包括在相应的模板图像中的每一个中对产品302的渲染。模板图像可以具有变化的大小、主题和配置。例如，该示例预渲染图像包括双人沙发304对面的电视306，其间具有地毯308。在一些实施方式中，平台可以允许用户查看在模板图像中的各种位置渲染的产品。
92.图4描绘了根据本公开的示例实施例的示例实施方式400的框图。示例实施方式400类似于图2的示例实施方式200，除了示例实施方式400进一步描绘了移动应用中的示例实施方式。
93.在图4中描绘的示例实施方式中，通过移动设备402上的移动应用中的用户界面来访问平台。用户可以使用移动设备来访问移动应用，其中用户可以存储偏好并访问预渲染图像库。例如，用户可能具有对用户选择的某个起居室模板图像408的偏好。用户可能已经将该模板图像408选择为与用户的起居室最接近的匹配。模板图像408可以包括与在用户家中找到的类似的沙发404和类似的灯406。模板图像408以及其他多个模板图像可以已经被处理以生成用于各种家具和装饰产品的各种预渲染图像。平台在移动应用的帮助下可以提供渲染到用户的优选模板图像408中的各种装饰或家具产品，以帮助用户他们的购物体验。例如，用户可以使用移动应用来查看某个地毯在与他们的起居室中的设置类似的沙发404和灯406下方将看起来如何。
94.图5描绘了根据本公开的示例实施例的示例平台500的框图。在一些实施方式中，平台500被训练为接收请求和描述用户特定偏好的偏好506，并且作为接收到偏好506的结果，提供输出数据，该输出数据包括在与用户特定偏好506相关的模板图像上的增强现实渲染的预渲染图像。因此，在一些实施方式中，平台500可以包括目录510，目录510可操作以存储模板图像、增强现实数据资产和预渲染图像。
95.图5的示例平台包括预渲染图像的目录510和用户502。用户可以具有由用户选择的设置504，其可以包括偏好506。在一些实施方式中，偏好506可以包括与模板图像相关的选择的偏好。当请求做出时，偏好506可以用于确定可以从多个预渲染图像中向用户提供什么预渲染图像。例如，与第一模板图像相关的偏好可以使平台提供包括渲染到第一模板图像中的产品的预渲染图像。
96.目录510可以存储模板图像、增强现实资产和预渲染图像。模板图像可以是用于各种环境的模板图像，包括但不限于房间、院子、车道和面部。增强现实资产可以用于渲染各种对象和产品，包括但不限于家具、装饰、植物、电子产品、汽车和化妆品。在一些实施方式中，预渲染图像可以包括渲染到模板图像中的产品，其中产品可以基于增强现实资产来渲染。
97.在一些实施方式中，平台可以存储在各种环境中的各种不同产品的预渲染图像。例如，数据集1可以包括各种起居室中的灯的各种预渲染图像512。数据集2可以包括面部上
的唇膏的多个预渲染图像514。数据集3可以包括院子中的树的多个预渲染图像516。在一些实施方式中，用户可以使用由web服务、移动应用或自助服务终端提供的用户界面来访问预渲染图像以帮助购物。
98.图9描绘了根据本公开的示例实施例的示例增强平台900的框图。在一些实施方式中，增强平台900被训练以接收描述用户请求的一组输入数据，并且作为接收到输入数据的结果，提供包括模板图像中的预渲染渲染的输出数据。因此，在一些实施方式中，增强平台900可以包括增强现实预渲染平台920，其可操作以与用户设备交互并实现增强现实预渲染体验。
99.图9中描绘的增强现实预渲染平台920包括用于允许用户交互的用户界面922、用于处理的模板库924、用于处理模板图像的渲染引擎926、以及存储通过处理模板图像而生成的预渲染图像的预渲染库928。
100.在一些实施方式中，增强现实预渲染平台920可以从用户计算设备910接收用户偏好912。用户偏好912可以用于确定从预渲染库928向用户计算设备910提供多个预渲染图像中的哪一个。
101.在一些实施方式中，增强现实预渲染平台920可以提供用于增强现实实况试穿体验的选项。体验可以涉及由渲染引擎926处理用户媒体数据或用户相机馈送914以生成用户提供的数据中的渲染。
102.示例方法
103.图6描绘了用于根据本公开的示例实施例执行的示例方法的流程图。尽管出于说明和讨论的目的，图6描绘了以特定顺序执行的步骤，但是本公开的方法不限于具体示出的顺序或布置。在不脱离本公开的范围的情况下，可以以各种方式省略、重新排列、组合和/或适配方法600的各个步骤。
104.在602处，计算系统可以获得多个模板图像。在一些实施方式中，模板图像可以包括房间图像、面部图像或院子图像。多个模板图像可以包括变化环境的图像。例如，多个模板图像可以包括各种不同的房间大小、配置、主题、照明或颜色。
105.在604处，计算系统可以利用增强现实渲染模型来处理多个模板图像。增强现实渲染模型可以包括对象跟踪和渲染。利用增强现实渲染模型处理模板图像可以生成多个预渲染图像。多个预渲染图像可以包括在多个模板图像中的每一个内渲染的增强现实渲染。增强现实渲染可以描述产品。增强现实渲染模型可以至少部分地基于由第三方提供的数据资产，其中数据资产由第三方通过构建在图像和视频中渲染产品的增强现实渲染体验来生成。例如，被渲染的产品可以是家具(例如，沙发、椅子、桌子等)。多个预渲染图像可以包括被渲染到多个不同模板图像中的特定沙发，所述多个不同模板图像描绘具有不同大小、颜色、主题和配置的各种不同房间。在另一示例中，产品可以是化妆产品(例如，唇膏、睫毛膏、粉底、眼线膏、眼影等)。在该实施方式中，多个预渲染图像可以包括化妆产品(诸如唇膏)的渲染。在该实施方式中，可以在多个模板面部图像上渲染唇膏。
106.在一些实施方式中，利用增强现实渲染模型的处理可以包括利用感知模型处理多个模板图像以生成网格和分割掩模，然后利用渲染模型处理网格、分割掩模和模板图像以生成多个预渲染图像。
107.在606处，计算系统可以接收对结果图像的请求和偏好。该请求可以包括输入到搜
索引擎中的搜索项。在一些实施方式中，偏好可以包括预先选择的模板。
108.在608处，计算系统可以提供预渲染结果。预渲染结果可以至少部分地基于请求和偏好。预渲染结果可以是来自多个预渲染图像的预渲染图像。在一些实施方式中，预渲染结果可以是与偏好匹配的预渲染图像，其中偏好可以包括由用户从多个模板图像中选择的模板。
109.在一些实施方式中，计算机系统可以提供增强现实体验。当接收到去往增强现实体验的选择时，可以提供增强现实体验。
110.图7描绘了用于根据本公开的示例实施例执行的示例方法的流程图。尽管出于说明和讨论的目的，图7描绘了以特定顺序执行的步骤，但是本公开的方法不限于具体示出的顺序或布置。在不脱离本公开内容的范围的情况下，可以以各种方式省略、重新排列、组合和/或适配方法700的各个步骤。
111.在702处，计算系统可以获得增强现实资产。增强现实资产可以包括数字化参数。
112.在704处，计算系统可以获得多个模板图像。
113.在706处，计算系统可以利用增强现实模型处理多个模板图像以生成多个预渲染图像。可以至少部分地基于数字化参数来生成多个预渲染图像。在一些实施方式中，计算机系统可以至少部分地基于多个模板图像来生成多个模板模型。然后，增强现实模型可以处理多个模板模型以生成多个预渲染图像。
114.在一些实施方式中，计算系统可以包括接收输入以修改多个模板模型中的模板模型。可以至少部分地基于模板来修改模板模型。在一些实施方式中，可以提供模板模型以供显示。
115.在708处，计算系统可以存储多个预渲染图像。在一些实施方式中，多个预渲染图像可以存储在服务器上。
116.计算系统可以向用户提供存储的预渲染图像。在一些实施方式中，计算系统可以接收包括一个或多个搜索项的搜索查询，其中一个或多个搜索项与产品相关。然后，计算系统可以提供搜索结果，其中搜索结果包括来自多个预渲染图像的预渲染图像。在一些实施方式中，预渲染图像可以包括产品的渲染。
117.在一些实施方式中，计算系统可以提供到实时增强现实体验的链接。
118.图8描绘了用于根据本公开的示例实施例执行的示例方法的流程图。尽管出于说明和讨论的目的，图8描绘了以特定顺序执行的步骤，但是本公开的方法不限于具体示出的顺序或布置。在不脱离本公开的范围的情况下，可以以各种方式省略、重新排列、组合和/或适配方法800的各个步骤。
119.在802处，计算系统可以获得增强现实资产。增强现实资产可以包括数字化参数。
120.在804处，计算系统可以获得多个模板图像。
121.在806处，计算系统可以利用增强现实模型处理多个模板图像以生成多个预渲染图像。增强现实模型可以至少部分地基于数字化参数来生成多个预渲染图像。
122.在808处，计算系统可以存储多个预渲染图像。
123.在810处，计算系统可以接收搜索查询。搜索查询可以包括一个或多个搜索项，其中一个或多个搜索项与产品相关。
124.在812处，计算系统可以提供搜索结果。搜索结果可以包括来自从服务器检索的多
个预渲染图像的预渲染图像，其中预渲染图像可以包括产品的渲染。
125.附加公开
126.本文讨论的技术参考服务器、数据库、软件应用和其他基于计算机的系统，以及所采取的动作和发送到这些系统和从这些系统发送的信息。基于计算机的系统的固有灵活性允许在组件之间和之中的任务和功能的各种可能的配置、组合和划分。例如，本文讨论的过程可以使用单个设备或组件或组合工作的多个设备或组件来实现。数据库和应用可以在单个系统上实现或者跨多个系统分布。分布式组件可以顺序地或并行地操作。
127.虽然已经关于本主题的各种具体示例实施例详细描述了本主题，但是每个示例是通过解释而不是限制本公开的方式提供的。在获得对前述内容的理解后，本领域技术人员可以容易地产生对这些实施例的更改、变化和等同物。因此，本主题公开不排除包括对本主题的这样的修改、变化和/或添加，这对于本领域普通技术人员来说将是显而易见的。例如，作为一个实施例的一部分示出或描述的特征可以与另一个实施例一起使用以产生又一个实施例。因此，本公开旨在覆盖这样的更改、变化和等同物。

技术特征：
1.一种用于提供预渲染增强图像的计算机实现的方法，所述方法包括：由计算设备获得多个模板图像；由计算设备利用增强现实渲染模型处理多个模板图像以生成多个预渲染图像；由计算设备接收对结果图像的请求和偏好；以及由计算设备至少部分地基于请求和偏好来提供预渲染结果，其中，所述预渲染结果是来自多个预渲染图像的预渲染图像。2.根据任一前述权利要求所述的计算机实现的方法，其中，所述多个模板图像包括多个房间图像。3.根据任一前述权利要求所述的计算机实现的方法，其中，所述多个预渲染图像包括多个渲染家具图像。4.根据任一前述权利要求所述的计算机实现的方法，其中，所述多个模板图像包括多个面部图像。5.根据任一前述权利要求所述的计算机实现的方法，其中，所述多个预渲染图像包括多个渲染化妆图像。6.根据任一前述权利要求所述的计算机实现的方法，其中，所述增强现实渲染模型包括感知模型和渲染模型。7.根据任一前述权利要求所述的计算机实现的方法，其中，所述请求包括输入到搜索引擎中的搜索项。8.根据任一前述权利要求所述的计算机实现的方法，其中，所述偏好包括预先选择的模板。9.根据任一前述权利要求所述的计算机实现的方法，其中，所述预渲染结果是与偏好匹配的预渲染图像，其中，所述偏好包括由用户从多个模板图像中选择的模板。10.根据任一前述权利要求所述的计算机实现的方法，还包括：由计算设备提供增强现实渲染体验。11.一种计算系统，包括：一个或多个处理器；一个或多个非暂时性计算机可读介质，其共同地存储指令，所述指令在由所述一个或多个处理器执行时使计算系统执行操作，所述操作包括：获得增强现实资产，其中，所述增强现实资产包括数字化参数；获得多个模板图像；利用增强现实模型来处理所述多个模板图像，以至少部分地基于数字化参数来生成多个预渲染图像；以及存储多个预渲染图像。12.根据任一前述权利要求所述的计算系统，还包括：至少部分地基于所述多个模板图像生成多个模板模型，其中，所述增强现实模型处理所述多个模板模型。13.根据任一前述权利要求所述的计算系统，还包括：接收输入以修改所述多个模板模型中的模板模型；以及至少部分地基于输入来修改模板模型。14.根据任一前述权利要求所述的计算系统，还包括：提供所述多个模板模型中的模板
模型以用于显示。15.根据任一前述权利要求所述的计算系统，其中，存储所述多个预渲染图像包括将所述多个预渲染图像存储在服务器上。16.根据任一前述权利要求所述的计算系统，还包括：向用户提供来自所述多个预渲染图像的预渲染图像。17.根据任一前述权利要求所述的计算系统，还包括：提供到实时增强现实体验的链接。18.根据任一前述权利要求所述的计算系统，还包括：接收包括一个或多个搜索项的搜索查询，其中，所述一个或多个搜索项与产品相关；以及提供搜索结果，其中，所述搜索结果包括来自所述多个预渲染图像的预渲染图像，其中，所述预渲染图像包括产品的渲染。19.根据任一前述权利要求所述的计算系统，其中，所述增强现实资产包括描述产品的数据。20.一个或多个非暂时性计算机可读介质，其共同地存储指令，所述指令在由一个或多个处理器执行时使计算系统执行操作，所述操作包括：获得增强现实资产，其中，所述增强现实资产包括数字化参数；获得多个模板图像；利用增强现实模型来处理所述多个模板图像，以至少部分地基于数字化参数来生成多个预渲染图像；将所述多个预渲染图像存储在服务器上；接收包括一个或多个搜索项的搜索查询，其中，所述一个或多个搜索项与产品相关；以及提供搜索结果，其中，所述搜索结果包括来自从服务器检索的所述多个预渲染图像的预渲染图像，其中，所述预渲染图像包括产品的渲染。

技术总结
用于生成增强现实预渲染的系统和方法可以在不需要使用用户数据的情况下提供增强现实渲染的益处。可以使用模板图像代替用户数据来保护用户的隐私，同时使用户能够查看渲染到优选模板图像或各种模板图像上的对象或产品。优选模板图像或各种模板图像上的对象或产品。优选模板图像或各种模板图像上的对象或产品。


技术研发人员：J
受保护的技术使用者：谷歌有限责任公司
技术研发日：2022.01.07
技术公布日：2023/9/20