使用移动设备进行高效多模式输入收集的系统和方法与流程

1.本公开大体上涉及多模式输入收集。更具体地，本公开涉及用于移动设备的高效且直观的多模式输入收集。


背景技术：

2.移动通信设备(例如，智能手机等)已经成为消费者在商业和个人设置中日益重要的工具。通常，用户期望响应于时间敏感的事件而捕获和记录信息(例如，快速捕获餐厅菜单的图像、捕获事件发生时的视频等)。然而，为了这样做，传统上需要用户导航一系列耗时的用户界面和应用以发起信息的捕获(例如，导航通过锁定屏幕、打开相机应用、切换到相机应用中的视频录制模式等)。因此，期望为移动设备提供有效的多模式输入收集的系统和方法。


技术实现要素：

3.本公开的实施例的方面和优点将在下面的描述中部分阐述，或者可以从描述中了解到，或者可以通过实施例的实践了解到。
4.本公开的一个示例方面涉及一种用于移动设备的场境化输入收集和意图确定的计算机实现的方法。该方法包括由包括一个或多个计算设备的移动计算系统提供与该移动计算系统相关联的锁定屏幕界面，其中，该锁定屏幕界面包括输入收集元素，该输入收集元素被配置为在被选择时引起传感器数据的捕获。该方法包括由移动计算系统从移动计算系统的用户获得选择输入收集元素的输入信号。该方法包括响应于获得输入信号，由移动计算系统从移动计算系统的多个传感器捕获传感器数据，其中，多个传感器包括音频传感器以及前置图像传感器或后置图像传感器中的一个或两个。该方法包括由移动计算系统至少部分地基于来自多个传感器的传感器数据从多个预定义的动作元素中确定一个或多个建议的动作元素，其中，该一个或多个建议的动作元素分别指示一个或多个设备动作。该方法包括由移动计算系统在与移动计算系统相关联的显示设备处提供以在锁定屏幕界面内显示一个或多个建议的动作元素。
5.本公开的另一示例方面涉及一种移动计算系统。该移动计算系统包括一个或多个处理器。该移动计算系统包括多个传感器，该传感器包括：一个或多个图像传感器，其包括前置图像传感器、后置图像传感器或周边图像传感器中的一个或多个；以及，音频传感器。移动计算系统包括显示设备。该移动计算系统包括一个或多个有形的、非暂时性计算机可读介质，其共同存储指令，该指令当由一个或多个处理器执行时，使该一个或多个处理器执行操作。操作包括提供与移动计算系统相关联的锁定屏幕界面，其中，锁定屏幕界面包括输入收集元素，该输入收集元素被配置成在被选择时引起传感器数据的捕获。操作包括从移动计算系统的用户获得选择输入收集元素的输入信号。操作包括响应于获得输入信号，从移动计算系统的多个传感器捕获传感器数据。操作包括至少部分地基于来自多个传感器的传感器数据从多个预定义动作元素中确定一个或多个建议的动作元素，其中，一个或多个
建议的动作元素分别指示一个或多个设备动作。操作包括在显示设备处提供以锁定屏幕界面内显示一个或多个建议的动作元素。
6.本公开的另一示例方面涉及一种或多种有形的、非暂时性的计算机可读介质，其共同存储指令，该指令当由一个或多个处理器执行时使该一个或多个处理器执行操作。操作包括提供与移动计算系统相关联的锁定屏幕界面，其中，锁定屏幕界面包括输入收集元素，该输入收集元素被配置成在被选择时引起传感器数据的捕获。操作包括从移动计算系统的用户获得选择输入收集元素的输入信号。操作包括响应于获得输入信号，从移动计算系统的多个传感器捕获传感器数据，其中多个传感器包括音频传感器和前置传感器或后置传感器的一个或两个。操作包括由移动计算系统至少部分地基于来自多个传感器的传感器数据从多个预定义动作元素中确定一个或多个建议的动作元素，其中，一个或多个建议的动作元素分别指示一个或多个设备动作。操作包括在与移动计算系统相关联的显示设备处提供以在锁定屏幕界面内显示一个或多个建议的动作元素。
7.本公开的其他方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
8.参考以下描述和所附权利要求将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书并构成本说明书的一部分的附图图示了本公开的示例实施例，并且与描述一起用于解释相关原理。
附图说明
9.参考附图在说明书中阐述针对本领域普通技术人员的实施例的详细讨论，在附图中：
10.图1a描绘了根据本公开的示例实施例的执行高效输入信号收集的示例计算系统的框图。
11.图1b描绘了根据本公开的示例实施例的执行高效输入信号收集的示例计算设备的框图。
12.图1c描绘了根据本公开的示例实施例的执行机器学习动作确定模型的训练和利用的示例计算设备的框图。
13.图2描绘了根据本公开的示例实施例的示例机器学习动作确定模型的框图。
14.图3描绘了根据本公开的示例实施例的包括输入收集元素的示例锁定屏幕界面。
15.图4描绘了根据本公开的示例实施例的包括实时预览输入收集元素的示例锁定屏幕界面。
16.图5描绘了根据本公开的示例实施例的用于在锁定屏幕界面内显示一个或多个建议的动作元素的图形视图。
17.图6描绘了根据本公开的示例实施例的用于在锁定屏幕界面内捕获一时间段内的传感器数据的图形视图。
18.图7描绘了根据本公开的示例实施例的用于响应于从用户获得输入信号而显示一个或多个建议的动作元素的图形视图。
19.图8描绘了根据本公开的示例实施例的用于执行有效的多模式输入收集的示例方法的流程图。
20.跨多个附图中重复的附图标号旨在标识各种实施方式中的相同特征。
具体实施方式
21.概述
22.一般而言，本公开涉及多模式输入收集。更具体地，本公开涉及用于移动设备的高效且直观的多模式输入收集。作为示例，移动计算系统(例如，智能手机、平板电脑、可穿戴设备等)可以在与移动计算系统相关联的显示设备处显示锁定屏幕界面(例如，在授予对于应用的访问权限之前请求来自用户的交互和/或认证的初始界面等)。锁定屏幕界面可以包括输入收集元素，一旦选择该输入收集元素，该输入收集元素被配置为开始从移动计算系统的传感器捕获传感器数据。移动计算系统可以获得来自选择输入收集元素的用户的输入信号(例如，在输入收集元素的位置处提供触摸姿势、提供语音命令、以某种方式移动移动计算系统等)。响应于获得输入信号，移动计算系统可以从多个传感器(例如，音频传感器、前置图像传感器、后置图像传感器、外围图像传感器等)捕获传感器数据。基于传感器数据，可以从多个动作元素中确定一个或多个建议的动作元素(例如，使用机器学习模型等)。建议的动作元素中的每个可以指示相应的设备动作(例如，删除记录的数据、保存记录的数据、打开应用、共享记录的数据、查看记录的数据等)。一旦确定，建议的操作元素可以被显示在锁定屏幕界面内。以这种方式，用户可以近乎即时地记录多模式输入数据，因此允许用户在实时事件展开时快速有效地对其做出反应(例如，实时记录情况的视频、快速生成提醒等)。
23.更具体地，移动计算系统锁定屏幕界面可以被显示在与移动计算系统相关联的显示设备(例如，触摸屏显示设备等)处。锁定屏幕界面可以是或者否则包括在授予对移动计算系统的单独界面的访问权限之前请求来自用户的交互和/或认证的界面。更具体地，锁定屏幕界面通常可以被理解为在移动计算系统退出休息状态之后首先提供给用户的界面。作为示例，移动计算系统可以处于“休息”状态，其中，与移动计算系统相关联的显示设备不处于活跃态(例如，“休眠”模式等)。移动计算系统可以基于特定的刺激(例如，移动计算系统的特定移动、按下移动计算系统上的按钮、触摸移动计算系统的显示设备、接收针对在移动计算系统处执行的应用的通知数据等)退出休息状态，且可以激活与移动计算系统相关联的显示设备。一旦显示设备已经被激活，则可以在显示设备处显示锁定屏幕界面。
24.在其他实施方式中，锁定屏幕界面可以包括空白或非点亮屏幕。作为示例，在例如oled屏幕的情况下，设备可以打开栅极以直接从休息状态输入信号。这缩短了“唤醒”到点亮锁定屏幕界面的需要。换句话说，设备可以通过例如触摸设备的下三分之一的显示屏并立即开始讲话或使用相机录制，或两者来开始输入。
25.在一些实施方式中，锁定屏幕界面可以从用户请求认证数据(例如，指纹数据、面部识别数据、密码数据等)。附加地或替代地，在一些实施方式中，锁定屏幕界面可以从用户请求输入信号(例如，“打开屏幕”动作元素上的滑动姿势、移动计算系统的移动、按下移动计算系统的物理按钮、语音命令等)。作为示例，锁定屏幕界面可以包括认证收集元素。认证收集元素可以指示要收集的某个类型的认证数据，并且也可以指示认证数据的收集状态。例如，认证收集元素可以是代表指纹的图标(例如，覆盖在被配置为收集指纹数据的显示设备的一部分的位置上等)，并且认证收集元素可以被修改以指示认证数据是否已被收集和/
或接受(例如，在成功认证生物特征数据后，将图标从红色改变为绿色等)。
26.在一些实施方式中，可能需要用户完成认证以访问建议的动作。在其他实施方式中，可能不需要用户完成认证来访问建议的动作。提供所建议的特征作为锁定屏幕界面的一部分可以具有下述优点：锁定屏幕是在用户拿起其设备时向用户呈现的第一屏幕，并且因此在锁定屏幕中拥有此功能意味着少了一个为了访问所期望的动作/应用而要通过的屏幕。
27.锁定屏幕界面可以包括输入收集元素。输入收集元素可以被配置为在选择输入收集元素时捕获多模式传感器数据。输入收集元素可以是图标或可由用户选择的其他表示。作为示例，输入收集元素可以是当被选择时指示多模式输入收集的发起的图标。在一些实施方式中，输入收集元素可以包括或否则表示要收集的多模式传感器数据的预览。作为示例，输入收集元素可以包括或否则表示相机的图像传感器当前正在捕获什么的预览。例如，移动计算系统的后置图像传感器可以周期性地捕获图像数据(例如，每两秒、当移动移动计算系统时周期性地等等)。捕获的图像数据可以作为缩略图包含在输入收集元素内。作为另一示例，输入收集元素可以包括指示当前由移动计算系统的音频传感器捕获的音频数据的音频波形符号。以这种方式，输入收集元素可以向用户指示与输入收集元素的交互可以发起多模式数据收集，并且还可以指示在选择输入收集元素时将收集什么数据的预览(例如，图像传感器当前捕获什么的预览等)。
28.在一些实施方式中，输入收集元素可以被选择一时间段，并且可以被配置为捕获该时间段的传感器数据。作为示例，输入收集元素可以被配置为经由触摸姿势或触摸并保持姿势来被选择(例如，将手指放在输入收集元素的位置并将手指在该位置保持一时间段等)。如果经由触摸姿势被选择，则输入收集元素可以捕获对应于触摸姿势的该时刻的传感器数据，或者可以捕获预定时间量(例如，两秒、三秒等)的传感器数据。如果经由触摸并保持姿势被选择，则输入收集元素可以在提供触摸并保持姿势的时间量内捕获传感器数据(例如，只要用户触摸输入收集元素就记录视频和音频数据等)。
29.移动计算系统可以获得来自选择输入收集元素的移动计算系统的用户的输入信号。作为示例，输入信号可以是在显示设备上显示的输入收集元素的位置处的触摸姿势或触摸并保持姿势。应当注意的是，输入信号不一定需要是触摸姿势。相反，输入信号可以是来自选择输入收集元素的用户的任何类型或方式的输入信号。作为示例，输入信号可以是来自用户的语音命令。作为另一示例，输入信号可以是用户对移动计算系统的移动。作为另一示例，输入信号可以是由用户执行并由移动计算系统的图像传感器捕获的姿势(例如，在移动计算系统的前置图像传感器前面执行的手势等)。作为另一示例，输入信号可以是或者否则包括来自用户的多个输入信号。例如，输入信号可以包括移动计算系统的移动和来自用户的语音命令。
30.在一些实施方式中，收集的传感器数据的类型可以至少部分地基于从用户获得的输入信号的类型。作为示例，如果输入信号是或者否则包括触摸姿势(例如，短暂地触摸显示设备上的输入收集元素的位置等)，则输入收集元素可以使用图像传感器(例如，前置图像传感器、后置图像传感器、外围图像传感器等)来收集单个图像。如果输入信号是或否则包括触摸并保持姿势(例如，将手指放置在输入收集元素的位置处并将手指保持在该位置一时间段等)，则输入收集元素只要维持触摸并保持输入信号，就可以收集视频数据(例如，
多个图像帧)。以这种方式，输入收集元素可以为用户提供对从移动计算系统的传感器收集的输入信号的类型和/或持续时间的精确控制。
31.在一些实施方式中，可以在获得选择输入收集元素的输入信号之前收集初步传感器数据一时间段。更具体地，可以连续地收集和更新初步传感器数据(例如，图像数据等)，使得可以将在一时间段内收集的初步传感器数据附加到在选择输入收集元素之后收集的传感器数据。作为示例，移动计算系统可以在选择输入收集元素之前连续捕获最后五秒的初步图像数据。可以将五秒的初步图像数据附加到在选择输入收集元素之后收集的传感器数据。以这种方式，在实时、快速发生的事件的情况下，即使用户不够快以及时选择输入收集元素来捕获实时事件，用户也可以访问传感器数据。附加地，在一些实施方式中，输入收集元素可以包括初步传感器数据(例如，图像数据等)的至少一部分。作为示例，初步传感器数据可以包括图像数据。图像数据可以被呈现在输入收集元素内(例如，在输入收集元素的中心内描绘等)。以这种方式，输入收集元素可以充当如果用户选择输入收集元素则将收集什么图像数据的对用户的预览。
32.响应于获得输入信号，移动计算系统可以从移动计算系统的多个传感器捕获传感器数据。多个传感器可以包括移动计算系统内所包括的任何传统的或未来的传感器设备(例如，图像传感器、音频传感器、加速计、gps传感器、lidar传感器、红外传感器、环境光传感器、接近传感器、生物特征传感器、气压计、陀螺仪、nfc传感器、超声波传感器等)。作为示例，移动计算系统可以包括前置图像传感器、后置图像传感器、外围图像传感器(例如，围绕移动计算系统的边缘并垂直于前置图像传感器和后置图像传感器定位的图像传感器等)和音频传感器。响应于获得输入信号，移动计算系统可以捕获来自前置图像传感器和音频传感器的传感器数据。作为另一示例，移动计算系统可以包括音频传感器、后置图像传感器和lidar传感器。响应于获得输入信号，移动计算系统可以捕获来自后置图像传感器、音频传感器和lidar传感器的传感器数据。
33.至少部分地基于来自多个传感器的传感器数据，可以从多个预定义的动作元素确定一个或多个建议的动作元素。一个或多个动作元素可以是或否则包括可以由移动计算系统的用户选择的元素。更具体地，一个或多个建议的动作元素中的每一个可以指示相应的设备动作，并且可以被配置为在被选择时执行相应的设备动作。
34.建议的动作元素可以是可由移动计算系统的用户选择的元素。作为示例，建议的动作元素可以是显示设备上显示的界面元素(例如，触摸图标等)，并且可以由用户利用触摸姿势来选择。作为另一示例，建议的动作元素可以是或否则包括描述性文本，并且可以由用户利用语音命令来选择。作为又一示例，建议的动作元素可以是指示移动模式的图标，并且可以由用户通过利用移动计算系统复制移动模式来选择。例如，建议的动作元素可以被配置为与接近该用户的单独的用户共享数据，并且建议的动作元素可以指示“摇动”运动(例如，手抓住移动计算系统，这指示移动计算系统正在摇动等)。如果用户复制移动模式(例如，摇动移动计算系统等)，则可以将数据共享给单独的用户。
35.一个或多个建议的动作元素可以指示一个或多个相应的设备动作。设备动作可以包括可以由移动计算系统使用捕获的传感器数据执行的动作(例如，存储数据、显示数据、编辑数据、共享数据、删除数据、转录数据、向应用提供传感器数据、打开与该数据相关联的应用、基于该数据生成用于应用的指令等)。作为示例，捕获的数据可以包括图像数据。基于
图像数据，可以确定指示与第二用户共享图像数据的设备动作的建议的动作元素。为了遵循先前的示例，可以确定第二建议的动作元素，其指示打开可以利用图像数据的应用(例如，社交网络应用、照片编辑应用、消息传送应用、云存储应用等)的设备动作。作为另一示例，捕获的数据可以包括描绘场景的图像数据和音频数据。音频数据可以包括用户对于应用名称的发声。可以确定指示执行发声的应用名称的应用的设备动作的建议的动作元素。作为另一示例，捕获的数据可以包括描绘场景的图像数据和音频数据。音频数据可以包括用户对于虚拟助理命令的发声。可以确定指示向虚拟助理提供传感器数据的设备动作的建议的动作元素。作为响应，视觉助理应用可以基于传感器数据(例如，捕获的图像数据的搜索结果、捕获的音频数据中包括的查询的搜索结果等)向用户提供附加的建议的动作元素。
36.可以从多个预定义的动作元素中选择一个或多个建议的动作元素中的每一个。为了遵循先前的示例，先前描述的动作元素中的每一个可以被包括在多个预定义的动作元素中(例如，复制数据、共享数据、打开虚拟助理应用等)。基于传感器数据，可以从多个预定义的动作元素中选择一个或多个建议的动作元素。
37.可以在移动计算系统的显示设备处在锁定屏幕界面内显示一个或多个建议的动作元素。作为示例，建议的动作元素可以是或否则包括可由用户选择的图标(例如，经由显示设备处的触摸姿势等)。图标可以被显示在显示设备的锁定屏幕界面中(例如，输入收集元素上方、输入收集元素下方、输入收集元素周围等)。
38.在一些实施方式中，可以从选择一个或多个建议的动作元素中的建议的动作元素的用户获得输入信号。作为响应，移动计算系统可以执行由建议的动作元素指示的设备动作。作为示例，指示虚拟助理应用的建议的动作元素可以显示在显示设备处的锁定屏幕界面内。来自用户的输入信号可以选择建议的动作元素(例如，通过触摸姿势、语音命令、移动输入等)。移动计算系统可以执行虚拟助理应用并向虚拟助理应用提供传感器数据。应当注意，可以以与先前关于输入收集元素描述的相同或基本相似的方式来选择建议的动作元素。
39.在一些实施方式中，移动计算系统可以停止显示锁定屏幕界面，并且替代地在显示设备处显示与虚拟助理应用对应的界面。或者，在一些实施方式中，移动计算系统可以响应于向虚拟助理应用提供传感器数据来确定并显示附加的建议的动作元素。作为示例，可以响应于用户选择指示虚拟助理应用的建议的动作元素而将传感器数据提供给虚拟助理应用。虚拟助理应用可以处理传感器数据并生成输出(例如，处理描绘文本内容的图像数据并基于文本内容生成搜索结果。可以基于虚拟助理应用的输出来在锁定屏幕界面内显示一个或多个附加的建议动作元素(例如，提供指示与传感器数据相关联的映射数据的建议的动作元素等)。例如，如果传感器数据包括查询，则基于输出数据的建议的动作元素可以是或否则包括响应于该查询的结果。对于另一示例，如果传感器数据包括音频数据，则基于输出数据的建议的动作元素可以是或否则描绘音频数据的转录(例如，在锁定屏幕界面上显示的文本转录)。因此，应当广泛地理解，在一些实施方式中，建议的动作元素可以不指示可由移动计算系统执行的设备动作。相反，建议的动作元素可以是或否则描绘用于传达给用户的信息。
40.在一些实施方式中，为了确定一个或多个建议的动作元素，可以利用机器学习动作确定模型(例如，神经网络、循环神经网络、卷积神经网络、一个或多个多层感知器等)来
处理传感器数据。机器学习动作确定模型可以被配置为从多个预定义动作元素中确定一个或多个建议的动作元素。在一些实施方式中，机器学习动作确定模型可以是个性化模型，其被配置为通过至少部分地基于与用户相关联的数据训练模型(例如，至少部分地基于用户对建议的动作元素的历史选择等以无监督的方式训练模型)来确定用户最有可能期望的一个或多个建议的动作元素。作为示例，可以至少部分地基于建议的动作元素来调整机器学习动作确定模型的一个或多个参数。
41.在一些实施方式中，传感器数据可以包括描绘一个或多个对象的图像数据(例如，来自前置图像传感器、后置图像传感器、外围图像传感器等)。一个或多个建议的动作元素可以至少部分地基于一个或多个对象，该一个或多个对象可以由移动计算系统(例如，使用一个或多个机器学习的对象识别模型等)确定。作为示例，图像数据中描绘的对象可以是快餐餐厅的标志。至少部分地基于该对象，建议的动作元素可以指示执行食物配送应用以将食物配送到餐厅的设备动作。另外，可以将传感器数据(例如，或传感器数据的注释等)提供给食品配送应用，使得向食品配送应用提供关于所识别的快餐餐厅标志的信息。以这种方式，移动计算系统可以分析图像数据和/或音频数据(例如，使用一个或多个机器学习模型等)以确定建议的动作元素。
42.在一些实施方式中，确定一个或多个建议的动作元素可以包括在锁定屏幕界面内显示描述音频数据的至少一部分的文本内容。作为更具体的示例，由移动计算系统捕获的传感器数据可以包括图像数据和包括来自用户的语音的音频数据。移动计算系统可以确定一个或多个建议的动作元素，并且还可以显示描述音频数据的至少一部分的文本内容。例如，移动计算系统可以在锁定屏幕界面内显示音频数据的至少一部分的转录。在一些实施方式中，只要用户选择输入收集元素，可以在锁定屏幕界面内实时显示转录。
43.本公开的系统和方法提供了多个技术效果和益处。作为一个示例技术效果和益处，移动设备的当前用户界面实施方式通常需要来自用户的一系列繁重、耗时的交互。此外，导航到某些应用所需的复杂性和时间可能阻止用户捕获实时事件。例如，希望快速捕获实时事件(例如，体育赛事中的某个时机等)的用户通常在打开相机应用以发起数据记录之前，需要导航通过一系列界面(例如，锁定屏幕界面、主屏幕界面等)，因此在事件发生时捕获传感器数据变得异常困难。对于另一示例，在打开应用之前导航多个用户界面的需要通常可能导致用户在他们能够访问最初期望的应用之前忘记操作他们的移动设备的最初目的，从而显著降低用户在利用设备时的效率。作为响应，本公开的系统和方法允许用户近乎瞬时地发起传感器数据的捕获，因此显著提高了用户导航其移动设备的界面的速度和效率。另外，通过显著减少在捕获传感器数据之前操作设备所需的时间，本公开的系统和方法可以显著减少在传感器数据捕获的发起中所涉及的电力、计算资源(例如cpu周期、存储器等)和电池寿命的使用。
44.现在参考附图，将更详细地讨论本公开的示例实施例。
45.示例设备和系统
46.图1a描绘了根据本公开的示例实施例的执行高效输入信号收集的示例计算系统100的框图。计算系统100包括通过网络180通信地耦合的移动计算系统102和服务器计算系统130。
47.移动计算系统102可以是任何类型的计算设备，诸如个人计算设备(例如，膝上型
或台式)、移动计算系统(例如，智能手机或平板电脑)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备或任何其他类型的计算设备。
48.移动计算系统102包括一个或多个处理器112和存储器114。一个或多个处理器112可以是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器等)并且可以是一个处理器或可操作地连接的多个处理器。存储器114可以包括一个或多个非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器114可以存储由处理器112执行以使移动计算系统102执行操作的数据116和指令118。
49.在一些实施方式中，移动计算系统102可以存储或包括一个或多个机器学习动作确定模型120。例如，机器学习动作确定模型120可以是或者可以否则包括各种机器学习模型，诸如神经网络(例如，深度神经网络)或其他类型的机器学习模型，包括非线性模型和/或线性模型。神经网络可以包括前馈神经网络、循环神经网络(例如，长短期记忆循环神经网络)、卷积神经网络或其他形式的神经网络。一些示例机器学习模型可以利用注意力机制，诸如自注意力。例如，一些示例机器学习模型可以包括多头自注意力模型(例如，变换器模型)。参考图2讨论示例机器学习动作确定模型120。
50.在一些实施方式中，一个或多个机器学习动作确定模型120可以通过网络180从服务器计算系统130接收，存储在移动计算系统存储器114中，并且然后由一个或多个处理器112使用或否则实现。在一些实施方式中，移动计算系统102可以实现单个机器学习动作确定模型120的多个并行实例(例如，以跨机器学习动作确定模型的多个实例执行并行动作确定)。
51.更具体地，在一些实施方式中，为了确定一个或多个建议的动作元素，移动计算系统102可以利用机器学习动作确定模型120(例如，神经网络、循环神经网络、卷积神经网络、一个或多个多层感知器等)来处理传感器数据。机器学习动作确定模型120可被配置为从多个预定义动作元素中确定一个或多个建议的动作元素。在一些实施方式中，机器学习动作确定模型120可以是个性化模型，其被配置为通过至少部分地基于与用户相关联的数据来训练模型120(例如，至少部分地基于用户对建议的动作元素的历史选择等以无监督的方式训练模型)来确定用户最有可能期望的一个或多个建议的动作元素。作为示例，可以至少部分地基于建议的动作元素来调整机器学习动作确定模型120的一个或多个参数。
52.移动计算系统102还可以包括接收用户输入的一个或多个用户输入组件122。例如，用户输入组件122可以是对用户输入对象(例如，手指或触笔)的触摸敏感的触敏组件(例如，触敏显示屏或触摸板)。触敏组件可用于实现虚拟键盘。其他示例用户输入组件包括麦克风、传统键盘或用户可以通过其来提供用户输入的其他装置。
53.移动计算系统102可以包括多个传感器124。作为示例，传感器124可以包括多个图像传感器(例如，前置图像传感器124a、后置图像传感器124b、外围图像传感器124c等)。例如，移动计算系统102可以是或否则包括智能手机设备，并且外围图像传感器可以是或否则包括围绕智能手机的外围定位(例如，垂直于智能手机的边缘周围的前置图像传感器124a定位)的一个或多个相机。作为另一示例，传感器124可以包括音频传感器124d(例如，麦克风等)。作为又一示例，传感器124可以包括一个或多个各种传感器124e(例如，图像传感器、音频传感器、加速计、gps传感器、lidar传感器、红外传感器、环境光传感器、接近传感器、生物特征传感器、气压计、陀螺仪、nfc传感器、超声波传感器、心跳传感器等)。应当注意，移动
计算系统102可以包括传统上在移动计算设备中利用的或由移动计算设备利用的任何传感器。
54.服务器计算系统130包括一个或多个处理器132和存储器134。一个或多个处理器132可以是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器等)并且可以是一个处理器或可操作地连接的多个处理器。存储器134可以包括一个或多个非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器134可以存储由处理器132执行以使服务器计算系统130执行操作的数据136和指令138。
55.在一些实施方式中，服务器计算系统130包括一个或多个服务器计算设备或者否则由一个或多个服务器计算设备实现。在服务器计算系统130包括多个服务器计算设备的实例中，这样的服务器计算设备可以根据顺序计算架构、并行计算架构或其某种组合来操作。
56.移动计算系统102和/或服务器计算系统130可以经由与通过网络180通信地耦合的训练计算系统150的交互来训练模型120。训练计算系统150可以与服务器计算系统130分离或者可以是服务器计算系统130的一部分。
57.训练计算系统150包括一个或多个处理器152和存储器154。一个或多个处理器152可以是任何合适的处理设备(例如，处理器核、微处理器、asic、fpga、控制器、微控制器等)并且可以是一个处理器或可操作地连接的多个处理器。存储器154可以包括一个或多个非暂时性计算机可读存储介质，诸如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器154可以存储由处理器152执行以使训练计算系统150执行操作的数据156和指令158。在一些实施方式中，训练计算系统150包括一个或多个服务器计算设备或者否则由一个或多个服务器计算设备实现。
58.训练计算系统150可以包括模型训练器160，模型训练器160使用各种训练或学习技术——诸如例如误差的向后传播——来训练存储在移动计算系统102处的机器学习模型120。例如，损失函数可以通过模型反向传播以更新模型的一个或多个参数(例如，基于损失函数的梯度)。可以使用各种损失函数，诸如均方误差、似然损失、交叉熵损失、铰链损失和/或各种其他损失函数。梯度下降技术可用于在多次训练迭代中迭代更新参数。
59.在一些实施方式中，执行误差的反向传播可以包括执行随时间的截断反向传播。模型训练器160可以执行多个泛化技术(例如，权重衰减、丢失(dropout)等)以提高正在训练的模型的泛化能力。
60.具体地，模型训练器160可以基于训练数据162的集合来训练模型120。训练数据162可以包括例如指示用户选择的过去建议的动作元素的历史用户数据。附加地或替代地，在一些实施方式中，训练数据162可以包括指示由多个用户选择的过去建议的动作元素的历史用户数据。以这种方式，机器学习动作确定模型120可以被训练以生成最有可能被服务的特定用户和/或所有用户偏好的建议的动作元素。在一些实施方式中，训练数据还包括在用户做出特定选择之前捕获的传感器数据的记录。例如，除了知道用户在特定实例中选择麦克风来记录音频数据之外，训练数据还可以指示该选择对应于做出选择时环境中存在声音。
61.在一些实施方式中，如果用户已提供了同意，则训练示例可以由移动计算系统102
提供。因此，在这样的实施方式中，可以由训练计算系统150在从移动计算系统102接收到的用户特定数据上训练提供给移动计算系统102的模型120。在一些实例中，该过程可以被称为个性化模型。
62.模型训练器160包括用于提供期望功能的计算机逻辑。可以用控制通用处理器的硬件、固件和/或软件来实现模型训练器160。例如，在一些实施方式中，模型训练器160包括存储在存储设备上、加载到存储器中并由一个或多个处理器执行的程序文件。在其他实施方式中，模型训练器160包括存储在诸如ram、硬盘、或者光或磁介质的有形计算机可读存储介质中的计算机可执行指令的一个或多个集合。
63.网络180可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合，并且可以包括任何数量的有线或无线链路。一般而言，网络180上的通信可以使用多种通信协议(例如，tcp/ip、http、smtp、ftp)、编码或格式(例如，html、xml)和/或保护方案(例如vpn、安全http、ssl)经由任何类型的有线和/或无线连接来承载。
64.图1a图示了可用于实现本公开的一个示例计算系统。也可以使用其他计算系统。例如，在一些实施方式中，移动计算系统102可以包括模型训练器160和训练数据集162。在这样的实施方式中，可以在移动计算系统102处本地训练和使用模型120。在这样的实施方式的一些中，移动计算系统102可以实现模型训练器160以基于用户特定数据来个性化模型120。同样，即使当移动或用户设备未连接到网络时也可以实现所提出的系统。例如，设备可以打开所有传感器，并通过设备上的服务将用户路由到最有用的选项。
65.图1b描绘了根据本公开的示例实施例的执行高效输入信号收集的示例计算设备10的框图。计算设备10可以是移动计算设备或服务器计算设备。
66.计算设备10包括多个应用(例如，应用1至n)。每个应用包含其自己的机器学习库和机器学习模型。例如，每个应用可以包括机器学习模型。示例应用包括文本消息传送应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。
67.如图1b所示，每个应用可以与计算设备的多个其他组件——诸如例如一个或多个传感器、场境管理器、设备状态组件和/或附加组件——通信。在一些实施方式中，每个应用可以使用api(例如，公共api)与每个设备组件通信。在一些实施方式中，每个应用使用的api是特定于该应用的。
68.图1c描绘了根据本公开的示例实施例的执行机器学习动作确定模型的训练和利用的示例计算设备50的框图。计算设备50可以是移动计算设备或服务器计算设备。
69.计算设备50包括多个应用(例如，应用1至n)。每个应用与中央智能层通信。示例应用包括文本消息传送应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。在一些实施方式中，每个应用可以使用api(例如，跨所有应用的通用api)与中央智能层(以及存储在其中的模型)通信。
70.中央智能层包括多个机器学习模型。例如，如图1c所示，可以为每个应用提供相应的机器学习模型，并由中央智能层管理相应的机器学习模型。在其他实施方式中，两个或更多个应用可以共享单个机器学习模型。例如，在一些实施方式中，中央智能层可以为所有应用提供单个模型。在一些实施方式中，中央智能层被包括在计算设备50的操作系统内或者否则由计算设备50的操作系统实现。
71.中央智能层可以与中央设备数据层通信。中央设备数据层可以是计算设备50的集
中数据存储库。如图1c所示，中央设备数据层可以与计算设备的多个其他组件——诸如例如一个或多个传感器、场境管理器、设备状态组件和/或附加组件——通信。在一些实施方式中，中央设备数据层可以使用api(例如，私有api)与每个设备组件通信。
72.示例模型布置
73.图2描绘了根据本公开的示例实施例的示例机器学习动作确定模型200的框图。在一些实施方式中，机器学习动作确定模型200被训练以接收描述多个输入信号的输入数据204的集合，并且作为接收输入数据204的结果，提供包括一个或多个建议的行动元素的输出数据206。更具体地，输入数据204可以包括或否则描述来自移动设备的多个传感器(例如，相机、麦克风、加速计等)的传感器数据。可以用机器学习动作确定模型200(例如，神经网络、循环神经网络、卷积神经网络、一个或多个多层感知器等)处理输入数据204以获得输出数据206。输出数据206可以包括来自多个预定义的动作元素的一个或多个建议的动作元素。在一些实施方式中，机器学习动作确定模型200可以是被配置为确定用户最有可能期望的一个或多个建议的动作元素的个性化模型。
74.图3描绘了根据本公开的示例实施例的包括输入收集元素302的示例锁定屏幕界面301。更具体地，锁定屏幕界面301可以被显示在与移动计算系统300相关联的显示设备(例如，触摸屏显示设备等)处。锁定屏幕界面301一般可以被理解为在移动计算系统300退出休眠状态后首先向用户提供的界面301。作为示例，移动计算系统300可以处于“休息”状态，其中，与移动计算系统300相关联的显示设备不处于激活态(例如，“睡眠”模式等)。移动计算系统300可以基于特定刺激(例如，移动计算系统300的特定移动、按下移动计算系统300上的按钮、触摸移动计算系统300的显示设备、接收用于在移动计算系统300处执行的应用的通知数据等)退出休息状态，并且可以激活与移动计算系统300相关联的显示设备。一旦显示设备已被激活，则可以在显示设备处显示锁定屏幕界面301。在一个示例中，在诸如可以显示低功率可供性的oled屏幕的某些情况下，设备可以从休息状态直接转换至捕获信号。
75.锁定屏幕界面301可以包括输入收集元素302。输入收集元素302可以被配置为当输入收集元素302被选择时捕获多模式传感器数据。输入收集元素302可以是图标或可由用户选择的其他表示。为了遵循所描绘的示例，输入收集元素302可以描绘指示输入信号的收集的图标。
76.图4描绘了根据本公开的示例实施例的包括实时预览输入收集元素402的示例锁定屏幕界面401。更具体地，锁定屏幕401可以被显示在移动计算系统400的显示设备上。锁定屏幕401可以包括输入收集元素402。输入收集元素402可以类似于图3的输入收集元素302，除了输入收集元素402可以包括或否则描绘要收集的传感器数据405(例如，图像数据等)的预览之外。例如，移动计算系统403的后置图像传感器405可以周期性地(例如，每两秒、当移动计算系统403移动时周期性地等等)捕获包括图像数据406的传感器数据。捕获的图像数据406可以被包括在输入收集元素402内或者在输入收集元素402内被描绘为缩略图。作为另一示例，输入收集元素402可以包括指示当前由移动计算系统403的音频传感器捕获的音频数据的音频波形符号。以这种方式，输入收集元素402可以向用户指示与输入收集元素的交互可以发起多模式数据收集，并且还可以指示在选择输入收集元素时将收集什么数据的预览(例如，图像传感器当前捕获什么的预览等)。
77.另外，锁定屏幕界面401可以包括认证收集元素404。认证收集元素404可以指示要收集的某种类型的认证数据，并且还可以指示认证数据的收集的状态。为了遵循所描绘的示例，认证收集元素404可以是代表指纹的图标。在一些实施方式中，认证收集元素404可以覆盖在移动计算系统403的生物特征传感器(例如，位于移动计算系统403的显示设备下方的指纹传感器等)的位置上。替代地，在一些实施方式中，认证收集元素404可以指示需要来自用户的认证数据。例如，当用户尚未提供认证数据(例如，面部识别数据、生物特征数据等)时，可以用第一颜色来描绘认证收集元素404。一旦用户提供了认证数据，可以修改认证收集元素404。例如，如果用户提供的认证数据被接受，则认证收集元素404可以改变为第二颜色，并且如果用户提供的认证数据被拒绝，则认证收集元素404可以改变为第三颜色。
78.图5描绘了根据本公开的示例实施例的用于在锁定屏幕界面501内显示一个或多个建议的动作元素的图形视图。更具体地，移动计算系统500可以包括锁定屏幕界面501，其包括输入收集元素502。移动计算系统500可以从移动计算系统500的用户获得选择输入收集元素502的输入信号504。为了遵循所描绘的示例，用户可以通过触摸输入收集元素502所位于的移动计算系统500的显示设备(例如，触摸屏)来提供触摸姿势输入信号504。
79.当移动计算系统500获得输入信号504时，可以从多个传感器收集传感器数据。为了遵循所描绘的示例，可以从移动计算系统500的后置图像传感器捕获图像数据506，并且可以由移动计算系统500的音频传感器捕获音频数据507(例如，来自用户的语音等)。在捕获传感器数据506/507之后，可以从多个预定义的动作元素中确定建议的动作元素，并且可以将建议的动作元素显示在锁定屏幕界面501内。此外，可以修改输入收集元素502以显示至少一部分捕获的传感器数据。例如，输入收集元素可以扩展并且可以描绘捕获的图像数据506的一部分。
80.一个或多个建议的动作元素(例如，508、510、512等)可以被显示在锁定屏幕界面内。可以至少部分地基于捕获的传感器数据506/507来确定这些建议的动作元素。作为示例，图像数据506可以描绘停车场。图像数据506可以被处理(例如，使用图2的机器学习动作确定模型等来处理)，并且基于图像数据506中所描绘的内容，“落针(drop pin)”建议的动作元素508可以被确定并显示在锁定屏幕界面501内。作为另一示例，音频数据507可以包括来自用户的语音命令，该语音命令指令移动计算系统500(例如，移动计算系统的虚拟助理应用等)保存提醒。基于音频数据507，“创建提醒”建议的动作元素510可以被确定并显示在锁定屏幕界面501内。作为又一示例，可以确定图像数据506(例如，使用图2的机器学习动作确定模型等)不足以确定建议的动作元素(例如，基于被模糊、裁剪、扭曲等的图像数据)。基于捕获的图像数据506的不足，可以显示建议的动作元素512，其被配置为当被用户选择时捕获附加的传感器数据。以这种方式，可以基于捕获的传感器数据506/507的内容来确定并根据场境显示建议的设备动作指示符。
81.另外，建议的动作元素514可以基于捕获的传感器数据506/507被确定并且被显示在锁定屏幕界面501内。建议的动作元素514可以至少部分地基于传感器数据506/507来打开应用。作为示例，捕获的传感器数据可以是或否则包括图像数据506。基于图像数据506的捕获，可以确定打开可以利用图像数据的应用(例如，社交网络应用、照片共享应用、视频编辑应用、云存储应用等)的建议的动作元素514。作为另一示例，捕获的图像数据506可以描绘某个店面。可以对图像数据506进行处理(例如，使用图2的机器学习动作确定模型等进行
处理)，并且基于图像数据506，可以确定打开与该店面相关联的应用(例如，与店面对应的在线购物应用等)的建议的动作元素514。作为又一示例，捕获的音频数据507可以包括来自用户的语音，其指令移动计算系统500(例如，移动计算系统500的虚拟助理应用等)打开虚拟助理应用。基于音频数据507，可以确定打开虚拟助理应用的建议的动作元素514。
82.应当注意，除了在选择时打开应用之外，建议的动作元素514还可以附加地或替代地向应用提供捕获的传感器数据506/507，和/或可以生成用于应用的指令。作为示例，当被选择时，建议的动作元素514可以生成用于应用以共享图像数据506的指令(例如，如在音频数据507中捕获的来自用户的语音等所指定的)。因此，应当理解，对建议的动作元素514的选择可以促进应用的功能(例如，通过生成指令等)，而无需导航离开锁定屏幕界面501或否则打开应用。
83.在一些实施方式中，用户界面可以包括“保存全部”，其使得用户能够将决定推迟到以后。例如，用户可以推迟使用户能够保存为提醒、视频、静止图像和/或其他选项的多个选项。这可以称为全局保存推迟。
84.图6描绘了根据本公开的示例实施例的用于在锁定屏幕界面601内捕获一时间段内的传感器数据的图形视图。更具体地，移动计算系统600可以显示锁定屏幕界面601，其可以包括输入收集元素602。移动计算系统600可以从选择输入收集元素602的用户接收输入信号604。
85.作为响应，移动计算系统600可以获得包括音频数据603和图像数据605的传感器数据。可以类似于图5的传感器数据506/507来收集传感器数据，除了输入信号604可以是在移动计算系统600的显示设备(例如，触摸屏等)处执行一时间段607的触摸姿势。例如，输入信号604可以是用户触摸输入收集元素602的位置一时间段607。在该时间段的期间，可以收集音频数据603和图像数据605。
86.在该时间段607内捕获音频数据603和图像数据605的同时，建议的动作元素显示在锁定屏幕界面601内。作为示例，当用户在一时间段内提供输入信号604时，“转录”建议的动作元素612可以被确定并显示在锁定屏幕界面601内。建议的动作元素612可以是或否则包括在音频数据603内捕获语音(例如，使用机器学习的语音识别模型等)时的语音的实时文本转录。
87.作为另一示例，当用户在一时间段内提供输入信号604时，“记录容量”建议的动作元素606可以被确定并显示在锁定屏幕界面601内。建议的动作元素606可以描绘或否则指示移动计算系统600可以捕获图像数据605的最大时间量。同时，图像数据605可以显示在锁定屏幕界面601内。以这种方式，移动计算系统600可以向用户指示用户提供输入信号604的时间段607的最大值。在用户向移动计算系统600提供输入信号604的时间段607之后，可以显示建议的动作元素610，其允许用户操纵捕获的传感器数据603/605(例如，存储传感器数据603/605的至少一部分、删除传感器数据603/605的至少一部分、显示传感器数据603/605的至少一部分、向应用提供传感器数据603/605等)。
88.图7描绘了根据本公开的示例实施例的用于响应于从用户获得输入信号703而显示一个或多个建议的动作元素的流程图。更具体地，移动计算系统700可以在移动计算系统的显示设备(例如，触摸屏设备等)内显示锁定屏幕界面701。锁定屏幕界面701可以包括如先前关于图5所描述的输入收集元素702。移动计算系统700可以获得输入信号703。为了遵
循所描绘的示例，输入信号703可以是或否则包括选择输入收集元素702的音频数据。例如，输入信号703可以是包括描述来自用户的命令的语音的音频数据，该命令被编程为激活输入收集元素702(例如，用户说“starting recording(开始记录)”等)。在一些实施方式中，输入信号703可以是包括描述来自用户的命令的语音的音频数据，该命令被编程为激活输入收集元素702一时间段(例如，用户说“record for 15seconds(记录15秒)”等)。应当注意，输入信号703被描绘为音频数据仅仅以说明本公开的示例实施例。相反，输入信号703可以是任何种类的信号或信号的合集。作为示例，输入信号703可以是指示用户对移动计算系统700的移动模式的加速计数据，该移动模式被预编程为选择输入收集元素702。因此，应当广泛地理解，输入信号703可以是或否则包括来自移动计算系统700的任何传感器和/或传感器合集的任何类型的信号数据。
89.响应于获得输入信号703，移动计算系统700可以捕获传感器数据705。为了遵循所描绘的示例，传感器数据705可以是音频数据，其包括来自用户的描述打开虚拟助理应用704的命令的语音。基于传感器数据705，移动计算系统700可以确定一个或多个建议的动作元素并将它们显示在锁定屏幕界面701内。作为示例，移动计算系统700可以确定“应用窗口”建议的动作元素718，其对应于虚拟助理应用704，并且可以在锁定屏幕界面内显示建议的动作元素718。应当注意，在一些实施方式中，建议的动作元素可以是或否则包括在锁定屏幕内显示的在其中执行应用的窗口。为了遵循所描绘的示例，可以在建议的动作元素718(例如，作为应用的窗口等)内执行虚拟助理应用704。以这种方式，用户可以从锁定屏幕直接与应用交互，从而消除导航一系列用户界面来直接打开应用的需要。另外，“应用窗口”建议的动作元素718可以包括附加建议的动作元素，其可以由用户选择以与应用704(例如，708、710、712等)交互。
90.建议的动作元素718可以包括多个附加建议的动作元素，其可以至少部分地基于传感器数据705来确定。作为示例，传感器数据705可以对应于某个音乐艺术家(例如，描绘专辑封面的图像数据、包括来自音乐艺术家的音乐的一部分的音频数据等)。作为响应，建议的动作元素708可以指示执行与虚拟助理应用704分离的音乐应用的设备动作。作为另一示例，传感器数据705可以包括指示用户位于机场的地理位置数据。作为响应，建议的动作元素710可以指示提示虚拟助理应用与乘车共享应用交互的设备动作。作为又一示例，传感器数据750可以包括指示用户偏好在当前时间呼叫家庭成员的用户历史数据。作为响应，建议的动作元素712可以对应于当被选择时向用户的家庭成员发起呼叫的动作。
91.建议的动作元素718可以包括输入收集元素702。如先前关于图4所描述的，输入收集元素702可以包括或否则描绘要收集的传感器数据的预览。另外，建议的动作元素718可以包括与输入控制设备动作对应的建议的动作元素。作为示例，建议的动作元素718可以包括指令移动计算系统700从前置图像传感器而不是后置图像传感器收集传感器数据的建议的动作元素714，或者反之亦然。作为另一示例，建议的动作元素718可以包括指令移动计算系统700从虚拟键盘应用收集附加用户输入的建议的动作元素716。以这种方式，建议的动作元素718可以包括允许用户控制移动计算系统700的各种设置或功能的附加建议的动作元素(例如，移动计算系统700(例如，wifi开关、飞行模式开关等)的各种功率操作模式、输入模式、传感器模式等)。
92.示例方法
93.图8描绘了根据本公开的示例实施例的执行的示例方法800的流程图。尽管图8出于说明和讨论的目的描绘了以特定顺序执行的步骤，但是本公开的方法不限于具体示出的顺序或布置。在不脱离本公开的范围的情况下，可以以各种方式省略、重新布置、组合和/或调整方法800的各个步骤。
94.在802处，计算系统(例如，移动计算系统、智能手机设备等)可以在包括输入收集元素的移动计算系统的显示设备处显示锁定屏幕界面。更具体地，移动计算系统可以在与移动计算系统相关联的显示设备(例如，触摸屏显示设备等)处显示锁定屏幕界面。锁定屏幕界面可以是或否则包括在授予对移动计算系统的单独界面的访问权限之前请求来自用户的交互和/或认证的界面。更具体地，锁定屏幕界面通常可以被理解为在移动计算系统退出休息状态之后首先提供给用户的界面。作为示例，移动计算系统可以处于“休息”状态，其中，与移动计算系统相关联的显示设备不处于激活态(例如，“睡眠”模式等)。移动计算系统可以基于特定的刺激(例如，移动计算系统的特定移动、按下移动计算系统上的按钮、触摸移动计算系统的显示设备、接收针对在移动计算系统处执行的应用的通知数据等)退出休息状态，且可以激活与移动计算系统相关联的显示设备。一旦显示设备被激活，则可以在显示设备处显示锁定屏幕界面。
95.在一些实施方式中，锁定屏幕界面可以从用户请求认证数据(例如，指纹数据、面部识别数据、密码数据等)。附加地或替代地，在一些实施方式中，锁定屏幕界面可以从用户请求输入信号(例如，“打开屏幕”动作元素上的滑动姿势、移动计算系统的移动、按下移动计算系统的物理按钮、语音命令等)。作为示例，锁定屏幕界面可以包括认证收集元素。认证收集元素可以指示需要收集的某个类型的认证数据，也可以指示认证数据的收集状态。例如，认证收集元素可以是代表指纹的图标(例如，覆盖在被配置为收集指纹数据的显示设备的一部分的位置上等)，并且认证收集元素可以被修改以指示是否认证数据已被收集和/或接受(例如，在成功认证生物特征数据后，将图标从红色改变为绿色等)。
96.锁定屏幕界面可以包括输入收集元素。输入收集元素可以被配置为在选择输入收集元素时捕获多模式传感器数据。输入收集元素可以是图标或可由用户选择的其他表示。作为示例，输入收集元素可以是当被选择时指示多模式输入收集的发起的图标。在一些实施方式中，输入收集元素可以包括或否则表示要收集的多模式传感器数据的预览。作为示例，输入收集元素可以包括或否则表示相机的图像传感器当前正在捕获什么的预览。例如，移动计算系统的后置图像传感器可以周期性地(例如，每两秒、当移动移动计算系统时周期性地等等)捕获图像数据。捕获的图像数据可以作为缩略图包含在输入收集元素内。作为另一示例，输入收集元素可以包括指示当前由移动计算系统的音频传感器捕获的音频数据的音频波形符号。以这种方式，输入收集元素可以向用户指示与输入收集元素的交互可以发起多模式数据收集，并且还可以指示在选择输入收集元素时将收集什么数据的预览(例如，图像传感器当前捕获什么的预览等)。
97.在一些实施方式中，输入收集元素可以被选择一时间段，并且可以被配置为捕获该时间段的传感器数据。作为示例，输入收集元素可以被配置为经由触摸姿势或触摸并保持姿势来被选择(例如，将手指放在输入收集元素的位置并将手指在该位置保持一时间段等)。如果经由触摸姿势被选择，则输入收集元素可以捕获对应于触摸姿势的该时刻的传感器数据或者可以捕获预定时间量(例如，两秒、三秒等)的传感器数据。如果经由触摸并保持
姿势被选择，则输入收集元素可以在提供触摸并保持姿势的时间量内捕获传感器数据(例如，只要用户触摸输入收集元素就记录视频和音频数据等)。
98.在804处，计算系统可以获得选择输入收集元素的输入信号。更具体地，计算系统可以获得来自选择输入收集元素的移动计算系统的用户的输入信号。作为示例，输入信号可以是在显示设备上显示的输入收集元素的位置处的触摸姿势或触摸并保持姿势。应当注意的是，输入信号不一定需要是触摸姿势。相反，输入信号可以是来自选择输入收集元素的用户的任何类型或方式的输入信号。作为示例，输入信号可以是来自用户的语音命令。作为另一示例，输入信号可以是用户对移动计算系统的移动。作为另一示例，输入信号可以是由用户执行并由移动计算系统的图像传感器捕获的姿势(例如，在移动计算系统的前置图像传感器前面执行的手势等)。作为另一示例，输入信号可以是或否则包括来自用户的多个输入信号。例如，输入信号可以包括移动计算系统的移动和来自用户的语音命令。
99.在一些实施方式中，收集的传感器数据的类型可以至少部分地基于从用户获得的输入信号的类型。作为示例，如果输入信号是或否则包括触摸姿势(例如，短暂地触摸显示设备上的输入收集元素的位置等)，则输入收集元素可以使用图像传感器(例如，前置图像传感器、后置图像传感器、外围图像传感器等)来收集单个图像。如果输入信号是或否则包括触摸并保持姿势(例如，将手指放置在输入收集元素的位置处并将手指保持在该位置一时间段等)，则输入收集元素可以针对只要保持触摸并保持输入信号来收集视频数据(例如，多个图像帧)。以这种方式，输入收集元素可以为用户提供对从移动计算系统的传感器收集的输入信号的类型和/或持续时间的精确控制。
100.在一些实施方式中，可以在获得选择输入收集元素的输入信号之前收集初步传感器数据一时间段。更具体地，可以连续地收集和更新初步传感器数据(例如，图像数据等)，使得可以将在一时间段内收集的初步传感器数据附加到在选择输入收集元素之后收集的传感器数据。作为示例，移动计算系统可以在选择输入收集元素之前连续捕获初步图像数据的最后五秒。可以将五秒的初步图像数据附加到在选择输入收集元素之后收集的传感器数据。以这种方式，在实时、快速发生的事件的情况下，即使用户不够快以及时选择输入收集元素来捕获实时事件，用户可以访问传感器数据。另外，在一些实施方式中，输入收集元素可以包括初步传感器数据(例如，图像数据等)的至少一部分。作为示例，初步传感器数据可以包括图像数据。图像数据可以呈现在输入收集元素内(例如，在输入收集元素的中心内描绘等)。以这种方式，输入收集元素可以充当用户对于如果用户要选择输入收集元素则将收集什么图像数据的预览。
101.在806处，计算系统可以从移动计算系统的多个传感器捕获传感器数据。更具体地，计算系统可以响应于获得输入信号而从移动计算系统的多个传感器捕获传感器数据。多个传感器可以包括移动计算系统内所包括的任何传统的或未来的传感器设备(例如，图像传感器、音频传感器、加速计、gps传感器、lidar传感器、红外传感器、环境光传感器、接近传感器、生物特征传感器、气压计、陀螺仪、nfc传感器、超声波传感器等)。作为示例，移动计算系统可以包括前置图像传感器、后置图像传感器、外围图像传感器(例如，围绕移动计算系统的边缘并垂直于前置图像传感器和后置图像传感器定位的图像传感器等)和音频传感器。响应于获得输入信号，移动计算系统可以捕获来自前置图像传感器和音频传感器的传感器数据。作为另一示例，移动计算系统可以包括音频传感器、后置图像传感器和lidar传
感器。响应于获得输入信号，移动计算系统可以捕获来自后置图像传感器、音频传感器和lidar传感器的传感器数据。
102.在808处，计算系统可以从多个预定义的动作元素中确定建议的动作元素。更具体地，计算系统可以至少部分地基于来自多个传感器的传感器数据从多个预定义的动作元素中确定一个或多个建议的动作元素。一个或多个动作元素可以是或否则包括可以由移动计算系统的用户选择的元素。更具体地，一个或多个建议的动作元素中的每一个可以指示相应的设备动作，并且可以被配置为在被选择时执行相应的设备动作。
103.建议的动作元素可以是可由移动计算系统的用户选择的元素。作为示例，建议的动作元素可以是显示设备上显示的界面元素(例如，触摸图标等)，并且可以由用户利用触摸姿势来选择。作为另一示例，建议的动作元素可以是或否则包括描述性文本，并且可以由用户利用语音命令来选择。作为又一示例，建议的动作元素可以是指示移动模式的图标，并且可以由用户通过利用移动计算系统复制移动模式来选择。例如，建议的动作元素可以被配置为与接近该用户的单独的用户共享数据，并且建议的动作元素可以指示“摇动”运动(例如，手抓住移动计算系统，这指示移动计算系统正在摇动等)。如果用户复制移动模式(例如，摇动移动计算系统等)，则可以将数据共享给单独的用户。
104.一个或多个建议的动作元素可以指示一个或多个相应的设备动作。设备动作可以包括可以由移动计算系统使用捕获的传感器数据执行的动作(例如，存储数据、显示数据、编辑数据、共享数据、删除数据、转录数据、向应用提供传感器数据、打开与该数据相关联的应用、基于数据生成用于应用的指令等)。作为示例，捕获的数据可以包括图像数据。基于图像数据，可以确定指示与第二用户共享图像数据的设备动作的建议的动作元素。为了遵循先前的示例，可以确定第二建议的动作元素，其指示打开可以利用图像数据的应用(例如，社交网络应用、照片编辑应用、消息传送应用、云存储应用等)的设备动作。作为另一示例，捕获的数据可以包括描绘场景的图像数据和音频数据。音频数据可以包括用户对于应用名称的发声。可以确定指示执行发声的应用名称的应用的设备动作的建议的动作元素。作为另一示例，捕获的数据可以包括描绘场景的图像数据和音频数据。音频数据可以包括用户对于虚拟助理命令的发声。可以确定指示向虚拟助理提供传感器数据的设备动作的建议的动作元素。作为响应，视觉助理应用可以基于传感器数据(例如，对于捕获的图像数据的搜索结果、对于捕获的音频数据中包括的查询的搜索结果等)向用户提供附加的建议的动作元素。
105.可以从多个预定义的动作元素中选择一个或多个建议的动作元素中的每一个。为了遵循先前的示例，先前描述的动作元素中的每一个可以被包括在多个预定义的动作元素中(例如，复制数据、共享数据、打开虚拟助理应用等)。基于传感器数据，可以从多个预定义的动作元素中选择一个或多个建议的动作元素。
106.在810处，计算系统可以在锁定屏幕界面内显示建议的动作元素。更具体地，计算系统可以在计算系统的显示设备处的锁定屏幕界面内显示建议的动作元素。作为示例，建议的动作元素可以是或否则包括可以由用户选择的图标(例如，经由显示设备处的触摸姿势等)。图标可以显示在显示设备的锁定屏幕界面中(例如，输入收集元素上方、输入收集元素下方、输入收集元素周围等)。
107.在一些实施方式中，可以从选择一个或多个建议的动作元素中的建议的动作元素
的用户获得输入信号。作为响应，移动计算系统可以执行由建议的动作元素指示的设备动作。作为示例，指示虚拟助理应用的建议的动作元素可以被显示在显示设备处的锁定屏幕界面内。来自用户的输入信号可以选择建议的动作元素(例如，经由触摸姿势、语音命令、移动输入等)。移动计算系统可以执行虚拟助理应用并向虚拟助理应用提供传感器数据。应当注意，可以以与先前关于输入收集元素描述的相同或基本相似的方式来选择建议的动作元素。
108.在一些实施方式中，移动计算系统可以停止显示锁定屏幕界面，并且替代地在显示设备处显示与虚拟助理应用对应的界面。或者，在一些实施方式中，移动计算系统可以响应于向虚拟助理应用提供传感器数据来确定并显示附加的建议的动作元素。作为示例，可以响应于用户选择指示虚拟助理应用的建议的动作元素而将传感器数据提供给虚拟助理应用。虚拟助理应用可以处理传感器数据并生成输出(例如，处理描绘文本内容的图像数据并基于文本内容生成搜索结果)。可以基于虚拟助理应用的输出来在锁定屏幕界面内显示一个或多个附加的建议动作元素(例如，提供指示与传感器数据相关联的映射数据的建议的动作元素等)。例如，如果传感器数据包括查询，则基于输出数据的建议的动作元素可以是或否则包括响应于该查询的结果。对于另一示例，如果传感器数据包括音频数据，则基于输出数据的建议的动作元素可以是或否则描绘音频数据的转录(例如，在锁定屏幕界面上显示的文本转录)。因此，应当广泛地理解，在一些实施方式中，建议的动作元素可以不指示可由移动计算系统执行的设备动作。相反，建议的动作元素可以是或否则描绘用于传达给用户的信息。
109.在一些实施方式中，为了确定一个或多个建议的动作元素，可以利用机器学习动作确定模型(例如，神经网络、循环神经网络、卷积神经网络、一个或多个多层感知器等)来处理传感器数据。机器学习动作确定模型可以被配置为从多个预定义动作元素中确定一个或多个建议的动作元素。在一些实施方式中，机器学习动作确定模型可以是个性化模型，其被配置为通过至少部分地基于与用户相关联的数据训练模型(例如，至少部分地基于用户对建议的动作元素的历史选择等以无监督的方式训练模型)来确定用户最有可能期望的一个或多个建议的动作元素。作为示例，可以至少部分地基于建议的动作元素来调整机器学习动作确定模型的一个或多个参数。
110.在一些实施方式中，传感器数据可以包括描绘一个或多个对象的图像数据(例如，来自前置图像传感器、后置图像传感器、外围图像传感器等)。一个或多个建议的动作元素可以至少部分地基于一个或多个对象，该一个或多个对象可以由移动计算系统确定(例如，使用一个或多个机器学习的对象识别模型等)。作为示例，图像数据中描绘的对象可以是快餐餐厅的标志。至少部分地基于该对象，建议的动作元素可以指示执行食物配送应用以将食物配送到餐厅的设备动作。另外，可以将传感器数据(例如，或传感器数据的注释等)提供给食品配送应用，使得向食品配送应用提供关于所识别的快餐餐厅标志的信息。以这种方式，移动计算系统可以分析图像数据和/或音频数据(例如，使用一个或多个机器学习模型等)以确定建议的动作元素。
111.在一些实施方式中，确定一个或多个建议的动作元素可以包括在锁定屏幕界面内显示描述音频数据的至少一部分的文本内容。作为更具体的示例，由移动计算系统捕获的传感器数据可以包括图像数据和包括来自用户的语音的音频数据。移动计算系统可以确定
一个或多个建议的动作元素，并且还可以显示描述音频数据的至少一部分的文本内容。例如，移动计算系统可以在锁定屏幕界面内显示音频数据的至少一部分的转录。在一些实施方式中，可以针对只要用户选择输入收集元素在锁定屏幕界面内实时显示转录。
112.附加公开
113.本文讨论的技术参考服务器、数据库、软件应用和其他基于计算机的系统，以及所采取的动作和发送至这样的系统和从这样的系统发送的信息。基于计算机的系统固有的灵活性允许组件之间的任务和功能的多种可能的配置、组合和划分。例如，可以使用单个设备或组件或者组合工作的多个设备或组件来实现本文讨论的过程。数据库和应用可以在单个系统上实现，也可以分布在多个系统上。分布式组件可以顺序或并行操作。
114.虽然已经关于本主题的各种具体示例实施例详细描述了本主题，但是每个示例都是通过解释而不是对本公开的限制的方式提供的。本领域技术人员在理解前述内容后，可以容易地产生对这样的实施例的替换、变化和等同。因此，本主题公开不排除包括对本主题的这样的修改、变化和/或添加，这对于本领域普通技术人员来说是显而易见的。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，本公开旨在覆盖这样的替换、变化和等同。

技术特征：
1.一种用于移动设备的场境化输入收集和意图确定的计算机实现的方法，包括：由包括一个或多个计算设备的移动计算系统提供与所述移动计算系统相关联的锁定屏幕界面，其中，所述锁定屏幕界面包括输入收集元素，所述输入收集元素被配置为在被选择时引起传感器数据的捕获；由所述移动计算系统从所述移动计算系统的用户获得选择所述输入收集元素的输入信号；响应于获得所述输入信号，由所述移动计算系统从所述移动计算系统的多个传感器捕获所述传感器数据，其中，所述多个传感器包括音频传感器以及前置图像传感器或后置图像传感器中的一个或两个；由所述移动计算系统至少部分地基于来自所述多个传感器的所述传感器数据从多个预定义的动作元素中确定一个或多个建议的动作元素，其中，所述一个或多个建议的动作元素分别指示一个或多个设备动作；以及由所述移动计算系统在与所述移动计算系统相关联的显示设备处提供在所述锁定屏幕界面内的所述一个或多个建议的动作元素以显示。2.根据权利要求1所述的计算机实现的方法，其中，所述方法进一步包括：由所述移动计算系统从所述移动计算系统的所述用户获得输入信号，所述输入信号选择所述一个或多个建议的动作元素中的建议的动作元素。3.根据权利要求2所述的计算机实现的方法，其中，所述方法进一步包括由所述移动计算系统执行由所述建议的动作元素指示的所述设备动作。4.根据权利要求2至3中的任一项所述的计算机实现的方法，其中，确定所述一个或多个建议的动作元素包括：由所述移动计算系统利用机器学习动作确定模型处理所述传感器数据，以从所述多个预定义的动作元素中确定所述一个或多个建议的动作元素。5.根据权利要求4所述的计算机实现的方法，其中：所述机器学习动作确定模型是至少部分地基于与所述用户相关联的数据而被训练的；以及其中，所述方法进一步包括由所述移动计算系统至少部分地基于所述建议的动作元素来调整所述机器学习动作确定模型的一个或多个参数。6.根据任一前述权利要求所述的计算机实现的方法，其中：所述传感器数据包括来自所述前置图像传感器或所述后置图像传感器中的一个或多个的描绘一个或多个对象的图像数据；以及所述一个或多个建议的动作元素至少部分地基于所述一个或多个对象。7.根据权利要求6所述的计算机实现的方法，其中：与所述移动计算系统相关联的所述显示设备包括触摸屏显示器；所述输入收集元素包括触摸元素；以及所述输入收集元素包括被配置为评估所述用户的指纹的认证元素。8.根据任一前述权利要求所述的计算机实现的方法，其中：所述传感器数据包括来自所述前置图像传感器或所述后置图像传感器中的一个或多个的图像数据；
选择所述输入收集元素的所述输入信号包括在所述输入收集元素处在一时间段执行触摸姿势；以及其中，所述传感器数据至少在所述时间段内被捕获。9.根据任一前述权利要求所述的计算机实现的方法，其中：所述传感器数据包括来自所述音频传感器的音频数据；以及其中，确定分别指示所述一个或多个设备动作的所述一个或多个建议的动作元素进一步包括：由所述移动计算系统在所述锁定屏幕界面内提供描述所述音频数据的至少一部分的文本内容以显示。10.根据任一前述权利要求所述的计算机实现的方法，其中，选择所述输入收集元素的所述输入信号包括以下中的一个或多个：在与所述移动计算系统相关联的所述显示器处的所述输入收集元素的位置处的触摸姿势；语音命令；由所述用户执行的手势；或者由所述用户执行的所述移动计算系统的运动。11.根据任一前述权利要求所述的计算机实现的方法，其中，所述一个或多个设备动作包括以下中的一个或多个：存储所述传感器数据的至少一部分；删除所述传感器数据的至少一部分；显示所述传感器数据的至少一部分；向应用提供所述传感器数据；打开所述应用；或者为一个或多个应用生成指令。12.根据任一前述权利要求所述的计算机实现的方法，其中：在获得选择所述输入收集元素的所述输入信号之前，所述方法包括：由所述移动计算系统从所述前置图像传感器或所述后置图像传感器捕获初步图像数据；以及其中，所述输入收集元素包括所述初步图像数据的至少一部分。13.根据任一前述权利要求所述的计算机实现的方法，其中：在获得选择所述输入收集元素的所述输入信号之前，所述方法包括：由所述移动计算系统在一时间段内从所述多个传感器捕获初步传感器数据；以及其中，响应于获得所述输入信号而从所述移动计算系统的所述多个传感器捕获所述传感器数据进一步包括：由所述移动计算系统附加所述初步传感器数据和所述传感器数据。14.根据任一前述权利要求所述的计算机实现的方法，其中：所述传感器数据进一步包括地理位置数据，并且所述多个传感器进一步包括位置传感器；以及所述传感器数据进一步包括加速度计数据，并且所述多个传感器进一步包括加速度计。15.一种移动计算系统，包括：一个或多个处理器；
多个传感器，所述多个传感器包括：一个或多个图像传感器，所述一个或多个图像传感器包括前置图像传感器、后置图像传感器或周边图像传感器中的一个或多个；以及音频传感器；显示设备；以及一个或多个有形的、非暂时性的计算机可读介质，所述一个或多个有形的非暂时性的计算机可读介质共同存储指令，所述指令当由所述一个或多个处理器执行时，使所述一个或多个处理器执行操作，所述操作包括：提供与所述移动计算系统相关联的锁定屏幕界面，其中，所述锁定屏幕界面包括输入收集元素，所述输入收集元素被配置为在被选择时引起传感器数据的捕获；从所述移动计算系统的用户获得选择所述输入收集元素的输入信号；响应于获得所述输入信号，从所述移动计算系统的所述多个传感器捕获所述传感器数据；至少部分地基于来自所述多个传感器的所述传感器数据从多个预定义的动作元素中确定一个或多个建议的动作元素，其中，所述一个或多个建议的动作元素分别指示一个或多个设备动作；以及在所述显示设备处提供在所述锁定屏幕界面内的所述一个或多个建议的动作元素以显示。16.根据权利要求15所述的移动计算系统，其中，所述操作进一步包括：从所述移动计算系统的所述用户获得输入信号，所述输入信号选择所述一个或多个建议的动作元素中的建议的动作元素；以及执行由所述建议的动作元素指示的所述设备动作。17.根据权利要求15至16所述的移动计算系统，其中，确定所述一个或多个建议的动作元素包括：利用机器学习动作确定模型处理所述传感器数据，以从所述多个预定义的动作元素中确定所述一个或多个建议的动作元素。18.根据权利要求17所述的移动计算系统，其中：所述机器学习动作确定模型是至少部分地基于与所述用户相关联的数据而被训练的；以及其中，所述操作进一步包括至少部分地基于所述建议的动作元素来调整所述机器学习动作确定模型的一个或多个参数。19.一种或多种有形的、非暂时性计算机可读介质，其共同存储指令，所述指令当由一个或多个处理器执行时，使所述一个或多个处理器执行操作，所述操作包括：提供与移动计算系统相关联的锁定屏幕界面，其中，所述锁定屏幕界面包括输入收集元素，所述输入收集元素被配置为在被选择时引起传感器数据的捕获；从所述移动计算系统的用户获得选择所述输入收集元素的输入信号；响应于获得所述输入信号，从所述移动计算系统的多个传感器捕获所述传感器数据，其中，所述多个传感器包括音频传感器以及前置图像传感器或后置图像传感器中的一个或两个；
由所述移动计算系统至少部分地基于来自所述多个传感器的所述传感器数据从多个预定义的动作元素中确定一个或多个建议的动作元素，其中，所述一个或多个建议的动作元素分别指示一个或多个设备动作；以及在与所述移动计算系统相关联的显示设备处提供在所述锁定屏幕界面内的所述一个或多个建议的动作元素以显示。20.根据权利要求19所述的一种或多种有形的、非暂时性计算机可读介质，其中，确定所述一个或多个建议的动作元素包括：由所述移动计算系统利用机器学习动作确定模型处理所述传感器数据，以从所述多个预定义的动作元素中确定所述一个或多个建议的动作元素。

技术总结
提供用于多模式输入收集的系统和方法。更具体地，本公开涉及用于移动设备的高效且直观的多模式输入收集。作为示例，移动计算系统(例如，智能手机、平板电脑、可穿戴设备等)可以在与移动计算系统相关联的显示设备处显示锁定屏幕界面(例如，在授予对于应用的访问权限之前请求来自用户的交互和/或认证的初始界面等)。等)。等)。


技术研发人员：唐纳德
受保护的技术使用者：谷歌有限责任公司
技术研发日：2021.04.28
技术公布日：2023/10/15