控制模式选择和转变的制作方法

控制模式选择和转变
1.相关申请的交叉引用
2.本技术要求2021年1月29日提交的美国临时专利申请63/143,441号的权益，该申请的内容以引用方式并入本文以用于所有目的。
技术领域
3.本公开整体涉及设备控制领域。


背景技术：

4.一些设备可由用户手动控制、由自动化系统自动控制、或者由远程位置处的操作员远程控制。


技术实现要素：

5.本公开的一个方面是一种用于提供遥操作(teleoperation)服务的计算机实现的方法。该方法包括接收描述车辆从起始位置到目的地位置要进行的行程的信息；以及确定脱离预测信息，该脱离预测信息描述自主控制系统在该行程的一个或多个部分期间将不能以自主控制模式控制该车辆的可能性。该方法还包括基于该脱离预测信息来向用户呈现遥操作服务信息，其中该用户可基于该遥操作服务信息来接受遥操作服务的提供。根据指示该用户接受该遥操作服务的提供的输入，该方法还包括响应于在该行程期间该自主控制模式的预测的脱离或实际脱离，而在该行程期间将该车辆从该自主控制模式转变到遥操作控制模式。
6.在提供遥操作服务的该方法中，确定该脱离预测信息可基于自主控制覆盖地图。确定该脱离预测信息可基于描述其他车辆的先前行程期间的脱离事件的历史行程信息。确定该脱离预测信息可包括确定该行程的预测的天气条件。该遥操作服务信息可包括该行程的遥操作服务成本，并且指示该用户接受遥操作服务的提供的输入可包括支付该遥操作服务成本的协议。
7.在用于提供遥操作服务的该方法的一些具体实施中，当实时脱离可能性度量超过阈值时确定预测的脱离。该实时脱离可能性度量可基于在该行程期间从该车辆的传感器系统接收的传感器信息来确定。该实时脱离可能性度量可表示为该车辆的该自主控制模式将在预定时段内脱离的概率。该方法还可包括在根据指示该用户接受该遥操作服务的提供的该输入来监测该实时脱离可能性度量的同时自主地朝向该目的地位置导航。
8.本公开的另一个方面是一种包括程序指令的非暂态计算机可读存储设备，这些指令当由一个或多个处理器执行时，使该一个或多个处理器执行用于提供遥操作服务的操作。本公开的另一个方面是一种用于提供遥操作服务的装置，该装置包括存储器和一个或多个处理器，该一个或多个处理器被配置为执行存储在该存储器中的指令。
9.本公开的另一个方面是一种用于控制模式之间转变的方法。该方法包括确定车辆的自主控制模式的预测的脱离；向用户输出请求该车辆从该自主控制模式转变到手动控制
模式的通知；以及确定已经满足阈值条件而该车辆没有转变到该手动控制模式。根据该确定已经满足该阈值条件而该车辆没有转变到该手动控制模式，该方法还包括将该车辆转变到遥操作控制模式。
10.在用于在控制模式之间转变的该方法中，当实时脱离可能性度量超过阈值时可确定预测的脱离。该实时脱离可能性度量可基于从该车辆的传感器系统接收的传感器信息来确定。该实时脱离可能性度量可基于描述由其他车辆经历的脱离事件的信息来确定。该实时脱离可能性度量可基于该车辆周围的环境中的天气条件来确定。该实时脱离可能性度量可表示为该车辆的该自主控制模式将在预定时段内脱离的概率。该方法还可包括在确定该车辆的该自主控制模式的预测的脱离之前，在监测该实时脱离可能性度量的同时自主地朝向目的地位置导航。
11.在用于在控制模式之间转变的该方法中，向该用户输出请求该车辆从该自主控制模式转变到该手动控制模式的该通知可包括以下项中的至少一项：发出声音、发出视觉指示或发出触觉指示。向该用户输出请求该车辆从该自主控制模式转变到该手动控制模式的该通知可包括传输命令，该命令使由该用户携带的设备输出该通知。确定已经满足该阈值条件而该车辆没有转变到该手动控制模式可包括确定预定时间段已经过去。确定已经满足该阈值条件而该车辆没有转变到该手动控制模式可包括确定实时脱离可能性度量超过阈值。确定已经满足该阈值条件而该车辆没有转变到该手动控制模式可包括基于来自位于该车辆的客舱中的传感器的传感器信息来确定该用户没有响应。在该遥操作控制模式下，该车辆可接收并执行来自远程人类操作员的用于控制车辆操作的指令。
12.本公开的另一个方面是一种包括程序指令的非暂态计算机可读存储设备，这些指令当由一个或多个处理器执行时，使该一个或多个处理器执行用于在控制模式之间转变的操作。本公开的另一个方面是一种用于在控制模式之间转变的装置，该装置包括存储器和一个或多个处理器，该一个或多个处理器被配置为执行存储在该存储器中的指令。
13.本公开的另一个方面是一种用于发起遥操作服务的计算机实现的方法。该方法包括接收从车辆传输到遥操作服务的用于发起遥操作服务的请求，其中这些请求中的至少一些请求包括描述自主控制模式将被脱离的可能性的实时脱离可能性度量。该方法还包括针对用于发起该遥操作服务的这些请求中的每个请求确定排名得分，其中这些排名得分部分地基于该实时脱离可能性度量，以及根据针对这些车辆中的一个车辆的该排名得分选择这些车辆中的相应一个车辆来发起遥操作控制模式。根据该选择这些车辆中的相应一个车辆来发起该遥操作控制模式，该方法还包括通过向这些车辆中的相应一个车辆传输遥操作命令来在该遥操作控制模式下操作这些车辆中的相应一个车辆。
14.在用于发起遥操作服务的该方法中，该实时脱离可能性度量可由这些车辆基于传感器信息来确定。该实时脱离可能性度量可基于描述由其他车辆经历的脱离事件的信息来确定。该实时脱离可能性度量可基于这些车辆中的相应一个车辆周围的环境中的天气条件来确定。该实时脱离可能性度量可各自表示为该自主控制模式将在预定时段内脱离的概率。这些排名得分可部分地基于自用于发起该遥操作服务的该请求作出以来的实耗时间。通过向这些车辆中的相应一个车辆传输这些遥操作命令来在该遥操作控制模式下操作这些车辆中的相应一个车辆可由人类操作员使用与该遥操作服务相关联的操作员系统来执行。
15.本公开的另一个方面是一种包括程序指令的非暂态计算机可读存储设备，这些指令当由一个或多个处理器执行时，使该一个或多个处理器执行用于发起遥操作服务的操作。本公开的另一个方面是一种用于发起遥操作服务的装置，该装置包括存储器和一个或多个处理器，该一个或多个处理器被配置为执行存储在该存储器中的指令。
附图说明
16.图1是根据一些实施方案的系统的框图。
17.图2是根据一些实施方案的设备的框图。
18.图3是根据一些实施方案的设备的操作的框图。
19.图4是根据一些实施方案的服务的操作的框图。
20.图5是根据一些实施方案的用于确定脱离预测的过程的框图。
21.图6是根据一些实施方案的用于确定实时脱离可能性度量的过程的框图。
22.图7是根据一些实施方案的用于提供遥操作服务的过程的框图。
23.图8是根据一些实施方案的用于在控制模式之间转变的过程的框图。
24.图9是根据一些实施方案的用于发起遥操作服务的过程的框图。
25.图10是根据一些实施方案的示例性计算设备的框图。
具体实施方式
26.图1是用于设备的遥操作的系统100的框图。系统100包括遥操作服务102以及设备104和106。遥操作服务102、设备104和设备106各自包括计算功能和通信功能。遥操作服务102、设备104和设备106可使用有线或无线连接并使用任何类型的通信网络(诸如互联网)来彼此通信(例如，通过信号和/或数据的传输)。在一些实施方案中，设备104是车辆，并且设备106是智能蜂窝电话。
27.遥操作服务102是被配置为从远程位置控制设备104的操作的计算机实现的系统。设备104的控制可从设备104、设备106或从遥操作服务102发起。遥操作服务102包括遥操作服务器108和操作员系统110。遥操作服务器108和操作员系统110可使用被配置为执行计算机程序指令的计算设备来实现，这些计算机程序指令有助于本文将描述的功能。遥操作服务102可接收并使用由用户(例如，乘客)提供的信息，该信息可通过设备104、设备106或以另一方式来提供。遥操作服务102可接收并使用从设备104传输的信息，诸如信号和数据，并且该信息可用作用于使用操作员系统110控制设备104的基础。使用从设备104接收到的信息，人类操作员可通过使用与操作员系统110相关联的接口设备向操作员系统110提供控制输入来控制设备104。遥操作服务102可包括大量(例如，数千个)操作员系统，其中操作员系统110是代表性的。本文将进一步描述遥操作服务102的操作。本文参考遥操作服务102描述的操作和功能可由遥操作服务器108执行。在一些具体实施中，遥操作服务器108采用下面参考图10描述的示例性计算设备1060。
28.图2是设备104的框图，该设备在一些实施方案中是被配置为承载乘客和/或货物的可上公路的车辆(例如，由车轮和轮胎支撑)。在一些示例中，设备104包括传感器系统212、致动器系统214、人机接口设备(hid)接口216、导航系统218、通信系统220、本地手动系统222(也称为控制系统1)、本地自主系统224(也称为控制系统2)、远程控制系统226和控制
选择器228。这些部件附接到和/或形成设备104的物理结构(诸如主体或框架)的一部分，并且电互连以允许通过有线连接(例如，使用有线通信总线)或通过无线数据通信信道在它们之间传输信号、数据、命令等。设备104中可包括其他部件，包括底盘、主体、悬架、致动器、动力系统部件等。
29.传感器系统212包括能够收集描述设备104周围的环境的信息和/或描述设备104的操作条件的信息的一个或多个传感器部件。信息可呈传感器信号的形式，其可被解释为理解环境的特征和/或设备104的状态。传感器信号可包括环境的二维图像和/或三维扫描。信息可包括关于环境的测量和观察。该信息可被称为环境信息。传感器信号可包括设备104的客舱的二维图像和/或三维扫描。信息可包括关于设备104的客舱的测量和观察。该信息可被称为客舱信息。该信息可包括关于设备104的部件的测量和观察。该信息可被称为设备信息。传感器系统212中用于获得信息的示例性传感器包括成像设备，诸如可见光谱或红外光谱中的静态相机、摄像机、激光雷达或其他深度传感器、雷达传感器、gps传感器、惯性测量单元、位置传感器、角度传感器、速度传感器、扭矩传感器、力传感器等。
30.致动器系统214包括能够影响设备104的运动的一个或多个致动器部件。致动器部件可加速、减速、操纵或以其他方式影响设备104的运动。这些部件可包括悬架致动器、操纵致动器、制动致动器和推进致动器(例如，一个或多个电动马达)。
31.在手动控制模式下，致动器系统214可由从本地手动系统222接收的命令来控制。例如，本地手动系统222可向致动器系统214输出命令，这些命令使致动器系统214移动设备104。在自主控制模式下，致动器系统214可由从本地自主系统224接收的命令来控制。例如，本地自主系统224可向致动器系统214输出命令，这些命令使致动器系统214移动设备104。在遥操作控制模式下，致动器系统214可由从远程控制系统226接收的命令来控制。例如，远程控制系统226可向致动器系统214输出命令，这些命令使致动器系统214移动设备104。
32.hid接口216包括允许用户与设备104的各种系统交互的部件。hid接口216包括输入设备和输出设备。hid接口216的示例包括显示屏、触敏接口、手势接口、音频输出设备、语音命令接口、按钮、旋钮、控制杆、控制轮、踏板等。hid接口216可允许用户诸如通过指定设备104的目的地来控制导航系统218。
33.导航系统218可包括位置确定功能、地图绘制功能和路线规划功能。例如，导航系统218可包括用于确定设备104的当前位置的卫星定位系统接收器。导航系统218还被配置为确定和/或显示从当前位置到目的地的一条或多条路线，包括显示该一条或多条路线附近的地理区域。
34.导航系统218可能够操作以从用户(例如，乘客)接收路线、从外部路线规划系统接收路线或者基于用户输入来规划路线。例如，导航系统可使用任何类型的寻径算法来确定从原点位置(例如，当前位置或用户指定的位置)到目的地位置的路线。路线可由导航系统218使用车载寻径算法本地确定或可(例如，由导航寻径服务器)远程确定。路线可以任何合适的数据格式存储，该数据格式例如将原点位置连接到目的地位置的地图段或路段的列表。
35.通信系统220允许携带数据的信号从设备104传输到远程系统和/或在设备104处从远程系统接收。可利用任何合适的通信协议(诸如蜂窝协议)和/或技术来实现通信系统220。例如，通信系统220允许设备104和远程位置之间的实时通信，以允许使用远程控制系
统226来远程操作设备104。
36.本地手动系统222是位于设备104中的手动控制系统，并且允许存在于设备104中的人(例如，乘客)借助于通过hid接口216提供控制输入来控制致动器系统214的操作。本地手动系统222可通过hid接口216接收来自人的输入，这些输入作为示例指示油门(例如，推进)命令、操纵命令和制动命令。这些输入由本地手动系统222解释并用于控制致动器系统214的部件。
37.本地自主系统224是位于设备104中的自主控制系统，被配置为作出关于设备104的运动的决定，并且被配置为控制致动器系统214的操作，使得设备104根据那些决定而移动。本地自主系统224执行感知、规划和控制功能。这些功能可被并入硬件、固件和/或软件系统中。例如，本地自主系统224可以一个或多个计算设备的形式实现，该一个或多个计算设备设置有控制软件，该控制软件包括允许本地自主系统224执行上述功能的计算机程序指令。在一些具体实施中，本地自主系统224采用下面参考图10描述的示例性计算设备1060。
38.本地自主系统224的感知功能包括解释来自传感器系统212的传感器输出以及识别传感器输出中可用于控制设备104的特征。本地自主系统224的运动规划功能包括确定如何移动设备104以便实现目标，诸如通过确定设备104的轨迹。设备104的轨迹部分地基于由导航系统218确定的路线。本地自主系统224的运动控制功能包括根据由运动规划功能作出的决定来命令致动器系统214和/或设备104的其他系统，诸如通过以使设备104沿循由运动规划功能确定的轨迹以朝向目的地行进的方式来控制致动器系统214。
39.远程控制系统226允许远程人类操作员从相对于设备104的远程位置诸如通过使用遥操作服务102的操作员系统110控制设备104。远程控制系统226使用通信系统220将由传感器系统212获取的信息发送到遥操作服务102，使得信息可由远程人类操作员经由操作员系统110查看，并且由远程人类操作员使用以使用位于远程位置处的hid接口诸如通过使用与操作员系统110相关联的输入设备进行控制输入。远程控制系统226使用通信系统220从遥操作服务102接收信息。来自遥操作服务102的信息可包括命令，这些命令由远程控制系统226解释并且被传递到致动器系统214，以使致动器系统214根据由操作员系统110处的远程人类操作员进行的控制输入来操作。
40.控制选择器228被配置为确定是在手动控制模式、自主控制模式还是遥操作模式下操作设备104。控制选择器228可响应于从用户接收的命令而改变控制模式。控制选择器228可响应于从设备104的另一系统诸如本地自主系统224接收的命令而改变控制模式。控制选择器228可响应于从外部系统诸如遥操作服务102的遥操作服务器108接收的命令而改变控制模式。控制选择器228可响应于由控制选择器228使用规则、算法或其他决策框架作出的确定而以编程方式改变控制模式。
41.图3是设备104的操作的框图。设备104确定用于控制设备104的部件(诸如致动器系统214)的控制命令330。作为输入，设备104可接收行程参数331、传感器信息332和手动控制输入333。为了便于设备104在遥操作控制模式下的操作，设备104可向遥操作服务102传输包括设备信号336的信息，并且从遥操作服务102接收包括遥操作命令337的信息。
42.控制命令330可在手动控制模式下使用本地手动系统222基于来自位于设备104中的用户的控制输入来确定，控制命令330可在自主控制模式下使用本地自主系统224来确定
以朝向由用户或由另一系统选择的目的地位置行进，或者控制命令330可在遥操作控制模式下使用远程控制系统226基于来自远程位置处的操作员的控制输入例如通过使用遥操作服务102的操作员系统110来确定。设备104的控制选择器228负责选择控制命令的来源，并且控制命令330从所选择的源被路由到被控制的系统，诸如致动器系统214。
43.行程参数331描述行程，该行程可以是打算在未来发生的规划的行程，或者可以是设备104当前正在参与的当前行程。行程参数可包括起始位置和目的地位置。起始位置指示设备104在行程开始时的预期位置。目的地位置指示设备104在行程结束时的预期位置，或者就往返行程而言可指示中点位置。起始位置和目的地位置是可以任何常规形式(诸如通过地点名称、地址或地理空间坐标)指示的地理位置。行程参数331还可包括描述起始位置和目的地位置之间的规划的行程的规划的站点的信息。行程参数331还包括未来行程将发生的时间段，包括起始时间和结束时间。行程参数331可包括规划的行进路线，该规划的行进路线包括起始位置和目的地位置之间的行进。在一些具体实施中，规划的行进路线不是由用户提供的，而是根据起始位置、目的地位置和/或其他信息来确定的。规划的路线可由导航系统218、由遥操作服务102的部件或由另一系统或服务确定。
44.传感器信息332包括从传感器系统212中所包括的传感器设备获取的信号和/或数据。传感器信息332可被呈现给用户，例如作为使用本地手动系统222的手动控制的基础。传感器信息332可由本地自主系统224解释和使用作为自主控制的基础。传感器信息332还可作为设备信号336的一部分被转发到遥操作服务102和/或被用作单独地或与其他信息组合地确定设备信号336的一部分的基础。
45.手动控制输入333是表示由用户为了操作设备104而进行的输入的信息。手动控制输入333可从设备104的hid接口216或者从与设备104相关联的另一输入设备获取。手动控制输入333可由本地手动系统222用于确定控制命令330。
46.设备信号336被传输到遥操作服务102，目的是为了允许遥操作服务102在遥操作控制模式下使用远程控制系统226来控制设备104。使用来自传感器系统212的任何传感器获取的或以其他方式获取的来自传感器信息332的原始信息或所解释信息可被包括在被传输到遥操作服务102的设备信号336中。例如，设备信号336可包括视频流(例如，一系列图像)，该视频流被传输到遥操作服务102以使用操作员系统110显示，使得操作员系统110的操作员可看到设备104周围的环境。又如，使用三维传感器(例如，激光雷达传感器)确定的点云可被传输到遥操作服务102以由操作员系统110解释和/或显示。又如，设备信号336可包括使用传感器信息332确定的环境信息，诸如设备104附近的对象的位置和身份，该环境信息可使用设备104的对象检测功能来确定。又如，设备信号336可包括由设备104的本地自主系统224确定的信息，诸如由本地自主系统224确定的运动规划或所提议命令信号。然后，该信息可由遥操作服务102的操作员系统110处的人类操作员查看，以用于远程手动控制并且用于评估本地自主系统224在自主控制模式下恢复控制设备104的能力。
47.遥操作命令337是表示由遥操作服务102的操作员系统110的操作员为了在设备104的遥操作控制模式下使用远程控制系统226远程地操作设备104而进行的输入的信息。遥操作命令337可从与操作员系统110相关联的接口设备获取。遥操作命令337例如使用无线数据连接(例如，蜂窝数据连接)从遥操作服务102传输到设备104。遥操作命令337可由设备104的远程控制系统226用于确定控制命令330。
48.实时脱离可能性度量338由设备104在行程期间基于对设备104可用的信息(包括关于设备104周围的环境和设备104的操作条件的实时信息)来确定。实时脱离可能性度量338可由控制选择器228确定，以便在本地自主系统224变得不能继续自主控制设备104并且脱离自主控制模式之前发起当前控制模式从自主控制模式到手动控制模式或遥操作控制模式的改变。在一些情形中，控制选择器228可使用实时脱离可能性度量338来指引从自主控制模式到手动控制模式的转变、指引从自主控制模式到遥操作控制模式的转变、或者指引本地自主系统224将设备104停在安全位置直到行进可在控制模式中的一个控制模式下安全地继续。
49.图4是遥操作服务102的操作的框图。提供给遥操作服务102的输入可包括来自设备104的行程参数331和来自设备104的设备信号336。遥操作命令337由遥操作服务102确定并且被传输到设备104以用于设备104在遥操作控制模式下的操作。遥操作服务102被配置为确定脱离预测信息440和遥操作服务信息441。设备104可包括在各个用户同意的情况下从许多设备收集的并且用于确定脱离预测信息440和/或遥操作服务信息441的所存储的信息442。脱离预测信息440可由遥操作服务102在行程之前确定，作为用于确定遥操作服务信息441的基础，并且表示在设备104的未来行程(诸如由行程参数331描述的行程)期间的脱离事件的可能性。遥操作服务信息441包括描述可由遥操作服务102提供给设备104以便在自主控制模式变得不可用的情况下在遥操作控制模式下控制设备104的服务的信息。遥操作服务信息441可包括在特定规划的行程期间由规划的行程的时间(例如，日期范围、起始时间和/或结束时间)、规划的行程的起始和结束位置和/或规划的行程的路线限定的遥操作服务的价格。
50.图5示出了用于确定脱离预测信息440的示例性过程550。过程550包括可由计算机实现的系统(诸如遥操作服务102和/或设备104)执行的操作。在一些具体实施中，执行过程550的计算机实现的系统具有存储器和一个或多个处理器，该存储器包含计算机程序指令，该一个或多个处理器被配置为执行计算机程序指令以使一个或多个处理器执行过程550的操作。过程550可包括本文所述的特征中的任一特征，包括参考图3至图4描述的输入、输出和模型。
51.脱离预测信息440表示在设备104的未来行程期间脱离事件的可能性。脱离事件表示设备104的本地自主系统224脱离的发生，使得它不再在自主控制模式下对设备104行使控制。用于确定脱离预测信息440的信息可特定于路线或路线的一部分。用于确定脱离预测信息440的信息可包括来自遥操作服务102的所存储的信息442，诸如由其他设备(例如，车辆)进行的脱离的历史信息、无论是在与被包括在路线中的地理区域相同的地理区域中，还是在类似于未来行程所预期的条件(例如，天气)下，还是其他情况下。
52.操作551包括获取用于预测设备104的本地自主系统224在未来行程或未来行程的一部分期间脱离的可能性的信息。例如，在操作551中获取的信息可包括来自设备104的信息，诸如行程参数331，并且可包括来自遥操作服务102的所存储的信息442。
53.在操作551中获取的一些信息可与在行程期间将行进的位置和路线无关。例如，描述由设备104或类似设备在特定条件下经历的脱离事件的信息(例如，以聚集统计的形式)可在操作551中例如从遥操作服务102的所存储的信息442获取。这可包括描述在特定类型的天气条件下脱离的可能性或者在一天的特定时间脱离的可能性的统计。可基于行程的起
始位置、行程的目的地位置和/或将在行程期间使用的规划的路线来获取在操作551中获取的一些信息。例如，来自遥操作服务102的所存储的信息442可包括识别已知自主控制不可用的位置的自主控制覆盖地图。又如，对于将在行程期间采用的路线的部分，信息可包括来自所存储的信息442的描述在其他设备的先前行程期间的脱离事件的历史行程信息。又如，信息可包括在行程期间沿着规划的路线的预期条件，诸如预期天气条件、预期交通条件和/或可改变交通控制模式的特殊事件。
54.操作552包括确定脱离预测信息440。使用在操作551中获取的信息来确定脱离预测信息440。脱离预测信息440可包括行程的单个预测，或者可包括多个预测，该多个预测各自表示在行程的一部分期间脱离的可能性。基于脱离的可能性和此类可能性存在的行程的部分的长度，自主控制模式将不可用的所估计总时间或距离可被确定并包括在脱离预测信息440中。例如，可使用统计模型来确定脱离预测信息440，该统计模型确定在行程期间脱离自主控制模式的概率。又如，可使用计算机实现的仿真模型来执行仿真行程的多次迭代，以确定在行程期间脱离自主控制模式的概率。又如，经训练神经网络可被配置为基于在操作551中获取的信息来确定在行程期间脱离自主控制模式的概率。
55.图6示出了用于确定实时脱离可能性度量338的示例性过程650。过程650包括可由计算机实现的系统(诸如遥操作服务102和/或设备104)执行的操作。在一些具体实施中，执行过程650的计算机实现的系统具有存储器和一个或多个处理器，该存储器包含计算机程序指令，该一个或多个处理器被配置为执行计算机程序指令以使一个或多个处理器执行过程650的操作。过程650可包括本文所述的特征中的任一特征，包括参考图3至图4描述的输入、输出和模型。
56.实时脱离可能性度量338描述在设备104的行程期间不久的将来的脱离事件的可能性。除了使用用于如过程650中所描述的确定脱离预测信息440的相同信息之外，实时脱离可能性度量338可进一步基于设备104正在经历的当前条件。
57.操作651包括获取用于确定实时脱离可能性度量338的信息。除了在操作651中描述的信息之外，例如，可获取来自传感器系统212的传感器信息332，该传感器信息示出了设备104周围的实时条件，诸如天气条件、设备104附近的对象、以及来自传感器系统212的传感器的受损条件，诸如脏的或模糊的相机镜头。
58.操作652包括确定实时脱离可能性度量338。实时脱离可能性度量338可基于从设备104的传感器系统212接收的传感器信息来确定。实时脱离可能性度量338可基于描述由其他设备经历的脱离事件的信息来确定，如关于过程550所描述。实时脱离可能性度量338可基于设备104周围的环境中的天气条件来确定。实时脱离可能性度量338可表示为设备104的本地自主系统224将在不久的将来、诸如在确定实时脱离可能性度量338之后的预定时间段或预定行进距离内脱离自主控制模式的概率。如关于过程550的操作552所描述的，实时脱离可能性度量338可通过统计方法、通过仿真模型、通过训练神经网络等来确定。
59.图7示出了用于提供遥操作服务的示例性过程750。过程750包括可由计算机实现的系统(诸如遥操作服务102和/或设备104)执行的操作。在一些具体实施中，执行过程750的计算机实现的系统具有存储器和一个或多个处理器，该存储器包含计算机程序指令，该一个或多个处理器被配置为执行计算机程序指令以使一个或多个处理器执行过程750的操作。过程750可包括本文所述的特征中的任一特征，包括参考图3至图4描述的输入、输出和
模型。
60.操作751包括接收描述要由设备104进行的从起始位置到目的地位置的行程的信息。信息可呈关于行程参数331所描述的形式。操作752包括确定脱离预测信息440，该脱离预测信息描述自主控制系统将不能在行程的一个或多个部分期间在自主控制模式下控制设备104的可能性。操作752可以关于用于确定脱离预测信息440的过程550描述的方式并且使用在操作751中获取的信息来实现。
61.操作753包括确定遥操作服务信息441。基于来自操作752的脱离预测信息440，遥操作服务102分析本地自主系统224在行程期间脱离的可能性和/或期间自主控制模式在行程期间将不可用的所估计持续时间。该信息被包括在遥操作服务信息441中，并且遥操作服务102将在行程期间向设备104提供遥操作服务的价格也被包括在遥操作服务信息441中。可基于本地自主系统224在部分行程或全部行程内脱离的可能性和/或设备104的自主控制模式将不可用的所估计时间或距离来确定价格。
62.操作754包括基于脱离预测信息440来向用户呈现遥操作服务信息441。遥操作服务信息441可包括行程的遥操作服务成本，可包括遥操作服务针对行程向用户的提供，并且可提示用户指示该提供的接受或拒绝。指示用户接受遥操作服务的提供的用户输入包括用户同意支付作为遥操作服务信息441的一部分呈现给用户的遥操作服务成本。遥操作服务信息441可使用设备104的hid接口216、使用与设备106相关联的接口、或使用另一设备来呈现给用户。
63.响应于在操作754中向用户呈现遥操作服务信息441，用户可指示他们拒绝或接受遥操作服务的提供。该指示可利用用户接口诸如设备104的hid接口216或设备106的接口来作出。因此，例如，用户可通过使用设备104的hid接口216或设备106的接口进行指示接受遥操作服务的提供的输入，基于遥操作服务信息441来接受遥操作服务的提供。如果提供被拒绝，则过程750可结束，并且除非作出另选安排，否则在行程期间将不向用户提供遥操作服务。如果提供被接受，则过程750可根据指示用户接受遥操作服务的提供的输入进行到操作755。因此，操作755和756可根据指示用户接受遥操作服务的提供的输入来执行，或者在输入指示拒绝提供时被省略。
64.操作755包括在监测本地自主系统224的操作的同时自主地朝向目的地位置导航。监测本地自主系统224包括确定是否预测到本地自主系统224的脱离以及确定是否已经发生本地自主系统224的实际脱离。本地自主系统224的预测的脱离意指已经确定本地自主系统224可能在不久的将来、诸如在预测之后的预定时间或行进距离内脱离(例如，即将发生的预测的脱离)。本地自主系统224的实际脱离意指本地自主系统224不再控制设备104。可基于实时脱离可能性度量338来确定预测的脱离。例如，当本地自主系统224的实时脱离可能性度量338超过阈值时，可确定预测的脱离。实时脱离可能性度量338可以关于过程650描述的方式来确定。
65.操作756包括响应于在行程期间自主控制模式的预测的脱离或实际脱离而将设备104从自主控制模式转变到遥操作控制模式。在设备104转变到遥操作控制模式之后，远程操作员使用遥操作服务102的操作员系统110来操作设备104以提供控制输入，这些控制输入被传输到设备104并且被用作用于确定使设备104的致动器系统214操作的控制命令330的基础。
66.图8示出了用于在控制模式之间转变的示例性过程850。过程850包括可由计算机实现的系统(诸如遥操作服务102和/或设备104)执行的操作。在一些具体实施中，执行过程850的计算机实现的系统具有存储器和一个或多个处理器，该存储器包含计算机程序指令，该一个或多个处理器被配置为执行计算机程序指令以使一个或多个处理器执行过程850的操作。过程850可包括本文所述的特征中的任一特征，包括参考图3至图4描述的输入、输出和模型。
67.操作851包括监测在设备104的自主控制模式下本地自主系统224的操作的同时自主地朝向目的地位置导航，以确定是否已经发生本地自主系统224的实际脱离或者是否已经确定本地自主系统224的预测的脱离。操作851可包括监测实时脱离可能性度量338，该实时脱离可能性度量可以关于过程650描述的方式来确定。
68.操作852包括确定设备104的自主控制模式的预测的脱离。操作852可包括确定实时脱离可能性度量338已经超过阈值(例如，第一阈值)，这指示本地自主系统224的脱离可能在不久的将来发生，使得设备104将不再在自主控制模式下操作。
69.操作853包括向用户输出请求设备104从自主控制模式转变到手动控制模式的通知。用户可通过控制设备104、例如通过使用设备104的hid接口216提供手动命令输入来响应通知，在这种情况下，设备104转变到手动控制模式。
70.向用户输出请求设备104从自主控制模式转变到手动控制模式的通知可包括以下项中的至少一项：发出声音、发出视觉指示或发出触觉指示。向用户输出请求设备104从自主控制模式转变到手动控制模式的通知可包括使用与设备104的hid接口216相关联的部件来输出通知，诸如通过改变客舱中的照明状态、在客舱中播放声音、在客舱中的显示屏上显示消息、或者引起用户所占用的座椅的振动。向用户输出请求设备104从自主控制模式转变到手动控制模式的通知可包括传输命令，该命令使由用户携带的设备(诸如设备106)输出通知。例如，当用户拥有设备106时，可由该设备诸如根据设备106在用户口袋中的位置来输出触觉通知。
71.在操作854中，如果设备104已经转变到手动控制模式，则过程继续到操作855，其中设备104在手动控制模式下操作，并且过程850结束。如果设备尚未转变到手动控制模式，则过程继续到操作856。
72.在操作856中，关于是否已经满足阈值条件作出确定。当执行操作856时，设备104处于自主控制模式，并且用户没有采取手动控制。操作856的阈值条件用于判断在用户对通知没有作出响应的情况下设备104是否应该转变到遥操作控制模式。如果不满足阈值条件，则过程返回到操作854，并且可执行操作854和操作856的附加迭代。
73.确定已经满足操作856的阈值条件而设备104没有转变到手动控制模式可包括确定预定时间段已经过去。确定已经满足操作856的阈值条件而设备104没有转变到手动控制模式可包括确定实时脱离可能性度量338超过阈值(例如，高于第一阈值的第二阈值)。确定已经满足阈值条件而设备104没有转变到手动控制模式可包括基于来自位于设备104的客舱中并且被配置为观察设备104的客舱的传感器的传感器信息来确定用户没有响应。例如，座椅传感器可指示座椅被占用，并且可基于来自座椅传感器的示出了低水平的用户运动的输入、通过分析示出了低水平的用户运动的视频图像、或者通过基于视频图像来确定用户正在睡觉的图像分类技术来确定用户没有响应。
74.在操作857中，根据在操作856中确定已经满足阈值条件而设备104没有转变到手动控制模式，将设备104的操作转变到遥操作控制模式。
75.如果转变到遥操作控制模式是不可能的(例如，在预定时间段内)，则本地自主系统224可尝试将设备104停在安全位置，直到操作可在自主控制模式、手动控制模式或遥操作控制模式中的一者下恢复。在一些情形中，跳过转变到手动控制模式和遥操作控制模式中的一者或两者的尝试，而不是将设备104停在安全位置处。在一些情形中，可改变操作的顺序，使得尝试从自主控制模式转变到遥操作控制模式，之后尝试转变到手动控制模式。在一些情形中，在尝试从自主控制模式转变到手动控制模式或遥操作控制模式之前，可在自主控制下将设备停在安全位置。
76.图9示出了用于发起遥操作服务的示例性过程950。过程950包括可由计算机实现的系统(诸如遥操作服务102和/或设备104)执行的操作。在一些具体实施中，执行过程950的计算机实现的系统具有存储器和一个或多个处理器，该存储器包含计算机程序指令，该一个或多个处理器被配置为执行计算机程序指令以使一个或多个处理器执行过程950的操作。过程950可包括本文所述的特征中的任一特征，包括参考图3至图4描述的输入、输出和模型。
77.操作951包括接收从等同于设备104的多个设备传输到遥操作服务的用于发起遥操作服务的请求。请求中的至少一些请求包括相应设备的实时脱离可能性度量338，以描述相应设备的自主控制模式将被脱离的可能性。实时脱离可能性度量338可以关于过程650描述的方式来确定。
78.操作952包括确定用于发起遥操作服务的请求中的每个请求的排名得分。排名得分部分地基于实时脱离可能性度量。这些排名得分可部分地基于自用于发起该遥操作服务的该请求作出以来的实耗时间。在确定排名得分时可考虑其他信息。可使用基于因子的计算、公式、算法、统计模型或其他计算方法来确定排名得分。
79.操作953包括根据设备(例如，车辆)中的相应一个设备的排名得分来选择设备中的一个设备来发起遥操作控制模式。操作954包括通过向设备传输遥操作命令337来在遥操作控制模式下操作在操作953中选择的设备。通过向设备中的相应一个设备传输遥操作命令337来在遥操作控制模式下操作所选择的设备可由人类操作员使用与遥操作服务102相关联的操作员系统110来执行。
80.图10示出了示例性计算设备1060。计算设备1060是可用于实现本文所述的处理系统的硬件设备，诸如遥操作服务102、设备104或设备106的部件。在例示的示例中，计算设备1060包括处理器1061、存储器1062、存储装置1063和通信设备1064。计算设备1060可包括其他部件，诸如例如输入设备和输出设备。
81.处理器1061被配置为执行计算机程序指令，并且可以是或包括被配置为执行计算机程序指令的一个或多个常规设备和/或专用设备。可用作用于实现处理器1061的基础的常规设备包括一个或多个中央处理单元、一个或多个图形处理单元、一个或多个专用集成电路和/或一个或多个现场可编程门阵列。存储器1062是存储用于处理器1061的信息的常规短期存储设备，诸如随机存取存储器模块。长期非易失性存储由存储装置1063提供，该存储装置可以是例如闪存存储器模块、硬盘驱动器或固态驱动器。通信设备1064是被配置为诸如通过发送和接收数据来促进计算设备1060和其他部件或系统之间的通信的有线或无
线设备。
82.计算设备1060可操作用于存储、加载和执行计算机程序指令。当由计算设备1060执行时，计算机程序指令使计算设备执行操作，诸如通过从存储设备访问信息、从短期存储器访问信息来获取信息，接收包括信息的有线或无线传输，从输入设备接收表示用户输入的信号，以及从传感器接收表示传感器所进行的观察的信号。可由计算设备1060执行的操作可包括作出确定，诸如通过将值与阈值进行比较、将状态与条件进行比较、使用公式来评估一个或多个输入值、使用算法来评估一个或多个输入值、和/或使用任何类型的数据来进行计算。
83.可由计算设备1060执行的操作还可包括例如使用数据总线、使用有线数据传输或使用无线数据传输来传输信息。可由计算设备1060执行的操作还可包括输出信号以控制部件，诸如通过输出使传感器进行测量的信号、输出使相机捕获图像的信号、或者输出使致动器操作(诸如通过命令致动器开始移动、停止移动、设定速度值、设定扭矩值、或移动到由信号指定的特定位置)的信号。可由计算设备1060执行的操作还可包括输出使显示部件显示内容的显示信号，诸如通过将信号输出到发光显示面板、投影仪、或能够以可被人看到的方式显示内容的其他类型的显示设备。
84.本文所述的遥操作系统可包括收集、存储和使用可从各种来源获得的数据。实现者应注意，在个人信息数据用于提供遥操作功能的范围内，信息的使用方式应符合适用的隐私法和惯例。例如，系统可要求用户在执行某些特征之前选择加入(例如，提供同意)。系统还可允许用户在尽可能提供其他特征的同时选择退出。这些活动应当根据满足或超出关于个人信息数据的隐私性和安全性的行业或政府要求的隐私策略和实践来进行。

技术特征：
1.一种计算机实现的方法，包括：确定车辆的自主控制模式的预测的脱离；输出请求所述车辆从所述自主控制模式转变到手动控制模式的通知；确定已经满足阈值条件而所述车辆没有转变到所述手动控制模式；以及根据确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式，将所述车辆转变到遥操作控制模式。2.根据权利要求1所述的计算机实现的方法，其中当实时脱离可能性度量超过阈值时确定所述预测的脱离。3.根据权利要求2所述的计算机实现的方法，其中所述实时脱离可能性度量被表示为所述车辆的所述自主控制模式将在预定时段内脱离的概率。4.根据权利要求2所述的计算机实现的方法，还包括：在确定所述车辆的所述自主控制模式的所述预测的脱离之前，在监测所述实时脱离可能性度量的同时自主地朝向目的地位置导航。5.根据权利要求1所述的计算机实现的方法，其中确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式包括确定预定时间段已经过去。6.根据权利要求1所述的计算机实现的方法，其中确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式包括确定实时脱离可能性度量超过阈值。7.根据权利要求1所述的计算机实现的方法，其中确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式包括基于来自位于所述车辆的客舱中的传感器的传感器信息来确定用户没有响应。8.一种非暂态计算机可读存储设备，所述非暂态计算机可读存储设备包括能够由一个或多个处理器执行的程序指令，所述程序指令在被执行时使所述一个或多个处理器执行操作，所述操作包括：确定车辆的自主控制模式的预测的脱离；输出请求所述车辆从所述自主控制模式转变到手动控制模式的通知；确定已经满足阈值条件而所述车辆没有转变到所述手动控制模式；以及根据确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式，将所述车辆转变到遥操作控制模式。9.根据权利要求8所述的非暂态计算机可读存储设备，其中当实时脱离可能性度量超过阈值时确定所述预测的脱离。10.根据权利要求9所述的非暂态计算机可读存储设备，其中所述实时脱离可能性度量被表示为所述车辆的所述自主控制模式将在预定时段内脱离的概率。11.根据权利要求9所述的非暂态计算机可读存储设备，还包括：在确定所述车辆的所述自主控制模式的所述预测的脱离之前，在监测所述实时脱离可能性度量的同时自主地朝向目的地位置导航。12.根据权利要求8所述的非暂态计算机可读存储设备，其中确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式包括确定预定时间段已经过去。13.根据权利要求8所述的非暂态计算机可读存储设备，其中确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式包括确定实时脱离可能性度量超过阈值。
14.根据权利要求8所述的非暂态计算机可读存储设备，其中确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式包括基于来自位于所述车辆的客舱中的传感器的传感器信息来确定用户没有响应。15.一种装置，包括：存储器；和一个或多个处理器，所述一个或多个处理器被配置为执行存储在所述存储器中的指令，其中所述指令在被执行时使所述一个或多个处理器：确定车辆的自主控制模式的预测的脱离，输出请求所述车辆从所述自主控制模式转变到手动控制模式的通知，确定已经满足阈值条件而所述车辆没有转变到所述手动控制模式，以及根据确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式，将所述车辆转变到遥操作控制模式。16.根据权利要求15所述的装置，其中当实时脱离可能性度量超过阈值时确定所述预测的脱离。17.根据权利要求16所述的装置，其中所述实时脱离可能性度量被表示为所述车辆的所述自主控制模式将在预定时段内脱离的概率。18.根据权利要求16所述的装置，其中所述指令进一步使所述一个或多个处理器：在确定所述车辆的所述自主控制模式的所述预测的脱离之前，在监测所述实时脱离可能性度量的同时自主地朝向目的地位置导航。19.根据权利要求15所述的装置，其中所述确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式包括确定预定时间段已经过去。20.根据权利要求15所述的装置，其中所述确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式包括确定实时脱离可能性度量超过阈值。21.根据权利要求15所述的装置，其中所述确定已经满足所述阈值条件而所述车辆没有转变到所述手动控制模式包括基于来自位于所述车辆的客舱中的传感器的传感器信息来确定用户没有响应。

技术总结
一种计算机实现的方法包括：确定车辆的自主控制模式的预测的脱离(852)；输出请求该车辆从该自主控制模式转变到手动控制模式的通知(853)；确定已经满足阈值条件而该车辆没有转变到该手动控制模式(856)；以及根据该确定已经满足该阈值条件而该车辆没有转变到该手动控制模式，将该车辆转变到遥操作控制模式(857)。(857)。(857)。


技术研发人员：L
受保护的技术使用者：苹果公司
技术研发日：2022.01.21
技术公布日：2023/9/22