控制制造环境的多个无线接入点的操作特性的制作方法

1.本公开涉及用于控制制造环境的多个无线接入点的一个或多个操作特性的系统和方法。


背景技术：

2.本部分中的陈述仅提供了与本公开相关的背景信息，并且可能不构成现有技术。
3.在制造环境中，无线通信装置用于各种制造过程。作为示例，无线通信装置可经由一个或多个无线接入点和具有射频(rf)频谱的定义的通信信道向/从远程计算系统、静态/自主机器人、机加工单元和/或其他无线通信装置广播或接收各种类型的数据。然而，由于本地停电、装备故障、噪声污染和/或网络拥塞，无线接入点可能无法访问，从而禁止在制造环境中传输或接收rf信号。本公开解决了与无线接入点不可达有关的这些问题以及其他问题。


技术实现要素：

4.本部分提供了对本公开的总体概述并且不是对其全部范围或其所有特征的全面公开。
5.本公开提供了一种用于控制制造环境的多个无线接入点的一个或多个操作特性的方法，包括：基于与所述多个无线接入点相关联的网络数据而生成多个状态向量；以及识别多个动作中的并且与所述多个状态向量相关联的动作集。所述方法包括：确定所述动作集中的每个动作的奖励；基于与所述动作集中的每个动作相关联的所述奖励而选择所述动作集中的目标动作；以及基于所述目标动作而选择性地调整所述多个无线接入点的所述一个或多个操作特性。
6.在一种形式中，基于与所述多个无线接入点相关联的马尔可夫决策过程(mdp)模型而识别所述动作集。在一种形式中，所述多个动作包括自组织动作、射频(rf)调整动作和状态-保持动作。在一种形式中，当所述目标动作对应于自组织动作时，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括执行自配置例程和自修复例程中的一个。在一种形式中，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括执行载荷平衡例程。在一种形式中，当所述目标动作对应于射频(rf)调整动作时，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括将一个或多个rf特性调整为所述无线接入点的所述一个或多个操作特性。
7.在一种形式中，奖励是指示与网络数据相关联的定性度量、与网络数据相关联的定量度量或它们的组合的值。在一种形式中，所述奖励还基于与所述动作集中的每个动作相关联的位置控制权重。在一种形式中，所述多个状态向量中的每个状态向量对应于所述多个无线接入点中的给定无线接入点和所述网络数据中的给定网络数据集，所述多个状态向量中的每个状态向量限定所述给定无线接入点的位置，并且所述多个状态向量中的每个状态向量限定与所述给定网络数据集相关联的离散时间值。在一种形式中，所述网络数据
指示所述多个无线接入点的信号功率、所述多个无线接入点的传输频率、所述多个无线接入点的吞吐率或它们的组合。
8.本公开提供了一种用于控制制造环境的多个无线接入点的一个或多个操作特性的系统，所述系统包括一个或多个处理器和存储可由所述一个或多个处理器执行的指令的一个或多个非暂时性计算机可读介质。所述指令包括基于与所述多个无线接入点相关联的网络数据而生成多个状态向量，其中所述网络数据指示所述多个无线接入点的信号功率、所述多个无线接入点的传输频率、所述多个无线接入点的吞吐率或它们的组合。所述指令包括基于与所述多个无线接入点相关联的马尔可夫决策过程(mdp)模型而识别多个动作中的并且与所述多个状态向量相关联的动作集，其中所述多个动作包括自组织动作、射频(rf)调整动作和状态-保持动作。所述指令包括确定所述动作集中的每个动作的奖励，其中所述奖励是指示与网络数据相关联的定性度量、与网络数据相关联的定量度量或它们的组合的值。所述指令包括基于与所述动作集中的每个动作相关联的所述奖励而选择所述动作集中的目标动作；以及基于所述目标动作而选择性地调整所述多个无线接入点的所述一个或多个操作特性。
9.在一种形式中，当所述目标动作对应于自组织动作时，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括执行自配置例程和自修复例程中的一个。在一种形式中，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括执行载荷平衡例程。在一种形式中，当所述目标动作对应于射频(rf)调整动作时，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括将一个或多个rf特性调整为所述无线接入点的所述一个或多个操作特性。在一种形式中，所述奖励还基于与所述动作集中的每个动作相关联的位置控制权重。在一种形式中，所述多个状态向量中的每个状态向量对应于所述多个无线接入点中的给定无线接入点和所述网络数据中的给定网络数据集，所述多个状态向量中的每个状态向量限定所述给定无线接入点的位置，并且所述多个状态向量中的每个状态向量限定与所述给定网络数据集相关联的离散时间值。在一种形式中，所述网络数据指示所述多个无线接入点的信号功率、所述多个无线接入点的传输频率、所述多个无线接入点的吞吐率或它们的组合。
10.本公开提供了一种用于控制制造环境的多个无线接入点的一个或多个操作特性的方法，所述方法包括基于与所述多个无线接入点相关联的网络数据而生成多个状态向量，其中所述网络数据指示所述多个无线接入点的信号功率、所述多个无线接入点的传输频率、所述多个无线接入点的吞吐率或它们的组合。所述方法包括基于与所述多个无线接入点相关联的马尔可夫决策过程(mdp)模型而识别多个动作中的并且与所述多个状态向量相关联的动作集，其中所述多个动作包括自组织动作、射频(rf)调整动作和状态-保持动作。所述方法包括：确定所述动作集中的每个动作的奖励以及与所述动作集中的每个动作相关联的位置控制权重；基于与所述动作集中的每个动作相关联的所述奖励而选择所述动作集中的目标动作；以及基于所述目标动作而选择性地调整所述多个无线接入点的所述一个或多个操作特性。
11.根据本文中提供的描述，另外的适用领域将变得显而易见。应理解，描述和具体示例仅意图用于说明目的，而不意在限制本公开的范围。
附图说明
12.为了可很好地理解本公开，现在将参考附图通过举例的方式描述本公开的各种形式，在附图中：
13.图1示出了根据本公开的教示的制造环境的功能框图；
14.图2示意性地示出了根据本公开的教示的在第一离散时间值处与多个无线接入点相关联的网络数据；
15.图3示意性地示出了根据本公开的教示的在第二离散时间值处与多个无线接入点相关联的网络数据；
16.图4示意性地示出了根据本公开的教示的与状态向量相关联的多个动作，所述状态向量基于在图3的第二离散时间值处的网络数据；
17.图5示意性地示出了根据本公开的教示的响应于基于选定目标动作而控制多个无线接入点而与多个无线接入点相关联的网络数据；
18.图6示意性地示出了根据本公开的教示的响应于基于另一选定目标动作而控制多个无线接入点而与多个无线接入点相关联的网络数据；并且
19.图7是根据本公开的教示的示例控制例程的流程图。
20.本文描述的附图仅用于说明目的，而不意在以任何方式限制本公开的范围。
具体实施方式
21.以下描述本质上仅仅是示例性的并且不意图限制本公开、应用或用途。应理解，贯穿附图，对应的附图标记指示相同或对应的零件和特征。
22.本公开提供了用于控制制造环境的多个无线接入点的一个或多个操作特性的系统和方法。中央控制器基于与所述多个无线接入点相关联的网络数据而生成多个状态向量，并且执行强化学习例程以选择性地调整所述无线接入点的所述操作特性。具体地，所述中央控制器识别与所述多个状态向量相关联的动作集，确定所述动作集中的每个动作的奖励，基于所述奖励而选择所述动作集中的目标动作，并且基于所述目标动作而控制所述多个无线接入点的操作特性。因此，强化学习例程使所述中央控制器能够在中央控制器检测到制造环境的动态变化(诸如无线接入点的添加/删除、与无线接入点相关联的意外停机时间以及制造环境的其他动态改变)时提供不间断的无线网络接入。此外，强化学习程序使中央控制器能够增强网络连接性和吞吐量，同时抑制信号干扰。
23.参看图1，示出了用于制造部件(例如，车辆、发动机、气候控制系统等)的制造环境1。制造环境1通常包括射频(rf)传感器5、无线接入点10、无线通信装置15、中央控制器20和局域网(lan)23。虽然中央控制器20被示出为制造环境1的一部分，但是应理解，中央控制器20可远离制造环境1定位。虽然rf传感器5被示出为无线接入点10的一部分，但是应理解，rf传感器5可远离无线接入点10定位。在一种形式中，rf传感器5、无线接入点10、无线通信装置15和中央控制器20使用无线通信协议(例如，型协议、蜂窝式协议、无线保真(wi-fi)型协议、近场通信(nfc)协议、超宽带(uwb)协议等)可通信地耦接。
24.在一种形式中，rf传感器5被配置成向中央控制器20提供与无线接入点10相关联的网络数据。在一种形式中，网络数据指示与无线接入点10相关联的信号功率、传输频率和/或吞吐率。因此，rf传感器5可包括基于二极管检测器的rf传感器、热敏电阻器rf功率传
感器、热电偶rf功率传感器以及其他传感器，所述其他传感器被配置成检测指示网络数据的各种度量，诸如消息的以分贝为单位的功率比(dbm)、消息的功率谱密度(dbm/mhz)、分组错误率(per)、信噪比(snr)、分组丢失和错误率、等待时间以及指示网络数据其他度量。
25.在一种形式中，无线接入点10是使无线通信装置15能够使用上述无线通信协议与lan 23确立通信链路的联网装置。无线接入点10包括但不限于wi-fi型路由器、wi-fi型信号增强器/扩展器等。此外，在一些形式中，无线接入点10被配置成向中央控制器20提供信道信息，其中所述信道信息指示无线通信装置15在给定时间正在利用的给定无线通信协议的通信信道和/或传输频率。
26.在一种形式中，rf传感器5和无线接入点10安置在制造环境1的各种固定基础设施元件处，包括但不限于：顶置梁、塔、灯杆、建筑物、标志、机加工装置、固定存储架/搁置系统以及制造环境1的其他固定元件。应理解，rf传感器5和/或无线接入点10可以其他形式安置在制造环境1的各种可移动元件处。
27.在一种形式中，无线通信装置15是利用无线通信协议来执行和/或辅助制造操作的计算装置。所述计算装置可包括但不限于：计算机、笔记本计算机、智能电话、平板电脑、个人数字助理(pda)、用于具体制造操作的专用控制器等。作为示例，无线通信装置15是计算装置，所述计算装置安置在被配置成自主地移动到制造环境1的各种位置的自主装置处，所述自主装置诸如但不限于：移动机器人、移动工作站、无人机和/或自动化导引车辆以及其他自主装置。作为另一示例，无线通信装置15是安置在机加工设备(诸如计算机数字控制(cnc)机器)上的计算装置。应理解，无线通信装置15可能是执行各种其他操作的其他合适的装置，并且不限于本文描述的示例。
28.在一种形式中，中央控制器20包括状态向量模块22、状态-动作模块24、状态-动作数据库25、奖励模块26、目标动作模块28和无线接入点(wap)控制模块30。应容易理解，中央控制器20的部件中的任何一个可提供在相同位置或分布在不同位置(例如，经由一个或多个边缘计算装置)，并且因此可通信地耦接。
29.在一种形式中，状态向量模块22从多个rf传感器5和/或无线接入点10获得网络数据，并基于所述网络数据而生成多个状态向量。在一种形式中，每个状态向量对应于给定的无线接入点10、给定的无线接入点10在制造环境1内的位置、与无线接入点10相关联的网络数据的集合以及与所述网络数据的集合相关联的离散时间值。作为示例，可基于以下关系而表示状态向量(s)：
[0030][0031]
在关系式(1)中，n对应于状态向量的长度，其中每个要素对应于由中央控制器20获得的网络数据的类型和值。在关系式(1)中，d对应于给定无线接入点10的位置和/或标识，并且t是与所述网络数据的集合相关联的离散时间值。
[0032]
作为具体示例并参看图2，状态向量模块22可生成制造环境1-1的无线接入点10-1、10-2、10-3、10-4的第一状态向量，其中无线接入点10-1、10-2、10-3、10-4如下表(1)所示，对于离散时间值t1具有分别由圆圈40-1、40-2、40-3、40-4表示的信号功率。在表(1)中，表示信号功率的状态向量的要素由x表示，表示传输频率/信道的状态向量的要素由ch表示，并且表示吞吐率的状态向量的要素由tr表示。
[0033][0034]
作为另一具体示例并且参看图3，状态向量模块22可针对离散时间值t2生成无线接入点10-1、10-2、10-3、10-4和新添加的无线接入点10-5的第二状态向量，如下面的表(2)中所示。
[0035][0036]
在一种形式中并且参看图1至图3，状态-动作模块24识别存储在状态-动作数据库25中的与状态向量相关联的多个动作中识别动作集。多个动作类型可包括但不限于：自配置动作、自修复动作、rf调整动作、状态-保持动作或它们的组合。自配置动作和自修复动作在下文中统称为“自组织动作”。
[0037]
如本文所使用的，“自配置动作”是指中央控制器20指导无线接入点10调整无线接入点10的一个或多个操作特性，以适应将附加的无线接入点10包括到所述多个无线接入点10。作为示例，自配置动作可能是指中央控制器20指导无线接入点10减小广播信号的信号功率和/或改变传输频率/信道。
[0038]
如本文所使用的，“自配置动作”是指中央控制器20指导无线接入点10调整无线接入点10的一个或多个操作特性，以适应由于例如与给定的无线接入点10相关联的本地停电、装备故障、噪声污染和/或网络拥塞从所述多个无线接入点10中移除无线接入点10。作为示例，自配置动作可能是指中央控制器20指导无线接入点10增加广播信号的信号功率和/或改变传输频率/信道。
[0039]
如本文所使用的，“rf调整动作”是指中央控制器20调整无线接入点10的一个或多个操作特性以满足一个或多个网络数据约束。示例网络数据约束包括但不限于：信号功率
约束、吞吐率约束、载荷平衡约束等。如本文所使用的，“状态-保持动作”是指中央控制器20维持无线接入点10的操作特性。
[0040]
在一种形式中，针对每种动作类型的各种操作特性将动作存储在状态-动作数据库25中。作为示例，状态-动作数据库25包括：对应于信号功率减小值和传输频率/信道的各种组合的多个自配置动作；以及对应于信号功率增加值和传输频率/信道的各种组合的多个自修复动作。同样地，状态-动作数据库25包括对应于信号功率值调整和传输频率/信道调整的各种组合的多个rf调整动作。
[0041]
在一种形式中，状态-动作模块24基于状态向量的值和一个或多个动作识别规则而识别动作集。作为示例，当状态向量的要素不对应于无线接入点10中的一个的添加或移除时，一个或多个动作识别规则可对应于仅rf调整动作和状态-保持动作的识别。作为另一示例，当状态向量的要素对应于无线接入点10的添加时，一个或多个动作识别规则可对应于仅rf调整动作、自配置动作和状态-保持动作的识别。作为附加示例，当状态向量的要素对应于无线接入点10的移除时，一个或多个动作识别规则可对应于仅rf调整动作、自修复动作和状态-保持动作的识别。在一种形式中，状态-动作模块24基于与无线接入点10相关联的马尔可夫决策过程(mdp)模型而识别所述动作集。也就是说，状态-动作模块24识别所述动作集，以使得其独立于所有先前生成的状态向量(即，具有在当前状态向量之前的离散时间值的状态向量)。
[0042]
作为示例并且参看图4，状态-动作模块24基于第二状态向量的值(即它是对应于离散时间值t2和图3中示出的无线接入点10-5的添加的状态向量)、一个或多个动作识别规则和mdp模型而识别存储在状态-动作数据库25中的多个动作中的动作集50-1、50-2、50-3、50-4、50-5(下文统称为“动作集50”)。
[0043]
在一种形式中，动作50-1限定自配置动作(即，添加无线接入点10-5)和第一rf调整动作(例如，将无线接入点10-1、10-2、10-3、10-4、10-5的传输信号功率设置为第一值并且利用第一传输信道)。在一种形式中，动作50-2限定自配置动作和第二rf调整动作(例如，将无线接入点10-1、10-2、10-3、10-4、10-5的传输信号功率设置为第二值并且利用第一传输信道)。在一种形式中，动作50-3限定自配置动作和第三rf调整动作(例如，将无线接入点10-1、10-2、10-3的传输信号功率设置为第一值，将无线接入点10-4、10-5的传输信号功率设置为第二值，并且利用第一传输信道)。在一种形式中，动作50-4限定自配置动作和第四rf调整动作(例如，将无线接入点10-1、10-2、10-3、10-4、10-5的传输信号功率设置为第二值并且利用第二传输信道)。在一种形式中，动作50-5是状态-保持动作(即，避免调整无线接入点10-1、10-2、10-3、10-4、10-5的操作特性)。虽然图4中示出了五个动作，但是应理解，状态-动作模块24可以其他形式识别任何数量的动作。
[0044]
在一种形式中，奖励模块26被配置成使用已知的强化学习例程(例如，学习率等于0的q学习例程)来确定动作集合50中的每个动作的奖励。奖励值指示与给定动作的预测的所得网络数据相关联的定性和/或定量度量。作为示例，较大的奖励值可对应于与无线接入点10相关联的改进的定性/定量度量(例如，给定的动作增加了无线接入点10的信号功率和吞吐率)，而较小的奖励值可对应于与无线接入点10相关联的恶化的定性/定量度量(例如，给定的动作降低了无线接入点10的信号功率和/或吞吐率)。
[0045]
在一种形式中，所述奖励值还基于与所述动作集50中的每个动作相关联的位置控
制权重。如本文所使用的，位置控制权重是基于一个或多个生产约束、时间约束和位置约束而指派给所述动作集50的缩放值。作为示例，由于例如在制造环境1内的对应位置处制造的产品类型，和/或给定位置处的网络拥塞的可能性，可将较大的位置控制权重指派给对应于在较高优先级位置中调整无线接入点10的操作特性的动作。美国专利申请号17/122,413中公开了用于预测网络拥塞可能性的示例程序，所述美国专利申请与本技术共同拥有，并且其内容以引用的方式整体并入本文中。
[0046]
在一种形式中，目标动作模块28基于所述奖励中的每个而选择动作集50中的目标动作。作为示例，目标动作模块28选择目标动作作为具有最高奖励值的动作50。
[0047]
在一种形式中，wap控制模块30基于目标动作而选择性地调整(或指导无线接入点10调整)无线接入点10的一个或多个操作特性。在一种形式中，wap控制模块30通过执行载荷平衡例程、增加/减小对应无线接入点的信号功率、启动/停用无线接入点10的集合和/或调整至少所述无线接入点的集合的所述传输信道来调整一个或多个操作特性。
[0048]
作为示例，当目标动作是自组织动作时，wap控制模块30执行自配置例程(例如，降低无线接入点10的信号功率以适应包括新的无线接入点)和自修复例程(例如，增加无线接入点10的信号功率以适应由于例如给定无线接入点处的停电而移除无线接入点)中的一个。作为另一示例，当目标动作是rf调整动作时，wap控制模块30调整一个或多个rf特性(例如，信号功率和/或传输频率/信道)以实现目标吞吐率。
[0049]
作为具体的示例并且如图5中所示，wap控制模块30执行自配置例程以适应包括无线接入点10-5。此外，wap控制模块30可迭代地执行一个或多个rf调整动作，使得无线接入点10-5的信号功率(由圆圈40-5表示)等于无线接入点10-1、10-2、10-3、10-4的信号功率(由圆圈40-1、40-2、40-3、40-4表示)，并且使得满足无线接入点10-1、10-2、10-3、10-4、10-5的目标吞吐率。
[0050]
作为另一具体示例并且如图6中所示，wap控制模块30执行自修复例程以适应由于例如本地停电而从制造环境1-2中移除具有由圆圈40-10表示的信号功率的无线接入点10-10。也就是说，wap控制模块30对无线接入点10-6、10-7、10-8、10-9执行自修复例程以增加信号功率(由圆圈40-6、40-7、40-8、40-9表示)，并且因此适应无线接入点10-10的移除。此外，wap控制模块30可迭代地执行一个或多个rf调整动作以调整无线接入点10-6、10-7、10-8、10-9的信号功率，使得满足目标吞吐率。
[0051]
参看图7，示出了用于控制无线接入点10的一个或多个操作特性的例程700的流程图。在704处，中央控制器20基于与无线接入点(wap)10相关联的网络数据而生成状态向量。在708处，中央控制器20识别与状态向量相关联的动作集。在712处，中央控制器20确定每个动作的奖励，并且在716处基于所述奖励而从所述动作集中选择目标动作。在720处，中央控制器20基于目标动作而选择性地调整无线接入点10的一个或多个操作特性。
[0052]
除非本文另有明确指示，否则指示机械/热性质、组成百分比、尺寸和/或公差或其他特性的所有数值在描述本公开的范围时应理解为由词语“约”或“大约”修饰。出于各种原因期望进行这种修饰，所述原因包括：工业实践；材料、制造和组装公差；以及测试能力。
[0053]
如本文所使用，短语a、b和c中的至少一个应被解释为使用非排他性逻辑“或”表示逻辑(a或b或c)，并且不应被解释为表示“a中的至少一个、b中的至少一个以及c中的至少一个”。
[0054]
在本技术中，术语“控制器”和/或“模块”可指代以下项、是以下项的一部分或包括以下项：专用集成电路(asic)；数字、模拟或混合模拟/数字离散电路；数字、模拟或混合模拟/数字集成电路；可组合的逻辑电路；现场可编程门阵列(fpga)；执行代码的处理器电路(共享、专用或群组)；存储由处理器电路执行的代码的存储器电路(共享、专用或群组)；提供所描述的功能性的其他合适的硬件部件；或者上述的一些或全部的组合，诸如在片上系统中。
[0055]
术语存储器是术语计算机可读介质的子集。如本文所使用的术语计算机可读介质不涵盖通过介质(诸如在载波上)传播的暂时性电信号或电磁信号；因此，术语计算机可读介质可被认为是有形的和非暂时性的。非暂时性有形计算机可读介质的非限制性示例为非易失性存储器电路(诸如快闪存储器电路、可擦除可编程只读存储器电路或掩模只读电路)、易失性存储器电路(诸如静态随机存取存储器电路或动态随机存取存储器电路)、磁性存储介质(诸如模拟磁带或数字磁带或硬盘驱动器)以及光学存储介质(诸如cd、dvd或蓝光光盘)。
[0056]
本技术中所描述的设备和方法可由专用计算机部分地或完全地实现，所述专用计算机通过将通用计算机配置成执行计算机程序中体现的一种或多种特定功能来创建。功能框、流程图组成部分和上文描述的其他要素用作软件规范，所述软件规范可通过技术人员或程序员的例行工作来转译成计算机程序。
[0057]
本公开的描述本质上仅仅是示例性的，并且因此，不背离本公开的实质的变型意在在本公开的范围内。不应将此类变型视为脱离本公开的精神和范围。
[0058]
根据本发明，一种用于控制制造环境的多个无线接入点的一个或多个操作特性的方法，所述方法包括：基于与所述多个无线接入点相关联的网络数据而生成多个状态向量，其中所述网络数据指示所述多个无线接入点的信号功率、所述多个无线接入点的传输频率、所述多个无线接入点的吞吐率或它们的组合；基于与所述多个无线接入点相关联的马尔可夫决策过程(mdp)模型而识别多个动作中的并且与所述多个状态向量相关联的动作集，其中所述多个动作包括自组织动作、射频(rf)调整动作和状态-保持动作；确定所述动作集中的每个动作的奖励以及与所述动作集中的每个动作相关联的位置控制权重；基于与所述动作集中的每个动作相关联的所述奖励而选择所述动作集中的目标动作；以及基于所述目标动作而选择性地调整所述多个无线接入点的所述一个或多个操作特性。

技术特征：
1.一种用于控制制造环境的多个无线接入点的一个或多个操作特性的方法，所述方法包括：基于与所述多个无线接入点相关联的网络数据而生成多个状态向量；识别多个动作中的并且与所述多个状态向量相关联的动作集；确定所述动作集中的每个动作的奖励；基于与所述动作集中的每个动作相关联的所述奖励而选择所述动作集中的目标动作；以及基于所述目标动作而选择性地调整所述多个无线接入点的所述一个或多个操作特性。2.如权利要求1所述的方法，其中基于与所述多个无线接入点相关联的马尔可夫决策过程(mdp)模型而识别所述动作集。3.如权利要求1所述的方法，其中所述多个动作包括自组织动作、射频(rf)调整动作和状态-保持动作。4.如权利要求1至3中任一项所述的方法，其中当所述目标动作对应于自组织动作时，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括执行自配置例程和自修复例程中的一个。5.如权利要求4所述的方法，其中选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括执行载荷平衡例程。6.如权利要求1至3中任一项所述的方法，其中当所述目标动作对应于射频(rf)调整动作时，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括将一个或多个rf特性调整为所述无线接入点的所述一个或多个操作特性。7.如权利要求1至3中任一项所述的方法，其中所述奖励是指示与所述网络数据相关联的定性度量、与所述网络数据相关联的定量度量或它们的组合的值。8.如权利要求1至3中任一项所述的方法，其中所述奖励还基于与所述动作集中的每个动作相关联的位置控制权重。9.如权利要求1至3中任一项所述的方法，其中：所述多个状态向量中的每个状态向量对应于所述多个无线接入点中的给定无线接入点和所述网络数据中的给定网络数据集；所述多个状态向量中的每个状态向量限定所述给定无线接入点的位置；并且所述多个状态向量中的每个状态向量限定与所述给定网络数据集相关联的离散时间值。10.如权利要求1至3中任一项所述的方法，其中所述网络数据指示所述多个无线接入点的信号功率、所述多个无线接入点的传输频率、所述多个无线接入点的吞吐率或它们的组合。11.一种用于控制制造环境的多个无线接入点的一个或多个操作特性的系统，所述系统包括：一个或多个处理器和存储能够由所述一个或多个处理器执行的指令的一个或多个非暂时性计算机可读介质，其中所述指令包括：基于与所述多个无线接入点相关联的网络数据而生成多个状态向量，其中所述网络数据指示所述多个无线接入点的信号功率、所述多个无线接入点的传输频率、所述多个无线
接入点的吞吐率或它们的组合；基于与所述多个无线接入点相关联的马尔可夫决策过程(mdp)模型而识别多个动作中的并且与所述多个状态向量相关联的动作集，其中所述多个动作包括自组织动作、射频(rf)调整动作和状态-保持动作；确定所述动作集中的每个动作的奖励，其中所述奖励是指示与所述网络数据相关联的定性度量、与所述网络数据相关联的定量度量或它们的组合的值；基于与所述动作集中的每个动作相关联的所述奖励而选择所述动作集中的目标动作；以及基于所述目标动作而选择性地调整所述多个无线接入点的所述一个或多个操作特性。12.如权利要求11所述的系统，其中当所述目标动作对应于自组织动作时，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括执行自配置例程和自修复例程中的一个。13.如权利要求12所述的系统，其中选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括执行载荷平衡例程。14.如权利要求11至13中任一项所述的系统，其中当所述目标动作对应于射频(rf)调整动作时，选择性地调整所述多个无线接入点的所述一个或多个操作特性还包括将一个或多个rf特性调整为所述无线接入点的所述一个或多个操作特性。15.如权利要求11至13中任一项所述的系统，其中所述奖励还基于与所述动作集中的每个动作相关联的位置控制权重。

技术总结
本公开提供了“控制制造环境的多个无线接入点的操作特性”。一种用于控制制造环境的多个无线接入点的一个或多个操作特性的方法，包括：基于与所述多个无线接入点相关联的网络数据而生成多个状态向量；以及识别多个动作中的并且与所述多个状态向量相关联的动作集。所述方法包括：确定所述动作集中的每个动作的奖励；基于与所述动作集中的每个动作相关联的所述奖励而选择所述动作集中的目标动作；以及基于所述目标动作而选择性地调整所述多个无线接入点的所述一个或多个操作特性。接入点的所述一个或多个操作特性。接入点的所述一个或多个操作特性。


技术研发人员：让
受保护的技术使用者：福特全球技术公司
技术研发日：2023.03.28
技术公布日：2023/10/19