检测具有不利用户影响的网络事件的制作方法

检测具有不利用户影响的网络事件
1.本技术要求于2022年7月14日提交的美国申请第17/812,676号的权益，该申请要求于2022年3月22日提交的美国临时专利申请第63/322,545号的权益，其全部内容通过引用并入本文。
技术领域
2.本公开总体上涉及计算机网络，并且更具体地，涉及检测、故障排除和补救网络问题。


背景技术：

3.计算机网络是可交换数据和共享资源的互连计算设备的集合。在诸如互联网的基于分组的网络中，计算设备通过将数据分成称为分组的可变长度块来传送数据，分组通过网络从源设备被单独路由到目的地设备。目的地设备从分组中提取数据，并且将数据组装成其原始形式。
4.网络提供商和组织(例如，企业)可以具有包括多层网关、路由器、交换机和接入点的网络。诸如办公室、医院、机场、体育场或零售店的商业场所或站点通常在整个场所安装复杂的有线和无线网络系统，包括无线接入点(ap)网络，以向一个或多个无线客户端设备(或简称为“客户端”)提供无线网络服务。ap是使用各种无线联网协议和技术使其他设备能够无线连接至有线网络的物理电子设备，这些无线网络协议和技术诸如符合ieee 802.11标准中的一个或多个的无线局域网联网协议(即“wifi”)、蓝牙/蓝牙低能量(ble)、诸如zigbee的网状联网协议或其他无线联网技术。多种不同类型的无线客户端设备，诸如膝上型计算机、智能电话、平板计算机、可穿戴设备、电器和物联网(iot)设备，均采用了无线通信技术，并且可以被配置为当设备处于兼容无线接入点的范围内时连接至无线接入点，以便接入有线网络。
5.此外，组织和网络提供商可以使用广域网中的软件定义的联网(sd-wan)，以管理诸如远程分支机构或中央办公室或数据中心的分布式位置(例如，站点)间的网络连通性。sd-wan扩展了sdn，使企业能够通过wan快速高效地创建连接，wan可以包括互联网或其他提供各种wan连接类型的传送网络，诸如基于多协议标签交换(mpls)的连接、移动网络连接(例如3g、长期演进(lte)、5g)、非对称数字用户线路(adsl)等。这类连接通常被称为“wan链路”，或者更简单地称为“链路”。sd-wan被认为是连通性解决方案，其利用wan链路来实现，作为传统wan接入之上的覆盖层，利用上述或其他wan连接类型。


技术实现要素：

6.一般而言，本公开描述了用于检测影响客户端设备的网络事件或网络问题的技术，该网络事件或网络问题对与客户端设备相关联的用户体验产生不利影响。网络分析系统可以从网络的网络设备接收包括遥测数据的各种形式的网络数据，并且从这类网络数据中，可以标识一个或多个网络事件。在一些示例中，网络数据包括网络业务影响数据，诸如
由于拥塞而在交换机端口处丢弃的分组数目。网络分析系统还接收指示用户影响的用户数据。基于网络数据和用户数据，网络分析系统可以及时关联事件并检测网络中的问题。例如，网络分析系统可以是网络管理系统(nms)的部分。
7.nms将从网络数据确定的网络事件和/或趋势与来自客户端设备的用户影响数据相互关联，以标识对客户端设备具有成问题的用户影响的网络事件。nms还可以标识问题的根本原因，并且启动补救动作来解决问题。在一些示例中，问题的根本原因可能是由于违规的客户端设备，诸如由于错误配置、误用或其他问题。
8.本文所公开的技术可以包括在实际应用中，该实际应用提供优于现有系统的技术优势。例如，网络管理系统可以周期性地或按需从网络设备(例如，交换机、路由器、网关、ap等)接收网络数据。网络管理系统可以利用网络数据来执行趋势分析。网络管理系统可以确定网络正趋向于具有不利用户影响的压倒性网络业务。网络管理系统可以从网络数据中确定压倒性网络业务的根本原因以及补救压倒性网络业务的动作。网络管理系统可以将该动作发送给网络中的网络设备或客户端设备以补救压倒性网络业务。因此，可以自动检测和补救压倒性网络业务，而不需要网络管理员或其他方在现场。这可以在更短的时间内排除故障并补救压倒性网络业务，从而提高网络用户和网络运营商对网络提供的服务的满意度。
9.在一个示例中，一种方法包括由网络管理系统(nms)的处理电路系统从被配置为在站点处提供网络的多个网络设备接收网络数据；由处理电路系统从在站点处接入网络的多个客户端设备接收用户影响数据；由处理电路系统并基于网络数据，确定随时间出现的一个或多个网络事件的模式；由处理电路系统将一个或多个网络事件的模式与从多个客户端设备接收的由用户影响数据所指示的不利用户影响事件及时相互关联；以及响应于该相互关联，由处理电路系统确定具有不利用户影响的压倒性网络业务的实例。
10.在另一示例中，一种方法包括由网络管理系统(nms)的处理电路系统从被配置为在站点处提供网络的多个网络设备接收网络数据；由处理电路系统从在站点处接入网络的多个客户端设备接收用户影响数据；由处理电路系统并基于网络数据，确定随时间出现的一个或多个网络事件的模式；由处理电路系统将一个或多个网络事件的模式与从多个客户端设备接收的由用户影响数据所指示的不利用户影响事件及时相互关联；以及响应于该相互关联，由处理电路系统确定具有不利用户影响的压倒性网络业务的实例。
11.在另一示例中，一种其上存储有指令的计算机可读介质，该指令在被执行时使网络管理系统(nms)的一个或多个处理器：从被配置为在站点处提供网络的多个网络设备接收网络数据；从在该站点处接入网络的多个客户端设备接收用户影响数据；基于网络数据，确定随时间出现的一个或多个网络事件的模式；将一个或多个网络事件的模式与从多个客户端设备接收的由用户影响数据所指示的不利用户影响事件及时相互关联；以及响应于该相互关联，确定具有不利用户影响的压倒性网络业务的实例。
12.一个或多个示例的细节在附图和以下说明中阐述。其他特征、目的和优点将从说明书和附图以及权利要求书中显而易见。
附图说明
13.图1是根据本公开的一个或多个技术的示例网络系统的框图。
14.图2是根据本公开的一个或多个技术的示例接入点设备的框图。
15.图3是根据本公开的一个或多个技术的示例网络管理系统的框图。
16.图4是根据本公开的一个或多个技术的示例用户装备设备的框图。
17.图5是根据本公开的一个或多个技术的诸如路由器、交换机或服务器的示例网络节点的框图。
18.图6是图示根据本公开的一个或多个技术确定压倒性网络业务的实例的流程图。
具体实施方式
19.图1是根据本公开的一个或多个技术的示例网络系统100的框图，其中网络管理系统(nms)150自动检测、故障排除和补救具有成问题的用户影响的网络事件。在图1所示的示例中，组织包括以“中心辐射”架构布置的三个站点102a-102c，其中站点102b是中心站点，而站点102a和102c是辐射站点。例如，组织可以是具有多个园区的大型公司，其中每个园区可以是一个站点。一般而言，站点可以指地理位置。该组织可能有位于不同城市的站点、位于城市内的不同园区的站点、位于园区内的不同建筑物的站点等。在一些示例中，可以使用除了中心辐射以外的网络拓扑结构。例如，网络可以是部分网状拓扑结构、全网状拓扑结构或其他网络拓扑结构。此外，网络拓扑结构可以是混合拓扑结构。例如，集线器和站点可以按中心辐射拓扑结构布置，而在站点内部，网络可具有网状拓扑结构。
20.网络系统100还包括交换机104a-104f(统称为“交换机104”)和接入点(ap)106a-106h。每个ap 106可以是任何类型的无线接入点，包括但不限于商业或组织ap、无线路由器或能够提供无线网络接入的任何其他设备。
21.站点102b包括被配置为中心路由器的路由器108b。路由器108b被配置为经由广域网(wan)链路112a与站点102a处的路由器108a通信，其中路由器108a被配置为辐射路由器。路由器108b被配置为经由wan链路112b与站点102c处的路由器108c通信，其中路由器108c被配置为辐射路由器。此外，路由器108b被配置为与网络134通信。路由器108b还被配置为与交换机104e通信，交换机104e被配置为与ap 106f通信。
22.除了路由器108a以外，站点102a还包括通信地耦合至交换机104b和104c的交换机104a。交换机104b通信地耦合至ap 106a和106b。交换机104c通信地耦合至ap 106c-106e。
23.除了路由器108c以外，站点102c还包括交换机104e和104f。交换机104e通信地耦合至ap 106g，交换机104f通信地耦合至ap 106h。
24.各种客户端设备148可通信地耦合至ap 106，如图1所示。客户端设备148也可被称为“用户装备设备”(ue)和/或“用户设备”。例如，客户端设备148a-1至148a-n(“客户端设备148a”)当前位于站点102a。客户端设备148b-1当前位于站点102b。类似地，多个客户端设备148n-1至148n-k当前位于站点102n。接入点的客户端设备148可以是任何类型的无线客户端设备，包括但不限于移动设备，诸如智能电话、平板计算机或膝上型计算机、个人数字助理(pda)、无线终端、智能手表、智能指环或其他可穿戴设备。客户端设备148也可以是物联网设备，诸如打印机、安全设备、环境传感器或被配置为通过一个或多个无线网络进行通信的任何其他设备。
25.示例网络系统100还包括用于在有线网络内提供联网服务的各种联网组件，作为示例，包括用于对用户和/或客户端设备进行认证的认证、授权和计费(aaa)服务器110、用
于在认证时向客户端设备动态分配网络地址(例如，ip地址)的动态主机配置协议(dhcp)服务器116、用于将域名解析为网络地址的域名系统(dns)服务器122、多个服务器128(例如，网络服务器、数据库服务器、文件服务器等)。
26.在操作期间，网络系统100中的设备可以收集遥测数据130并将其传送至nms 150。遥测数据130可以根据提供信息的设备的类型以及该设备是否被配置为提供遥测数据而变化。nms 150可以将接收到的遥测数据130以及关于网络系统100的其他数据一起存储为网络数据138。nms 150可使用“推”模型或“拉”模型来获得遥测数据130。在拉模型中，nms 150可轮询网络系统100中的网络设备，并且请求网络设备向nms 150发送它们各自的遥测数据130。在推模型中，网络系统100的各种网络设备周期性地向nms 150发送遥测数据130，而nms 150不必请求遥测数据130。
27.在一些方面，ap 106可以提供ap遥测数据，该数据包括与其他网络设备的ap连通性相关的信息。例如，ap遥测数据可以包括标识连接至ap的客户端设备148和连接至ap的交换机的数目的数据。在一些方面，ap 106可以提供链路层发现协议(lldp)数据作为遥测数据130的部分。链路层发现协议(lldp)是第2层邻居发现协议，允许设备向其直接连接的对等方/邻居通告设备信息。ap 106可以提供lldp数据以标识到交换机的有线连接。
28.ap 106还可以报告连接至ap的客户端设备148上的信息。在一些方面，nms 150可以将从ap接收到的关于客户端设备的信息视为与ap分离的源，例如，nms 150将客户端信息视为好像它来自客户端设备而不是ap设备。与网络中的其他实体相比，客户端和客户端连通性数据具有相对高的容量。在一些方面，ap可以周期性地(例如，每分钟)向nms 150报告遥测数据。
29.类似地，交换机104可以向ap 106提供关于连通性的ap遥测数据。交换机104还可以提供关于到其他交换机、路由器、网关等的连通性的交换机遥测数据。在一些方面，交换机104可以提供lldp数据，该lldp数据标识报告lldp数据的交换机，并且标识连接至交换机的端口的设备以及端口的类型。
30.诸如路由器和网关的其他设备也可以提供诸如lldp数据的遥测数据。此外，网关设备(例如，路由器108)可以报告有线连接和虚拟或逻辑连接。给定的网络设备可以在wan上与单个物理接口上的多个其他网络设备建立多个逻辑路径(例如，对等路径或隧道)。网络设备中的每一个可以包括软件代理或其他模块，该软件代理或其他模块被配置为向云中的nms 150报告在逻辑路径级别收集的路径数据，和/或路径数据可由nms 150经由应用编程接口(api)或协议从网络设备中检索。在一些方面，遥测数据可以包括将网络设备标识为中心路由器或数据中心路由器的标签。在一些方面，遥测数据可以将路由器标识为辐射路由器(例如，分支机构路由器)。
31.在路由器108包括基于会话的路由器的示例中，给定的基于会话的路由器可以通过wan与单个物理接口上的多个其他基于会话的路由器建立多条对等路径。基于会话的路由器中的每一个可以包括嵌入在基于会话的路由器中的软件代理，该软件代理被配置为向云中的nms报告在对等路径级别收集的路径数据。在网络设备包括基于分组的路由器的示例中，给定的基于分组的路由器可以在wan上与单个物理接口上的多个其他基于分组的路由器建立多个隧道。基于分组的路由器中的每一个可以在隧道级别收集数据，并且隧道数据可以包括作为向nms 150报告的遥测数据130的部分的隧道数据。
32.路由器108还可以报告网络会话数据，诸如会话流数据。会话流数据可以包括源和目的地客户端ip地址以及两个网络设备之间的网络会话的会话持续时间。
33.在一些示例中，网络设备104、108采用使每个网络设备104、108能够独立执行路径选择和业务工程的有状态的基于会话的路由方案。在一些示例中，路由器108是会话感知的sd-wan路由器。基于会话的路由的使用可以使网络设备104、108能够避免使用集中式控制器(诸如软件定义联网(sdn)控制器)来执行路径选择和业务工程。以这种方式，对于使用sdn控制器不可行的大型网络，网络设备104、108可以更加高效和可扩展。此外，基于会话的路由的使用可以使网络设备104、108能够避免使用隧道，从而通过消除在隧道端点处执行封装和解封装的需要来节省相当多的网络资源。在一些示例中，网络设备104、108将基于会话的路由实现为安全向量路由(svr)。
34.如本文中所描述的，网络会话(本文也称为“会话”)包括起源于第一设备并去往第二设备的正向分组流和/或起源于第二设备并去往第一设备的反向分组流。该会话可以是双向的，因为该会话可包括在第一设备和第二设备之间在两个方向上传播的分组(例如，正向分组流和反向分组流)。
35.关于基于会话的路由和svr的附加信息描述于2017年8月8日提交的标题为“计算机网络分组流控制器”(“computer network packet flow controller”)的美国专利第9,729,439号；2017年8月8日提交的标题为“使用分组签名处理会话的网络设备和方法”(“network device and method for processing a session using a packet signature”)的美国专利第9,729,682号；2017年9月12日提交的标题为“具有扩展会话管理的网络分组流控制器”(“network packet flow controller with extended session management”)的美国专利第9,762,485号；2018年1月16日提交的标题为“具有优化统计功能性的路由器”(“router with optimized statistical functionality”)的美国专利第9,871,748号；2018年5月29日提交的标题为“基于名称的路由系统和方法”(“name-based routing system and method”)美国专利第9,985,883号；2019年2月5日授权的标题为“基于分组丢失检测的链路状态监测”(“link status monitoring based on packet loss detection”)的美国专利第10,200,264号；2019年4月30日提交的标题为“无状态网络中的有状态负载平衡”(“stateful load balancing in a stateless network”)的美国专利第10,277,506号；以及2019年10月1日授权的标题为“具有扩展会话管理的网络分组流控制器”(“network packet flow controller with extended session management”)的美国专利第10,432,522号；以及2020年12月24日公布的标题为“在线性能监测”(“in-line performance monitoring”)的美国专利申请公开第2020/0403890号中，每一个的全部内容通过引用整体并入本文。
36.在图1的示例中，网络管理系统(nms)150可以接收遥测数据130和用户影响数据137。在该示例中，nms 150可以是实现本公开的各种技术的基于云的计算平台。
37.虚拟网络助理133可以是网络分析应用、网络管理应用、网络报告应用、网络可视化应用、网络故障排除应用等。
38.在一些实现中，路由器108、交换机104和ap 106中的一些或全部可以来自相同制造商，或者可以提供符合nms 150已知格式或协议的遥测数据130。然而，情况可能是网络系统100中的一些网络设备不提供遥测数据130，或者不根据nms 150已知的格式或协议提供
102c的网络和网络设备相关联的遥测数据130，并且管理网络资源，诸如每个站点处的路由器108、交换机104和/或ap 106，以向该站点处的终端用户、物联网设备和客户端提供高质量的联网体验。由nms 150接收的遥测数据可以作为网络数据138存储在数据存储库160中。在一些示例中，nms 150可以使用网络数据138来确定网络拓扑结构。此外，nms 150从客户端设备148收集用户影响数据137。如本文中所描述的，nms 150将根据来自网络设备的网络数据138确定的网络事件和/或趋势与来自客户端设备148的用户影响数据137相互关联，以标识指示压倒性网络业务对客户端设备148造成成问题的用户影响的网络事件或趋势。
46.在一些示例中，用户影响数据137可以由nms 150从与客户端设备148分离的应用服务器获得。在一个示例中，用户影响数据137可以指示应用会话质量的用户排名或用户反馈。用户影响数据137不限于用户排名和用户反馈。在一些示例中，用户影响数据137可以包括来自一个或多个客户端设备148的数据，该数据指示相应客户端设备和ap 106的ap之间的连接的一个或多个方面。例如，用户影响数据137可以包括指示网络速度的数据和/或来自一个或多个客户端设备148的数据，否则这些数据指示客户端设备和网络之间的连接的健康状况。
47.在一些示例中，nms 150可以具有与第三方应用/服务性能监测(apm)供应商的某种集成，以经由应用编程接口(api)检索应用服务和/或服务提供商的洞察数据，从而确定应用服务和/或服务提供商是否停机或遇到问题。在一些示例中，nms 150可以向第三方apm供应商查询服务提供商服务器766的洞察数据。在一些示例中，应用会话故障排除引擎136/352可以响应于请求对所标识的应用会话进行故障排除的用户输入760，向第三方apm供应商执行对服务提供商服务器766的洞察数据的按需查询。在其他示例中，应用会话故障排除引擎136/352可以主动向第三方apm供应商查询服务提供商服务器766的洞察数据，以执行对服务提供商服务器766的监测。基于检索到的洞察数据，会话助理引擎136、356可以生成针对涉及所标识的应用会话的网络设备(包括诸如服务提供商服务器766的第三方网络设备)的性能或连通性健康状况的标记。
48.在一些示例中，网络数据138可以包括指示网络设备丢弃分组的一个或多个实例的数据。例如，如果客户端设备148的客户端设备经由一个或多个网络设备下载大量数据，则网络设备可能丢弃下载的一个或多个分组。在一些示例中，网络设备可以丢弃下载到客户端设备的一定百分比(例如，25％)的分组。在一些示例中，客户端设备可以被配置为即使一些分组被丢弃也完成下载，但与未丢弃分组的下载相比，所丢弃的分组会导致下载花费更长的时间。当网络数据138指示一个或多个网络设备正在丢弃多于阈值百分比的分组时，nms 150可以确定所丢弃的分组表示一个或多个网络事件。
49.作为一个示例，nms 150从网络数据138中检测到客户端管理业务和/或网络管理业务相对于用户应用业务的高使用率。在一些情况下，可以发送客户端管理业务来初始化客户端设备，诸如移动设备或物联网设备。在一些示例中，用户应用业务表示与接入服务(例如，由服务器128提供的服务)的客户端设备148中的一个或多个相对应的网络业务和/或与和客户端设备148的另一个客户端设备通信的客户端设备148的客户端设备相对应的网络业务。nms 150可以从传递用户应用业务的网络中的每一跳收集和监测网络数据138，并且一起分析来自每一跳的所有数据。通过收集和监测在沿用户应用路径的每一跳处指示管理业务与用户应用业务的比例的数据，nms 150可以使用该信息来帮助标识和标记对客
户端设备148造成成问题的用户影响的压倒性网络业务的情形以进行补救。
50.在一些示例中，客户端管理业务可以与用户应用业务竞争，使得客户端管理业务和用户应用业务均流经网络系统100的一个或多个网络设备。在一些示例中，nms 150可分析来自传递用户应用业务的网络系统100内的一跳或多跳中的每一跳的用户应用业务，诸如承载特定应用会话的设备。nms 150可以生成网络设备的拓扑结构以及在特定应用会话的持续时间内参与特定应用会话的网络设备之间的连接。基于在特定应用会话的持续时间内从网络设备(例如，客户端设备、ap设备、交换机和诸如路由器的其他网络节点)接收的遥测数据而构建应用会话特定拓扑结构。
51.在一些示例中，nms 150可以分析沿应用会话路径的一跳或多跳中的每一跳处的用户应用业务相对于一跳或多跳中的每个其他跳(节点)处的用户应用业务的比例。在一些示例中，为了标识和标记对客户端设备148造成成问题的用户影响的压倒性网络业务的情形，nms 150可以确定一个或多个节点中的一个节点正在处理比一个或多个节点中的一个或多个其他节点大得多的比例的用户应用业务。在一些示例中，为了标识和标记压倒性网络业务的情形，nms150可以确定网络系统100内连接的节点组正在处理比一个或多个其他节点组大得多的比例的用户应用业务。在任何情况下，nms 150可以分析一个或多个节点处的网络业务的数量和/或由一个或多个节点处理的网络业务相对于由其他节点处理的网络业务的比例。
52.在一些示例中，nms 150可以分析网络系统10的一层或多层的每一层处的用户应用业务。例如，nms 150可以包括一个或多个第2层网络设备和/或一个或多个第3层网络设备。nms 150可以分析由一个或多个第2层网络设备处理的用户应用业务的比例以及由一个或多个第3层网络设备处理的用户应用业务的比例。
53.一般而言，nms 150可以提供基于云的平台，以用于网络数据采集、监测、活动记录、报告、预测分析、网络异常标识、调用补救动作和警报生成。例如，nms 150可以包括虚拟网络助理(vna)133，该虚拟网络助理分析网络数据138，为it操作提供实时洞察和简化的故障诊断，并且自动采取校正动作或提供建议以主动解决各种有线和无线网络问题，包括存在对用户体验具有成问题的影响的压倒性网络业务。例如，vna 133可以包括网络数据处理平台，该网络数据处理平台被配置为处理来自与网络系统100中的各种设备(例如，路由器108、交换机104和/或ap 106)和/或网络134中的节点相关联的传感器和/或代理的数百或数千个并发网络数据流。vna 133可以提供实时警报和报告，以向管理员通知任何预测的事件、异常、趋势，并且可执行根本原因分析和自动或辅助的错误补救。
54.在一些示例中，nms 150的vna 133可以应用机器学习技术来标识从事件数据流中检测到或预测到的压倒性网络业务的根本原因。例如，在一些方面，vna 133可以利用已经使用监督或非监督机器学习技术进行训练的机器学习模型，以基于网络数据来标识错误状况或压倒性网络业务的根本原因。vna 133可以生成指示根本原因和/或一个或多个校正或补救动作的通知，可以采取这些动作来解决压倒性网络业务的根本原因。如果可以自动解决根本原因，则vna 133可以自动调用一个或多个校正动作来校正压倒性网络业务的根本原因。
55.由vna 133和/或nms 150实现的这些和其他操作的示例细节描述于2015年6月30日提交的标题为“监测无线接入点事件”(“monitoring wireless access point events”)
的美国申请序列号14/788,489、2020年3月31日提交的标题为“使用机器学习模型的网络系统故障解决”(“network system fault resolution using a machine learning model”)的美国申请序列号16/835,757、2019年2月19日提交的标题为“用于虚拟网络助理的系统和方法”(“systems and methods for a virtual network assistant”)的美国申请序列号16/279,243、2018年12月31日提交的标题为“用于促进故障检测和/或预测性故障检测的方法和装置”(“methods and apparatus for facilitating fault detection and/or predictive fault detection”)的美国申请序列号16/237,677、2019年1月18日提交的标题为“用于时空建模的方法”(“method for spatio-temporal modeling”)的美国申请序列号16/251,942、2019年3月8日提交的标题为“用于通过ble通告传达ap错误代码的方法”(“method for conveying ap error codes over ble advertisements”)的美国申请序列号16/296,902，以及2021年5月24日提交的标题为“具有使用无监督ml模型的主动分析和关联引擎的虚拟网络助理”(“virtual network assistant having proactive analytics and correlation engine using unsupervised ml model”)的美国申请序列号17/303,222，所有这些申请各自的全部内容通过引用整体并入本文。
56.在操作中，nms 150观察、收集和/或接收遥测数据130，并且将遥测数据130存储为网络数据138的部分。网络数据指示有线或无线网络性能的一个或多个方面。例如，网络数据138可以采取从消息、计数器和统计中提取的数据的形式。网络数据可以由站点102的有线或无线网络中的一个或多个网络设备(例如，路由器108、交换机104、ap 106等)收集和/或测量。网络数据中的一些可以由网络系统100中的其他设备收集和/或测量。根据一个示例实现，处理器或计算设备是网络管理系统150的部分。根据其他实现，nms 150可以包括一个或多个处理器、处理电路系统、计算设备、专用服务器、虚拟机、容器、服务或用于执行本文所描述的技术的其他形式的环境。类似地，实现vna 133的计算资源和组件可以是nms 150的部分，可以在其他服务器或执行环境上执行，或者可以分布到网络系统100内的节点(例如，路由器、交换机、控制器、网关等)。
57.nms 150可以检测网络正在经历指示压倒性网络业务的网络事件，并且还可以检测何时压倒性网络业务正在对客户端设备的用户造成成问题的或负面用户影响。响应于检测具有对应不良用户影响的压倒性网络业务，nms 150可以确定压倒性网络业务的根本原因。例如，nms 150可以使用机器学习模型来处理网络数据138，该机器学习模型被训练成基于网络数据138来确定压倒性网络业务的根本原因。
58.在确定压倒性网络业务的根本原因之后，nms 150可以确定补救动作以造成对压倒性网络业务的补救。例如，对违规网络设备进行重置，使得它不再造成网络中的压倒性网络业务。在一些方面，nms 150可以向违规网络设备的邻居网络设备发送执行补救动作的指令。邻居网络设备可以转发指令以执行补救动作来解决造成压倒性网络业务的一个或多个违规设备。作为一个示例，网络设备可能被错误配置导致网络中的环路，该环路导致系统生成的压倒性业务。在执行补救动作时，先前错误配置的网络设备可能变成正确配置，并且压倒性网络业务将会减弱。结果，系统生成的业务与用户应用业务的比率可以恢复到预期范围内的平衡状态。
59.尽管本公开的技术在本示例中描述为由nms 150执行，但本文所描述的技术可以由任何其他计算设备(一个或多个)、系统(一个或多个)和/或服务器(一个或多个)执行，并
且本公开不限于此。例如，被配置为执行本公开的技术的功能性的一个或多个计算设备可以驻留在专用服务器中，或者可以被包括在除了nms 150以外的任何其他服务器(诸如服务器128a-128n中的任何一个)中，或者可以分布在整个网络系统100中，并且可以形成或可以不形成nms 150的部分。
60.图1示出了具有三个站点102的示例网络系统100。网络系统可以具有比图1所示更少或更多的站点。此外，站点可以具有比图1所示更少或更多数目的网络设备，诸如路由器108、交换机104和ap 106。
61.在一些示例中，nms 150被配置为根据基于人工智能/机器学习的计算平台进行操作，该计算平台提供对由nms 150标识的影响用户的网络问题的故障排除和自动补救。
62.作为一个示例，在网络系统100的操作期间的某个时间点，可能会出现网络事件，或可能会出现网络状况，这对客户端设备可用的带宽产生影响，使得对客户端设备的用户体验产生不利影响。这种情形可以由于网络中的各种原因而出现。例如，由于客户端设备或路由器、交换机或ap的错误配置，可以形成业务环路。作为另一个示例，多个客户端设备可以被配置为发送大量发现消息以发现无线网络中的相邻设备，并且来自多个客户端设备的大量发现消息可能被放大并使网络带宽过载，从而为应用数据业务留下很少的空间。作为另一个示例，客户端设备可以是物联网(iot)设备。
63.在一些示例中，诸如chromebook的客户端设备在进入网络时执行主动扫描和广播，这可以涉及单位时间内大量的发现消息。对于该设备的正常功能来说，大量的发现消息可能不是必需的，因为可以发送较少数目的发现消息来达到类似的效果。多台设备以这种方式操作会产生级联影响，因为一台设备可以复制和传播来自另一台设备的广播发现消息。这可以出现在相同无线网络上存在相对大量的这种类型的客户端设备的环境中，诸如在每个学生和教师均使用个人学习设备的学校中。
64.在一些示例中，每单位时间的大量发现消息可以表示在一段时间内出现的一个或多个网络事件的模式。指示对应于客户端设备的每单位时间的发现消息量的信息可以由网络数据138来指示。在一些示例中，nms 150可以基于网络数据138来确定每单位时间包括大量发现消息的一个或多个网络事件的模式。nms 150可以将对应于客户端设备的每单位时间的大量发现消息与由用户影响数据137指示的不利用户影响事件相互关联。例如，用户影响数据137可以包括指示在每单位时间输出大量发现消息的相同客户端设备处的不利用户影响事件的信息。nms 150可以确定每单位时间的大量发现消息和不利用户影响事件之间的相互关联。
65.局域网通常配置有不同网段之间的冗余路径，以提供对单个链路故障和其他潜在网络事件的恢复能力。这类冗余会在网络拓扑结构中引入物理环路。此外，当新的网络交换机或其他设备在部署到lan时配置错误或连接不正确时，也会引入环路。
66.lan中的环路会导致带宽和网络资源的大量消耗。为了减轻这些影响，网络交换机通常根据生成树协议(stp)相互通信，stp是一种l2协议，l2交换设备通过该协议同意转发策略，以便在底层拓扑结构中存在环路的情况下，防止在某些方向或沿某些路径转发业务。然而，在一些情况下，stp的使用可能不足以有效和/或及时地减轻网络降级和由物理环路的存在造成的其他负面影响。
67.在一些示例中，nms 150和vna 133被配置为监测具有无线接入点集合的有线和/
或无线局域网内的网络设备。如上所述，在一些示例中，vna 133将基于机器学习的模型应用于网络状况和特性以及用户影响数据，以检测指示网络拓扑结构中存在一个或多个环路的异常。在检测到一个或多个环路的可能性时，vna可以主动警告管理员和/或调用补救动作来减轻环路(一个或多个)对网络性能的不利影响。
68.nms 150可以确定包括网络中的一个或多个环路的一个或多个网络事件的模式。在一些情况下，通过检测网络中的一个或多个环路，nms 150可以确定随时间出现的一个或多个网络事件的模式。换句话说，网络数据138可以包括nms 150分析以确定网络中的一个或多个环路的信息。附加地或备选地，用户影响数据137可以包括指示网络中存在一个或多个环路的可能性的信息。该用户影响数据137可以包括指示一个或多个不利用户影响事件(例如，差的网络性能)的用户输入。nms 150可以将网络数据138中检测到的一个或多个环路与由用户影响数据137所指示的一个或多个不利用户影响事件相互关联。响应于将网络数据138中检测到的一个或多个环路与由用户影响数据137所指示的一个或多个不利用户影响事件相互关联，nms 150可以确定压倒性网络业务的实例。
69.一般而言，vna根据阶段操作。在操作的第一阶段，vna监测网络业务和特性以及所收集的指示用户影响的数据，并且应用ml模型来检测和关联指示网络环路的存在的指标。在操作的第二阶段，vna对检测到的环路执行根本原因分析和补救。
70.关于第一阶段，在一些示例中，vna可以被配置为收集和分析网络数据，并且基于以下指标来检测网络环路的存在：(1)检测到来自系统中的设备(诸如无线接入点)的“反射”级别增加，其中“反射”是网络设备接收到网络设备先前转发的入站网络分组的事件的出现；(2)检测到与生成树协议相关联的控制平面业务的级别增加，其中这类增加的级别被vna分类为异常，并且可以指示网络交换设备无法使用stp解决物理环路的存在，以及(3)指示由于业务环路而造成的用户影响的数据，其中这类数据被vna分类为异常。一个示例是检测与vna预测比例相比增加的某些数据平面业务的水平或比例，例如相对于单播业务的意外高比例的bum业务，这可以指示网络中的业务循环。由于网络业务通常是bum业务，而用户业务通常是单播业务(在某些网络实现中)，因此与vna预测水平相比，bum业务消耗更多带宽并且留给用户业务的可用带宽更少，这可以指示网络中的业务循环。
71.如下所述，vna可以由ai驱动，并且被配置为应用基于ai的异常检测，以检测和分类指标的异常水平，例如，反射的异常级别(上文#1)、指示网络环路的基于stp的解决方案故障的控制平面业务级别(上文#2)，和/或指示环路的用户影响的异常数据平面业务模式(上文#3)。
72.作为一个示例，vna可以基于为网络收集的实际网络事件数据而构建和维护无监督ml模型。例如，根据本文所描述的技术，vna可以基于从网络和/或其他类似网络的历史观察消息和/或统计中提取的网络事件，包括来自lan内的无线接入点和/或l2有线交换机的消息和数据，自动生成和重新训练用于主动分析和相互关联的无监督ml模型。
73.主动分析和相互关联引擎可以将ml模型(一个或多个)应用于各种网络事件类型(例如，统计数据、消息、sle度量等，本文称为“pace”事件数据或事件类型)的新收集数据的数据流和/或日志，以检测当前观察到的具有传入数据流的网络事件数据是否指示系统的正常操作，或者传入网络事件数据是否指示需要缓解的非通常系统行为事件或趋势。例如，vna确定正常网络行为的基线。
74.在一些示例中，vna利用其基于云的连接和对多个不同客户网络的可见性，除了学习到的本地网络数据以外，还使用基于“全球智能”的学习到的数据来设置用于训练ml模型的基线值。如果仅使用本地网络数据来设置基线值，则如果网络本身的配置存在问题，ml模型可能是错误的，因为“正常的”网络行为实际上是不正常的。将全球智能包括在ml模型的基线中可以包括使用来自客户网络的数据，以用于处于与ml模型正针对其训练的本地网络类似的行业、部门和/或规模的(多个)客户。作为示例，给定公司的每个零售店均是不同的，但不同的本地客户端设备行为相对简单。例如，在不同的零售店中，用户业务(单播)与网络业务(多播)的比例可能是相似的，因此可以使用来自相同公司其他位置的其他网络的数据，为给定的本地网络设置基线比例。
75.此外，vna基于为客户端设备收集的用户影响数据构建和维护无监督ml模型。在一些示例中，用户影响数据可以不同于网络业务影响数据，因为nms 150从客户端设备148收集用户影响数据，而nms 150从网络设备(例如，交换机104)收集网络业务影响数据。如果vna确定当前观察到的网络事件数据指示非通常系统行为事件或趋势，则vna还分析指示非通常系统行为的用户影响的数据。如果vna只查看网络事件数据，这可能会导致误报，即网络事件数据异常，但它不会影响用户体验，因此不需要担心，也不需要缓解。异常网络事件数据可能有网络环路以外的原因，并且这些原因中的一些不会影响用户体验。当检测到非通常系统行为事件或趋势以及对数据分组转发路径的可测量用户影响时，vna可以确定网络环路可能存在。由此，基于使用上述示例指标的模型的应用，vna可以确定网络环路可能存在。
76.此外，在操作的第二阶段，vna可以提供实时警报和报告，以通知管理员任何预测的事件、异常、趋势，并且可以执行根本原因分析和自动或辅助的错误补救。
77.如果以高置信等级确定网络环路的根本原因，则vna可以启动错误补救。作为一个示例，可以关闭所标识的根本原因设备来补救网络环路。如果不能以高等级确定根本原因，则在一些示例中，根本原因分析可以涉及故障排除动作，诸如依次关闭候选根本原因设备集合中的每一个，并且观察每个动作对网络操作的影响，以及从反馈中学习。反馈可以被合并到机器学习引擎中。
78.环路检测是针对有线还是无线情况，取决于根本原因设备(导致网络环路的设备)如何连接至网络。任何有线设备或无线设备(例如，物联网设备)均可能导致环路。有线情况和无线情况的解决方案可能不同。上面的示例是有线设备导致网络环路的情况。
79.在一些示例中，有线环路检测查找称为
‘
stp_topology_change’的系统事件，而无线环路检测查找称为“ap_reflected”的不同系统事件。除此以外，大多数其他检测逻辑，诸如用户影响、lan内系统业务的匿名增加等，均适用于无线和有线环路检测。
80.在vna 133能够确定压倒性网络业务的根本原因的情况下，vna 133可以基于压倒性网络业务的根本原因而选择补救导致压倒性网络业务的状况的动作。可能有多种动作可以补救压倒性网络业务。在这类情况下，vna 133可以选择对网络用户具有最小影响(例如，破坏性最小)的动作。
81.图2是根据本公开的一个或多个技术配置的示例ap 200的框图。图2中示出的示例ap 200可以用于实现如本文参考图1所示出和描述的任何ap 106。ap 200可以包括例如wi-fi、蓝牙和/或蓝牙低能量(ble)基站或任何其他类型的无线接入点。
82.在图2的示例中，ap 200包括有线接口230、无线接口220a-320b、一个或多个处理器206、存储器212和输入/输出(i/o)210，它们经由各种元件可以在其上交换数据和信息的总线214耦合在一起。有线接口230表示物理网络接口，并且包括用于发送和接收网络通信(例如，分组)的接收器232和发射器234。有线接口230直接或间接地将ap 200耦合至图1的(多个)网络134。
83.第一无线接口220a和第二无线接口220b表示无线网络接口并分别包括接收器222a和222b，每个接收器包括接收天线，ap 200可以经由该接收天线从无线通信设备，诸如膝上型计算机、智能电话、平板计算机、可穿戴设备、电器和物联网(iot)设备接收无线信号。第一无线接口220a和第二无线接口220b还分别包括发射器224a和224b，每个发射器均包括发射天线，ap 200可以经由该发射天线向无线通信设备发射无线信号。在一些方面，第一无线接口220a和第二无线接口220b可以与其他ap的无线接口进行通信。在一些示例中，第一无线接口220a可以包括wi-fi 802.11接口(例如，2.4ghz和/或5ghz)。第二无线接口220b可以包括蓝牙接口和/或蓝牙低能量(ble)接口。然而，这些仅仅是为了示例的目的给出的，并且本公开不限于这一方面。在一些方面，ap 200可以使用蓝牙和/或ble接口与其他接入点进行通信。
84.(多个)处理器206是可编程的基于硬件的处理器，其被配置为执行存储到计算机可读存储介质(诸如存储器212)中的软件指令，诸如用于限定软件或计算机程序的软件指令，该计算机可读存储介质诸如包括存储设备(例如，磁盘驱动器或光盘驱动器)或存储器(诸如闪存或ram)或任何其他类型的易失性或非易失性存储器的非暂态计算机可读介质，其存储指令以促使一个或多个处理器206执行本文所描述的一个或多个技术。
85.存储器212包括被配置为存储与ap 200的操作相关联的编程模块和/或数据的一个或多个设备。例如，存储器212可以包括计算机可读存储介质，诸如包括存储设备(例如，磁盘驱动器或光盘驱动器)或存储器(诸如闪存或ram)或任何其他类型的易失性或非易失性存储器的非暂态计算机可读介质，其存储指令以促使一个或多个处理器206执行本文所描述的一个或多个技术。
86.在该示例中，存储器212存储可执行软件，包括应用编程接口(api)240、通信管理器242、配置设置250、设备状态日志252数据254、日志控制器255和nms代理256。设备状态日志252包括特定于ap 200的网络参数和/或网络事件的列表。网络参数可以包括例如指示无线网络性能的一个或多个方面的任何网络参数。在一些示例中，网络参数可以包括作为时间序列数据周期性测量的多个状态，这些时间序列数据可以被转换成一个或多个sle度量。网络参数可以由客户端设备、ap 106/200或与无线网络相关联的另一设备来测量。
87.网络事件可以包括例如接入点事件和/或客户端设备事件。接入点事件和/或客户端设备事件可以各自包括正常网络事件、中立网络事件和/或错误网络事件的日志。网络事件可以包括例如存储器状态、重启事件、崩溃事件、以太网端口状态、升级失败事件、固件升级事件、配置改变、认证事件、dns事件、dhcp事件、漫游事件等，以及每个事件的时间和日期戳。日志控制器255基于来自nms 150的指令而确定设备的日志记录等级。数据254可以存储由ap 200使用和/或生成的任何数据，包括从ap 200的客户端设备收集的数据，诸如用于计算一个或多个sle度量的数据，该数据由ap 200发射以用于由nms 150对无线网络的基于云的管理。
88.通信管理器242包括当由(多个)处理器206执行时允许ap 200经由(多个)接口230和/或220a-220b中的任一个与客户端设备和/或(多个)网络134通信的程序代码。配置设置250包括ap 200的任何设备设置，诸如(多个)无线接口220a-220b中的每一个的无线电设置。这些设置可以手动配置，或者可以由nms 150远程监测和管理，以实时或周期性地(例如，每小时或每天)优化无线网络性能。
89.i/o 210表示可以与用户互动的物理硬件组件，诸如按钮、触摸屏、显示器等。尽管未示出，但存储器212通常存储用于控制关于经由i/o 210接收的输入的用户界面的可执行软件。
90.如本文所述，ap 200可以测量并向nms 150报告状态日志252中的网络数据(即网络参数和/或网络事件数据)。网络数据指示无线网络性能和/或无线网络状态的一个或多个方面。网络数据可以由ap 200的一个或多个客户端设备和/或无线网络中的一个或多个ap 200来测量和/或确定。ap 200可以向nms 150提供网络数据，以在本文所描述的技术中使用。
91.在一些示例中，nms代理256可以根据第二周期间隔(例如，每90秒)周期性地创建统计数据的包。在一些示例中，统计数据的包还可以包括关于连接至网络ap 200的客户端的细节。然后，nms代理256可以向云中的nms 150报告统计数据的包。在其他示例中，nms 150可以经由api、开放式配置协议或另一种通信协议从ap 200请求、检索或以其他方式接收统计数据的包。由nms代理256或ap 200的另一个模块创建的统计数据的包可以包括标识ap 200的报头和统计数据以及数据样本。在其他示例中，nms代理256响应于当事件出现时在ap 200处出现某些事件而向云中的nms 150报告事件数据。
92.nms代理256可以从nms 150接收数据，该数据包括指示相邻网络设备执行动作以补救导致压倒性网络业务的情形。例如，相邻设备可能配置错误。nms代理256可以接收数据，该数据可以包括指示ap 200的哪个相邻网络设备将接收指令的标签或报头。nms代理256可以向相邻网络设备的对应nms代理发送指令，该nms代理然后可以执行指令中指示的一个或多个动作以补救错误配置。
93.在一些方面，nms代理256可以经由第一接口从nms 150接收针对相邻网络设备的指令，并且经由第二接口将指令传送至相邻设备的nms代理。举例来说，nms代理256可以经由有线接口从nms 150接收指令，并且可以经由无线接口(诸如ap 200的蓝牙或ble接口)向相邻设备发送指令。在一些方面，nms代理256可以使用安全外壳(ssh)协议向相邻设备提供指令。在一些方面，nms代理256可以使用lldp向相邻网络设备提供指令。
94.图3是被配置为根据本公开的一个或多个技术操作的示例网络管理系统(nms)300的框图。nms 300可以用于实现例如图1中的nms 150。在这类示例中，nms 300分别负责监测和管理站点102a-102c处的一个或多个网络。
95.nms 300包括通信接口330、一个或多个处理器306、用户界面310、存储器312和数据库318。各种元件经由总线314耦合在一起，各种元件可以通过总线314交换数据和信息。在一些示例中，nms 300从图1的ap 106(及其客户端设备148)、交换机104、路由器108和102a-102c的其他网络节点站点中的一个或多个接收数据，这些数据可以用于确定网络连通性、计算一个或多个sle度量和/或更新网络拓扑结构。nms 300分析该数据以用于站点102a-102c的有线和无线网络的基于云的管理。包括遥测数据130的所接收的数据作为网络
数据316存储在数据库318中。在一些示例中，nms 300可以是图1所示的另一服务器的部分，或者是任何其他服务器的部分。
96.(多个)处理器306执行存储在计算机可读存储介质(诸如存储器312)中的软件指令，诸如用于限定软件或计算机程序的软件指令，该计算机可读存储介质包括存储设备(例如，磁盘驱动器或光盘驱动器)或存储器(诸如闪存或ram)或任何其他类型的易失性或非易失性存储器的非暂态计算机可读介质，其存储指令以促使一个或多个处理器306执行本文所描述的技术。
97.通信接口330可以包括，例如，以太网接口。通信接口330将nms 300耦合至网络和/或互联网，诸如图1所示的网络(一个或多个)134中的任一个和/或任何局域网。通信接口330包括接收器332和发射器334，nms 300通过该接收器和发射器向/从ap 106、交换机104中的任一个接收/发射数据和信息。路由器108、服务器110、116、122、128和/或形成诸如图1所示的网络系统100的部分的任何其他网络节点、设备或系统。在本文所描述的一些情景中，其中网络系统100包括与nms 300不同的实体所拥有的和/或与其相关联的“第三方”网络设备，nms 300不接收、收集或以其他方式访问来自第三方网络设备的网络数据。
98.由nms 300接收的数据和信息可以包括，例如，遥测数据130(图1)、sle相关数据或从一个或多个ap 106、交换机104、路由器108或由nms 300用于远程监测站点102a-102c处的有线和无线网络性能的其他网络节点接收的事件数据。nms 300还可以经由通信接口330将数据发射到网络设备中的任一个，诸如ap 106、交换机104、路由器108、站点102a-102c处的有线和无线网络内的其他网络节点和/或管理设备111，以远程管理有线和无线网络。
99.存储器312包括被配置为存储与nms 300的操作相关联的编程模块和/或数据的一个或多个设备。例如，存储器312可以包括计算机可读存储介质，诸如包括存储设备(例如，磁盘驱动器或光盘驱动器)或存储器(诸如闪存或ram)或任何其他类型的易失性或非易失性存储器的非暂态计算机可读介质，其存储指令以促使一个或多个处理器306执行本文所描述的技术。
100.在图3所示的示例中，存储器312包括api 320、sle模块322、虚拟网络助理(vna)/ai引擎350和无线电资源管理(rrm)引擎360。根据所公开的技术，vna/ai引擎350包括检测引擎354，该检测引擎检测在站点102a-102c的有线和/或无线网络中造成不利用户影响的压倒性网络业务的存在，如本文所述。
101.在一些示例中，网络数据316限定了在多个观察时间段内一个或多个事件类型的网络事件系列。vna/ai引擎350可以将诸如ml模型380的机器学习模型应用于网络数据，以针对每个事件类型动态地确定在一段时间内网络中网络事件的出现的基线数目，并且基于出现的基线数目和随后接收的网络数据，将一个或多个网络事件分类为指示异常网络行为的异常网络事件。
102.在一些情况下，vna/ai引擎350对存储的数据进行时间序列趋势分析。这对于检测网络业务的逐渐增加以及标识逐渐增加的起始点可能是有用的。与容易检测和标识时间的网络业务峰值(诸如由于网络中断或灾难)形成对比的是，一些压倒性网络业务的情景可能是随时间而逐渐累积的。vna/ai引擎350可以检测数据的来源，即哪个设备正在生成导致逐渐增加的业务。
103.在一些示例中，vna/ai引擎350在应用趋势分析以标识一段时间内的网络事件中
的趋势行为时使用ml模型380，以基于预测的计数和随后接收的网络数据，将一个或多个网络事件分类为指示异常网络行为。在一些示例中，vna/ai引擎350通过执行时间序列模式识别来标识趋势行为的开始，从而应用趋势分析来标识趋势行为。在一些示例中，vna/ai引擎350使用从不同网络传送的学习信息来动态确定网络事件的出现的基线数目，所传送的学习信息包括关于第二网络中一个或多个事件类型的网络事件的出现数目的信息。
104.根据所公开的技术，vna/ai引擎350包括故障排除引擎352，该故障排除引擎确定在站点102a-102c的有线和无线网络中造成不利用户影响的压倒性网络业务的根本原因。在一些示例中，故障排除引擎352将ml模型380应用于网络数据316和/或用户影响数据317，以通过标识站点102a-102c处的一个或多个网络设备处的压倒性网络业务的根本原因来执行对造成不利用户影响的压倒性网络业务的故障排除。nms 300还可以包括被配置用于远程监测和管理站点102a-102c的有线和无线网络的任何其他编程模块、软件引擎和/或接口，包括远程监测和管理ap 106/200、交换机104、路由器108或其他网络设备中的任一个。
105.sle模块322能够为站点102a-102c处的每个有线和无线网络设置和跟踪sle度量的阈值。sle模块322进一步分析由网络设备收集的sle相关数据，该网络设备诸如是ap 106、交换机104和路由器108中的任何一个。sle模块322可以进一步分析来自站点102a-102c的每个无线网络中的客户端设备的数据。该数据被发射到nms 300，nms 300由sle模块322执行以确定ap 106、交换机104和路由器108的一个或多个sle度量。该sle数据可以作为例如网络数据316存储在数据库318中。
106.rrm引擎360监测每个站点102a-102n的一个或多个度量，以了解和优化每个站点的rf环境。例如，rrm引擎360可以在站点102处监测无线网络的覆盖和容量sle度量，以标识无线网络中的sle覆盖和/或容量的潜在问题，并且对每个站点处的接入点的无线电设置进行调整，以解决所标识的问题。例如，rrm引擎可以确定在站点102a-102c处的每个无线网络中的所有ap 106上的信道和发射功率分布。例如，rrm引擎360可以监测事件、功率、信道、带宽和连接至每个ap 106的客户端的数目。rrm引擎360可以进一步自动改变或更新站点102处的一个或多个ap 106的配置，目的是改进覆盖和容量sle度量，从而为用户提供改进的无线体验。
107.vna/ai引擎350分析从网络设备接收的数据及其自身的数据，以标识对网络具有压倒性影响的网络业务的存在，并且当在客户端设备中的一个处遇到对应的不期望的异常的状态时，也对用户体验产生负面影响。在一些方面，nms 150基于系统生成的业务与应用数据业务的比率来检测压倒性网络业务，该比率不同于预期的基线比率(例如，系统生成的业务使用太多带宽，留给应用数据业务的很少)。在一些方面，nms 150可以响应于由客户端设备中的一个接收到的或者从应用服务器接收到的用户报告来检测负面用户体验，诸如响应于由应用呈现的用户反馈提示而做出的用户体验到的应用质量的较差评级。在一些方面，nms 150在检测到负面影响客户端设备148和用户体验的压倒性网络业务时调用vna/ai引擎350。在一些方面，网络设备以预定的时间间隔周期性地向nms 150报告遥测数据130和其他网络数据。
108.vna/ai引擎350可以标识压倒性网络业务的根本原因。此外，vna/ai引擎350可以自动调用旨在解决所标识的压倒性网络业务的(多个)根本原因的一个或多个校正动作。可以由vna/ai引擎350自动调用的校正动作的示例可以包括但不限于调用rrm 360来重启一
个或多个ap、调整/修改特定ap中特定无线电的发射功率、向特定ap添加ssid配置、改变一个ap或ap集合上的信道等。校正动作可以进一步包括重启交换机和/或路由器、调用将新软件下载到ap、交换机或路由器等。这些校正动作仅出于示例目的给出，并且本公开不限于这一方面。如果自动校正动作不可用或者不足以解决根本原因，则vna/ai引擎350可以主动提供包括要由it人员(例如，使用管理设备111的站点或网络管理员)采取的推荐校正动作的通知，以解决网络错误。
109.vna/ai引擎350基于网络数据确定随时间出现的一个或多个网络事件的模式；将一个或多个网络事件的模式与从多个客户端设备接收的由用户影响数据所指示的不利用户影响事件及时相互关联；并且响应于该相互关联，确定具有不利用户影响的压倒性网络业务的实例。
110.在一些示例中，为了确定模式，vna/ai引擎350可以分析随时间出现的一个或多个网络事件，并且确定随时间出现的一个或多个网络事件的趋势。在一些示例中，一个或多个网络事件的趋势指示网络的性能随时间而恶化。在一些示例中，一个或多个网络事件的趋势指示网络的性能正在随时间而改进。在一些示例中，一个或多个网络事件的趋势指示网络的性能随时间而保持稳定。vna/ai引擎350可以使用诸如网络数据的可用数据来确定趋势。网络数据可以指示一个或多个网络设备处的网络业务的一个或多个特征。例如，网络数据可以包括网络业务影响数据，其指示网络设备处的网络业务的影响。网络业务影响数据可以指示网络设备丢弃的分组的数目，或者网络设备丢弃的分组的百分比。当网络设备丢弃的分组数目增加时，vna/ai引擎350可以标识指示网络恶化的一个或多个网络事件中的趋势。当网络设备丢弃的分组数目减少时，vna/ai引擎350可以标识指示网络改进的一个或多个网络事件中的趋势。
111.在一些示例中，为了确定一个或多个网络事件的模式，vna/ai引擎350可以在时间窗口内确定随时间的模式，其中时间窗口相对于时间前进。例如，vna/ai引擎350可以确定当前时间之前的时间窗口内的一个或多个网络事件的模式，并且随着当前时间的推进，vna/ai引擎350可以更新该模式以包括随着时间的推进而出现的一个或多个网络事件，并且从该模式中排除随着时间的推进而落在时间窗口之外的一个或多个网络事件。换句话说，时间窗口可以表示滚动时间窗口，该滚动时间窗口表示恒定的时间量(例如，一分钟、一小时或任何其他恒定的时间量)，但随着当前时间前进。这意味着如果网络随时间恶化或改进，vna/ai引擎350可以通过分析滚动时间窗口内的一个或多个网络事件来持续监测网络的健康状况。
112.在一些示例中，为了及时将一个或多个网络事件的模式与不利用户影响事件相互关联，vna/ai引擎350可以标识一个或多个网络事件的模式与由用户影响数据所指示的不利用户影响事件之间的连接。例如，vna/ai引擎350可以使用网络数据和用户影响数据作为输入来执行一个或多个模型(例如，机器学习模型)。vna/ai引擎350可以确定不利用户影响事件与一个或多个网络事件中指示网络状况恶化的趋势相关联。基于确定这种相互关联，vna/ai引擎350可以确定具有不利用户影响的压倒性网络业务的实例。
113.在一些示例中，vna/ai引擎350从由应用经由客户端设备用户界面向用户呈现的客户端设备应用反馈提示中获得指示反馈响应的数据。例如，vna/ai引擎350可以从应用的应用编程接口(api)获得数据，该应用可以是基于云的服务应用。该提示可以包括对用户的
一个或多个问题，该一个或多个问题要求用户标识客户端设备和网络之间的连接的感知健康状况。客户端设备可以接收指示用户对一个或多个问题的响应的数据，并且vna/ai引擎350可以获得指示用户响应的数据。
114.在一些示例中，网络数据可以指示网络的操作行为。网络的操作行为可以表示网络设备在通过网络转发网络业务时做出的一个或多个动作或不动作。例如，网络的操作行为可以包括一个或多个网络设备丢弃分组的程度。网络的操作行为可以包括网络向客户端设备递送一个或多个服务的程度。
115.在一些示例中，vna/ai引擎350执行时间序列分析和模式检测，以标识压倒性网络业务的实例。vna/ai引擎350可以将机器学习模型应用于网络数据，以针对每个事件类型动态地确定在一段时间内网络中网络事件的出现的基线数目，并且基于出现的基线数目和随后接收的网络数据，将一个或多个网络事件分类为指示异常网络行为的异常网络事件。在一些示例中，vna/ai引擎350可以标识少于基线数目的网络事件，并且确定少于基线数目的出现指示正常的网络行为。
116.在一些示例中，vna/ai引擎350可以基于训练数据集合来训练机器学习模型。在一些示例中，训练数据可以包括一个或多个网络训练数据集合以及一个或多个用户影响训练数据集合。一旦训练了机器学习模型，vna/ai引擎350可以将机器学习模型应用于网络数据和用户影响数据，以便动态地确定出现的基线数目。
117.故障排除引擎352可以通过标识站点处的一个或多个网络设备处的压倒性网络业务，进一步对站点102a-102c处的网络设备进行故障排除。例如，应用会话故障排除引擎352分析网络设备的网络数据316，以标识网络设备的压倒性网络业务的根本原因。更具体地，故障排除引擎352可以分析网络数据316，以确定是否存在压倒性网络业务。在一些情况下，故障排除引擎352可以将网络数据316的至少部分应用于ml模型380，以确定压倒性网络业务的根本原因。
118.在一些示例中，ml模型380可以包括ml模型，该ml模型使用应用于训练数据的监督或非监督机器学习技术来进行训练，该训练数据包括从网络设备(例如，客户端设备、接入点、交换机和/或其他网络节点)接收的预先收集的经标记的网络数据，以标识网络设备处的压倒性网络业务的根本原因。ml模型380可以包括神经网络、逻辑回归、朴素贝叶斯、支持向量机(svm)等中的一个。
119.在网络设备处检测到对用户体验有负面影响的压倒性网络业务的情况下，补救引擎356选择动作来补救该压倒性网络业务。在一些方面，该动作可以是将由错误配置的网络设备或网络邻居设备执行的旨在恢复错误配置的网络设备的正确配置的命令或指令。在一些示例中，vna/ai引擎350可以基于检测到的压倒性网络业务问题和/或为检测到的压倒性网络业务问题确定的根本原因来确定补救动作。
120.如上所述，可以采取多种动作来补救压倒性网络业务。在这类情况下，vna 133可以选择对网络用户具有最小影响(例如，破坏性最小)的动作。例如，在接入点的情况下，重置接入点的无线电设备通常比重置或重启接入点破坏性更小。因此，当压倒性网络业务的根本原因是无线电时，vna 133可以选择重置接入点上的无线电。在一些方面，补救动作可以根据对用户的影响被安排为动作的层级。如果补救引擎356确定第一补救动作在恢复网络平衡中无效，则补救引擎356可以选择层级中的下一个补救动作。
121.补救引擎356可以将指令、命令、数据等包括在发送到网络设备的信息或数据分组中。信息或数据分组可以包括向邻居网络设备标识要接收动作和相关联的指令、命令和/或数据的目标网络设备的报头或标签。
122.在一些方面，补救动作可以包括自动生成退回材料授权(rma)并将rma发送给站点的运营商，指示运营商将错误配置的网络设备退回给设备的供应商，以用于进一步的诊断和维修。vna/ai引擎350可以输出rma和压倒性网络业务问题和/或压倒性网络业务问题的根本原因的通知，以显示在管理员的管理设备111(图1)上。在一些示例中，vna/ai引擎350可以生成表示用户界面的数据以在诸如管理设备111的管理设备上呈现，并且可以输出表示用户界面的数据以供显示。所生成的表示用户界面的数据可以包括表示受压倒性网络业务问题和/或所确定的压倒性网络业务问题的可能根本原因影响的网络拓扑结构和设备的可视化的数据，诸如使用颜色编码、图标或网络拓扑结构内压倒性网络业务问题的其他标记。在一些示例中，所生成的表示用户界面的数据可以包括诸如通过文本、图标、图形图像或其他标记来指示建议的补救动作的数据，以解决具有不利用户影响的压倒性网络业务。所生成的表示用户界面的数据可以包括指示所应用的补救动作的数据，以解决具有不利用户影响的压倒性网络业务，而无需请求管理员的批准或输入。
123.尽管本公开的技术在本示例中描述为由nms 300执行，但本文所描述的技术可以由任何其他(多个)计算设备、(多个)系统和/或(多个)服务器执行，并且本公开不限于此。例如，被配置为执行本公开的技术的功能性的一个或多个计算设备可以驻留在专用服务器中，或者可以被包括在除了nms 300以外的任何其他服务器中，或者可以分布在整个网络系统100中，并且可以形成或可以不形成nms 300的部分。
124.图4示出了示例客户端设备400。图4中示出的示例客户端设备400可以用于实现如本文参考图1所示出和描述的任何客户端设备148。客户端设备400可以包括任何类型的无线客户端设备，并且本公开不限于这一方面。例如，客户端设备400可以包括移动设备，诸如智能电话、平板或膝上型计算机、个人数字助理(pda)、无线终端、智能手表、智能指环或任何其他类型的移动或可穿戴设备。客户端设备400还可以包括任何类型的物联网客户端设备，诸如打印机、安全传感器或设备、环境传感器或被配置为通过一个或多个无线网络进行通信的任何其他连接的设备。在一些示例中，客户端设备400可以被称为“用户设备”和/或用户装备(ue)设备。
125.根据本公开的一个或多个技术，网络数据(例如，客户端标识符、ap标识符、rssi测量值)可以作为网络数据454存储在客户端设备存储器412中，并且经由无线网络中的一个或多个ap设备142发射至nms 150/300。例如，nms 150从图1的网络106a-106n中的客户端设备148接收网络数据。在一些示例中，nms 150在连续的基础上(例如，每2秒或其他适当的时间段)从客户端设备148接收相关网络数据，并且nms可以确定与ap设备的接近区域相关的每个客户端设备的接近度，以确定停留时间。
126.网络数据454可以包括例如由客户端设备400从一个或多个ap设备接收的如由ap设备测量的一个或多个无线信号的rssi测量值。网络数据可以进一步包括stp消息的日志、广播发现或注册消息的日志或其他数据。网络数据可以包括来自客户端设备应用反馈提示的一个或多个反馈响应，该反馈提示由应用经由客户端设备用户界面呈现给用户。
127.客户端设备400包括有线接口430、无线接口420a-420c、一个或多个处理器406、存
储器412和用户界面410。各种元件经由总线414耦合在一起，各种元件可以经由总线414交换数据和信息。有线接口430包括接收器432和发射器434。如果需要，可以使用有线接口430将客户端设备400耦合至图1的网络(一个或多个)134。接口420a、420b和420c分别包括接收器422a、422b和422c，每个接收器包括接收天线，客户端设备400可以经由该接收天线从无线通信设备接收无线信号，该无线通信设备诸如图1的ap设备142、图2的ap 200、其他客户端设备148或被配置用于无线通信的其他设备。接口420a、420b和420c还分别包括发射器424a、424b和424c，每个发射器包括发送天线，客户端设备400可以经由该发送天线向无线通信设备发送无线信号，该无线通信设备诸如图1的ap设备142、图2的ap 200、其他客户端设备148和/或被配置用于无线通信的其他设备。在一些示例中，第一无线接口420a可以包括wi-fi 802.11接口(例如，2.4ghz和/或5ghz)，而第二无线接口420b可以包括蓝牙接口和/或蓝牙低能量接口。蜂窝接口420c可以包括例如蜂窝接口，客户端设备400可以通过该蜂窝接口连接至蜂窝网络。
128.(多个)处理器406执行存储到计算机可读存储介质(诸如存储器412)中的软件指令，诸如用于限定软件或计算机程序的软件指令，该计算机可读存储介质诸如非暂态计算机可读介质，包括存储设备(例如，磁盘驱动器或光盘驱动器)或存储器(诸如闪存或ram)或任何其他类型的易失性或非易失性存储器，其存储指令以促使一个或多个处理器406执行本文所描述的技术。
129.存储器412包括被配置为存储与客户端设备400的操作相关联的编程模块和/或数据的一个或多个设备。例如，存储器412可以包括计算机可读存储介质，诸如非暂态计算机可读介质，包括存储设备(例如，磁盘驱动器或光盘驱动器)或存储器(诸如闪存或ram)或任何其他类型的易失性或非易失性存储器，其存储指令以促使一个或多个处理器406执行本文所描述的技术。
130.在该示例中，存储器412包括操作系统440、应用442、通信模块444、配置设置450和用于网络数据的数据存储库454。网络数据454的数据存储可以包括例如包括特定于客户端设备400的网络数据的状态/错误日志。如上所述，网络数据454可以包括可以与一个或多个漫游质量评估的确定相关的任何网络数据、事件和/或状态。网络数据可以包括事件数据，诸如根据基于来自网络管理系统(例如，nms 150/300)的指令的日志级别的正常事件和错误事件的日志。用于网络数据的数据存储库454可以存储由客户端设备400使用和/或生成的任何数据，诸如网络数据和用户影响数据，这些数据由客户端设备400收集并发射到无线网络中的ap 106中的任一个，以进一步发射到nms 150。在一些示例中，客户端设备400诸如经由ap 106或经由api向nms 150报告用户影响数据。在一些示例中，客户端设备400包括使用api与nms 150通信的nms代理(未示出)。在一些示例中，nms 150从与客户端设备400分离的应用服务器获得与客户端设备相关联的用户影响数据。例如，用户影响数据可以指示用户排名或应用会话质量的用户反馈。
131.通信模块444包括程序代码，该程序代码在由(多个)处理器406执行时促使客户端设备400能够使用(多个)有线接口430、无线接口420a-420b和/或蜂窝接口450c中的任何一个进行通信。配置设置450包括用于(多个)无线接口420a-420b和/或蜂窝接口420c中的每一个的客户端设备400设置的任何设备设置。
132.图5是图示根据本文所描述的技术配置的示例网络节点500的框图。在一个或多个
示例中，网络节点500实现附接到图1的网络134的设备或服务器，诸如路由器、交换机、aaa服务器110、dhcp服务器116、dns服务器122、vna 133、web服务器128a-128x等，或者网络设备，诸如路由器、交换机等。在一些实施例中，图4的客户端设备400是图1的服务器110、116、122、128或者图1的路由器108或交换机104。
133.在该示例中，网络节点500包括通信接口502，例如以太网接口、处理器506、输入端/输出端508(例如显示器、按钮、键盘、小键盘、触摸屏、鼠标等)、存储器512和组件516的组装件，例如硬件模块的组装件，例如电路的组装件，其经由总线514耦合在一起，各种元件可以通过总线514交换数据和信息。通信接口502将网络节点500耦合至网络，诸如企业网络。
134.尽管仅通过示例方式示出了一个接口，但网络节点可以具有多个通信接口。通信接口502包括接收器520，网络节点500可以经由接收器520接收数据和信息。通信接口502包括发射器522，网络节点500可以经由发射器522发送数据和信息(例如，包括配置信息、认证信息、网页数据等)。
135.在网络节点500包括服务器的示例中，网络节点500可以通过接收器520接收数据和信息，例如包括操作相关信息，例如注册请求、aaa服务、dhcp请求、简单通知服务(sns)查找和网页请求，并且经由发射器522发送数据和信息，例如包括配置信息、认证信息、网页数据等。
136.在网络节点500包括有线网络设备的示例中，网络节点500可以经由有线接口502连接至有线网络边缘内的一个或多个接入点或其他有线客户端设备，例如交换机、路由器和/或物联网设备。例如，网络节点500可以包括多个有线接口502，和/或有线接口502可以包括多个物理端口，以经由相应的以太网电缆连接至多个ap或站点内的其他设备。在一些示例中，连接至网络节点500的ap中的每一个或其他有线设备可以经由网络节点500的有线接口502接入有线网络。在一些示例中，连接至网络节点500的ap中的一个或多个或其他有线设备可以各自经由相应的以太网电缆和有线接口502的以太网供电(poe)端口从网络节点500汲取电力。
137.存储器512存储可执行软件应用532、操作系统540和数据/信息530。数据530包括系统日志和/或错误日志，该系统日志和/或错误日志基于根据来自网络管理系统的指令的日志等级来存储节点500和/或诸如无线接入点的其他设备的网络数据和/或接近信息。在一些示例中，包括在数据530中的网络数据还可以包括来自网络设备的网络业务影响数据，例如，由于拥塞而在某些交换机端口处丢弃的分组。在一些示例中，网络节点500可以将网络数据转发给网络管理系统(例如，图1的nms 150)以用于如本文所描述的分析。
138.网络节点500收集和报告的数据可以包括周期性报告的数据和事件驱动的数据。在一些示例中，网络节点500被配置为根据第一周期性间隔(例如，每3秒、每4秒等)来收集统计数据和/或采样其他数据。网络节点500可以将收集和采样的数据存储在例如缓冲器中。在一些示例中，nms代理534可以根据第二周期性间隔(例如，每3分钟)周期性地创建统计数据的包。在一些示例中，统计数据的包还可以包括关于连接至网络节点500的客户端的细节。nms代理534然后可以向云中的nms 150报告统计数据的包。在其他示例中，nms 150可以经由api、开放式配置协议或另一种通信协议从网络节点500请求、检索或以其他方式接收统计数据的包。由nms代理534或网络节点500的另一个模块创建的统计数据的包可以包
括标识网络节点500的报头以及来自网络节点500的每个逻辑路径的统计数据和数据样本。在其他示例中，nms代理534响应于当事件发生时在网络节点500处的某些事件的出现而向云中的nms 150报告事件数据。
139.图6是根据本公开的一个或多个技术确定压倒性网络业务的实例的流程图。为了方便起见，参考图1的网络系统100来描述图6。然而，图6的技术可以由网络系统100的不同组件或由附加或备选设备来执行。
140.nms 150可以从多个网络设备接收网络数据(602)。在一些示例中，网络数据可以包括网络业务影响数据，其指示多个网络设备中的一个或多个网络设备处的网络业务的影响。在一些示例中，nms 150从交换机(例如，交换机104中的一个)接收网络业务影响数据。网络业务影响数据可以包括指示由于交换机端口上的拥塞而在交换机端口处丢弃的分组数目的数据。
141.nms 150可以根据网络数据来确定随时间出现的一个或多个网络事件的模式(604)。在一些示例中，为了确定一个或多个网络事件随时间出现的模式，nms 150可以确定一个时间窗口中随时间的一个或多个网络事件的模式，其中该时间窗口相对于时间前进。nms 150可以将一个或多个网络事件的模式与从多个客户端设备148接收的由用户影响数据所指示的不利用户影响事件及时相互关联(606)。在一些示例中，用户影响数据包括来自客户端设备应用反馈提示的一个或多个反馈响应，该反馈提示由应用经由客户端设备用户界面呈现给用户。
142.在一些示例中，响应于该相互关联，nms 150可以确定具有不利用户影响的压倒性网络业务的实例(608)。在一些示例中，nms 150可以标识具有不利用户影响的压倒性网络业务的可能或有嫌疑的根本原因。例如，nms 150可以标识候选根本原因集合，并且从该候选根本原因集合中选择可能的根本原因，诸如基于确定候选根本原因中的每一个的置信度得分，并且选择具有最高置信度得分的候选。nms 150可以发起补救动作来解决具有不利用户影响的压倒性网络业务。
143.本文所描述的技术可以使用软件、硬件和/或软件和硬件的组合来实现。各种示例指向装置，例如移动节点、移动无线终端、基站，例如接入点、通信系统。各种示例还指向方法，例如控制和/或操作通信设备(例如无线终端(ue)、基站、控制节点、接入点和/或通信系统)的方法。各种示例还指向非暂态机器，例如计算机可读介质，例如rom、ram、cd、硬盘等，其包括用于控制机器实现方法的一个或多个操作的机器可读指令。
144.所公开的过程中步骤的特定顺序或层次是示例方法的示例。基于设计偏好，在保持在本公开的范围内的同时，可以重新安排过程中步骤的特定顺序或层次。所附方法要求以样本顺序呈现各个步骤的元件，并且不意指局限于所呈现的特定顺序或层次。
145.在各种示例中，本文所描述的设备和节点使用一个或多个模块来实现，以执行对应于一个或多个方法的步骤，例如信号生成、发射、处理和/或接收步骤。因此，在一些示例中，使用模块来实现各种特征。这类模块可以使用软件、硬件或软件和硬件的组合来实现。在一些示例中，每个模块被实现为单独的电路，其中该设备或系统包括用于实现对应于每个所描述的模块的功能的单独电路。上述方法或方法步骤中的许多可以使用机器可执行指令(诸如软件)来实现，该机器可执行指令包括在诸如存储器设备(例如ram、软盘等)的机器可读介质中，以控制机器(例如具有或不具有附加硬件的通用计算机)，从而例如在一个或
多个节点中实现上述方法的全部或部分。因此，除此以外，各种示例指向机器可读介质，例如非暂态计算机可读介质，包括用于使机器(例如处理器和相关联硬件)执行上述(多个)方法的步骤中的一个或多个的机器可执行指令。一些示例指向包括处理器的设备，该处理器被配置为实现一个示例方面的一个或多个方法的步骤中的一个、多个或所有。
146.在一些示例中，一个或多个设备(例如，诸如无线终端(ue)的通信设备)的一个或多个处理器(例如，cpu)和/或接入节点被配置为执行被描述为由设备执行的方法的步骤。处理器的配置可以通过使用一个或多个模块(例如软件模块)来控制处理器配置和/或通过在处理器中包括硬件(例如硬件模块)来执行所叙述步骤和/或控制处理器配置来实现。因此，一些但不是所有的示例指向具有处理器的通信设备，例如用户装备，该处理器包括对应于由包括处理器的设备执行的各种所描述的方法的步骤中的每一个的模块。在一些但不是所有的示例中，通信设备包括对应于由其中包括处理器的设备执行的各种所描述的方法的步骤中的每一个的模块。这些模块可以完全以硬件实现，例如作为电路，或者可以使用软件和/或硬件或者软件和硬件的组合来实现。
147.一些示例指向包括计算机可读介质的计算机程序产品，该计算机可读介质包括用于使计算机或多台计算机实现各种功能、步骤、动作和/或操作的代码，例如上述一个或多个步骤。在一些示例中，计算机程序产品可以并且有时确实包括要执行的每个步骤的不同代码。因此，计算机程序产品可以并且有时确实包括用于操作通信设备(例如无线终端或节点)的方法的每个单独步骤的代码。代码可以是机器的形式，例如计算机、存储在诸如ram(随机存取存储器)、rom(只读存储器)或其他类型的存储设备的计算机可读介质上的可执行指令。除了指向计算机程序产品以外，一些示例指向被配置为实现上述一个或多个方法的各种功能、步骤、动作和/或操作中的一个或多个的处理器。因此，一些示例指向处理器，例如，cpu、图形处理单元(gpu)、数字信号处理(dsp)单元等，其被配置为实现本文所描述的方法的步骤中的一些或所有。该处理器可以用于例如通信设备或本技术中描述的其他设备。
148.鉴于上述说明，本领域技术人员将清楚上述各种示例的方法和装置的多种附加变化。这类变化被认为在本公开的范围内。这些方法和装置可以并且在各种示例中确实与ble、lte、cdma、正交频分复用(ofdm)和/或可以用于提供接入节点和移动节点之间的无线通信链路的各种其他类型的通信技术一起使用。在一些示例中，接入节点被实现为基站，其使用ofdm和/或cdma与用户装备设备(例如移动节点)建立通信链路。在各种示例中，移动节点被实现为笔记本计算机、个人数据助理(pda)或包括接收器/发射器电路和逻辑和/或例程的其他便携式设备，用于实现该方法。
149.在详细说明中，阐述了许多具体细节，以提供对一些示例的透彻理解。然而，一些示例可以在没有这些具体细节的情况下实现。在其他情况下，为了简单起见，没有详细描述公知的方法、过程、组件、单元和/或电路。
150.一些示例可以与各种设备和系统结合使用，例如，用户装备(ue)、移动设备(md)、无线站(sta)、无线终端(wt)、个人计算机(pc)、台式计算机、移动计算机、膝上型计算机、笔记本计算机、平板计算机、服务器计算机、手持式计算机、手持式设备、个人数字助理(pda)设备、手持式pda设备、车载设备、非车载设备、混合设备、车辆设备，非车辆设备、移动或便携式设备、消费者设备、非移动或非便携式设备、无线通信站、无线通信设备、无线接入点
(ap)、有线或无线路由器、有线或无线调制解调器、视频设备、音频设备、音频-视频(a/v)设备、有线或无线网络、无线区域网、无线视频区域网(wvan)、局域网(lan)、无线lan(wlan)、个人区域网(pan)、无线pan(wpan)等。
151.一些示例可以与根据现有无线-千兆位联盟(wga)规范(无线千兆位联盟公司，wigig mac和phy规范1.1版，2011年4月，最终规范)和/或未来版本和/或其衍生版本操作的设备和/或网络；根据现有ieee 802.11标准(ieee 802.11-2012，ieee信息技术标准
‑‑
系统局域网和城域网之间的电信和信息交换
‑‑
特定要求第11部分：无线lan媒体接入控制(mac)和物理层(phy)规范，2012年3月29日；ieee802.11ac-2013(“ieee p802.11ac-2013，ieee信息技术标准-系统之间的电信和信息交换-局域网和城域网-特定要求-第11部分：无线lan媒体接入控制(mac)和物理层(phy)规范-修订件4：6ghz以下频段的超高吞吐量增强”，2013年12月)；ieee 802.11ad(“ieee p802.11ad-2012，ieee信息技术标准-系统之间的电信和信息交换-局域网和城域网-特定要求-第11部分：无线lan媒体接入控制(mac)和物理层(phy)规范-修订件3：60ghz频带中极高吞吐量的增强”，2012年12月28日)；ieee-802.11revmc(“ieee 802.11-revmctm/d3.0，2014年6月，信息技术标准草案-系统局域网和城域网之间的电信和信息交换特定要求；第11部分：无线lan媒体接入控制(mac)和物理层(phy)规范”)；ieee802.11-ay(p802.11ay信息技术标准
‑‑
系统局域网和城域网之间的电信和信息交换
‑‑
特定要求第11部分：无线lan媒体接入控制(mac)和物理层(phy)规范
‑‑
修订件：在45ghz以上的免许可频带中操作的增强吞吐量))，ieee 802.11-2016和/或未来版本和/或其衍生版本操作的设备和/或网络；根据现有无线保真(wi-fi)联盟(wfa)对等(p2p)规范(wi-fi p2p技术规范，第1.5版，2014年8月)和/或未来版本和/或其衍生版本操作的设备和/或网络；根据现有蜂窝规范和/或协议(例如，第三代合作伙伴计划(3gpp)、3gpp长期演进(lte)和/或未来版本和/或其衍生版本操作的设备和/或网络；作为上述网络的一部分或者使用上述协议中的任何一个或多个进行操作的单元和/或设备等结合使用。
152.一些示例可以与单向和/或双向无线电通信系统、蜂窝无线电话通信系统、移动电话、蜂窝电话、无线电话、个人通信系统(pcs)设备、并入无线通信设备的pda设备、移动或便携式全球定位系统(gps)设备、并入gps接收器或收发器或芯片的设备、并入rfid元件或芯片的设备、多输入多输出(mimo)收发器或设备、单输入多输出(simo)收发器或设备、多输入单输出(miso)收发器或设备、具有一个或多个内部天线和/或外部天线的设备、数字视频广播(dvb)设备或系统、多标准无线电设备或系统、有线或无线手持设备，例如智能电话、无线应用协议(wap)设备等。
153.一些示例可以与一个或多个类型的无线通信信号和/或系统结合使用，例如，射频(rf)、红外(ir)、频分复用(fdm)、正交fdm(ofdm)、正交频分多址(ofdma)、fdm时分复用(tdm)、时分多址(tdma)、多用户mimo(mu-mimo)、空分多址(sdma)、扩展tdma(e-tdma)、通用分组无线业务(gprs)、扩展gprs、码分多址(cdma)蓝牙、全球定位系统(gps)、wi-fi、wi-max、zigbee
tm
、超宽带(uwb)、全球移动通信系统(gsm)、2g、2.5g、3g、3.5g、4g、第五代(5g)或第六代(6g)移动网络、3gpp、长期演进(lte)、高级lte、增强型数据速率gsm演进(edge)等。其他示例可以用于各种其他设备、系统和/或网络中。
154.一些示范示例可以与wlan(无线局域网)结合使用，例如wi-fi网络。其他示例可以与任何其他合适的无线通信网络结合使用，例如无线区域网、“微微网”、wpan、wvan等。
155.一些示例可以与在2.4ghz、5ghz和/或60ghz频带上通信的无线通信网络结合使用。然而，其他示例可以利用任何其他合适的无线通信频带(一个或多个)来实现，例如，极高频率(ehf)频带(毫米波(mmwave)频带)，例如，20ghh和300ghz之间的频带内的频带、wlan频带、wpan频带、根据wga规范的频带等。
156.尽管上文仅提供了各种设备配置的一些简单示例，但应理解，许多变化和置换是可能的。此外，该技术不限于任何特定的信道，而是一般而言适用于任何(多个)频率范围/(多个)信道。此外，如所论述的，该技术在无执照频谱中可能是有用的。
157.尽管示例不限于此，但利用术语，例如，“处理”、“计算”、“计算”、“确定”、“建立”、“分析”、“检查”等的论述可以指计算机、计算平台、计算系统、通信系统或子系统或其他电子计算设备的(多个)操作和/或(多个)过程，其将计算机寄存器和/或存储器内表示为物理(例如，电子)量的数据操纵和/或转换为在计算机的寄存器和/或存储器或可存储指令以执行操作和/或过程的其他信息存储介质中类似地表示为物理量的其他数据。
158.尽管示例不限于此，但本文所用术语“多个”和“多种”可以包括，例如，“多个”或“两个或更多个”。术语“多个”和“多种”可以在整个说明书中用来描述两个或更多个组件、设备、元件、单元、参数、电路等。例如，“多个站”可以包括两个或更多个站。
159.阐述本文件中使用的某些词语和短语的定义可能是有利的：术语“包括”和“包含”及其派生词，意指包括但不限于；术语“或”是包括性的，意指和/或；短语“与
……
相关联”和“与其相关联”以及其派生词可以意指包括、被包括在内、相互连接、与
……
相互连接、含有、被含在内、连接至其或与其连接、耦合至其或与其耦合、可以与其通信、与其协作、交错、并置、接近、被束缚到其或与其束缚、具有、具有属性等；并且术语“控制器”意指控制至少一个操作的任何设备、系统或其一部分，这类设备可以用硬件、电路系统、固件或软件或至少两者的某种组合来实现。与任何特定控制器相关联的功能性可以是集中式的或分布式的，无论是本地的还是远程的。在本文件中提供了某些单词和短语的定义，本领域普通技术人员应理解，在许多情况下，如果不是大多数情况下，这类定义适用于如此定义的单词和短语的先前以及将来的使用。
160.已针对通信系统以及用于执行通信的协议、技术、手段和方法描述了示例，诸如在无线网络中，或一般而言在使用任何(多个)通信协议操作的任何通信网络中。这类示例是家庭或接入网络、无线家庭网络、无线公司网络等等。一般而言，本文所公开的系统、方法和技术将同样适用于其他类型的通信环境、网络和/或协议。
161.出于解释目的，阐述了许多细节，以提供对本技术的透彻理解。除了本文所阐述的具体细节以外，本公开可以按多种方式实现。此外，尽管本文所示出的示例示出了并置的系统的各种组件，但该系统的各种组件可以位于分布式网络的远程部分，诸如通信网络、节点，在域主机和/或互联网内，或者位于专用的安全、不安全和/或加密系统内，和/或在位于网络内部或外部的网络操作或管理设备内。作为一个示例，域主机也可以用来指管理和/或配置本文所描述的网络或通信环境和/或(多个)收发器和/或站和/或(多个)接入点的任何一个或多个方面或与其通信的任何设备、系统或模块。
162.因此，系统的组件可以组合成一个或多个设备，或者在诸如收发器、接入点、站、域主机、网络操作或管理设备、节点或并置在诸如通信网络的分布式网络的特定节点上的设备之间拆分。出于计算效率的原因，系统的组件可以布置在分布式网络内的任何位置，而不
影响其操作。例如，各种组件可以位于域主机、节点、诸如mib的域管理设备、网络操作或管理设备、(多个)收发器、站、(多个)接入点或它们的某种组合中。类似地，系统的一个或多个功能性部分可以分布在收发器和相关联的计算设备/系统之间。
163.此外，各种链路，包括连接元件的任何(多个)通信信道/元件/线路，可以是有线或无线链路或其任何组合，或者能够向所连接的元件提供数据和/或从所连接的元件传送数据的任何其他已知或以后开发的(多个)元件。本文所使用的术语模块可以指能够执行与该元件相关联的功能性的任何已知或以后开发的硬件、电路系统、软件、固件或其组合。本文所使用的术语“确定”、“计算”和“计算”及其变体可以互换使用，并且包括任何类型的方法、过程、技术、数学运算或协议。
164.此外，尽管本文所描述的示例中的一些指向执行特定功能的收发器的发射器部分，或者执行某些功能的收发器的接收器部分，但本公开适用于在相同收发器和/或另一收发器中分别包括对应和互补的发射器侧或接收器侧功能性，反之亦然。
165.这些示例与增强型通信相关。一般而言，本文的系统和方法对于在任何环境中使用任何一个或多个协议的任何类型的通信系统均同样适用，这些协议包括有线通信、无线通信、电力线通信、同轴电缆通信、光纤通信等。
166.关于ieee 802.11和/或和/或低能量收发器和相关通信硬件、软件和通信信道描述了示例系统和方法。然而，为了避免不必要地模糊本公开，以下描述省略了可以按框图形式示出或以其他方式概括的公知的结构和设备。
167.尽管已针对特定事件顺序论述了上述流程图，但可以对该顺序进行更改，而不会对示例(一个或多个)的操作产生实质性影响。此外，本文所示出的示例技术不限于具体示出的示例，而是也可以与其他示例一起使用，并且每个描述的特征均是单独和分开要求保护的。
168.上述系统可以在诸如ieee 802.11收发器等的无线电信设备(一个或多个)/系统上实现。可以与该技术一起使用的无线协议的示例包括ieee 802.11a、ieee 802.11b、ieee 802.11g、ieee 802.11n、ieee 802.11ac、ieee 802.11ad、ieee 802.11af、ieee 802.11ah、ieee 802.11ai、ieee 802.11aj、ieee 802.11aq、ieee 802.11ax、wi-fi、lte、4g、wirelesshd、wigig、wigi、3gpp、无线lan、wimax、denssifi sig、unifi sig、3gpp laa(许可辅助接入)等。
169.此外，可以实现所述系统、方法和协议，以改进专用计算机、编程微处理器或微控制器和(多个)外围集成电路元件、asic或其他集成电路、数字信号处理器、硬连线电子或逻辑电路(诸如分立元件电路)、可编程逻辑设备(诸如pld、pla、fpga、pal)、调制解调器、发射器/接收器、任何类似设备等中的一个或多个。一般而言，能够实现状态机的任何设备均可以受益于根据本文所提供的公开内容的各种通信方法、协议和技术，该状态机进而能够实现本文所示的方法。
170.本文所描述的处理器的示例可以包括但不限于以下各项中的至少一项：800和801、800和801、610和615(具有4g lte集成和64位计算)、a7处理器(具有64位架构)、m7运动协处理器、理器、系列、core
tm
处理器系列、处理器
系列、atom
tm
处理器系列、intel处理器系列、i5-4670k和i7-4770k 22nm haswell、i5-3570k 22nm ivy bridge、fx
tm
处理器系列、fx-4300、fx-6300和fx-8350 32nm vishera、kaveri处理器、texasjacinto c6000
tm
汽车信息娱乐处理器、texasomap
tm
汽车级移动处理器、cortex
tm-m处理器、cortex-a和arm926ej-s
tm
处理器、airforce bcm4704/bcm4703无线网络、ar7100无线联网处理单元、其他行业等效处理器中的至少一种，并且可以使用任何已知或未来开发的标准、指令集、库和/或架构执行计算功能。
171.此外，所公开的方法可以使用对象或面向对象的软件开发环境在软件中容易地实现，该软件开发环境提供可以在各种计算机或工作站平台上使用的可移植源代码。备选地，所公开的系统可以使用标准逻辑电路或vlsi设计部分或全部在硬件中实现。使用软件还是硬件来实现根据示例的系统取决于系统的速度和/或效率要求、特定功能以及所使用的特定软件或硬件系统或微处理器或微型计算机系统。本文所示的通信系统、方法和协议可以由本领域普通技术人员根据本文所提供的功能性描述并利用计算机和电信领域的一般基础知识，使用任何已知的或以后开发的系统或结构、设备和/或软件，以硬件和/或软件容易地实现。
172.此外，所公开的技术可以容易地在软件和/或固件中实现，所述软件和/或固件可以存储在存储介质中，以在控制器和存储器、专用计算机、微处理器等的配合下提高编程通用计算机的性能。在这些情况下，系统和方法可以被实现为嵌入在个人计算机上的程序，例如applet、java或cgi脚本，实现为驻留在服务器或计算机工作站上的资源，实现为嵌入在专用通信系统或系统组件中的例程，等等。该系统还可以通过将该系统和/或方法物理地结合到软件和/或硬件系统中来实现，该软件和/或硬件系统诸如通信收发器的硬件和软件系统。
173.本公开描述了用于增强和改进网络设备故障排除和补救问题的系统和方法。对于适用领域的普通技术人员来说，许多替换、修改和变化是显而易见的。因此，本公开适用于在本公开的精神和范围内的所有这类替代、修改、等价物和变化。

技术特征：
1.一种网络管理系统nms，包括：存储器，所述存储器存储网络数据和用户影响数据，所述网络数据从被配置为在站点处提供网络的多个网络设备接收，所述用户影响数据从在所述站点处接入所述网络的多个客户端设备接收；以及一个或多个处理器，所述一个或多个处理器被耦合到所述存储器并且被配置为：基于所述网络数据，确定随时间出现的一个或多个网络事件的模式；将所述一个或多个网络事件的所述模式与由从所述多个客户端设备接收的所述用户影响数据指示的不利用户影响事件及时相互关联；以及响应于所述相互关联，确定具有不利用户影响的压倒性网络业务的实例。2.根据权利要求1所述的nms，其中从所述多个网络设备接收的所述网络数据包括网络业务影响数据，所述网络业务影响数据指示在所述网络设备处的网络业务的影响。3.根据权利要求2所述的nms，其中所述网络业务影响数据从所述多个网络设备中的交换机被接收，并且包括指示由于所述交换机端口上的拥塞而在所述交换机的端口处被丢弃的分组数目的数据。4.根据权利要求1所述的nms，其中所述一个或多个处理器还被配置为：标识具有所述不利用户影响的所述压倒性网络业务的根本原因；以及发起补救动作以解决具有所述不利用户影响的所述压倒性网络业务。5.根据权利要求1所述的nms，其中所述用户影响数据包括指示来自客户端设备应用反馈提示的一个或多个反馈响应的数据，所述客户端设备应用反馈提示由应用经由客户端设备用户界面被呈现给用户。6.根据权利要求1所述的nms，其中确定随时间出现的一个或多个网络事件的所述模式包括确定时间窗口中随时间的一个或多个网络事件的所述模式，其中所述时间窗口相对于时间前进。7.根据权利要求1所述的nms，其中所述网络数据指示所述网络的操作行为，并且其中所述网络数据限定在多个观察时间段内的一个或多个事件类型的网络事件系列，其中所述一个或多个处理器还被配置为：将机器学习模型应用于所述网络数据，以动态地确定在时间段内针对所述事件类型中的每个事件类型在所述网络中的所述网络事件出现的基线数目，并且基于出现的所述基线数目和随后所接收的网络数据，将所述一个或多个网络事件分类为指示异常网络行为的异常网络事件。8.根据权利要求7所述的nms，其中所述机器学习模型包括无监督机器学习模型。9.根据权利要求7所述的nms，其中所述机器学习模型使用来自第二网络的所传送的学习信息来动态地确定所述网络事件出现的所述基线数目，所传送的所述学习信息包括关于所述第二网络中所述一个或多个事件类型的网络事件出现的数目的信息。10.根据权利要求7所述的nms，其中应用所述机器学习模型包括应用趋势分析来标识在所述时间段内所述网络事件中的趋势行为，以基于所预测的计数和随后所接收的网络数据来将所述网络事件中的所述一个或多个网络事件分类为指示异常网络行为。11.根据权利要求10所述的nms，其中应用趋势分析来标识趋势行为包括执行时间序列模式识别以标识所述趋势行为的开始。
12.根据权利要求1-11中任一项所述的nms，其中所述一个或多个处理器还被配置为：确定随时间出现的针对所述一个或多个网络事件的基线值；以及确定所述一个或多个网络事件的趋势，其中所述趋势指示相对于所述基线值的所述一个或多个网络事件中的趋势变化，其中所述趋势变化包括相对于所述基线值的异常网络事件的数目的增加。13.根据权利要求1-11中任一项所述的nms，其中所述网络设备包括一个或多个网络交换机，并且其中所述网络数据包括从所述网络交换机接收的用户业务数据，所述用户业务数据指示与网络协议相关联的控制平面业务的增加的等级，所述一个或多个网络交换机通过所述网络协议来尝试协商无环路第二层l2转发拓扑结构。14.根据权利要求13所述的nms，其中所述网络协议包括生成树协议stp，并且其中所述网络数据指示检测到的生成树协议消息的数量。15.根据权利要求1-11中任一项所述的nms，其中被分类为异常网络行为的所述网络事件中的所述一个或多个网络事件包括相对于所述网络中的单播业务的所述网络中的广播、未知单播或多播bum业务增加的比例。16.根据权利要求1-11中任一项所述的nms，其中一个或多个网络事件的所述模式包括一个或多个网络环路的模式。17.根据权利要求1-11中任一项所述的nms，其中一个或多个网络事件的所述模式包括来自所述多个客户端设备的一个或多个客户端设备的每单位时间的高通信量。18.一种方法，包括：由网络管理系统nms的处理电路系统从被配置为在站点处提供网络的多个网络设备接收网络数据；由所述处理电路系统从在所述站点处接入所述网络的多个客户端设备接收用户影响数据；由所述处理电路系统并且基于所述网络数据确定随时间出现的一个或多个网络事件的模式；由所述处理电路系统将所述一个或多个网络事件的所述模式与从所述多个客户端设备接收的由所述用户影响数据指示的不利用户影响事件及时相互关联；以及由所述处理电路系统并且响应于所述相互关联，确定具有不利用户影响的压倒性网络业务的实例。19.根据权利要求18所述的方法，还包括：由所述处理电路系统基于所述网络数据来执行所述压倒性网络业务的根本原因分析，以标识所述压倒性网络业务的有嫌疑的根本原因；以及由所述处理电路系统向从所述多个网络设备中选择的网络设备并且基于所标识的所述根本原因来发送指令，以用于所选择的所述网络设备执行补救所述压倒性网络业务的动作。20.一种计算机可读介质，所述计算机可读介质具有在其上存储的指令，所述指令在被执行时使网络管理系统nms的一个或多个处理器：从被配置为在站点处提供网络的多个网络设备接收网络数据；从在所述站点处接入所述网络的多个客户端设备接收用户影响数据；
基于所述网络数据，确定随时间出现的一个或多个网络事件的模式；将所述一个或多个网络事件的所述模式与由从所述多个客户端设备接收的所述用户影响数据指示的不利用户影响事件及时相互关联；以及响应于所述相互关联，确定具有不利用户影响的压倒性网络业务的实例。

技术总结
检测具有不利用户影响的网络事件。一种方法包括由网络管理系统从被配置为在站点处提供网络的多个网络设备接收网络数据；由处理电路系统从在站点处接入网络的多个客户端设备接收用户影响数据；基于网络数据，确定随时间出现的一个或多个网络事件的模式；将一个或多个网络事件的模式与从多个客户端设备接收的由用户影响数据所指示的不利用户影响事件及时相互关联；以及响应于该相互关联，确定具有不利用户影响的压倒性网络业务的实例。在一些示例中，网络数据包括网络业务影响数据，诸如由于拥塞而在交换机端口处丢弃的分组数目。由于拥塞而在交换机端口处丢弃的分组数目。由于拥塞而在交换机端口处丢弃的分组数目。


技术研发人员：王继生 程晶 A
受保护的技术使用者：瞻博网络公司
技术研发日：2022.12.29
技术公布日：2023/9/22