网络性能巡检方法、装置及存储介质与流程

1.本技术涉及网络巡检领域，尤其涉及一种网络性能巡检方法、装置及存储介质。


背景技术：

2.通讯网络中有多个专业域，每种专业域有不同的网络设备，各种设备采购自不同厂家，这为网络设备统一巡检带来很大的困难。
3.目前的一些网络巡检方法具有一定的局限性：
4.(1)每个专业域的设备类型不同，每个设备厂家的数据格式不同，面对不同设备类型及不同厂家需要单独设计一套巡检方法；
5.(2)不同地方的网络标准不同，关注设备不同，指标不同，检测规则也不同，现有的巡检方法无法面向不同地方需求配置不同的检测规则；
6.(3)目前的巡检方法无法实现对检测异常的性能告警进行过滤压缩，造成一些无用告警的频繁上报。
7.如此，现有方案存在以下问题：无法适配不同数据需求的检测和无用告警的频繁上报。


技术实现要素：

8.本技术提供一种网络性能巡检方法、装置及存储介质，能够实现多专业域、多设备类型和多厂家的数据适配和避免了无用告警的频繁上报。
9.为达到上述目的，本技术采用如下技术方案：
10.第一方面，本技术提供一种网络性能巡检方法，该方法包括：对通信设备中的待检测海量数据进行数据解析，得到通用数据结构的待检测海量数据，待检测海量数据对应至少一个数据源，不同数据源编写有不同的数据解析算子；对通用数据结构的待检测海量数据进行数据清洗；对清洗后的待检测海量数据进行网络性能检测，得到目标检测结果，目标检测结果包括网络性能异常的告警信息；基于目标过滤压缩规则，对目标检测结果中的告警信息进行过滤压缩处理，将符合目标过滤压缩规则的结果进行过滤。
11.基于上述技术方案，本技术实施例提供的一种网络性能巡检方法，通过对待检测海量数据进行统一解析，解析成统一通用的数据结构，使得后面的工序不用关注数据来源的差异性，并对解析后的数据进行清洗，并对清洗后的待检测海量数据进行性能检测，得到检测结果，并对检测结果中网络性能异常的告警信息进行压缩过滤，如此，通过对待检测海量数据的统一解析、清洗，实现了多专业域、多设备类型和多厂家的数据适配，且通过过滤压缩网络性能异常的告警信息，避免了告警信息频繁上报。
12.在第一方面的第一种可能的实现方式中，上述数据源由第一信息确定，第一信息包括以下至少一项：通信设备类型信息、通信设备中的数据格式信息、通信设备中的协议信息。
13.在第一方面的第二种可能的实现方式中，上述对通用数据结构的待检测海量数据
进行数据清洗，包括：基于目标清洗规则，将通用数据结构的待检测海量数据中的脏数据清洗为有效数据，并将待检测海量数据中的无关数据进行过滤。
14.在第一方面的第三种可能的实现方式中，上述对清洗后的待检测海量数据进行网络性能检测，得到目标检测结果之前，方法还包括：
15.对清洗后的待检测海量数据进行数据标准化，以对不同数据源的数据进行拆分转换，将待检测海量数据转换为网络性能检测对应的检测算子可识别的数据格式。
16.在第一方面的第四种可能的实现方式中，上述基于目标过滤压缩规则，对目标检测结果中的告警信息进行过滤压缩处理，将符合目标过滤压缩规则的结果进行过滤，包括：基于目标过滤压缩规则，将目标检测结果中第一时间段内的告警信息进行过滤，并将第二时间段内的多条相同告警信息进行压缩。
17.第二方面，本技术提供一种网络性能巡检装置，该装置包括：数据解析模块、数据清洗模块、性能检测模块和过滤压缩模块；上述数据解析模块，用于对通信设备中的待检测海量数据进行数据解析，得到通用数据结构的待检测海量数据，待检测海量数据对应至少一个数据源，不同数据源编写有不同的数据解析算子；上述数据清洗模块，用于对通用数据结构的待检测海量数据进行数据清洗；上述性能检测模块，用于对清洗后的待检测海量数据进行网络性能检测，得到目标检测结果，目标检测结果包括网络性能异常的告警信息；上述过滤压缩模块，用于对目标检测结果中的告警信息进行过滤压缩处理，将符合目标过滤压缩规则的结果进行过滤。
18.在第二方面的第一种可能的实现方式中，上述数据源由第一信息确定，第一信息包括以下至少一项：通信设备类型信息、通信设备中的数据格式信息、通信设备中的协议信息。
19.在第二方面的第二种可能的实现方式中，上述数据清洗模块，具体用于：基于目标清洗规则，将通用数据结构的待检测海量数据中的脏数据清洗为有效数据，并将待检测海量数据中的无关数据进行过滤。
20.在第二方面的第三种可能的实现方式中，上述网络巡检装置还包括：数据标准化模块。上述数据标准化模块，用于在上述性能检测模块对清洗后的待检测海量数据进行网络性能检测，得到目标检测结果之前，对清洗后的待检测海量数据进行数据标准化，以对不同数据源的数据进行拆分转换，将待检测海量数据转换为网络性能检测对应的检测算子可识别的数据格式。
21.在第二方面的第四种可能的实现方式中，上述过滤压缩模块，具体用于基于目标过滤压缩规则，将目标检测结果中第一时间段内的告警信息进行过滤，并将第二时间段内的多条相同告警信息进行压缩。
22.第三方面，本技术提供了一种网络性能巡检装置，该装置包括：处理器和通信接口；通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的网络性能巡检方法。
23.第四方面，本技术提供了一种计算机存储介质，计算机存储介质中存储有指令，当指令在终端上运行时，使得终端执行如第一方面和第一方面的任一种可能的实现方式中描述的网络性能巡检方法。
24.第五方面，本技术实施例提供一种包含指令的计算机程序产品，当计算机程序产
品在网络性能巡检装置上运行时，使得网络性能巡检装置执行如第一方面和第一方面的任一种可能的实现方式中所描述的网络性能巡检方法。
25.第六方面，本技术实施例提供一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的网络性能巡检方法。
26.具体的，本技术实施例中提供的芯片还包括存储器，用于存储计算机程序或指令。
附图说明
27.图1为本技术实施例提供的一种网络性能巡检方法的流程图之一；
28.图2为本技术实施例提供的一种网络性能巡检方法的流程图之二；
29.图3为本技术实施例提供的一种网络性能巡检方法的流程图之三；
30.图4为本技术实施例提供的一种网络性能巡检方法的示例图；
31.图5为本技术实施例提供的一种网络性能巡检方法中的数据解析步骤示例图；
32.图6为本技术实施例提供的一种网络性能巡检方法中的数据清洗步骤示例图；
33.图7为本技术实施例提供的一种网络性能巡检方法中的性能检测步骤示例图；
34.图8为本技术实施例提供的一种网络性能巡检方法中的压缩过滤步骤示例图；
35.图9为本技术实施例提供的一种网络性能巡检装置的结构示意图；
36.图10为本技术实施例提供的另一种网络性能巡检装置的结构示意图；
37.图11是本技术实施例提供的一种芯片的结构示意图。
具体实施方式
38.下面结合附图对本技术实施例提供的一种网络性能巡检方法及装置进行详细地描述。
39.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
40.本技术的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。
41.此外，本技术的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
42.需要说明的是，本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
43.在本技术的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
44.目前通讯网络中有多个专业域，每种专业域有不同的网络设备，各种设备采购自不同厂家，这为网络设备统一巡检带来很大的困难。
45.目前的一些网络巡检方法具有以下的局限性：
46.功能上的局限：
47.(1)每个专业域的设备类型不同，每个设备厂家的数据格式不同，面对不同设备类型及不同厂家需要单独设计一套巡检方法；
48.(2)不同地方的网络标准不同，关注设备不同，指标不同，检测规则也不同，现有的巡检方法无法面向不同地方需求配置不同的检测规则；
49.(3)目前的巡检方法无法实现对检测异常的性能告警进行过滤压缩，造成一些无用告警的频繁上报。
50.技术上的局限：
51.(1)利用数据仓库和sql技术方案：首先将数据存储到数据仓库，然后利用sql来实现业务检测逻辑，从数据仓库中对大量数据进行统计计算。这种方案的好处是架构简单，业务检测逻辑更新迭代的速度很快；缺点则是随着数据量的变大，单次检测所需要的时间越来越长，直至无法满足实时检测的要求。为了达到实时检测的要求，常见的解决方案是对各检测结果进行缓存，但这种方案将会导致中间结果表数量和架构复杂度急剧增长，从而又破坏了方案本身架构简单，业务更新速度快的优势。
52.(2)利用容器化技术和编程语言(例如java)的技术方案：通过容器化技术将海量数据分散到大量的虚拟容器中进行并行计算，通过编程语言实现业务检测逻辑来对分配的数据进行检测，简而言之就是用海量的机器来检测海量的数据。这种方案的好处是实时性很高，缺点是架构复杂，业务更新迭代速度慢，并且对海量机器的监控维护，以及整个集群数据一致性的保证也是很有挑战性的难题。
53.为了解决现有技术中，无法适配不同数据需求的检测和无用告警的频繁上报的问题，本技术提供了一种网络性能巡检方法，通过对待检测海量数据进行统一解析，解析成统一通用的数据结构，使得后面的工序不用关注数据来源的差异性，并对解析后的数据进行清洗，并对清洗后的待检测海量数据进行性能检测，得到检测结果，并对检测结果中网络性能异常的告警信息进行压缩过滤，如此，通过对待检测海量数据的统一解析、清洗，实现了多专业域、多设备类型和多厂家的数据适配，且通过过滤压缩网络性能异常的告警信息，避免了告警信息频繁上报。
54.本技术提供的一种网络性能巡检方法应用通讯网络实时性能巡检场景。
55.如图1所示，为本技术实施例提供的一种网络巡检方法的流程图，该方法包括以下步骤s101至s104：
56.步骤s101、对通信设备中的待检测海量数据进行数据解析，得到通用数据结构的待检测海量数据。
57.本技术实施例中，上述待检测海量数据对应至少一个数据源，不同数据源编写有不同的数据解析算子。
58.可选的，本技术实施例中，上述数据源由第一信息确定，第一信息包括以下至少一项：通信设备类型信息、通信设备中的数据格式信息、通信设备中的协议信息。
59.可选的，本技术实施例中，上述待检测数据可以为不同专业域、不同设备类型和不同厂家的数据格式，数据格式可以包括但不限以下任一种：数组结构、栈结构、队列结构、链表结构、树结构、图结构、堆结构和散列表结构。
60.可选的，本技术实施例中，根据每个待检测数据的数据类型编写对应是解析算子，
如待测数据为数组结构类型数据，编写数组结构类型解析算子；待测数据为队列结构类型数据，编写队列结构类型解析算子；待测数据为链表结构类型数据，编写链表结构类型解析算子；待测数据为树结构类型数据，编写树结构类型解析算子；待测数据为图结构类型数据，编写图结构类型解析算子；待测数据为堆结构类型数据，编写堆结构类型解析算子；待测数据为散列表结构类型数据，编写散列表结构类型解析算子；待测数据为栈结构类型数据，编写栈结构类型解析算子。
61.可选的，本技术实施例中，例如系统内部通用的数据结构为数组结构，则将待检测数据中数据结构为栈结构数据、队列结构数据、链表结构数据、树结构数据、图结构数据、堆结构数据和散列表结构数据统一解析为数组结构数据；若系统内部通用的数据结构为队列结构，则将待检测数据中数据结构为栈结构数据、数据结构数据、链表结构数据、树结构数据、图结构数据、堆结构数据和散列表结构数据统一解析为队列结构数据。
62.本技术实施例中，不同的数据源会有不同的数据格式和协议。因此需要针对每个数据源编写对应的解析算子，将数据源中的数据进行解析成系统内部通用的数据结构，将复杂、多样的源数据进行归一化处理，使得后面的工序不用关注数据来源的差异性。
63.步骤s102、对通用数据结构的待检测海量数据进行数据清洗。
64.可选的，本技术实施例中，结合图1，如图2所示，上述步骤s102具体可以通过下述的步骤s102a和步骤s102b实现。
65.步骤s102a、基于目标清洗规则，将通用数据结构的待检测海量数据中的脏数据清洗为有效数据。
66.步骤s102b、将待检测海量数据中的无关数据进行过滤。
67.可选的，本技术实施例中，清洗规则若为屏蔽源数据中data1和data8的数据，源数据包括：data1(10,11)、data2(20,22)、data3(30,33)、data4(40,44)、data5(50,55)、data6(60,66)、data7(70,77)、data8(80,88)，则清洗后的源数据包括：data2(20,22,25)、data3(30,33)、data4(40,44)、data5(50,55)、data6(60,66)、data7(70,77，78)；若清洗规则为屏蔽data150001中小于1000的数据，data150001中包括：1,100,1000,3000，10000,100000，则清洗后data150001中包括：1000,3000，10000，100000；若清洗规则为新增比率指标：rate＝data11/data22，源数据包括：data1(data11：100，data22：200)、data2(data11：300，data22：1000)，则清洗后的源数据包括：data1(data11：100，data22：200，rate：0.5)，data2(data11：300，data22：1000，rate：0.3)。
68.可选的，本技术实施例中，数据源发送过来的数据质量参差不齐，可能存在格式错误、内容错误、数据过期、无关数据等情况，因此需要对源数据进行清洗过滤，将脏数据清洗为有效数据，同时将无关数据进行过滤。可以理解，数据是否有效，是根据业务逻辑来决定的。而业务逻辑会根据实际情况发生变动，因此清洗算子使用规则引擎来实现数据的清洗，清洗规则放到外部数据库中。当业务逻辑发生变动时，只需要修改数据库中的清洗规则，就可以加载到清洗算子中按照最新的逻辑对数据进行清洗。
69.如此，通过数据清洗，可以将数据中的脏数据清洗为有效数据，同时将无关数据过滤掉。
70.步骤s103、对清洗后的待检测海量数据进行网络性能检测，得到目标检测结果。
71.本技术实施例中，上述目标检测结果包括网络性能异常的告警信息。
72.可选的，本技术实施例中，上述步骤s103之前，本技术实施例提供的网络性能巡检方法还包括下述的步骤s103a。
73.步骤s103a、对清洗后的待检测海量数据进行数据标准化，以对不同数据源的数据进行拆分转换，将待检测海量数据转换为网络性能检测对应的检测算子可识别的数据格式。
74.可选的，本技术实施例中，源数据经过清洗之后，在送到检测算子进行检测前，还需要按照数据检测的格式，进一步对源数据进行拆分转换，转换为检测算子可以识别的格式。
75.可以理解，经过清洗之后的源数据，颗粒度仍然较大，需要按照检测算子可识别的颗粒度对源数据进行拆分。一条kafka消息包含几十个性能指标，通过这一步可以将目标检测指标拆分出来生成一个检测组。如此，经过标准化处理，将待检测海量数据转换为网络性能检测对应的检测算子可识别的数据格式。
76.步骤s104、基于目标过滤压缩规则，对目标检测结果中的告警信息进行过滤压缩处理，将符合目标过滤压缩规则的结果进行过滤。
77.可选的，本技术实施例中，结合图1，如图3所示，上述步骤s104具体可以通过下述的步骤s104a和s104b实现。
78.步骤s104a、基于目标过滤压缩规则，将目标检测结果中第一时间段内的告警信息进行过滤。
79.步骤s104b、将第二时间段内的多条相同告警信息进行压缩。
80.可选的，本技术实施例中，第一时间段可以为某个时间区间，如2022年01月01日09时00分00秒至2022年01月01日19时00分00秒。
81.可选的，本技术实施例中，第二时间段可以为某个时间段，如每小时或者每分钟。
82.可选的，本技术实施例中，检测算子在启动后，定时从数据库中获取最新的检测规则，并加载到规则引擎中。检测算子收到标准化的数据后，将数据送到规则引擎中进行规则检测，并根据检测结果来判断是否需要生成检测告警。
83.可选的，本技术实施例中，例如注册用户数配置了固定阀值，如固定阀值为100，规则引擎将100作为阀值检测当前注册用户数指标值是否异常，若用户注册数为117，指标正常，若用户注册数为97，指标异常，进行报警，用户注册数小于固定阀值。
84.可选的，本技术实施例中，例如注册成功率配置了同比均值算法，算法参数为7天，规则引擎计算过去7天同时段的指标值的平均值作为阈值检测当前指标值是否异常。当指标异常时，生成报警信息。
85.可选的，本技术实施例中，对于检测结果，通常会有过滤、压缩等方面的业务需要。在过滤压缩算子中同样使用规则引擎来执行过滤压缩规则。过滤压缩算子在启动后，定时从数据库中获取最新的过滤压缩规则，加载到规则引擎中。算子收到检测结果后，将检测结果送到规则引擎中进行规则判断，将符合过滤规则的结果进行过滤。
86.可选的，本技术实施例中，例如第二时间段为每小时，压缩过滤规则为屏蔽每小时内相同的告警信息，经过压缩过滤后，每小时内相同的告警信息只会上报一条消息，避免了相同告警信息的频繁上报。若检测结果中包括多条报警信息(:“标识001，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:01:00:00，检测时间：2022:01:01:01:00:02”，“标识002，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:01:20:00，检测时间：2022:01:01:01:20:02”，“标识003，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:08:00:00，检测时间：2022:01:01:08:00:02”，“标识004，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:09:00:00，检测时间：2022:01:01:09:00:02”)，经过压缩过滤后，检测结果中包括的报警信息为(:“标识001，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:01:00:00，检测时间：2022:01:01:01:00:02”，“标识003，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:08:00:00，检测时间：2022:01:01:08:00:02”，“标识004，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:09:00:00，检测时间：2022:01:01:09:00:02”)。
87.需要说明的是，上述2022:01:01:09:00:00表示为2022年01月01日09时00分00秒，其他时间同理，此处不再赘述。
88.可选的，本技术实施例中，例如第一时间段为2022:01:01:00:00:00至2022:01:01:06:00:00，用户配置屏蔽0-6点告警，生成过滤规则，过滤该时间段告警，则在0-6点的时间段内，不会有告警信息上报。如若检测结果中包括多条报警信息(“标识001，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:01:00:00，检测时间：2022:01:01:01:00:02”，“标识002，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:02:00:00，检测时间：2022:01:01:02:00:02”，“标识003，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:08:00:00，检测时间：2022:01:01:08:00:02”，“标识004，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:09:00:00，检测时间：2022:01:01:09:00:02”)，经过滤压缩后，检测结果中包括的报警信息为(“标识003，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:08:00:00，检测时间：2022:01:01:08:00:02”，“标识004，刷新成功率，对比7天均值下降30/％，开始时间：2022:01:01:09:00:00，检测时间：2022:01:01:09:00:02”)。
89.本技术实施例中，通过对检测结果进行过滤压缩，将符合过滤压缩规则的结果进行过滤，避免了无用告警的频繁上报。
90.示例性的，本技术实施例中，本设计了控制层+数据层的技术架构，控制层通过控制信号流控制管理数据流计算规则，包括设备配置规则，性能指标配置规则，检测阈值配置规则，告警压缩过滤配置规则。如图4所示，包括：清洗规则配置表、检测规则配置表、过滤压缩规则配置表、规则引擎、海量kafka数据队列和检测结果。
91.所有业务逻辑都运行在flink集群的各个算子上，外部组件仅依赖kafka和数据库。其中，flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算；kafka是一种高吞吐量的分布式发布订阅消息系统。海量数据以各种方式写入kafka队列进行输入渠道统一化，然后将kafka队列作为整个方案的数据起始点开始处理。
92.海量数据经过flink的解析算子将海量的数据解析成系统内部通用的数据结构，解析后的数据可能存在格式错误、内容错误、数据过期、无关数据等情况，因此需要对源数据进行清洗过滤，flink的清洗算子从清洗规则配置表中获取清洗规则并加载入规则引擎，flink的清洗算子将发送过来的解析后的数据通过规则引擎进行清洗，将脏数据清洗为有效数据，同时将无关数据进行过滤；将清洗后的数据按照数据检测的格式，进一步对数据进行拆分转换，转换为检测算子可以识别的格式；flink的检测算子从检测规则配置表中获取
最新的检测规则，并加载到规则引擎中，flink的检测算子将标准化的数据通过规则引擎进行检测，并根据检测结果来判断是否需要生成检测告警；flink的检测算子从过滤压缩规则配置表中获取最新的过滤压缩规则，加载到规则引擎中，flink的检测算子将检测结果送到规则引擎中进行规则判断，将符合过滤规则的结果进行过滤压缩，得到最终检测结果写入kafka作为方案的结束点，由kafka作为统一渠道对外提供结果数据的订阅和共享。
93.目前的数据处理流程可大概归纳为以下几道工序：数据解析、数据清洗、数据格式标准化、数据处理和处理结果过滤。本方案针对每道工序使用一个flink算子来实现该工序需要完成的业务逻辑。如果有个性化的需求，也可以在任意两个算子之间插入个性化的处理算子来实现。此外，借助flink的特性，每个算子都可以提高并行度来进行横向扩展，适配海量数据的处理。业务逻辑大部分都发生在数据清洗、数据处理和处理结果过滤这三道工序中，而业务逻辑一般都会有变动甚至频繁变动，因此本方案在这三道工序中使用了规则引擎。规则存储在数据库中，随着规则发生改变，新的规则就会实时加载到规则引擎中生效。
94.步骤一:数据解析：
95.如图5所示，不同的数据源会有不同的数据格式和协议。因此需要针对每个数据源编写对应的解析算子，将数据源中的数据进行解析成系统内部通用的数据结构，将复杂、多样的源数据进行归一化处理，使得后面的工序不用关注数据来源的差异性。
96.步骤二：数据清洗：
97.如图6所示，数据源发送过来的数据质量参差不齐，可能存在格式错误、内容错误、数据过期、无关数据等情况，因此需要对源数据进行清洗过滤，将脏数据清洗为有效数据，同时将无关数据进行过滤。数据是否有效，是根据业务逻辑来决定的。而业务逻辑会根据实际情况发生变动，因此清洗算子使用规则引擎来实现数据的清洗，清洗规则放到外部数据库中。当业务逻辑发生变动时，只需要修改数据库中的清洗规则，就可以加载到清洗算子中按照最新的逻辑对数据进行清洗。
98.步骤三：数据标准化：
99.源数据经过清洗之后，在送到检测算子进行检测前，还需要按照数据检测的格式，进一步对源数据进行拆分转换，转换为检测算子可以识别的格式。换句话说，经过清洗之后的源数据，颗粒度仍然较大，需要按照检测算子可识别的颗粒度对源数据进行拆分。一条kafka消息包含几十个性能指标，通过这一步可以将目标检测指标拆分出来生成一个检测组。
100.步骤四：性能检测：
101.检测算子在启动后，定时从数据库中获取最新的检测规则，并加载到规则引擎中。检测算子收到标准化的数据后，将数据送到规则引擎中进行规则检测，并根据检测结果来判断是否需要生成检测告警。如图7所示，注册成功率配置了同比均值算法，算法参数为7天，规则引擎计算过去7天同时段的指标值的平均值作为阈值检测当前指标值是否异常。
102.步骤五：过滤压缩：
103.对于检测结果，通常会有过滤、压缩等方面的业务需要。本方案在过滤压缩算子中同样使用规则引擎来执行过滤压缩规则。过滤压缩算子在启动后，定时从数据库中获取最新的过滤压缩规则，加载到规则引擎中。算子收到检测结果后，将检测结果送到规则引擎中
进行规则判断，将符合过滤规则的结果进行过滤。如图8所示，用户配置屏蔽0-6点告警，生成过滤规则，过滤该时间段告警。
104.本技术提供的一种网络性能巡检方法，通过对待检测海量数据进行统一解析，解析成统一通用的数据结构，使得后面的工序不用关注数据来源的差异性，并对解析后的数据进行清洗，将可能存在格式错误、内容错误、数据过期和无关数据等情况的脏数据清洗为有效数据，并对清洗后的待检测海量数据进行性能检测，得到检测结果，并对检测结果中网络性能异常的告警信息进行压缩过滤，将无用的告警过滤压缩掉，避免频繁上报，如此，通过对待检测海量数据的统一解析、清洗，实现了多专业域、多设备类型和多厂家的数据适配，且通过过滤压缩网络性能异常的告警信息，避免了无用的网络性能异常的告警信息频繁上报。
105.本技术实施例可以根据上述方法示例对一种网络性能巡检装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本技术实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
106.如图9所示，为本技术实施例提供的一种网络性能巡检装置的结构示意图，该装置包括：数据解析模块41、数据清洗模块42、性能检测模块43和过滤压缩模块44。
107.其中，上述数据解析模块41，用于对通信设备中的待检测海量数据进行数据解析，得到通用数据结构的待检测海量数据，该待检测海量数据对应至少一个数据源，不同数据源编写有不同的数据解析算子。
108.上述数据清洗模块42，用于对通用数据结构的待检测海量数据进行数据清洗。
109.上述性能检测模块43，用于对清洗后的待检测海量数据进行网络性能检测，得到性能检测模块目标检测结果，该目标检测结果包括网络性能异常的告警信息。
110.上述过滤压缩模块44，用于对目标检测结果中的告警信息进行过滤压缩处理，将符合目标过滤压缩规则的结果进行过滤。
111.在一种可能的实现方式中，上述数据源由第一信息确定，该第一信息包括以下至少一项：通信设备类型信息、通信设备中的数据格式信息、通信设备中的协议信息。
112.在一种可能的实现方式中，上述数据清洗模块42，具体用于：基于目标清洗规则，将通用数据结构的待检测海量数据中的脏数据清洗为有效数据，并将待检测海量数据中的无关数据进行过滤。
113.在一种可能的实现方式中，上述网络巡检装置还包括：数据标准化模块。上述数据标准化模块，用于在上述性能检测模块43对清洗后的待检测海量数据进行网络性能检测，得到目标检测结果之前，对清洗后的待检测海量数据进行数据标准化，以对不同数据源的数据进行拆分转换，将待检测海量数据转换为网络性能检测对应的检测算子可识别的数据格式。
114.在一种可能的实现方式中，上述过滤压缩模块44，具体用于基于目标过滤压缩规则，将目标检测结果中第一时间段内的告警信息进行过滤，并将第二时间段内的多条相同告警信息进行压缩。
115.在通过硬件实现时，本技术实施例中的数据解析模块41、数据清洗模块42、性能检
测模块43、过滤压缩模块和数据标准化模块可以集成在处理器上。具体实现方式如图10所示。
116.图10示出了上述实施例中所涉及的一种网络性能巡检装置的又一种可能的结构示意图。该一种网络性能巡检装置包括：处理器302和通信接口303。处理器302用于对一种网络性能巡检装置的动作进行控制管理，例如，执行上述数据解析模块41、数据清洗模块42和性能检测模块43、过滤压缩模块和数据标准化模块执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信接口303用于支持一种网络性能巡检装置与其他网络实体的通信。一种网络性能巡检装置还可以包括存储器301和总线304，存储器301用于存储一种网络性能巡检装置的程序代码和数据。
117.其中，存储器301可以是一种网络性能巡检装置中的存储器等，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。
118.上述处理器302可以是实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
119.总线304可以是扩展工业标准结构(extended industry standard architecture，eisa)总线等。总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
120.图11是本技术实施例提供的芯片170的结构示意图。芯片170包括一个或两个以上(包括两个)处理器1710和通信接口1730。
121.可选的，该芯片170还包括存储器1740，存储器1740可以包括只读存储器和随机存取存储器，并向处理器1710提供操作指令和数据。存储器1740的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，nvram)。
122.在一些实施方式中，存储器1740存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。
123.在本技术实施例中，通过调用存储器1740存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。
124.其中，上述处理器1710可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，单元和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，单元和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
125.存储器1740可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。
126.总线1720可以是扩展工业标准结构(extended industry standard architecture，eisa)总线等。总线1720可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
127.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
128.本技术实施例提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行上述方法实施例中的一种网络性能巡检方法。
129.本技术实施例还提供一种计算机存储介质，计算机存储介质中存储有指令，当该指令在计算机上运行时，使得该计算机执行上述方法实施例所示的方法流程中的一种网络性能巡检方法。
130.其中，计算机存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specific integrated circuit，asic)中。在本技术实施例中，计算机存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
131.本发明的实施例提供一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行上述实施例中的一种网络性能巡检方法。
132.由于本发明的实施例中的一种网络性能巡检装置、计算机存储介质、计算机程序产品可以应用于上述方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明实施例在此不再赘述。
133.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
134.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
135.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
136.以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种网络性能巡检方法，其特征在于，所述方法包括：对通信设备中的待检测海量数据进行数据解析，得到通用数据结构的所述待检测海量数据，所述待检测海量数据对应至少一个数据源，不同数据源编写有不同的数据解析算子；对通用数据结构的所述待检测海量数据进行数据清洗；对清洗后的所述待检测海量数据进行网络性能检测，得到目标检测结果，所述目标检测结果包括网络性能异常的告警信息；基于目标过滤压缩规则，对所述目标检测结果中的告警信息进行过滤压缩处理，将符合所述目标过滤压缩规则的结果进行过滤。2.根据权利要求1所述的方法，其特征在于，所述数据源由第一信息确定，所述第一信息包括以下至少一项：通信设备类型信息、通信设备中的数据格式信息、通信设备中的协议信息。3.根据权利要求1或2所述的方法，其特征在于，所述对通用数据结构的所述待检测海量数据进行数据清洗，包括：基于目标清洗规则，将通用数据结构的所述待检测海量数据中的脏数据清洗为有效数据，并将所述待检测海量数据中的无关数据进行过滤。4.根据权利要求1所述的方法，其特征在于，所述对清洗后的所述待检测海量数据进行网络性能检测，得到目标检测结果之前，所述方法还包括：对清洗后的所述待检测海量数据进行数据标准化，以对不同数据源的数据进行拆分转换，将所述待检测海量数据转换为网络性能检测对应的检测算子可识别的数据格式。5.根据权利要求1所述的方法，其特征在于，所述基于目标过滤压缩规则，对所述目标检测结果中的告警信息进行过滤压缩处理，将符合所述目标过滤压缩规则的结果进行过滤，包括：基于所述目标过滤压缩规则，将所述目标检测结果中第一时间段内的告警信息进行过滤，并将第二时间段内的多条相同告警信息进行压缩。6.一种网络性能巡检装置，其特征在于，所述装置包括：数据解析模块、数据清洗模块、性能检测模块和过滤压缩模块；所述数据解析模块，用于对通信设备中的待检测海量数据进行数据解析，得到通用数据结构的所述待检测海量数据，所述待检测海量数据对应至少一个数据源，不同数据源编写有不同的数据解析算子；所述数据清洗模块，用于对通用数据结构的所述待检测海量数据进行数据清洗；所述性能检测模块，用于对清洗后的所述待检测海量数据进行网络性能检测，得到目标检测结果，所述目标检测结果包括网络性能异常的告警信息；所述过滤压缩模块，用于对所述目标检测结果中的告警信息进行过滤压缩处理，将符合所述目标过滤压缩规则的结果进行过滤。7.根据权利要求1所述的装置，其特征在于，所述数据源由第一信息确定，所述第一信息包括以下至少一项：通信设备类型信息、通信设备中的数据格式信息、通信设备中的协议信息。8.根据权利要求6或7所述的装置，其特征在于，所述数据清洗模块，具体用于：基于目标清洗规则，将通用数据结构的所述待检测海量数据中的脏数据清洗为有效数据，并将所
述待检测海量数据中的无关数据进行过滤。9.根据权利要求6所述的装置，其特征在于，所述装置还包括：数据标准化模块；所述数据标准化模块，用于在性能检测模块对清洗后的所述待检测海量数据进行网络性能检测，得到目标检测结果之前，对清洗后的所述待检测海量数据进行数据标准化，以对不同数据源的数据进行拆分转换，将所述待检测海量数据转换为网络性能检测对应的检测算子可识别的数据格式。10.根据权利要求6所述的装置，其特征在于，所述过滤压缩模块，具体用于基于所述目标过滤压缩规则，将所述目标检测结果中第一时间段内的告警信息进行过滤，并将第二时间段内的多条相同告警信息进行压缩。11.一种网络性能巡检装置，其特征在于，包括：处理器和通信接口；所述通信接口和所述处理器耦合，所述处理器用于运行计算机程序或指令，以实现如权利要求1-5任一项中所述的网络性能巡检方法。12.一种计算机存储介质，所述计算机存储介质中存储有指令，其特征在于，当计算机执行该指令时，该计算机执行上述权利要求1-5任一项中所述的网络性能巡检方法。

技术总结
本申请提供一种网络性能巡检方法、装置及存储介质，涉及网络巡检领域，能够实现多种数据源的数据适配和避免无用告警的频繁上报。方法包括：对通信设备中的待检测海量数据进行数据解析，得到通用数据结构的待检测数据待检测海量数据，待检测数据待检测海量数据对应至少一个数据源，不同数据源编写有不同的数据解析算子；对通用数据结构的待检测数据待检测海量数据进行数据清洗；对清洗后的待检测数据待检测海量数据进行网络性能检测，得到目标检测结果，待检测数据目标检测结果包括网络性能异常的告警信息；基于目标过滤压缩规则，对待检测数据目标检测结果中的告警信息进行过滤压缩处理，将符合待检测数据目标过滤压缩规则的结果进行过滤。果进行过滤。果进行过滤。


技术研发人员：蒋迅婕 金鑫 周洲 毕中玻 孙洋洋
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：2023.06.07
技术公布日：2023/8/28