5G核心网的指标关联告警分析方法、电子装置及存储介质与流程

5g核心网的指标关联告警分析方法、电子装置及存储介质
技术领域
1.本发明涉及5g核心网的告警分析方法，尤其涉及一种5g核心网的指标关联告警分析方法、电子装置及存储介质。


背景技术：

2.5g网络的正式商用，提供更高质量的网络，也使业务更加可靠、稳定、和灵活，容量更大。但在带来通信网络能力提升的同时，全新的网络形态和网络规模也给维护带来了极大挑战。特别是5g核心网由传统通讯技术(communication technology，ct)网络转变为软件定义网络(software-defined network，sdn)+网络功能虚拟(network functions virtualization，nfv)网络后，传统的人工运维模式面临网络监控、管理困难、故障定界定位复杂、运维效率低下、无法有效预知，无法有效避免隐患发生等难题。随着人工智能(artificial intelligence，ai)和大数据的发展，采用ai技术实现智能运维成为解决这一问题的主要方向。
3.现有移动网络运维多采用人工监控或单类算法检测，难以满足5g核心(5g core(5gc))网络管理系统管理对象的日益增多，网络可能产生的故障大幅增加和特定场景的需求。此外，现有5gc网络管理系统告警分析多基于告警数据本身作算法学习和挖掘分析，没有考虑从与系统密切相关的大量关键绩效指标(key performance indicator，kpi)数据进行学习挖掘。


技术实现要素：

4.鉴于以上内容，有必要提供一种5g核心网的指标关联告警分析方法、电子装置及存储介质，采用大数据和ai技术实现告警分析和预测，为5gc网络使用ai技术和大数据实现智能运维监控、隐患发现、故障定位等功能应用提供参考。
5.本发明实施例提供一种5g核心网的指标关联告警分析方法，应用于电子装置中，其特征在于，所述方法包括：根据历史告警数据和关键绩效指标(key performance indicator，kpi)数据对输入数据进行数据清洗；根据数据特性检测所述输入数据中的异常数据；通过秩和检验量化分析，将所述输入数据进行特征重要性建模，获得故障和指标裂化之间的相关性；对所述输入数据执行极限梯度提升告警关联性分析；判断选择的性能指针与告警规则是否有关联；若所述选择的性能指针与告警规则有关联，表示所述选择的性能指针是故障发生的特征之一，并当相应所述输入数据的实时性能指针出现裂化点时发出预警；及若所述选择的性能指针与告警规则没有关联，表示所述选择的性能指针不是故障发生的特征。
6.本发明实施例还提供一种电子装置，包括数据清洗模块、异常检测模块、秩和检验分析模块、告警关联性分析模块及故障判断模块。所述数据清洗模块用于根据历史告警数据和关键绩效指标数据对输入数据进行数据清洗。所述异常检测模块用于根据数据特性检测所述输入数据中的异常数据。所述秩和检验分析模块用于通过秩和检验量化分析，将所
述输入数据进行特征重要性建模，获得故障和指标裂化之间的相关性。所述告警关联性分析模块用于对所述输入数据执行极限梯度提升告警关联性分析。所述故障判断模块，用于判断选择的性能指针与告警规则是否有关联，若所述选择的性能指针与告警规则有关联，表示所述选择的性能指针是故障发生的特征之一，并当相应所述输入数据的实时性能指针出现裂化点时发出预警，及若所述选择的性能指针与告警规则没有关联，表示所述选择的性能指针不是故障发生的特征。
7.本发明实施例还提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被执行时实现如前述的5g核心网的指标关联告警分析方法的步骤。
8.本发明实施例的5g核心网的指标关联告警分析方法、电子装置及存储介质基于异常检测算法，例如，seasonal hybrid esd(extreme studentized deviate)算法和iforest(isolation forest)算法，进行性能数据与5gc告警的自主学习挖掘，对指标异常进行检测，从而实现关键绩效指标(kpi)-告警关联分析。通过对性能指针的精准预测，实现自动、及时与准确发现网络潜在隐患，规避网络故障，有效解决解决5gc网络监控、隐患预测、故障发现难的问题，提高网络自治能力。
附图说明
9.图1是本发明实施例的5g核心网的指标关联告警分析方法的步骤流程图。
10.图2是本发明实施例的异常数据检测的步骤流程图。
11.图3是本发明实施例的异常数据检测的示意图。
12.图4是本发明实施例的电子装置的硬件架构示意图。
13.图5是本发明实施例的电子装置的功能方块图。
14.主要元件符号说明
[0015][0016][0017]
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
[0018]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
[0019]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0020]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
[0021]
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。另外，各个实施例的间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围的内。
[0022]
本发明实施例的5g核心网的指标关联告警分析方法通过对历史告警数据和关键绩效指标(kpi)数据进行数据清洗，保障数据的有效可靠，再根据数据特性利用seasonal hybrid esd算法和iforest算法检测出异常数据，通过秩和检验(rank sum test)量化分析，将输入数据进行特征重要性建模，发现故障和指标裂化之间的相关性。当实时性能指针出现裂化点时，对故障进行提前预警，以及时发现网络潜在隐患，规避网络故障发生，提高网络自治能力。
[0023]
图1是本发明实施例的5g核心网的指标关联告警分析方法的步骤流程图，应用于电子装置中，所述电子装置为安装有5g核心网的指标关联告警分析服务的服务器或中央控制服务器。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
[0024]
步骤s11，通过对历史告警数据和kpi数据进行数据清洗，保障数据的有效可靠。
[0025]
为了把有用的数据留下，无用的数据删掉，保证数据质量，排除对最终结果的干扰，在进行算法处理之前需要对数据进行有效的清洗预处理。在输入数据中找出重复的输入数据并删除重复的输入数据。将时间列转换为统一格式。将输入数据按照时间列进行排序。将输入数据的值列强制转换为数值型，有缺失或字符的输入数据统一转换为符号na。当行里数据全部为空时，才选择删除，否则用列上除空值之外的平均数来替代。
[0026]
步骤s12，根据数据特性利用seasonal hybrid esd算法和iforest算法检测输入数据中的异常数据。
[0027]
针对核心网指标的异常检测，通过对数据特征的分析，采用seasonal hybrid esd算法和iforest算法进行统计分析，满足特定场景的异常检测准确率。
[0028]
图2是本发明实施例的异常数据检测的步骤流程图，应用于电子装置中，所述电子装置为安装有5g核心网的指标关联告警分析服务的服务器或中央控制服务器。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
[0029]
步骤s21，收集历史告警数据和对应时间内的kpi性能指针。
[0030]
步骤s22，判断目前取得的输入数据是否为时间序列数据。
[0031]
步骤s23，若目前取得的输入数据为时间序列数据，利用seasonal hybrid esd算法对所述输入数据进行异常数据检测。
[0032]
所述seasonal hybrid esd算法是先用stl(seasonal and trend decomposition using loess)算法把输入数据的序列分解，考察残差项。假定这一项符合正态分布，然后就可以用generalized esd算法提取离群点，以检测出所述输入数据中时间序列数据集的异常点。如图3所示，图上的小圆圈表示时间序列数据集中的异常点。
[0033]
步骤s24，若目前取得的输入数据非为时间序列数据，利用iforest算法对所述输入数据进行异常数据检测。
[0034]
iforest算法是一个基于集成学习的快速异常检测算法，既不需要数学模型也不需要有卷标的训练，是具有线性时间复杂度和高精准度。该算法采用二叉树对数据进行切分，数据点在二叉树中所处的深度反映了该条数据的＂疏离＂程度。
[0035]
在iforest算法中，由于切割是随机的，所以需要集成学习的方法来得到一个收敛值，即反复从头开始切，然后平均每次切的结果。iforest由t个孤立树(isolation tree)组成，每个itree是一个二叉树结构，其实现步骤如下。
[0036]
构建一棵itree时，先从全量数据中抽取一批样本，然后随机选择一个特征作为起始点，并在该特征的最大值和最小值之间随机选择一个值。将样本中小于该取值的数据划分到左分支，大于等于该取值的划分到右分支。然后，在左右分支数据中，重复上述步骤，直到满足如下条件：
[0037]
a)数据不可再分，即：只包含一条数据，或者全部数据相同；及
[0038]
b)二叉树达到最大深度阈值。
[0039]
步骤s25，判断在所述输入数据中是否发现异常数据。
[0040]
步骤s26，若在所述输入数据中发现异常数据，表示所述输入数据为异常数据。
[0041]
步骤s27，若在所述输入数据中未发现异常数据，表示所述输入数据为正常数据。
[0042]
步骤s13，通过秩和检验量化分析，将所述输入数据进行特征重要性建模，发现故障和指标裂化之间的相关性。
[0043]
秩和检验(rank sum test)又称顺序和检验，它是一种非参数检验，不依赖于总体分布的具体形式，而是一种用样本秩来代替样本值的检验法。用秩和检验可以检验两个总体的分布函数是否相等的问题应用时可以不考虑被研究对象为何种分布以及分布是否已知。
[0044]
秩和检验通过将两组数据混合后排序，将每个序列值在序列中的次序称为秩，分别将两组数据的秩相加得到两组数据的秩和。若两组数据同分布则秩和不应过大也不应过小。通过秩和检验来判断告警发生时刻周围数据与未发生告警时刻的数据分布是否相同，取显著性水平p为0.05。如果p值小于0.05，则说明故障发生时刻周围数据与未发生故障时刻数据分布不同，即可将这个特征作为判断故障是否发生的特征之一。
[0045]
步骤s14，执行极限梯度提升(extreme gradient boosting，xgboost)告警关联性分析。
[0046]
xgboost是一种提升树模型，将很多树的模型集成起来，其以正则化提升(regularized boosting)技术而闻名。通过代价函数里加入正则项，控制模型的复杂度，防
止过拟合。可以实现并行处理，相比梯度提升机(gbm gradient boosting machine，gbm)有了很大的速度提升。
[0047]
指针重要性根据该特征每次作为分裂点时获得的增益总和除以所有特征的增益总和计算得出。将经过秩和检验筛选后的指针传入xgboost模型进行初步建模后，输出指标重要性，根据指标重要性选取一定量的指标进行再次建模。
[0048]
kpi-告警关联问题的每个样本数据可能对应多个卷标，通过xgboost对每一类告警做一个二分类，判断此类告警是否发生。将数据预处理好后传入xgboost，运用交叉验证确定其中一些模型参数，最后使用网格搜索进行调优。
[0049]
步骤s15，判断选择的性能指针与告警规则是否有关联。
[0050]
步骤s16，若选择的性能指针与告警规则有关联，则该性能指针是故障发生的特征之一。当实时性能指针出现裂化点时，对故障进行提前预警。
[0051]
步骤s17，若选择的性能指针与告警规则没有关联，则该性能指针不是故障发生的特征。
[0052]
本发明实施例的5g核心网的指标关联告警分析方法的优点如下：
[0053]
a)利用5gc管理系统告警前后特定kpi数据变化，进行系统kpi-关联告警分析，提高网络告警预知能力；
[0054]
b)根据性能数据的特性分别采用seasonal hybrid esd算法和iforest算法，满足特定场景的异常检测准确率，效果相对单一检测算法更好；
[0055]
c)选择iforest算法对高纬数据有较好的鲁棒性；及
[0056]
d)采用大数据和ai技术实现告警分析和预测，为5gc网络使用ai技术和大数据实现智能运维监控、隐患发现、故障定位等功能应用提供参考。
[0057]
图4是本发明实施例的电子装置的硬件架构示意图。电子装置200，例如，5g核心网的指标关联告警分析服务器或中央控制服务器，但不仅限于，可通过系统总线相互通信连接处理器210、内存220以及5g核心网的指标关联告警分析系统230，图4仅示出了具有组件210-230的电子装置200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0058]
所述内存220至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型内存(例如，sd或dx内存等)、随机访问内存(ram)、静态随机访问内存(sram)、只读存储器(rom)、电可擦除可程序设计只读存储器(eeprom)、可程序设计只读存储器(prom)、磁性内存、磁盘、光盘等。在一些实施例中，所述内存220可以是所述电子装置200的内部存储单元，例如电子装置200的硬盘或内存。在另一些实施例中，所述内存也可以是所述电子装置200的外部存储设备，例如所述电子装置200上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。当然，所述内存220还可以既包括所述电子装置200的内部存储单元也包括其外部存储设备。本实施例中，所述内存220通常用于存储安装于所述电子装置200的操作系统和各类应用软件，例如5g核心网的指标关联告警分析系统230的程序代码等。此外，所述内存220还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0059]
所述处理器210在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。所述处理器210通常用于控制所
述电子装置200的总体操作。本实施例中，所述处理器210用于运行所述内存220中存储的程序代码或者处理数据，例如，运行所述5g核心网的指标关联告警分析系统230等。
[0060]
需要说明的是，图4仅为举例说明电子装置200。在其他实施例中，电子装置200也可以包括更多或者更少的组件，或者具有不同的组件配置。
[0061]
所述电子装置200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁盘、光盘、计算机内存、只读存储器、随机存取内存、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0062]
图5是本发明实施例的电子装置的功能方块图，其用于执行5g核心网的指标关联告警分析方法。本发明实施例的5g核心网的指标关联告警分析方法可由储存媒体中的计算机程序来实现，例如，电子装置200中的内存220。当实现本发明方法的计算机程序由处理器210加载到内存220时，驱动行装置200的处理器210执行本发明实施例的5g核心网的指标关联告警分析方法。
[0063]
本发明实施例的电子装置200包括数据清洗模块310、异常检测模块320、秩和检验分析模块330、告警关联性分析模块340与故障判断模块350。
[0064]
数据清洗模块310通过对历史告警数据和kpi数据进行数据清洗，保障数据的有效可靠。
[0065]
为了把有用的数据留下，无用的数据删掉，保证数据质量，排除对最终结果的干扰，在进行算法处理之前需要对数据进行有效的清洗预处理。在输入数据中找出重复的输入数据并删除重复的输入数据。将时间列转换为统一格式。将输入数据按照时间列进行排序。将输入数据的值列强制转换为数值型，有缺失或字符的输入数据统一转换为符号na。当行里数据全部为空时，才选择删除，否则用列上除空值之外的平均数来替代。
[0066]
异常检测模块320根据数据特性利用seasonal hybrid esd算法和iforest算法检测输入数据中的异常数据。
[0067]
针对核心网指标的异常检测，通过对数据特征的分析，采用seasonal hybrid esd算法和iforest算法进行统计分析，满足特定场景的异常检测准确率。异常检测模块320还执行下列操作：
[0068]
a)收集历史告警数据和对应时间内的kpi性能指针；
[0069]
b)判断目前取得的输入数据是否为时间序列数据；
[0070]
c)若目前取得的输入数据为时间序列数据，利用seasonal hybrid esd算法对所述输入数据进行异常数据检测；
[0071]
d)若目前取得的输入数据非为时间序列数据，利用iforest算法对所述输入数据
进行异常数据检测；
[0072]
d)判断在所述输入数据中是否发现异常数据；
[0073]
e)若在所述输入数据中发现异常数据，表示所述输入数据为异常数据；及
[0074]
f)若在所述输入数据中未发现异常数据，表示所述输入数据为正常数据。
[0075]
秩和检验分析模块330通过秩和检验量化分析，将所述输入数据进行特征重要性建模，发现故障和指标裂化之间的相关性。
[0076]
告警关联性分析模块340执行极限梯度提升(extreme gradient boosting，xgboost)告警关联性分析。
[0077]
故障判断模块350判断选择的性能指针与告警规则是否有关联。若选择的性能指针与告警规则有关联，则该性能指针是故障发生的特征之一。当实时性能指针出现裂化点时，对故障进行提前预警。若选择的性能指针与告警规则没有关联，则该性能指针不是故障发生的特征。
[0078]
可以理解的是，以上所描述的模块划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本技术各个实施例中的各功能模块可以集成在相同处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同单元中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0079]
对本领域的普通技术人员来说，可以根据本发明实施例提供的技术方案和技术构思结合生成的实际需要做出其他相应的改变或调整，而这些改变和调整都应属于本发明权利要求的保护范围。

技术特征：
1.一种5g核心网的指标关联告警分析方法，应用于电子装置中，其特征在于，所述方法包括：根据历史告警数据和关键绩效指标(key performance indicator，kpi)数据对输入数据进行数据清洗；根据数据特性检测所述输入数据中的异常数据；通过秩和检验量化分析，将所述输入数据进行特征重要性建模，获得故障和指标裂化之间的相关性；对所述输入数据执行极限梯度提升告警关联性分析；判断选择的性能指针与告警规则是否有关联；若所述选择的性能指针与告警规则有关联，表示所述选择的性能指针是故障发生的特征之一，并当相应所述输入数据的实时性能指针出现裂化点时发出预警；及若所述选择的性能指针与告警规则没有关联，表示所述选择的性能指针不是故障发生的特征。2.如权利要求1所述的5g核心网的指标关联告警分析方法，其特征在于，还包括：根据所述数据特性并利用seasonal hybrid esd算法和iforest算法检测所述输入数据中的异常数据。3.如权利要求2所述的5g核心网的指标关联告警分析方法，其特征在于，还包括：收集所述历史告警数据和对应时间内的关键绩效指标；判断所述输入数据是否为时间序列数据；若所述输入数据为所述时间序列数据，利用所述seasonal hybrid esd算法检测所述输入数据中的异常数据；判断在所述输入数据中是否发现异常数据；若在所述输入数据中发现所述异常数据，表示所述输入数据为异常数据；及若在所述输入数据中未发现所述异常数据，表示所述输入数据为正常数据。4.如权利要求3所述的5g核心网的指标关联告警分析方法，其特征在于，还包括：若所述输入数据非为所述时间序列数据，利用所述iforest算法检测所述输入数据中的异常数据；判断在所述输入数据中是否发现异常数据；若在所述输入数据中发现所述异常数据，表示所述输入数据为异常数据；及若在所述输入数据中未发现所述异常数据，表示所述输入数据为正常数据。5.一种电子装置，其特征在于，包括：数据清洗模块，用于根据历史告警数据和关键绩效指标数据对输入数据进行数据清洗；异常检测模块，用于根据数据特性检测所述输入数据中的异常数据；秩和检验分析模块，用于通过秩和检验量化分析，将所述输入数据进行特征重要性建模，获得故障和指标裂化之间的相关性；告警关联性分析模块，用于对所述输入数据执行极限梯度提升告警关联性分析；及故障判断模块，用于判断选择的性能指针与告警规则是否有关联，若所述选择的性能指针与告警规则有关联，表示所述选择的性能指针是故障发生的特征之一，并当相应所述
输入数据的实时性能指针出现裂化点时发出预警，及若所述选择的性能指针与告警规则没有关联，表示所述选择的性能指针不是故障发生的特征。6.如权利要求5所述的电子装置，其特征在于，所述异常检测模块还包括根据所述数据特性并利用seasonal hybrid esd算法和iforest算法检测所述输入数据中的异常数据。7.如权利要求6所述的电子装置，其特征在于，所述异常检测模块还包括：收集所述历史告警数据和对应时间内的关键绩效指标；判断所述输入数据是否为时间序列数据；若所述输入数据为所述时间序列数据，利用所述seasonal hybrid esd算法检测所述输入数据中的异常数据；判断在所述输入数据中是否发现异常数据；若在所述输入数据中发现所述异常数据，表示所述输入数据为异常数据；及若在所述输入数据中未发现所述异常数据，表示所述输入数据为正常数据。8.如权利要求7所述的电子装置，其特征在于，所述异常检测模块还包括：若所述输入数据非为所述时间序列数据，利用所述iforest算法检测所述输入数据中的异常数据；判断在所述输入数据中是否发现异常数据；若在所述输入数据中发现所述异常数据，表示所述输入数据为异常数据；及若在所述输入数据中未发现所述异常数据，表示所述输入数据为正常数据。9.一种存储介质，其上存储有至少一条计算机指令，其特征在于，所述指令由处理器并加载执行如权利要求1-4任意一项所述的5g核心网的指标关联告警分析方法。

技术总结
一种5G核心网的指标关联告警分析方法。根据历史告警数据和关键绩效指标(KPI)数据对输入数据进行数据清洗；根据数据特性检测所述输入数据中的异常数据。通过秩和检验量化分析，将所述输入数据进行特征重要性建模，获得故障和指标裂化之间的相关性。对所述输入数据执行极限梯度提升告警关联性分析。若选择的性能指针与告警规则有关联，表示所述选择的性能指针是故障发生的特征之一，并当相应所述输入数据的实时性能指针出现裂化点时发出预警。本发明还提供一种电子装置与存储介质，对指标异常进行检测，从而实现KPI-告警关联分析。告警关联分析。告警关联分析。


技术研发人员：张钊毓 杜昭颖
受保护的技术使用者：南宁富联富桂精密工业有限公司
技术研发日：2022.02.15
技术公布日：2023/8/28