应用系统的异常预警方法、装置、设备及存储介质与流程
未命名
09-22
阅读:76
评论:0
1.本技术涉及人工智能技术领域,尤其涉及一种应用系统的异常预警方法、装置、设备及存储介质。
背景技术:
2.在互联网时代,保证系统正常稳定地运行至关重要。尤其在金融领域中,银行的业务应用系统每日需要处理大量数据,在系统发生故障时,如果不能及时响应将会造成严重的影响。
3.目前,一般采用人工经验的监测值对应用系统的各项指标进行监测,当监控的指标超出阈值时将产生告警,提示运维人员进行及时的维护。然而,人工经验的监测值一般准确性较低,从而导致漏报、误报时有发生,异常预警的准确性较低。
技术实现要素:
4.本技术提供一种应用系统的异常预警方法、装置、设备及存储介质,用以解决目前人工经验的监测值一般准确性较低,从而导致漏报、误报时有发生,异常预警的准确性较低的问题。
5.本技术第一方面提供一种应用系统的异常预警方法,包括:
6.获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息;
7.对所述业务结构化信息和所述服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据;
8.获取历史预设时间段对应的历史预测中间数据,并将所述当前预测中间数据和所述历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果;
9.若所述预测结果为出现异常,则从预设数据库中确定匹配的运维策略;所述预设数据库存储有所述预测结果与所述运维策略之间的映射关系;
10.若确定所述运维策略为人工处理异常策略,则向预警设备发送预警信息。
11.本技术第二方面提供一种应用系统的异常预警装置,包括:
12.获取模块,用于获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息;
13.生成模块,用于对所述业务结构化信息和所述服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据;
14.预测模块,用于获取历史预设时间段对应的历史预测中间数据,并将所述当前预测中间数据和所述历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果;
15.匹配模块,用于若所述预测结果为出现异常,则从预设数据库中确定匹配的运维
策略;所述预设数据库存储有所述预测结果与所述运维策略之间的映射关系;
16.发送模块,用于若确定所述运维策略为人工处理异常策略,则向预警设备发送预警信息。
17.本技术第三方面提供一种电子设备,包括:存储器和处理器;
18.所述存储器存储计算机执行指令;
19.所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面任一项所述的应用系统的异常预警方法。
20.本技术第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的应用系统的异常预警方法。
21.本技术第五方面提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面任一项所述的应用系统的异常预警方法。
22.本技术提供的一种应用系统的异常预警方法、装置、设备及存储介质,该方法包括:获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息;对所述业务结构化信息和所述服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据;获取历史预设时间段对应的历史预测中间数据,并将所述当前预测中间数据和所述历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果;若所述预测结果为出现异常,则从预设数据库中确定匹配的运维策略;所述预设数据库存储有所述预测结果与所述运维策略之间的映射关系;若确定所述运维策略为人工处理异常策略,则向预警设备发送预警信息。本技术的应用系统的异常预警方法,预先设置了训练至收敛的参数预测模型,在进行应用系统的异常预警时,对所述业务结构化信息和所述服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据,并采用参数预测模型基于当前预测中间数据和所述历史预测中间数据生成下一预设时间段对应的预测结果。若所述预测结果为出现异常,则从预设数据库中确定匹配的运维策略,并进行对应预警处理。本技术的应用系统的异常预警方法通过机器学习的方式,采用训练至收敛的参数预测模型生成对应预测结果,准确性较高,从而提高了预警的准确性较低。
附图说明
23.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。
24.图1为可以实现本技术实施例的应用系统的异常预警方法的场景图;
25.图2为本技术提供的应用系统的异常预警方法的流程示意图一;
26.图3为本技术提供的应用系统的异常预警方法的流程示意图二;
27.图4为本技术提供的应用系统的异常预警装置的结构示意图一;
28.图5为本技术提供的应用系统的异常预警装置的结构示意图二;
29.图6为本技术提供的电子设备的结构示意图。
30.通过上述附图,已示出本技术明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围,而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
31.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
32.本技术实施例的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
33.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
34.需要说明的是,本公开应用系统的异常预警方法、装置、设备及存储介质可用于人工智能技术领域。也可用于除人工智能技术领域以外的任意领域。本公开应用系统的异常预警方法、装置、设备及存储介质应用领域不作限定。
35.下面以具体地实施例对本技术的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本技术的实施例进行描述。
36.为了清楚理解本技术的技术方案,首先对现有技术的方案进行详细介绍。随着计算机技术的不断发展,计算机作为常用工具活跃在各个领域中。在金融领域中,如银行,业务应用系统每日需要处理大量数据,在系统发生故障时,如果不能及时响应将会造成严重的影响。
37.目前,一般通过监测值对应用系统的各项指标进行监测,检测时采用的监测值是静态阈值比如通过人工经验确定的监测值。当监控的指标超出阈值时将产生告警,提示运维人员进行及时的维护。然而,人工经验的监测值一般准确性较低,从而导致漏报、误报时有发生,异常预警的准确性较低。
38.所以针对现有技术中人工经验的监测值一般准确性较低,从而导致漏报、误报时有发生,异常预警的准确性较低的问题,发明人在研究中发现,为了解决该问题,可以通过机器学习的方式,预先设置参数预测模型,通过参数预测模型提高监测值的准确性,从而提高异常预警的准确性。
39.具体的,获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息。对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据。获取历史预设时间段对应的历史预测中间数据,并将当前预测中间数据和历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果。若预测结果为出现异常,则从预设数据库中确定匹配的运维策略。预设数据库存储有预测结果与运维策略之间的映射关系。若确定运维策略为人工处理异常策略,则向预警设备发送预警信息。
40.本技术的应用系统的异常预警方法,预先设置了训练至收敛的参数预测模型,在进行应用系统的异常预警时,对业务结构化信息和服务器运行结构化信息进行信息分析计
算处理,生成对应的当前预测中间数据,并采用参数预测模型基于当前预测中间数据和历史预测中间数据生成下一预设时间段对应的预测结果。若预测结果为出现异常,则从预设数据库中确定匹配的运维策略,并进行对应预警处理。本技术的应用系统的异常预警方法通过机器学习的方式,采用训练至收敛的参数预测模型生成对应预测结果,准确性较高,从而提高了预警的准确性较低。
41.发明人基于上述的创造性发现,提出了本技术的技术方案。
42.下面对本技术实施例提供的应用系统的异常预警方法的应用场景进行介绍。如图1所示,其中,1为电子设备,2为应用系统服务器,3为预警设备。本技术实施例提供的应用系统的异常预警方法对应的应用场景的网络架构中包括:电子设备1、应用系统服务器2和预警设备3。
43.示例性的,电子设备1实时从应用系统服务器2处获取业务结构化信息和服务器运行结构化信息。在各个预设时间段时,电子设备1从应用系统服务器2处获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息。同时,电子设备1对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据。此外,电子设备1获取历史预设时间段对应的历史预测中间数据,并将当前预测中间数据和历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果。若预测结果为出现异常,则从预设数据库中确定匹配的运维策略。若确定运维策略为人工处理异常策略,则向预警设备3发送预警信息,以通过预警设备3通知运维人员。
44.下面结合说明书附图对本技术实施例进行介绍。
45.图2为本技术提供的应用系统的异常预警方法的流程示意图一,如图2所示,本实施例中,本技术实施例的执行主体为应用系统的异常预警装置,该应用系统的异常预警装置可以集成在电子设备中。则本实施例提供的应用系统的异常预警方法包括以下几个步骤:
46.步骤s101,获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息。
47.本实施例中,获取的方式可以为获取应用系统在当前预设时间段内生成的业务信息和服务器运行信息,并对业务信息和服务器运行信息进行结构化处理,生成业务结构化信息和服务器运行结构化信息。也可以采用其他方式,如采用日志收集系统flume采集当前预设时间段内应用系统的日志文件中记录的业务信息和服务器运行信息。
48.步骤s102,对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据。
49.本实施例中,对业务结构化信息和服务器运行结构化信息进行信息分析计算处理主要是进行数据计算、数据分析,从而生成中间数据-当前预测中间数据。比如,可以对交易数据进行计算分析,确定交易数据对应的交易成功率、交易平均耗时等。
50.步骤s103,获取历史预设时间段对应的历史预测中间数据,并将当前预测中间数据和历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果。
51.本实施例中,历史预设时间段是当前预设时间段之前的预设时间段,可以为当前预设时间段之前的上一预设时间段、上上预设时间段等。预设时间段可以按照实际需求进
行设置,比如可以设置为一小时、一天、一周等。参数预测模型预先根据训练样本进行训练,直至收敛。参数预测模型用于生成下一预设时间段对应的预测结果,可以生成下一预设时间段对应的预测数据,并对预测数据的误差进行判断,从而生成预测结果。
52.步骤s104,若预测结果为出现异常,则从预设数据库中确定匹配的运维策略。预设数据库存储有预测结果与运维策略之间的映射关系。
53.预测结果一般分两种,出现异常和未出现异常,但预测结果为出现异常时,则预设数据库中确定匹配的运维策略。运维策略为预先设置的,比如可以为非人工处理异常策略如控制应用系统进行重新启动、清理运行任务等,人工处理异常策略等。非人工处理异常策略可以自动执行,而人工处理异常策略需要由运维人员进行处理。
54.步骤s105,若确定运维策略为人工处理异常策略,则向预警设备发送预警信息。
55.本实施例中,向预警设备发送预警信息可以使运维人员通过预警设备得到对应警示,从而更高效的进行实际运维操作。具体可以通过邮件、短信等方式告知运维人员。
56.本技术实施例提供的一种应用系统的异常预警方法,该方法包括:获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息。对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据。获取历史预设时间段对应的历史预测中间数据,并将当前预测中间数据和历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果。若预测结果为出现异常,则从预设数据库中确定匹配的运维策略。预设数据库存储有预测结果与运维策略之间的映射关系。若确定运维策略为人工处理异常策略,则向预警设备发送预警信息。
57.本技术的应用系统的异常预警方法,预先设置了训练至收敛的参数预测模型,在进行应用系统的异常预警时,对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据,并采用参数预测模型基于当前预测中间数据和历史预测中间数据生成下一预设时间段对应的预测结果。若预测结果为出现异常,则从预设数据库中确定匹配的运维策略,并进行对应预警处理。本技术的应用系统的异常预警方法通过机器学习的方式,采用训练至收敛的参数预测模型生成对应预测结果,准确性较高,从而提高了预警的准确性较低。
58.图3为本技术提供的应用系统的异常预警方法的流程示意图二,如图3所示,本实施例提供的应用系统的异常预警方法,是在本技术上一实施例提供的应用系统的异常预警方法的基础上,进行了进一步的细化。则本实施例提供的应用系统的异常预警方法包括以下步骤。
59.步骤s201,采用日志收集系统flume采集当前预设时间段内应用系统的日志文件中记录的业务信息和服务器运行信息。
60.本实施例中,日志收集系统flume是一种开源的日志收集系统,可以集成在电子设备中,供应用系统的异常预警装置调用,实现日志收集功能。
61.通过日志收集系统flume可以更高效的采集当前预设时间段内应用系统的日志文件中记录的业务信息和服务器运行信息,从而提高应用系统的异常预警整体流程的效率。
62.步骤s202,将业务信息和服务器运行信息分别进行结构化处理,以生成业务结构化信息和服务器运行结构化信息。
63.本实施例中,由于业务信息和服务器运行信息涉及的参数繁杂,且数据排列分布
可能杂乱,会影响后续的流程处理效果。因而,可以将业务信息和服务器运行信息分别进行结构化处理,生成业务结构化信息和服务器运行结构化信息。
64.步骤s203,将业务结构化信息和服务器运行结构化信息存储在hive数据库表中。
65.本实施例中,hive是一种数据仓库工具,可以将结构化的数据文件映射为一张数据库表,将业务结构化信息和服务器运行结构化信息存储在hive数据库表中可以方便后续的数据读取和使用。
66.步骤s204,采用spark计算引擎从hive数据库表中读取业务结构化信息和服务器运行结构化信息。
67.本实施例中,spark计算引擎是一种开源的大数据分布式计算框架。spark计算引擎与hive数据库表相适配,从而可以提高读取业务结构化信息和服务器运行结构化信息的效率。
68.步骤s205,采用spark计算引擎对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据。
69.本实施例中,信息分析计算处理主要是进行数据计算、数据分析,从而生成中间数据-当前预测中间数据。具体的,可以对交易数据进行计算分析,比如通过每一次交易数据来确定交易数据对应的交易成功率、交易平均耗时等,还可以对内存、线程等服务器运行信息进行计算分析,得到平均内存等当前预测中间数据。
70.可选的,本实施例中,s205可以具体为:
71.业务结构化信息包括:交易相关数据。服务器运行结构化信息包括:产生交易相关数据时对应生成的运行相关数据。当前预测中间数据包括:当前交易预测数据和当前运行预测数据。
72.s205具体用于:
73.采用spark计算引擎对交易相关数据进行计算分析处理,生成当前交易预测数据。交易相关数据包括交易任务数据、交易任务数据对应的交易时间和交易任务数据对应的交易状态。当前交易预测数据包括:当前交易量、当前交易耗时和当前交易成功率。
74.采用spark计算引擎对运行相关数据进行平均计算处理,生成当前运行预测数据。运行相关数据包括:内存数据和线程数。当前运行预测数据包括平均内存和平均线程数。
75.在金融领域中,交易相关数据是常用也是重要的业务数据,交易相关数据可以反映业务状态是否正常。同样,运行相关数据与应用系统的运行状态相关,可以反映应用系统的运行状态。通过结合交易相关数据和运行相关数据,可以更好的反映应用系统的运行状态,为后续的预警提供基础。当前交易成功率指交易成功次数占交易总次数的比率。平均内存指平均占用内存,平均线程数指平均生成的线程数。
76.步骤s206,获取历史预设时间段对应的历史预测中间数据,并将当前预测中间数据和历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果。
77.本实施例中,获取历史预设时间段对应的历史预测中间数据的方式可以是从预设历史数据库中获取,其中,预设历史数据库存储有历史预设时间段对应的历史预测中间数据。当每一次生成当前预测中间数据后,都会存储在预设历史数据库中。
78.可选的,本实施例中,参数预测模型包括:简单移动平均算法、加权移动平均算法
和平均绝对误差算法。历史预测中间数据包括:历史交易预测数据和历史运行预测数据。历史交易预测数据包括:历史交易量、历史交易耗时和历史交易成功率。
79.步骤s206中将当前预测中间数据和历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果的流程可以具体为:
80.采用简单移动平均算法根据当前交易量和历史交易量计算当前交易量对应的下一预设时间段的第一预测数据。
81.采用简单移动平均算法根据当前运行预测数据和历史运行预测数据计算当前运行预测数据对应的下一预设时间段的第二预测数据。
82.采用加权移动平均算法根据当前交易耗时和历史交易耗时计算当前交易耗时对应的下一预设时间段的第三预测数据。
83.采用加权移动平均算法根据当前交易成功率和历史交易成功率计算当前交易成功率对应的下一预设时间段的第四预测数据。
84.采用平均绝对误差算法计算第一预测数据、第二预测数据、第三预测数据和第四预测数据对应的各平均绝对误差。
85.将各平均绝对误差分别与对应的预设误差阈值进行比对,并根据比对结果输出对应的预测结果。
86.本实施例中,历史交易量可以为多个预设时间段的,示例性的,历史交易量为上一预设时间段的交易量,上上预设时间段的交易量。则采用简单移动平均算法得到的第一预测数据为上一预设时间段的交易量,上上预设时间段的交易量以及当前交易量的平均。
87.同理,历史交易成功率可以为多个预设时间段的。则采用加权移动平均算法得到的第四预测数据为上一预设时间段的交易成功率,上上预设时间段的交易成功率以及当前交易成功率的加权平均。加权的权值可以根据实际需求进行设置,比如越接近当前交易成功率的权值越高。第三预测数据同理,在此不再赘述。
88.平均绝对误差(英文全称为:mean absolute deviation,英文简称为:mad),是单变量数据集中样本差异性的稳健度量,是一个健壮的统计量,对于数据集中异常值的处理比标准差更具有弹性,可以大大减少异常值对于数据集的影响,通过融合平均绝对误差算法生成的参数预测模型,可以判断第一预测数据、第二预测数据、第三预测数据和第四预测数据的平均绝对误差是否偏大,若偏大,则代表产生出现异常的预测结果。
89.可选的,本实施例中,根据比对结果输出对应的预测结果的流程可以具体为:
90.若比对结果为各平均绝对误差都小于或等于对应的预设误差阈值,则确定预测结果为未出现异常。
91.若比对结果为存在至少一个平均绝对误差大于对应的预设误差阈值,则确定预测结果为出现异常。
92.当各个平均绝对误差都小于或等于对应的预设误差阈值则代表各预测数据处于正常状态,不会出现异常。同理,当存在至少一个平均绝对误差大于对应的预设误差阈值时,则代表某个预测数据不处于正常状态,会出现异常。
93.步骤s207,若预测结果为出现异常,则从预设数据库中确定匹配的运维策略。
94.步骤207的实现方式与上一实施例的步骤104的实现方式类似,在此不再一一赘述。
95.步骤s208,若确定运维策略为人工处理异常策略,则向预警设备发送预警信息。
96.步骤208的实现方式与上一实施例的步骤105的实现方式类似,在此不再一一赘述。
97.可选的,本实施例中,将当前预测中间数据输入训练至收敛的参数预测模型,输出对应的预测结果之后,还包括:
98.获取下一预设时间段应用系统是否出现异常的实际结果。
99.若实际结果与预测结果相同,则维持预设误差阈值不变。
100.若实际结果与预测结果不相同,则按照预设调整策略对预设误差阈值进行调整。
101.同时,可以在预先进行训练时得到收敛的初始误差阈值,并将该初始误差阈值确定为预设误差阈值。而在实际应用中,还可以不断根据预测结果与实际是否出现异常的实际结果进一步调整预设误差阈值数值。示例性的,若实际结果为未出现异常,而预测结果为出现异常,则可以一定程度上提高预设误差阈值。
102.本实施例的应用系统的异常预警方法,使得预设误差阈值会根据时间、场景以及系统具体情况进行自适应的调整,提高预警的合理性和准确性。可提前预知可能出现的异常情况,运维方式由被动变主动。并将运维人员从日常重复的手工操作中解放出来,降低因为人员误操作带来的问题。
103.图4为本技术提供的应用系统的异常预警装置的结构示意图一,如图4所示,本实施例中,该应用系统的异常预警装置300可以设置在电子设备中,应用系统的异常预警装置300包括:
104.获取模块301,用于获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息。
105.生成模块302,用于对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据。
106.预测模块303,用于获取历史预设时间段对应的历史预测中间数据,并将当前预测中间数据和历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果。
107.匹配模块304,用于若预测结果为出现异常,则从预设数据库中确定匹配的运维策略。预设数据库存储有预测结果与运维策略之间的映射关系。
108.发送模块305,用于若确定运维策略为人工处理异常策略,则向预警设备发送预警信息。
109.本实施例提供的应用系统的异常预警装置可以执行图2所示方法实施例的技术方案,其实现原理和技术效果与图2所示方法实施例类似,在此不再一一赘述。
110.图5为本技术提供的应用系统的异常预警装置的结构示意图二,如图5所示,本技术提供的应用系统的异常预警装置在上一实施例提供的应用系统的异常预警装置的基础上,对应用系统的异常预警装置进行了进一步的细化,为了与图4中的应用系统的异常预警装置进行描述上的区分,本实施例的应用系统的异常预警装置采用应用系统的异常预警装置400进行描述说明,则应用系统的异常预警装置400包括:
111.可选的,本实施例中,获取模块301具体用于:
112.采用日志收集系统flume采集当前预设时间段内应用系统的日志文件中记录的业
务信息和服务器运行信息。将业务信息和服务器运行信息分别进行结构化处理,以生成业务结构化信息和服务器运行结构化信息。
113.获取模块301还用于:
114.将业务结构化信息和服务器运行结构化信息存储在hive数据库表中。
115.可选的,本实施例中,生成模块302具体用于:
116.采用spark计算引擎从hive数据库表中读取业务结构化信息和服务器运行结构化信息。采用spark计算引擎对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据。
117.可选的,本实施例中,业务结构化信息包括:交易相关数据。服务器运行结构化信息包括:产生交易相关数据时对应生成的运行相关数据。当前预测中间数据包括:当前交易预测数据和当前运行预测数据。
118.生成模块302在采用spark计算引擎对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据时,具体用于:
119.采用spark计算引擎对交易相关数据进行计算分析处理,生成当前交易预测数据。交易相关数据包括交易任务数据、交易任务数据对应的交易时间和交易任务数据对应的交易状态。当前交易预测数据包括:当前交易量、当前交易耗时和当前交易成功率。采用spark计算引擎对运行相关数据进行平均计算处理,生成当前运行预测数据。运行相关数据包括:内存数据和线程数。当前运行预测数据包括平均内存和平均线程数。
120.可选的,本实施例中,参数预测模型包括:简单移动平均算法、加权移动平均算法和平均绝对误差算法。历史预测中间数据包括:历史交易预测数据和历史运行预测数据。历史交易预测数据包括:历史交易量、历史交易耗时和历史交易成功率。
121.预测模块303在将当前预测中间数据和历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果时,具体用于:
122.采用简单移动平均算法根据当前交易量和历史交易量计算当前交易量对应的下一预设时间段的第一预测数据。采用简单移动平均算法根据当前运行预测数据和历史运行预测数据计算当前运行预测数据对应的下一预设时间段的第二预测数据。采用加权移动平均算法根据当前交易耗时和历史交易耗时计算当前交易耗时对应的下一预设时间段的第三预测数据。采用加权移动平均算法根据当前交易成功率和历史交易成功率计算当前交易成功率对应的下一预设时间段的第四预测数据。采用平均绝对误差算法计算第一预测数据、第二预测数据、第三预测数据和第四预测数据对应的各平均绝对误差。将各平均绝对误差分别与对应的预设误差阈值进行比对,并根据比对结果输出对应的预测结果。
123.可选的,本实施例中,预测模块303在根据比对结果输出对应的预测结果时,具体用于:
124.若比对结果为各平均绝对误差都小于或等于对应的预设误差阈值,则确定预测结果为未出现异常。若比对结果为存在至少一个平均绝对误差大于对应的预设误差阈值,则确定预测结果为出现异常。
125.可选的,本实施例中,应用系统的异常预警装置还包括:
126.调整模块401,用于获取下一预设时间段应用系统是否出现异常的实际结果。若实际结果与预测结果相同,则维持预设误差阈值不变。若实际结果与预测结果不相同,则按照
预设调整策略对预设误差阈值进行调整。
127.本实施例提供的应用系统的异常预警装置可以执行图2-图3所示方法实施例的技术方案,其实现原理和技术效果与图2-图3所示方法实施例类似,在此不再一一赘述。
128.根据本技术的实施例,本技术还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
129.如图6所示,图6是本技术提供的电子设备的结构示意图。电子设备旨在各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本技术的实现。
130.如图6所示,该电子设备包括:处理器501和存储器502。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。
131.存储器502即为本技术所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本技术所提供的应用系统的异常预警方法。本技术的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本技术所提供的应用系统的异常预警方法。
132.存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本技术实施例中的应用系统的异常预警方法对应的程序指令/模块(例如,附图4所示的获取模块301、生成模块302、预测模块303、匹配模块304和发送模块305)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例中的应用系统的异常预警方法。
133.同时,本实施例还提供一种计算机产品,当该计算机产品中的指令由电子设备的处理器执行时,使得电子设备能够执行上述实施例的应用系统的异常预警方法。
134.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术实施例的其它实施方案。本技术旨在涵盖本技术实施例的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术实施例的一般性原理并包括本技术实施例未公开的本技术领域中的公知常识或惯用技术手段。
135.应当理解的是,本技术实施例并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术实施例的范围仅由所附的权利要求书来限制。
技术特征:
1.一种应用系统的异常预警方法,其特征在于,包括:获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息;对所述业务结构化信息和所述服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据;获取历史预设时间段对应的历史预测中间数据,并将所述当前预测中间数据和所述历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果;若所述预测结果为出现异常,则从预设数据库中确定匹配的运维策略;所述预设数据库存储有所述预测结果与所述运维策略之间的映射关系;若确定所述运维策略为人工处理异常策略,则向预警设备发送预警信息。2.根据权利要求1所述的方法,其特征在于,所述获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息,包括:采用日志收集系统flume采集当前预设时间段内应用系统的日志文件中记录的业务信息和服务器运行信息;将所述业务信息和服务器运行信息分别进行结构化处理,以生成业务结构化信息和服务器运行结构化信息;所述获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息之后,还包括:将业务结构化信息和服务器运行结构化信息存储在hive数据库表中。3.根据权利要求2所述的方法,其特征在于,所述对所述业务结构化信息和所述服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据,包括:采用spark计算引擎从所述hive数据库表中读取业务结构化信息和服务器运行结构化信息;采用spark计算引擎对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据。4.根据权利要求3所述的方法,其特征在于,所述业务结构化信息包括:交易相关数据;所述服务器运行结构化信息包括:产生交易相关数据时对应生成的运行相关数据;当前预测中间数据包括:当前交易预测数据和当前运行预测数据;所述采用spark计算引擎对业务结构化信息和服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据,包括:采用spark计算引擎对所述交易相关数据进行计算分析处理,生成当前交易预测数据;所述交易相关数据包括交易任务数据、交易任务数据对应的交易时间和交易任务数据对应的交易状态;所述当前交易预测数据包括:当前交易量、当前交易耗时和当前交易成功率;采用spark计算引擎对运行相关数据进行平均计算处理,生成当前运行预测数据;所述运行相关数据包括:内存数据和线程数;所述当前运行预测数据包括平均内存和平均线程数。5.根据权利要求4所述的方法,其特征在于,所述参数预测模型包括:简单移动平均算法、加权移动平均算法和平均绝对误差算法;所述历史预测中间数据包括:历史交易预测数据和历史运行预测数据;所述历史交易预测数据包括:历史交易量、历史交易耗时和历史交易成功率;
所述将所述当前预测中间数据和所述历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果,包括:采用简单移动平均算法根据所述当前交易量和所述历史交易量计算所述当前交易量对应的下一预设时间段的第一预测数据;采用简单移动平均算法根据所述当前运行预测数据和所述历史运行预测数据计算所述当前运行预测数据对应的下一预设时间段的第二预测数据;采用加权移动平均算法根据所述当前交易耗时和所述历史交易耗时计算所述当前交易耗时对应的下一预设时间段的第三预测数据;采用加权移动平均算法根据所述当前交易成功率和所述历史交易成功率计算所述当前交易成功率对应的下一预设时间段的第四预测数据;采用平均绝对误差算法计算所述第一预测数据、所述第二预测数据、第三预测数据和第四预测数据对应的各平均绝对误差;将各所述平均绝对误差分别与对应的预设误差阈值进行比对,并根据比对结果输出对应的预测结果。6.根据权利要求5所述的方法,其特征在于,所述根据比对结果输出对应的预测结果,包括:若所述比对结果为各所述平均绝对误差都小于或等于对应的预设误差阈值,则确定预测结果为未出现异常;若所述比对结果为存在至少一个平均绝对误差大于对应的预设误差阈值,则确定预测结果为出现异常。7.根据权利要求6所述的方法,其特征在于,所述将所述当前预测中间数据输入训练至收敛的参数预测模型,输出对应的预测结果之后,还包括:获取下一预设时间段应用系统是否出现异常的实际结果;若所述实际结果与所述预测结果相同,则维持所述预设误差阈值不变;若所述实际结果与所述预测结果不相同,则按照预设调整策略对所述预设误差阈值进行调整。8.一种应用系统的异常预警装置,其特征在于,包括:获取模块,用于获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息;生成模块,用于对所述业务结构化信息和所述服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据;预测模块,用于获取历史预设时间段对应的历史预测中间数据,并将所述当前预测中间数据和所述历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果;匹配模块,用于若所述预测结果为出现异常,则从预设数据库中确定匹配的运维策略;所述预设数据库存储有所述预测结果与所述运维策略之间的映射关系;发送模块,用于若确定所述运维策略为人工处理异常策略,则向预警设备发送预警信息。9.一种电子设备,其特征在于,包括:存储器和处理器;
所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至7任一项所述的应用系统的异常预警方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的应用系统的异常预警方法。
技术总结
本申请提供一种应用系统的异常预警方法、装置、设备及存储介质,可用于人工智能技术领域。该方法包括:获取应用系统在当前预设时间段内生成的业务结构化信息和服务器运行结构化信息;对所述业务结构化信息和所述服务器运行结构化信息进行信息分析计算处理,生成对应的当前预测中间数据;获取历史预设时间段对应的历史预测中间数据,并将所述当前预测中间数据和所述历史预测中间数据输入训练至收敛的参数预测模型,生成下一预设时间段对应的预测结果;若所述预测结果为出现异常,则从预设数据库中确定匹配的运维策略;若确定所述运维策略为人工处理异常策略,则向预警设备发送预警信息。本申请的方法,提高了预警的准确性较低。提高了预警的准确性较低。提高了预警的准确性较低。
技术研发人员:吴斯
受保护的技术使用者:中国银行股份有限公司
技术研发日:2023.06.26
技术公布日:2023/9/20
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种内嵌式温控阀及其应用的制作方法 下一篇:一种去除处理槽金属的洗槽方法与流程