一种异常检测方法、装置及设备与流程
未命名
09-03
阅读:82
评论:0

1.本技术涉及数据处理技术领域,尤其涉及一种异常检测方法、装置及设备。
背景技术:
2.在各个部门、机构或公司的业务系统中,业务系统通常需要在预设时间段内处理多个业务,在业务处理过程中,由于业务数量较多,且时间较为紧张,导致业务系统处理的业务容易出现异常。
3.目前,一种异常检测方法是:业务系统中正在执行的业务出现异常时,业务系统输出异常信息,异常信息指示业务处理异常。工作人员基于长久的经验积累判断导致业务发生异常的原因。但在工作人员无法确定异常原因的情况下,则需对业务系统中可能影响业务发生异常的原因进行一一排查,耗费大量的时间,效率较低。
技术实现要素:
4.本技术提供一种异常检测方法、装置及设备,用于提高异常检测效率。
5.第一方面,本技术实施例提供一种异常检测方法,该方法包括:接收在第一时间段内与第一业务对应的业务信息、处理所述第一业务的业务系统的资源信息、以及所述业务系统的日志信息,所述业务信息指示第一业务的业务状态以及与所述第一业务相关的至少一个业务的业务状态;将所述业务信息、所述日志信息、以及所述资源信息输入训练后的检测模型,获得异常分析结果,所述异常分析结果指示第二业务在第二时间段发生异常的原因,所述第二业务为所述第一业务或为所述至少一个业务中的一个业务,所述第二时间段的起始时刻位于所述第一时间段的结束时刻之后,或所述第二时间段为所述第一时间段。
6.在本技术实施例中,根据第一时间段内的业务系统中的业务信息、资源信息以及日志信息,输入训练后的检测模型中,获得异常分析结果,而异常分析结果指示了第二业务发生异常的原因。如此,无需工作人员手动排查业务的异常原因,从而提高了异常检测效率。并且,可以基于业务系统各方面的信息,预测或检测业务异常的可能性,有利于更准确地分析业务异常的原因。并且,训练后的检测模型可以分析已发生异常的业务发生异常的原因,也可分析将来可能发生异常的业务发生异常的原因,使得工作人员可提前基于检测模型的输出及时对业务系统进行维护,从而避免后续的业务发生异常。
7.在一种可能的实施方式中,在将所述业务信息、所述日志信息、以及所述资源信息输入训练后的检测模型,获得异常分析结果之前,所述方法还包括:对所述业务信息、所述日志信息、以及所述资源信息进行编码,获得编码结果,其中,所述编码结果为所述训练后的检测模型的输入。
8.在该实施方式中,将业务信息、日志信息以及资源信息进行编码后输入训练后的检测模型,以减小训练后的检测模型处理业务信息、日志信息以及资源信息的工作量,使得训练后的检测模型可快速地识别并处理编码结果,有利于提高训练后的检测模型输出异常分析结果的效率,从而提高异常检测的效率。
9.在一种可能的实施方式中,所述资源信息指示所述业务系统的至少一种资源的资源使用率;对所述业务信息、所述日志信息、以及所述资源信息进行编码,获得编码结果,包括:根据第一对应关系,确定至少一种资源中的每种资源的资源使用率对应的编码值,以获得第一编码序列,所述第一对应关系表示不同的资源使用率范围对应的编码值;根据第二对应关系,确定在至少一个业务数量中的每个业务数量的状态对应的编码值,以获得第二编码序列,所述第二对应关系表示不同的业务数量对应的编码值,所述每个业务数量为所述至少一个业务中的业务状态属于同一个业务状态的业务数量;对所述日志信息进行独热编码,获得第三编码序列;根据所述第一编码序列、所述第二编码序列和所述第三编码序列,获得所述编码结果。
10.在该实施方式中,为了避免业务信息、资源信息以及日志信息中的重要特征在编码过程中丢失,将业务信息、资源信息以及日志信息依据对应关系或采用独热编码转换为编码序列,确保了业务信息、资源信息以及日志信息转换为编码结果后的准确性,从而确保了获得的异常分析结果的准确性。
11.在一种可能的实施方式中,所述异常分析结果包括多个值,所述多个值中的每个值指示所述业务信息、所述资源信息以及所述日志信息中的一个为所述第二业务发生异常的原因的概率值。
12.在该实施方式中,异常分析结果中的每个值指示了业务信息、资源信息以及日志信息中的一个导致第二业务发生异常的概率值,有利于工作人员根据概率值的大小快速定位异常原因,从而提高异常检测效率。
13.在一种可能的实施方式中,在获得异常分析结果之前,所述方法还包括:确定所述第二业务的异常检测结果,所述异常检测结果指示所述第二业务在所述第二时间段发生异常。
14.在该实施方式中,在第二业务为至少一个业务中的一个业务的情况下,先预测第二时间段内是否会发生异常,如果确定第二业务在第二时间段内发生异常,再对第二业务发生异常的原因进行分析,对不会发生异常的业务进行筛选,有利于减小训练后的检测模型异常分析的工作量,从而提高了训练后的检测模型对发生异常的业务进行异常分析的效率。
15.在一种可能的实施方式中,所述资源信息指示所述业务系统的至少一种资源的资源使用率,所述业务信息包括执行所述第一业务所需的资源信息以及执行所述至少一个业务中的每个业务所需的资源信息,所述业务状态包括已超期;在确定所述第二业务的异常检测结果之前,所述方法还包括以下的至少一种:确定所述至少一种资源的资源使用率大于或等于第一预设阈值;或,确定所述至少一个业务中业务状态为已超期的业务的数量大于或等于第二预设阈值;或,确定所述日志信息指示所述业务系统运行错误;或,确定根据所述业务系统的至少一种资源的资源使用率、以及执行所述第一业务所需的资源信息和执行所述至少一个业务所需的资源信息,确定所述业务系统中剩余的任一种资源的资源使用率小于或等于第三预设阈值。
16.在该实施方式中,可通过上述多种方式判断第二业务是否在第二时间段发生异常,并且,这多种方式中涵盖了业务信息、资源信息以及日志信息的分析判断,也就是说,本技术从多个方面预测第二业务在第二时间段发生异常的可能性,预测方法较为全面,从而
提高了预测第二业务是否在第二时间段发生异常的准确性。
17.第二方面,本技术实施例提供一种异常检测装置,包括:收发模块,用于接收在第一时间段内与第一业务对应的业务信息、处理所述第一业务的业务系统的资源信息、以及所述业务系统的日志信息,所述业务信息指示第一业务的业务状态以及与所述第一业务相关的至少一个业务的业务状态;处理模块,用于将所述业务信息、所述日志信息、以及所述资源信息输入训练后的检测模型,获得异常分析结果,所述异常分析结果指示第二业务在第二时间段发生异常的原因,所述第二业务为所述第一业务或为所述至少一个业务中的一个业务,所述第二时间段的起始时刻位于所述第一时间段的结束时刻之后,或所述第二时间段为所述第一时间段。
18.在一种可能的实施方式中,所述处理模块,还用于:在将所述业务信息、所述日志信息、以及所述资源信息输入训练后的检测模型,获得异常分析结果之前,对所述业务信息、所述日志信息、以及所述资源信息进行编码,获得编码结果,其中,所述编码结果为所述训练后的检测模型的输入。
19.在一种可能的实施方式中,所述资源信息指示所述业务系统的至少一种资源的资源使用率;所述处理模块具体用于:根据第一对应关系,确定至少一种资源中的每种资源的资源使用率对应的编码值,以获得第一编码序列,所述第一对应关系表示不同的资源使用率范围对应的编码值;根据第二对应关系,确定在至少一个业务数量中的每个业务数量的状态对应的编码值,以获得第二编码序列,所述第二对应关系表示不同的业务数量对应的编码值,所述每个业务数量为所述至少一个业务中的业务状态属于同一个业务状态的业务数量;对所述日志信息进行独热编码,获得第三编码序列;根据所述第一编码序列、所述第二编码序列和所述第三编码序列,获得所述编码结果。
20.在一种可能的实施方式中,所述异常分析结果包括多个值,所述多个值中的每个值指示所述业务信息、所述资源信息以及所述日志信息中的一个为所述第二业务发生异常的原因的概率值。
21.在一种可能的实施方式中,所述处理模块还用于:在获得异常分析结果之前,确定所述第二业务的异常检测结果,所述异常检测结果指示所述第二业务在所述第二时间段发生异常。
22.在一种可能的实施方式中,所述资源信息指示所述业务系统的至少一种资源的资源使用率,所述业务信息包括执行所述第一业务所需的资源信息以及执行所述至少一个业务中的每个业务所需的资源信息,所述业务状态包括已超期;所述处理模块,还用于执行以下的至少一种:确定所述至少一种资源的资源使用率大于或等于第一预设阈值;或,确定所述至少一个业务中业务状态为已超期的业务的数量大于或等于第二预设阈值;或,确定所述日志信息指示所述业务系统运行错误;或,确定根据所述业务系统的至少一种资源的资源使用率、以及执行所述第一业务所需的资源信息和执行所述至少一个业务所需的资源信息,确定所述业务系统中剩余的任一种资源的资源使用率小于或等于第三预设阈值。
23.第三方面,本技术实施例提供一种异常检测设备,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如前文第一方面及任一可能的实施方式所述的方法。
24.第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如前文第一方面及任一可能的实施方式所述的方法。
25.第五方面,本技术实施例提供一种计算机程序产品,包含有计算机指令,当其在计算机上运行时,使得上述如前文第一方面及任一可能的实施方式所述的方法被实现。
26.关于第二方面至第五方面的有益效果可参照前文第一方面所述的内容,此处不再赘述。
附图说明
27.图1为本技术实施例提供的一种异常检测方法的应用场景示意图;
28.图2为本技术实施例提供的一种异常检测方法的流程示意图一;
29.图3为本技术实施例提供的一种第一业务与至少一个业务的关系示意图;
30.图4为本技术实施例提供的一种异常检测方法的流程示意图二;
31.图5为本技术实施例提供的一种异常检测方法的流程示意图三;
32.图6为本技术实施例提供的一种异常检测装置的结构示意图一;
33.图7为本技术实施例提供的一种异常检测装置的结构示意图二;
34.图8为本技术实施例提供的一种异常检测设备的结构示意图。
具体实施方式
35.为了更好地理解本技术提供的技术方案,下面将结合说明书附图以及具体的实施方式进行详细地说明。
36.需要说明的是,本技术实施例的技术方案中,对数据的采集、传播、使用等,均符合国家相关法律法规要求。
37.请参照图1,为本技术实施例提供的一种异常检测方法的应用场景示意图。如图1所示,该场景包括业务系统110和异常检测装置120。其中,业务系统110和异常检测装置120之间可进行有线或无线通信。
38.业务系统110是指具有业务处理功能的设备或服务器集群,设备例如为终端设备,终端设备包括但不限于手机、个人计算机(personal computer,pc)、平板电脑、笔记本电脑、掌上电脑和移动互联网设备(mobile internet device,mid)等。或者,业务系统110也可由多个服务器集群组成。
39.异常检测装置120是指具有数据处理功能的设备或服务器,设备可对应参照前文所述的内容。
40.业务系统110用于处理业务,业务例如为金融业务。业务系统110可在处理业务时,确定业务异常时,向异常检测装置120发送异常业务的业务信息、业务系统110的资源信息、以及业务系统110的日志信息。异常检测装置120根据业务信息、资源信息以及日志信息,确定异常业务发生异常的原因。其中,异常检测装置120根据业务信息、资源信息以及日志信息,确定异常业务发生异常的原因的具体方式将在下文中具体说明。
41.在一种可能的实施方式中,业务系统110与异常检测装置120可运行在一个设备或服务器集群中。在这种情况下,业务系统110与异常检测装置120之间的通信交互为设备内
部或服务器集群内部的通信交互。
42.需要说明的是,本技术实施例所涉及的业务系统例如为图1所示的业务系统110,本技术实施例所涉及的异常检测装置例如为图1所示的异常检测装置120。
43.请参照图2,为本技术实施例提供的一种异常检测方法的流程示意图一。其中,下文是以异常检测装置执行图2所示的步骤进行说明。
44.s201,异常检测装置接收在第一时间段内与第一业务对应的业务信息、处理第一业务的业务系统的资源信息、以及业务系统的日志信息,业务信息指示第一业务的业务状态以及与第一业务相关的至少一个业务的业务状态。
45.资源信息指示业务系统的至少一种资源的资源使用率,至少一种资源包括业务系统的存储资源、计算资源和网络资源等。存储资源例如为磁盘和内存,计算资源例如为中央处理器(central processing unit,cpu),网络资源例如为网络带宽。日志信息包括业务系统的运行日志,例如业务系统处理第一业务的运行日志。业务状态包括正在执行、等待执行、已超期和失败。业务状态还可进一步包括已调度。
46.与第一业务相关的至少一个业务可以理解为至少一个业务中的业务数据被第一业务所使用,或者第一业务的业务数据被至少一个业务所使用。例如,请参照图3,如图3所示,该图包括业务1、业务2、业务3、业务4、业务5和业务6。其中,箭头所指的方向则表示该业务中的业务数据被箭头所指的业务所使用。例如,业务2的箭头指向业务1,则表示业务2中的业务数据被业务1所使用。再例如,若业务1表示第一业务,则至少一个业务包括业务2、业务3、业务4、业务5和业务6。
47.在一种可能的实施方式中,业务信息还包括执行第一业务所需的资源信息以及执行至少一个业务中的每个业务所需的资源信息。
48.其中,第一时间段可以是一个时刻,也可以是多个时刻。在第一时间段为一个时刻的情况下,可以理解为第一业务在所述一个时刻发生异常,业务系统将第一业务发生异常的时刻(即第一时间段)的业务信息、资源信息以及日志信息发送给异常检测装置。在第一时间段是多个时刻的情况下,可以理解为业务系统间隔预设时长向异常检测装置发送该间隔时长内业务系统的业务信息、资源信息以及日志信息,以使异常检测装置对业务系统的业务的执行情况进行预测。
49.s202,异常检测装置将业务信息、日志信息、以及资源信息输入训练后的检测模型,获得异常分析结果,异常分析结果指示第二业务在第二时间段发生异常的原因,第二业务为第一业务或为至少一个业务中的一个业务,第二时间段的起始时刻位于第一时间段的结束时刻之后,或第二时间段为第一时间段。
50.训练后的检测模型是指具有分析业务发生异常的原因的功能的模型,本技术中的训练后的检测模型可以是异常分析模型,也可以是异常预测模型。异常分析模型可用于分析第一时间段内第一业务出现异常的原因,异常预测模型可用于预测第二时间段内第二业务出现异常,且分析第二业务出现异常的原因。
51.在一种可能的实施方式中,训练后的检测模型可以是基于业务系统的历史业务信息、历史日志信息以及历史资源信息对检测模型进行训练得到的。其中,若检测模型为未训练的异常分析模型,则将历史业务中出现异常的历史业务以及与历史业务发生异常的时刻的历史业务信息、历史日志信息以及历史资源信息输入未训练的异常分析模型,对未训练
的异常分析模型进行训练,以获得异常分析模型。若检测模型为未训练的异常预测模型,则依据预设时长将历史业务信息、历史日志信息以及历史资源信息划分为多个时间段的历史子业务信息、历史子日志信息以及历史子资源信息,将这多个时间段的历史子业务信息、历史子日志信息以及历史子资源信息输入未训练的异常预测模型,对未训练的异常预测模型进行训练,以获得异常预测模型。
52.其中,当第二业务为第一业务,第二时间段为第一时间段时,异常分析结果指示第一业务在第一时间段内发生异常的原因。也就是说,第一业务在第一时间段内发生异常,异常检测装置则将第一时间段内的业务信息、日志信息以及资源信息,通过异常分析模型对第一业务发生异常的原因进行检测。在这种情况下,第一时间段可以指示一个时刻。
53.当第二业务为至少一个业务中的一个业务时,第二时间段的起始时刻位于第一时间段的结束时刻之后,异常分析结果指示第二业务在第二时间段内发生异常的原因。也就是说,异常检测装置根据第一时间段内的业务信息、日志信息以及资源信息,通过异常预测模型预测在第二时间段内第二业务发生异常的原因。
54.具体的,异常检测装置对业务信息、日志信息以及资源信息进行编码后,获得编码结果,将编码结果输入训练后的检测模型中。下面分别对异常检测装置确定业务信息、日志信息以及资源信息的编码值的方式进行分别说明。
55.1、资源信息。
56.异常检测装置根据第一对应关系,确定至少一种资源中的每种资源的资源使用率对应的编码值,从而获得第一编码序列。其中,第一对应关系表示不同的资源使用率范围对应的编码值。第一对应关系例如为若至少一种资源中的每种资源的资源使用率在第一范围内,则至少一种资源中的每种资源的资源使用率对应的编码值为第一值;若至少一种资源中的每种资源的资源使用率在第二范围内,则至少一种资源中的每种资源的资源使用率对应的编码值为第二值,若至少一种资源中的每种资源的资源使用率在第三范围内,则至少一种资源中的每种资源的资源使用率对应的编码值为第三值,以此类推。
57.示例性的,以至少一种资源为存储资源,资源使用率为存储资源的资源使用率为例,一种第一对应关系如下表1所示。
58.表1
59.资源使用率编码值小于30%1大于或等于30%且小于60%2大于或等于60%且小于80%3大于或等于80%4
60.如上述表1所示,如果异常检测装置确定存储资源的资源使用率小于30%,则确定存储资源对应的编码值为1;如果异常检测装置确定存储资源的资源使用率大于或等于30%且小于60%,那么确定存储资源对应的编码值为2;如果确定异常检测装置确定存储资源的资源使用率大于或等于60%且小于80%,那么确定存储资源对应的编码值为3;如果异常检测装置确定存储资源的资源使用率大于或等于80%,那么确定存储资源对应的编码值为4。
61.在一种可能的实施方式中,业务系统由多个服务器集群组成,多个服务器集群中
的每个服务器集群包括多个服务器。在这种情况下,资源信息中包括每个服务器集群中的多个服务器中每个服务器的资源信息。异常检测装置确定至少一种资源中每种资源的资源使用率对应的编码值时,需确定每个服务器的资源信息对应的编码值。
62.示例性的,业务系统由4个服务器集群组成,且每个服务器集群包括4个服务器,则一种业务系统的存储资源对应的编码值如下矩阵所示:
[0063][0064]
其中,上述矩阵中的每一列表示一个服务器集群,每一行中的一个编码值表示一个服务器。
[0065]
也就是说,第一编码序列还可以矩阵的形式进行表示,具体可根据实际情况确定。
[0066]
2、业务信息。
[0067]
异常检测装置根据第二对应关系,确定在至少一个业务数量中的每个业务数量的状态对应的编码值,获得第二编码序列。第二对应关系表示不同的业务数量对应的编码值,每个业务数量是指至少一个业务中的业务状态属于同一个业务状态的业务数量。第二对应关系例如为若每个业务数量在第四范围内,则每个业务数据的状态对应的编码值为第四值;若每个业务数量在第五范围内,则每个业务数据的状态对应的编码值为第五值;若每个业务数量在第六范围内,则每个业务数据的状态对应的编码值为第六值,依次类推。
[0068]
示例性的,一种第二对应关系如下表2所示。
[0069]
表2
[0070]
业务数量编码值0-50151-1002101-1503大于1514
[0071]
如表2所示,当异常检测装置确定业务数量属于0-50时,则确定业务数量对应的编码值为1;当异常检测装置确定业务数量属于51-100时,则确定业务数量对应的编码值为2;当异常检测装置确定业务数量属于101-150时,则确定业务数量对应的编码值为3;当异常检测装置确定业务数量大于150时,则确定业务数量对应的编码值为4。
[0072]
例如,业务数量为至少一个业务中业务状态为已超期的业务的数量,且业务数量为48,异常检测装置基于业务数量为48,确定业务状态为已超期的业务数量对应的编码值为1。
[0073]
在一种可能的实施方式中,业务信息中还指示业务状态为正在执行的业务的预计开始时刻、实际开始时刻、预计完成时刻、以及实际完成时刻,以及指示至少一个业务中业务状态为已调度的业务。进一步的,异常检测装置中还可配置有第三对应关系,第三对应关系为预计时刻与实际时刻之间的误差时长与编码值的对应关系以及业务状态为已调度的业务与编码值的对应关系。异常检测装置可基于第三对应关系确定业务状态为正在执行的业务对应的编码值。
[0074]
示例性的,一种第三对应关系如下表3所示。
[0075]
表3
[0076][0077]
如上表3所示,若异常检测装置确定至少一个业务中的第三业务的实际开始时刻早于预计开始时刻,则确定第三业务的业务状态的编码值为1,第三业务的业务状态为正在执行;若异常检测装置确定第三业务的实际开始时刻晚于预计开始时刻,且实际开始时刻与预计开始时刻之间的时长小于或等于30分钟,则确定第三业务的业务状态的编码值为2;若异常检测装置确定第三业务的实际开始时刻晚于预计开始时刻,且实际开始时刻与预计开始时刻之间的时长大于30分钟,小于或等于60分钟,则确定第三业务的业务状态的编码值为3;若异常检测装置确定第三业务的实际开始时刻晚于预计开始时刻,且实际开始时刻与预计开始时刻之间的时长大于60分钟,则确定第三业务的业务状态的编码值为4;若异常检测装置确定第三业务实际完成时刻早于预计完成时刻,则确定第三业务的业务状态的编码值为5;若异常检测装置确定第三业务的实际完成时刻晚于预计完成时刻,且实际完成时刻与预计完成时刻之间的时长小于或等于30分钟,则确定第三业务的业务状态的编码值为6;若异常检测装置确定第三业务的实际完成时刻晚于预计开始时刻,且实际完成时刻与预计开始时刻之间的时长大于30分钟,小于或等于60分钟,则确定第三业务的业务状态的编
码值为7;若异常检测装置确定第三业务的实际完成时刻晚于预计开始时刻,且实际完成时刻与预计开始时刻之间的时长大于60分钟,则确定第三业务的业务状态的编码值为8。
[0078]
3、日志信息。
[0079]
异常检测装置对日志信息进行独热(one-hot)编码后,获得第三编码序列。具体的,异常检测装置对基于预存的关键词对日志信息进行筛选,关键词例如为“error、timeout、connection refused、failed”等,筛选得到目标日志信息,目标日志信息包括预存的关键词中的任一个。异常检测装置通过自然语言处理(natural language processing,nlp)技术对目标日志信息进行处理,并将处理后的目标日志信息进行独热编码,得到第三编码序列。
[0080]
在一种可能的实施方式中,业务信息还指示业务系统中所有业务的业务状态。异常检测装置可确定业务状态相同的业务的数量,并确定编码值。异常检测装置确定业务状态相同的业务的数量对应的编码值的具体方式可对应参照前文所述的内容。
[0081]
异常检测装置根据第一编码序列、第二编码序列和第三编码序列,获得编码结果。具体的,异常检测装置通过数据归一化将第一编码序列、第二编码序列和第三编码序列中的编码值转换为预设格式的数值,例如为转换为区间[0,1]之间的小数。异常检测装置将归一化后的第一编码序列、第二编码序列以及第三编码序列进行拼接,获得编码结果。或者,若第一编码序列、第二编码序列和第三编码序列为矩阵形式,则异常检测装置可将归一化后的第一编码序列、第二编码序列和第三编码序列转换为向量形式,例如采用卷积神经网络(convolutional neural networks,cnn)技术,将归一化后的第一编码序列转换为第一特征向量,将归一化后的第二编码序列转换为第二特征向量,将归一化后的第三编码序列转换为第三特征向量。异常检测装置将第一特征向量、第二特征向量和第三特征向量进行拼接,获得编码结果。
[0082]
例如,第一特征向量为[0.1,0.2,0.3],第二特征向量为[0.1,0.2,0.3],第三特征向量为[0.1,0.2,0.3],异常检测装置拼接依次拼接第一特征向量、第二特征向量和第三特征向量,得到的编码结果如下所示:
[0083][0084]
其中,编码结果中的每一行则对应一个特征向量。
[0085]
异常检测装置将编码结果输入训练后的检测模型,即可获得异常分析结果。
[0086]
异常分析结果包括多个值,多个值中的每个值指示业务信息、资源信息以及日志信息中的一个为第二业务发生异常原因的概率值。其中,多个值中每个值的顺序与拼接第一编码序列、第二编码序列和第三编码序列的顺序相同。示例性的,拼接顺序依次为第一编码序列、第二编码序列和第三编码序列,第一编码序列指示资源信息,第二编码序列指示业务信息,第三编码序列指示日志信息,异常分析结果为[0.1,0.4,0.8],则可知资源信息导致第二业务在第二时间段内发生异常的概率为0.1,业务信息导致第二业务在第二时间段内发生异常的概率为0.4,日志信息指示的业务系统运行错误导致第二业务在第二时间段内发生异常的概率为0.8。
[0087]
在一种可能的实施方式中,异常检测装置将训练后的检测模型输出的异常分析结
果显示在用户界面,以便于工作人员在用户界面查看异常分析结果,并根据异常分析结果对业务系统进行检修。
[0088]
在一种可能的实施方式中,在上述第二业务为至少一个业务中的一个业务的情况下,异常检测装置在检测第二业务在第二时间段内发生异常的原因之前,还需基于业务信息、日志信息以及资源信息确定第二业务的异常检测结果,异常检测结果指示第二业务在第二时间段发生异常。在另一种可能的实施方式中,异常检测装置还可确定第二业务的正常检测结果,该正常检测结果指示第二业务在第二时间段不发生异常。
[0089]
异常检测装置基于业务信息、日志信息以及资源信息,确定满足如下a1至a4中的至少一种条件,则确定第二业务的异常检测结果,即确定第二业务在第二时间段内发生异常。
[0090]
a1,异常检测装置基于至少一种资源的资源使用率确定第二业务在第二时间段内发生异常。
[0091]
具体的,异常检测装置确定至少一种资源的资源使用率是否大于或等于第一预设阈值。如果异常检测装置确定至少一种资源的资源使用率大于或等于第一预设阈值,那么确定第二业务在第二时间段内会发生异常。如果异常检测装置确定至少一种资源的资源使用率小于第一预设阈值,那么确定第二业务在第二时间段内不会发生异常。其中,第一预设阈值可以是预配置在异常检测装置中的,第一预设阈值可以基于实际情况设定,例如,第一预设阈值为资源使用率为80%,本技术实施例对此不作限定。
[0092]
a2,异常检测装置基于至少一个业务的业务状态确定第二业务在第二时间段内发生异常。
[0093]
具体的,异常检测装置确定至少一个业务中业务状态为已超期的业务的数量是否大于或等于第二预设阈值。如果异常检测装置确定至少一个业务中业务状态为已超期的业务的数量大于或等于第二预设阈值,那么确定第二业务在第二时间段内会发生异常。如果异常检测装置确定至少一个业务中业务状态为已超期的业务的数量小于第二预设阈值,那么确定第二业务在第二时间段内不会发生异常。其中,第二预设阈值可以是预配置在异常检测装置中的,第二预设阈值可以基于实际需求设定,例如第二预设阈值设置为业务状态已超期的业务的数量为8个,本技术实施例对此不作限定。
[0094]
a3,异常检测装置基于日志信息确定第二业务在第二时间段内发生异常。
[0095]
具体的,异常检测装置确定日志信息中是否指示业务系统运行错误。如果异常检测装置确定日志信息中包括指示业务系统运行错误的信息,那么确定第二业务在第二时间段内会发生异常。如果日志信息中不包括指示业务系统运行错误的信息,那么确定第二业务在第二时间段内不会发生异常。
[0096]
a4,异常检测装置基于业务系统中剩余的资源信息,确定第二业务在第二时间段内发生异常。
[0097]
具体的,异常检测装置确定执行至少一个业务中每个业务所需的资源信息,将每个业务所需的资源信息的总和确定为执行至少一个业务所需的资源信息。异常检测装置根据业务系统已使用的资源信息以及执行至少一个业务所需的资源信息,确定业务系统中剩余的资源信息是否小于或等于第三预设阈值。如果异常检测装置确定业务系统中剩余的资源信息小于或等于第三预设阈值,那么确定第二业务在第二时间段内会发生异常。如果异
常检测装置确定业务系统中剩余的资源信息大于第三预设阈值,那么确定第二业务在第二时间段内不会发生异常。
[0098]
当然,异常检测装置还可确定满足上述a1至a4中的至少两种,确定第二业务在第二时间段内发生异常。
[0099]
例如,异常检测装置可根据a1和a2确定第二业务在第二时间段内发生异常。或者,异常检测装置可根据a1、a2和a3确定第二业务在第二时间段内发生异常。
[0100]
在一种可能的实施方式中,若异常检测装置确定异常检测结果后,可向其他设备发送报警信息,以提示工作人员在第二时间段第二业务发生异常。其他设备可以是工作人员的工作设备或者是携带的终端设备等。
[0101]
在一种可能的实施方式中,异常检测装置还可接收异常分析标定结果,异常分析标定结果可以是用户输入异常检测装置中的,也可以是从其他设备处接收得到的。异常分析标定结果指示所述第二业务发生异常的真实原因。异常检测装置可将异常分析结果、异常分析标定结果以及第一时间段内的业务信息、资源信息以及日志信息输入训练后的检测模型中,对训练后的检测模型进行迭代更新。具体的,异常检测装置确定异常分析结果与异常分析标定结果之间的误差,并向减小误差的方向调整训练后的检测模型中的模型参数,得到更新后的检测模型。
[0102]
基于异常分析结果与异常分析标定结果之间的误差,对训练后的检测模型进行迭代更新,以提高训练后的检测模型输出的异常分析结果的准确性,即提高了异常检测的准确性。
[0103]
下面以第二业务为第一业务,第二时间段为第一时间段为例,对本技术实施例提供的异常检测方法进行介绍。
[0104]
请参照图4,为本技术实施例提供的一种异常检测方法的流程示意图二。
[0105]
s401,异常检测装置接收第一时间段的业务信息、日志信息以及资源信息。
[0106]
在这种情况下,异常检测装置接收到的第一时间段的业务信息、日志信息以及资源信息,可以是第一业务发生异常的时刻的业务信息、日志信息和资源信息。
[0107]
其中,业务信息、日志信息以及资源信息的具体含义可对应参照前文所述的内容。
[0108]
s402,异常检测装置对业务信息、日志信息以及资源信息进行编码,获得编码结果。
[0109]
其中,异常检测装置获得编码结果的方式可对应参照前文所述的内容。
[0110]
s403,异常检测装置将编码结果输入异常分析模型,获得异常分析结果,异常分析结果指示第一业务在第一时间段发生异常的原因。
[0111]
其中,异常分析结果的含义可对应参照前文所述的内容。
[0112]
下面以第二业务为至少一个业务中的一个业务,第二时间段的起始时刻位于第一时间段的结束时刻之后为例,对本技术实施例提供的异常检测方法进行介绍。
[0113]
请参照图5,为本技术实施例提供的一种异常检测方法的流程示意图三。
[0114]
s501,异常检测装置接收第一时间段的业务信息、日志信息以及资源信息。
[0115]
在这种情况下,异常检测装置接收到的第一时间段的业务信息、日志信息以及资源信息,可以是业务系统中一段时间的业务信息、日志信息和资源信息。
[0116]
其中,业务信息、日志信息以及资源信息的具体含义可对应参照前文所述的内容。
[0117]
s502,异常检测装置根据业务信息、日志信息以及资源信息确定第二业务在第二时间段是否发生异常。
[0118]
如果异常检测装置确定第二业务在第二时间段不发生异常,则结束对第二业务的异常预测过程。如果异常检测装置确定第二业务在第二时间段发生异常,则执行s503,即异常检测装置对业务信息、日志信息以及资源信息进行编码,获得编码结果。
[0119]
其中,异常检测装置确定第二业务在第二时间段是否会发生异常的方式、以及获得编码结果的内容可对应参照前文所述的内容。
[0120]
s504,异常检测装置将编码结果输入异常预测模型中,获得异常分析结果,异常分析结果指示第二业务在第二时间段发生异常的原因。
[0121]
需要说明的是,步骤s502可以是在执行s503之后,执行s504之前执行,也可以是在执行s503之前执行,本技术实施例对此不作限定。如果s502是在执行s503之后,执行s504之前执行,则是由异常预测模型判断第二业务在第二时间段是否会发生异常,在这种情况下,异常预测模型中需根据编码后的业务信息、日志信息以及资源信息判断,因此,异常预测模型中还预配置有编码后的业务信息、日志信息以及资源信息与编码之前的业务信息、日志信息以及资源信息的对应关系。本技术实施例是以s502在s503之前执行为例进行说明。
[0122]
基于同一发明构思,本技术实施例提供一种异常检测装置,该装置用于实现上述任一的异常检测方法,例如为图2、图4或图5所示的异常检测方法,并且,该装置还可实现前文中异常检测装置的功能。
[0123]
请参照图6,为本技术实施例提供的一种异常检测装置的结构示意图一。如图6所示,该异常检测装置600包括处理模块601和收发模块602。
[0124]
示例性的,收发模块602,用于接收在第一时间段内与第一业务对应的业务信息、处理第一业务的业务系统的资源信息、以及业务系统的日志信息,业务信息指示第一业务的业务状态以及与第一业务相关的至少一个业务的业务状态;处理模块601,用于将业务信息、日志信息、以及资源信息输入训练后的检测模型,获得异常分析结果,异常分析结果指示第二业务在第二时间段发生异常的原因,第二业务为第一业务或为至少一个业务中的一个业务,第二时间段的起始时刻位于第一时间段的结束时刻之后,或第二时间段为第一时间段。
[0125]
在一种可能的实施方式中,处理模块601,还用于:在将业务信息、日志信息、以及资源信息输入训练后的检测模型,获得异常分析结果之前,对业务信息、日志信息、以及资源信息进行编码,获得编码结果,其中,编码结果为训练后的检测模型的输入。
[0126]
在一种可能的实施方式中,资源信息指示业务系统的至少一种资源的资源使用率;处理模块601具体用于:根据第一对应关系,确定至少一种资源中的每种资源的资源使用率对应的编码值,以获得第一编码序列,第一对应关系表示不同的资源使用率范围对应的编码值;根据第二对应关系,确定在至少一个业务数量中的每个业务数量的状态对应的编码值,以获得第二编码序列,第二对应关系表示不同的业务数量对应的编码值,每个业务数量为至少一个业务中的业务状态属于同一个业务状态的业务数量;对日志信息进行独热编码,获得第三编码序列;根据第一编码序列、第二编码序列和第三编码序列,获得编码结果。
[0127]
在一种可能的实施方式中,异常分析结果包括多个值,多个值中的每个值指示业
务信息、资源信息以及日志信息中的一个为第二业务发生异常的原因的概率值。
[0128]
在一种可能的实施方式中,处理模块601还用于:在获得异常分析结果之前,确定第二业务的异常检测结果,异常检测结果指示第二业务在第二时间段发生异常。
[0129]
在一种可能的实施方式中,资源信息指示业务系统的至少一种资源的资源使用率,业务信息包括执行第一业务所需的资源信息以及执行至少一个业务中的每个业务所需的资源信息,业务状态包括已超期;处理模块601,还用于执行以下的至少一种:确定至少一种资源的资源使用率大于或等于第一预设阈值;或,确定至少一个业务中业务状态为已超期的业务的数量大于或等于第二预设阈值;或,确定日志信息指示业务系统运行错误;或,确定根据业务系统的至少一种资源的资源使用率、以及执行第一业务所需的资源信息和执行至少一个业务所需的资源信息,确定业务系统中剩余的任一种资源的资源使用率小于或等于第三预设阈值。
[0130]
在一个实施例中,本技术提供另一异常检测装置的结构示意图。请参照图7,为本技术实施例提供的一种异常检测装置的结构示意图二。如图7所示,异常检测装置700包括采集模块701、模型训练模块702、异常分析模块703、异常预测模块704。其中,异常检测装置700中的任意两个模块之间均可进行有线或无线通信。
[0131]
其中,采集模块701可实现前文异常检测装置600中的收发模块602的功能。模型训练模块702可用于执行前文训练检测模型,获得训练后的检测模型的步骤,以及对训练后的检测模型进行迭代更新的步骤。异常分析模块703用于实现前文所述的在第二业务为第一业务,第二时间段为第一时间段的情况下,执行异常检测方法的步骤,例如为前文图4所述的异常检测方法。异常预测模块用于实现前文所述的在第二业务为至少一个业务中的一个业务,第二时间段的起始时刻位于第一时间段的结束时刻之后的情况下,执行异常检测方法的步骤,例如为前文图5所述的异常检测方法。
[0132]
在这种实施下,异常检测装置700中的模型训练模块702、异常分析模块703和异常预测模块704的功能可被前文异常检测装置600中的处理模块601实现。
[0133]
基于同一发明构思,本技术实施例提供一种异常检测设备,该设备用于实现上述任一的异常检测方法,例如为图2、图4或图5所示的异常检测方法,并且,该设备还可实现前文中异常检测装置的功能。
[0134]
请参照图8,为本技术实施例提供一种异常检测设备的结构示意图。如图8所示,该异常检测设备800包括至少一个处理器801,以及与至少一个处理器801通信连接的存储器802。
[0135]
其中,处理器801可以是通用处理器801或者专用处理器801等。处理器801例如,包括:基带处理器801或中央处理器801等。所述基带处理器801可以用于对通信协议以及通信数据进行处理。所述中央处理器801可以用于对异常检测设备800进行控制,执行软件程序和/或处理数据。不同的处理器801可以是独立的器件,也可以是设置在一个或多个处理电路中,例如,集成在一个或多个专用集成电路上。
[0136]
在一个实施例中,存储器802存储有可被至少一个处理器801执行的指令,至少一个处理器801通过执行存储器802存储的指令实现如前文异常检测装置的功能,相应的,也可实现前文异常检测装置执行的步骤。
[0137]
在这种实施例下,异常检测设备800还可实现前文异常检测装置600的功能,并且,
该异常检测设备800中的至少一个处理器801还可实现前文处理模块601和收发模块602的功能。
[0138]
基于同一发明构思,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,当计算机指令在计算机上运行时,使得计算机执行如上述任一的异常检测方法,例如为图2、图4或图5所示的异常检测方法。
[0139]
基于同一发明构思,本技术实施例提供一种计算机程序产品,包含有计算机指令,当其在计算机上运行时,使得上述如上述任一的异常检测方法被实现,例如为图2、图4或图5所示的异常检测方法。
[0140]
本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0141]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0142]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0143]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0144]
显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
技术特征:
1.一种异常检测方法,其特征在于,包括:接收在第一时间段内与第一业务对应的业务信息、处理所述第一业务的业务系统的资源信息、以及所述业务系统的日志信息,所述业务信息指示第一业务的业务状态以及与所述第一业务相关的至少一个业务的业务状态;将所述业务信息、所述日志信息、以及所述资源信息输入训练后的检测模型,获得异常分析结果,所述异常分析结果指示第二业务在第二时间段发生异常的原因,所述第二业务为所述第一业务或为所述至少一个业务中的一个业务,所述第二时间段的起始时刻位于所述第一时间段的结束时刻之后,或所述第二时间段为所述第一时间段。2.根据权利要求1所述的方法,其特征在于,在将所述业务信息、所述日志信息、以及所述资源信息输入训练后的检测模型,获得异常分析结果之前,所述方法还包括:对所述业务信息、所述日志信息、以及所述资源信息进行编码,获得编码结果,其中,所述编码结果为所述训练后的检测模型的输入。3.根据权利要求2所述的方法,其特征在于,所述资源信息指示所述业务系统的至少一种资源的资源使用率;对所述业务信息、所述日志信息、以及所述资源信息进行编码,获得编码结果,包括:根据第一对应关系,确定至少一种资源中的每种资源的资源使用率对应的编码值,以获得第一编码序列,所述第一对应关系表示不同的资源使用率范围对应的编码值;根据第二对应关系,确定在至少一个业务数量中的每个业务数量的状态对应的编码值,以获得第二编码序列,所述第二对应关系表示不同的业务数量对应的编码值,所述每个业务数量为所述至少一个业务中的业务状态属于同一个业务状态的业务数量;对所述日志信息进行独热编码,获得第三编码序列;根据所述第一编码序列、所述第二编码序列和所述第三编码序列,获得所述编码结果。4.根据权利要求3所述的方法,其特征在于,所述异常分析结果包括多个值,所述多个值中的每个值指示所述业务信息、所述资源信息以及所述日志信息中的一个为所述第二业务发生异常的原因的概率值。5.根据权利要求1-4任一项所述的方法,其特征在于,在获得异常分析结果之前,所述方法还包括:确定所述第二业务的异常检测结果,所述异常检测结果指示所述第二业务在所述第二时间段发生异常。6.根据权利要求5所述的方法,其特征在于,所述资源信息指示所述业务系统的至少一种资源的资源使用率,所述业务信息包括执行所述第一业务所需的资源信息以及执行所述至少一个业务中的每个业务所需的资源信息,所述业务状态包括已超期;在确定所述第二业务的异常检测结果之前,所述方法还包括如下的至少一种:确定所述至少一种资源的资源使用率大于或等于第一预设阈值;或,确定所述至少一个业务中业务状态为已超期的业务的数量大于或等于第二预设阈值;或,确定所述日志信息指示所述业务系统运行错误;或,根据所述业务系统的至少一种资源的资源使用率、以及执行所述第一业务所需的资源信息和执行所述至少一个业务所需的资源信息,确定所述业务系统中剩余的任一种资源的
资源使用率小于或等于第三预设阈值。7.一种异常检测装置,其特征在于,包括:收发模块,用于接收在第一时间段内与第一业务对应的业务信息、处理所述第一业务的业务系统的资源信息、以及所述业务系统的日志信息,所述业务信息指示第一业务的业务状态以及与所述第一业务相关的至少一个业务的业务状态;处理模块,用于将所述业务信息、所述日志信息、以及所述资源信息输入训练后的检测模型,获得异常分析结果,所述异常分析结果指示第二业务在第二时间段发生异常的原因,所述第二业务为所述第一业务或为所述至少一个业务中的一个业务,所述第二时间段的起始时刻位于所述第一时间段的结束时刻之后,或所述第二时间段为所述第一时间段。8.根据权利要求7所述的装置,其特征在于,所述处理模块,还用于:在将所述业务信息、所述日志信息、以及所述资源信息输入训练后的检测模型,获得异常分析结果之前,对所述业务信息、所述日志信息、以及所述资源信息进行编码,获得编码结果,其中,所述编码结果为所述训练后的检测模型的输入。9.根据权利要求8所述的装置,其特征在于,所述资源信息指示所述业务系统的至少一种资源的资源使用率;所述处理模块具体用于:根据第一对应关系,确定至少一种资源中的每种资源的资源使用率对应的编码值,以获得第一编码序列,所述第一对应关系表示不同的资源使用率范围对应的编码值;根据第二对应关系,确定在至少一个业务数量中的每个业务数量的状态对应的编码值,以获得第二编码序列,所述第二对应关系表示不同的业务数量对应的编码值,所述每个业务数量为所述至少一个业务中的业务状态属于同一个业务状态的业务数量;对所述日志信息进行独热编码,获得第三编码序列;根据所述第一编码序列、所述第二编码序列和所述第三编码序列,获得所述编码结果。10.根据权利要求9所述的装置,其特征在于,所述异常分析结果包括多个值,所述多个值中的每个值指示所述业务信息、所述资源信息以及所述日志信息中的一个为所述第二业务发生异常的原因的概率值。11.根据权利要求7-10任一项所述的装置,其特征在于,所述处理模块还用于:在获得异常分析结果之前,确定所述第二业务的异常检测结果,所述异常检测结果指示所述第二业务在所述第二时间段发生异常。12.根据权利要求11所述的装置,其特征在于,所述资源信息指示所述业务系统的至少一种资源的资源使用率,所述业务信息包括执行所述第一业务所需的资源信息以及执行所述至少一个业务中的每个业务所需的资源信息,所述业务状态包括已超期;所述处理模块,还用于执行以下的至少一种:确定所述至少一种资源的资源使用率大于或等于第一预设阈值;或,确定所述至少一个业务中业务状态为已超期的业务的数量大于或等于第二预设阈值;或,确定所述日志信息指示所述业务系统运行错误;或,根据所述业务系统的至少一种资源的资源使用率、以及执行所述第一业务所需的资源信息和执行所述至少一个业务所需的资源信息,确定所述业务系统中剩余的任一种资源的资源使用率小于或等于第三预设阈值。
13.一种异常检测设备,其特征在于,包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-6中任一项所述的方法。14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如权利要求1-6中任一项所述的方法。15.一种计算机程序产品,其特征在于,包含有计算机指令,当其在计算机上运行时,使得上述如权利要求1-6中任一项所述的方法被实现。
技术总结
本申请提供一种异常检测方法、装置及设备,涉及数据处理技术领域,用于提高异常检测效率。该异常检测方法包括:接收在第一时间段内与第一业务对应的业务信息、处理第一业务的业务系统的资源信息、以及业务系统的日志信息,业务信息指示第一业务的业务状态以及与第一业务相关的至少一个业务的业务状态;将业务信息、日志信息、以及资源信息输入训练后的检测模型,获得异常分析结果,异常分析结果指示第二业务在第二时间段发生异常的原因,第二业务为第一业务或为至少一个业务中的一个业务,第二时间段的起始时刻位于第一时间段的结束时刻之后,或第二时间段为第一时间段。或第二时间段为第一时间段。或第二时间段为第一时间段。
技术研发人员:潘宏 程强 黄青君
受保护的技术使用者:建信金融科技有限责任公司
技术研发日:2023.06.15
技术公布日:2023/8/31
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:PUCCH载波交换的制作方法 下一篇:无人机辅助边缘计算网络的多维资源管控方法