一种基于时间序列周期性的告警重视度推荐方法及系统
未命名
09-23
阅读:50
评论:0
1.本发明属于工业互联网信息安全领域,特别涉及一种基于时间序列周期性的告警重视度推荐方法及系统。
背景技术:
2.随着信息化与工业化的深度融合,以泛在互联、全面感知、智能优化和安全稳固为特征的工业互联网应运而生。工业互联网将人、机器、数据进行全面互联,优化资源要素配置,提高工业生产效率,但同时,工业互联网不同于传统工业控制系统的封闭环境,所处的网络环境更加复杂多样,面临的网络安全形势十分严峻。
3.为了应对日益复杂的网络攻击威胁,工业互联网采取边界管控、接入管理、安全审计、入侵检测等主要防护技术,全面监测网络流量,并对异常行为进行告警。传统检测技术分为规则匹配类技术和异常检测类技术。前者基于预设规则对网络数据流进行字符串特征匹配,但存在正常流量误触规则产生误报的问题。后者则存在阈值设定的问题,若阈值太小就会产生大量的误报,而阈值太大又会产生大量的漏报。通常为了尽可能避免漏报而采用较小阈值,导致存在大量误报。在实际中,工业互联网每月安全告警可达数百万甚至上千万,其中大多数都属于反复出现的误报。大规模误报降低了告警分析处理的效率,导致少量的真实攻击行为隐匿其中难以发现。
4.在众多误报中,机器脚本类误报是主要的误报类型之一。这类误报由定时业务脚本误触规则造成,具有数量稳定,存在固定时间周期的特点。然而,机器脚本存在间断开启和关闭的情况,导致传统的周期性挖掘算法难以有效识别此类周期性告警。
技术实现要素:
5.本发明的目的在于提供一种基于时间序列周期性的告警重视度推荐方法及系统,解决了现有的告警存在误报的缺陷。
6.为了达到上述目的,本发明采用的技术方案是
7.本发明提供一种基于时间序列周期性的告警重视度推荐方法,包括以下步骤:
8.步骤1,从多源异构的网络安全告警数据中提取生成多个告警时间序列;
9.步骤2,统计每个告警时间序列对应的频度特征;
10.步骤3,判断每个告警时间序列是否具有周期性;
11.步骤4,根据步骤2和步骤3的结果,对每个告警时间序列中每个元素对应的告警进行分类和重视度推荐;
12.步骤5,将当前告警时间序列的特征与对应的历史时间序列进行对比,判断告警的重视度。
13.优选地,步骤1中,从多源异构的网络安全告警数据中提取生成多个告警时间序列,具体方法是:
14.将多源异构的网络安全告警数据中具有相同的告警源i p、告警目的i p和告警类
型的告警归为一类;
15.从同一类的告警中提取每个告警的告警时间戳,并组合形成该同一类的告警对应的初始告警时间序列;
16.将得到的多个初始告警序列进行过滤,得到告警时间序列。
17.优选地,步骤2中,统计每个告警时间序列对应的频度特征,具体方法是:
18.计算每个告警时间序列中每个告警出现的天数占多源异构的网络安全告警数据中时间天数跨度的比值;
19.将该比值与预设阈值进行比对,其中,若该比值大于等于预设阈值时,则该每个告警时间序列的频度特征为高频,否则,该每个告警时间序列的频度特征为低频。
20.优选地,步骤3中,判断每个告警时间序列是否具有周期性,具体方法是:
21.计算每个告警时间序列中两个相邻告警的时间间隔频次分布;
22.根据得到的时间间隔频次分布判断每个告警时间序列是否具有周期性。
23.优选地,计算每个告警时间序列中两个相邻告警的时间间隔频次布置,具体方法是:
24.将每个告警时间序列中两个相邻项进行相减作差,生成告警时间间隔序列;
25.将告警时间间隔序列进行统计,得到告警时间间隔频次分布。
26.优选地,根据得到的时间间隔频次分布判断每个告警时间序列是否具有周期性,具体方法是:
27.将得到的告警时间间隔频次分布中的频次前五的告警时间间隔设为候选周期值;
28.按频次由高到低顺序对候选周期值进行检验,其中,若告警时间间隔序列中存在时间间隔为候选周期值的整数倍,则将该时间间隔在告警时间间隔频次分布中对应频次与候选周期值在告警时间间隔频次分布中对应的频次进行相加,得到候选周期总频次;
29.根据得到的候选周期总频次计算告警时间间隔序列中的告警周期性分量占比,其中,若告警周期性分量占比大于等于预设周期性判定阈值时,则该告警时间序列具有周期性,并将该候选周期值输出为告警周期;否则,该告警时间序列无周期性。
30.优选地,步骤4中,根据步骤2和步骤3的结果,对每个告警时间序列中的告警进行分类和重视度推荐,具体方法是:
31.步骤s401:若该每个告警时间序列存在周期性,则转步骤s402;若该每个告警时间序列不存在周期性,则转步骤s403;
32.步骤s402:在该每个告警时间间隔序列中,时间间隔为候选周期值的整数倍的所有告警为周期性分量,告警重视度为低;剩余告警为非周期性分量,告警重视度为中;
33.步骤s403:若该每个告警时间序列频度特征为高频,则输出告警重视度为中;若该每个告警时间序列频度特征为低频,则输出告警重视度为高。
34.优选地,步骤5中,将当前告警时间序列的特征与对应的历史时间序列进行对比,判断告警的重视度,具体方法是:
35.将当前告警时间序列的特征与对应的历史时间序列进行对比,若当前告警时间序列的特征与历史特征一致,则将该告警时间序列中所有告警的重视度步骤4的分类结果进行输出;否则输出该告警时间序列中所有告警的重视度为高。
36.优选地,一种基于时间序列周期性的告警重视度推荐系统,包括:
37.告警事件序列提取单元,用于从多源异构的网络安全告警数据中提取生成多个告警时间序列;
38.频度特征统计单元,用于统计每个告警时间序列对应的频度特征;
39.周期性判断单元,用于判断每个告警时间序列是否具有周期性;
40.告警分类单元,用于对每个告警时间序列中每个元素对应的告警进行分类和重视度推荐;
41.告警的重视度判断单元,用于将当前告警时间序列的特征与对应的历史时间序列进行对比,判断告警的重视度。
42.与现有技术相比,本发明的有益效果是:
43.本发明提供的一种基于时间序列周期性的告警重视度推荐方法,对工业互联网中规模大、误报多的网络安全告警进行快速分析,利用误报警的时序周期性特征进行快速挖掘,从而高效批量识别工业互联网中周期性误报,有效降低需要处理的数据规模,提高告警的分析处理效率。
44.同时,本发明涉及的告警时间序列周期性判断方法从时间间隔角度出发,若大多数时间间隔符合特定值及其整数倍,则判定为存在周期性。此方法所挖掘出的周期性告警序列具有较严格周期性,极大概率属于机器脚本类误报,可信度高。
45.另外,本发明的方法通过与历史时间序列特征库比对的方法,识别网络局部状态异常,增强网络安全防护能力。
46.综上所述,本发明的方法可移植性强,可作为功能模块在各类网络安全系统中迁移,不需要硬件层面的额外开销和更改。
附图说明
47.图1为本发明基于时间序列周期性的告警重视度推荐方法整体流程图。
48.图2为告警时间序列周期性检测方法流程图。
49.图3为告警重视度生成方法流程图。
具体实施方式
50.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本技术实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本技术的描述。
51.应当理解,当在本技术说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
52.还应当理解,在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
53.如在本技术说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响
应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0054]
另外,在本技术说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
[0055]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
[0056]
图1为基于时间序列周期性的告警重视度推荐方法整体流程图,展示了本方法对工业互联网海量网络安全告警进行重视度分级推荐的基本框架。
[0057]
本发明一种基于时间序列周期性的告警重视度推荐方法,包括以下步骤:
[0058]
步骤s1:输入多源异构的网络安全告警数据,网络安全告警数据包括多条告警,每条告警包括告警编号i d、告警源i p、告警目的i p、告警类型category、告警时间戳timestamp;
[0059]
从网络安全告警数据中提取具有相同告警源i p、告警目的i p和告警类型的告警,生成对应的初始告警时间序列,从生成的初始告警时间序列中过滤告警时间序列长度短的时间序列,得到最终的告警时间序列。
[0060]
具体地:
[0061]
首先,统计网络安全告警数据中存在的所有(sip,dip,category)组合,其中,sip为告警源i p,dip为告警目的i p,category为告警类型。
[0062]
然后,查询每个(sip,dip,category)组合所对应的告警,按时间戳先后顺序构建告警时间序列ti={timestamp1,imestamp2,
…
,timestampn},其中,timestamp为告警时间戳,n为告警时间序列长度。
[0063]
最后,设置告警序列长度阈值τ,若告警序列长度l《τ,则进行过滤,以剔除过短的告警序列。
[0064]
本实施例,现有如表1所示的告警样例,则告警中的所有(sip,dip,category)组合为(1.1.1.1,2.2.2.2,信息泄露)和(3.3.3.3,4.4.4.4,sql注入)。由此生成告警时间序列t1={1677160000,1677163600,1677167200,1677174400,1677210745},t2={1677207145,1677214345}。设置告警序列长度阈值τ=5,则t2被过滤。
[0065]
表1:告警数据样例
[0066]
idsipdipcategorytimestampdatetime11.1.1.12.2.2.2信息泄露16771600002023-02-23 21:46:4021.1.1.12.2.2.2信息泄露16771636002023-02-23 22:46:4031.1.1.12.2.2.2信息泄露16771672002023-02-23 23:46:4041.1.1.12.2.2.2信息泄露16771744002023-02-24 01:46:4053.3.3.34.4.4.4sql注入16772071452023-02-24 10:52:2561.1.1.12.2.2.2信息泄露16772107452023-02-24 11:52:2573.3.3.34.4.4.4sql注入16772143452023-02-24 12:52:25
[0067]
步骤s2:统计告警时间序列中告警出现的频度特征,即该类告警出现的天数占网络安全告警数据样本时间天数跨度的比值。
[0068]
具体而言,统计告警时间序列中告警出现天数占数据样本时间天数跨度比值θ。
[0069]
设置告警频度阈值ε,其中,若θ≥ε,则频度特征为高频;若θ《ε,则频度特征为低频。
[0070]
本实施例中,上述告警数据样本时间天数跨度为2天,时间序列t1中的告警在告警数据样本时间天数跨度内均出现,则θ=1。设置告警频度阈值ε=0.7,则θ≥ε,频度特征为高频。
[0071]
步骤s3:根据告警时间序列,计算相邻告警时间间隔频次分布,其中,若时间间隔频次集中分布在某一数值及其整数倍时,则认为该告警时间序列具有周期性,且周期为该数值;反之,则不具备周期性。
[0072]
具体而言,告警时间序列周期性判断方法如图2所示,包括以下步骤:
[0073]
步骤s301:将告警时间序列相邻项相减作差,生成告警时间间隔序列dti={dt1,dt2,
…
,dt
n-1
},其中,告警时间间隔dt
n-1
=timestamp
n-timestamp
n-1
。
[0074]
步骤s302:对告警时间间隔序列dti中的告警时间间隔进行统计,得到告警时间间隔频次分布di={d1:x1,d2:x2,
…
,dk:xk},其中,dk为第k个告警时间间隔,xk为第k个告警时间间隔出现的频次。
[0075]
步骤s303:将频次前五的告警时间间隔设为候选周期值。
[0076]
步骤s304:按频次由高到低顺序对候选周期值dh进行检验,候选周期值在告警时间间隔频次分布中对应的频次为xh,若告警时间间隔序列dti中存在时间间隔为候选周期值dh的整数倍,则将该时间间隔在告警时间间隔频次分布中对应频次与xh相加,得到候选周期总频次sh,则告警时间序列的告警周期性分量占比其中,n为告警时间序列长度。
[0077]
设置周期性判定阈值σ,若告警周期性分量占比ρ≥σ,则认为该告警时间序列具有周期性,将该候选周期值dh输出为告警周期dj;若ρ《σ,则认为该告警时间序列无周期性,输出无周期性。
[0078]
本实施例中,上述告警时间序列t1相邻项相减作差,生成告警时间间隔序列dt1={3600,3600,7200,36345},统计后得到告警时间间隔频次分布d1={3600:2,7200:1,36345:1}。对候选周期值d1=3600进行检验,s1=3,则告警中的周期性分量占比ρ=0.8。设置周期性判定阈值σ=0.7。ρ≥σ,认为告警时间序列t1具有周期性,输出告警周期3600。
[0079]
步骤s4:根据告警时间序列中告警出现的频度和告警序列周期性特征,进行对应告警的分类和重视度推荐。
[0080]
具体而言,告警重视度生成方法如图3所示,包括以下步骤:
[0081]
步骤s401:若告警时间序列存在周期性,且周期为dj,则转步骤s402;若告警时间序列不存在周期性,则转步骤s403。
[0082]
步骤s402:在告警时间间隔序列dti中,所有符合dtm=
×dj
的时间间隔,其中,a为正整数,其对应的周期性分量告警重视度为低;剩余告警均为非周期性分量,告警重视度为中。
[0083]
步骤s403:若告警时间序列频度特征为高频,则输出告警重视度为中;若告警时间
序列频度特征为低频,则输出告警重视度为高。
[0084]
本实施例中,上述告警时间序列t1存在周期性,且周期为3600。在告警时间间隔序列dt1中,dt1、dt2、dt3均符合dtm=a
×
3600,其对应的周期性分量告警,即id为1,2,3,4的告警重视度为低。其它非周期性分量告警,即id为5的告警重视度为中。
[0085]
步骤s5:将当前告警时间序列的特征与对应的历史时间序列进行对比,若与历史特征一致,则将该告警时间序列中所有告警的重视度按步骤s402和s403的结果进行输出;若与历史特征不一致,则认为出现异常,将告警时间序列特征保存至历史时间序列库,输出该告警时间序列中所有告警的重视度为高。
[0086]
具体而言,根据历史时间序列特征库,选取告警频度特征、是否存在周期性、周期值三个特征进行比对。若当前告警时间序列与历史特征均一致,则输出当前告警重视度;若当前告警时间序列与历史特征存在不一致,则输出告警重视度为高。
[0087]
本实施例提供一种基于时间序列周期性的告警重视度推荐系统,包括:
[0088]
告警事件序列提取单元,用于从多源异构的网络安全告警数据中提取生成多个告警时间序列;
[0089]
频度特征统计单元,用于统计每个告警时间序列对应的频度特征;
[0090]
周期性判断单元,用于判断每个告警时间序列是否具有周期性;
[0091]
告警分类单元,用于对每个告警时间序列中每个元素对应的告警进行分类和重视度推荐;
[0092]
告警的重视度判断单元,用于将当前告警时间序列的特征与对应的历史时间序列进行对比,判断告警的重视度。
[0093]
以上所述实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围,均应包含在本技术的保护范围之内。
技术特征:
1.一种基于时间序列周期性的告警重视度推荐方法,其特征在于,包括以下步骤:步骤1,从多源异构的网络安全告警数据中提取生成多个告警时间序列;步骤2,统计每个告警时间序列对应的频度特征;步骤3,判断每个告警时间序列是否具有周期性;步骤4,根据步骤2和步骤3的结果,对每个告警时间序列中每个元素对应的告警进行分类和重视度推荐;步骤5,将当前告警时间序列的特征与对应的历史时间序列进行对比,判断告警的重视度。2.根据权利要求1所述的一种基于时间序列周期性的告警重视度推荐方法,其特征在于,步骤1中,从多源异构的网络安全告警数据中提取生成多个告警时间序列,具体方法是:将多源异构的网络安全告警数据中具有相同的告警源ip、告警目的ip和告警类型的告警归为一类;从同一类的告警中提取每个告警的告警时间戳,并组合形成该同一类的告警对应的初始告警时间序列;将得到的多个初始告警序列进行过滤,得到告警时间序列。3.根据权利要求1所述的一种基于时间序列周期性的告警重视度推荐方法,其特征在于,步骤2中,统计每个告警时间序列对应的频度特征,具体方法是:计算每个告警时间序列中每个告警出现的天数占多源异构的网络安全告警数据中时间天数跨度的比值;将该比值与预设阈值进行比对,其中,若该比值大于等于预设阈值时,则该每个告警时间序列的频度特征为高频,否则,该每个告警时间序列的频度特征为低频。4.根据权利要求1所述的一种基于时间序列周期性的告警重视度推荐方法,其特征在于,步骤3中,判断每个告警时间序列是否具有周期性,具体方法是:计算每个告警时间序列中两个相邻告警的时间间隔频次分布;根据得到的时间间隔频次分布判断每个告警时间序列是否具有周期性。5.根据权利要求4所述的一种基于时间序列周期性的告警重视度推荐方法,其特征在于,计算每个告警时间序列中两个相邻告警的时间间隔频次布置,具体方法是:将每个告警时间序列中两个相邻项进行相减作差,生成告警时间间隔序列;将告警时间间隔序列进行统计,得到告警时间间隔频次分布。6.根据权利要求4所述的一种基于时间序列周期性的告警重视度推荐方法,其特征在于,根据得到的时间间隔频次分布判断每个告警时间序列是否具有周期性,具体方法是:将得到的告警时间间隔频次分布中的频次前五的告警时间间隔设为候选周期值;按频次由高到低顺序对候选周期值进行检验,其中,若告警时间间隔序列中存在时间间隔为候选周期值的整数倍,则将该时间间隔在告警时间间隔频次分布中对应频次与候选周期值在告警时间间隔频次分布中对应的频次进行相加,得到候选周期总频次;根据得到的候选周期总频次计算告警时间间隔序列中的告警周期性分量占比,其中,若告警周期性分量占比大于等于预设周期性判定阈值时,则该告警时间序列具有周期性,并将该候选周期值输出为告警周期;否则,该告警时间序列无周期性。7.根据权利要求1所述的一种基于时间序列周期性的告警重视度推荐方法,其特征在
于,步骤4中,根据步骤2和步骤3的结果,对每个告警时间序列中的告警进行分类和重视度推荐,具体方法是:步骤s401:若该每个告警时间序列存在周期性,则转步骤s402;若该每个告警时间序列不存在周期性,则转步骤s403;步骤s402:在该每个告警时间间隔序列中,时间间隔为候选周期值的整数倍的所有告警为周期性分量,告警重视度为低;剩余告警为非周期性分量,告警重视度为中;步骤s403:若该每个告警时间序列频度特征为高频,则输出告警重视度为中;若该每个告警时间序列频度特征为低频,则输出告警重视度为高。8.根据权利要求1所述的一种基于时间序列周期性的告警重视度推荐方法,其特征在于,步骤5中,将当前告警时间序列的特征与对应的历史时间序列进行对比,判断告警的重视度,具体方法是:将当前告警时间序列的特征与对应的历史时间序列进行对比,若当前告警时间序列的特征与历史特征一致,则将该告警时间序列中所有告警的重视度步骤4的分类结果进行输出;否则输出该告警时间序列中所有告警的重视度为高。9.一种基于时间序列周期性的告警重视度推荐系统,其特征在于,包括:告警事件序列提取单元,用于从多源异构的网络安全告警数据中提取生成多个告警时间序列;频度特征统计单元,用于统计每个告警时间序列对应的频度特征;周期性判断单元,用于判断每个告警时间序列是否具有周期性;告警分类单元,用于对每个告警时间序列中每个元素对应的告警进行分类和重视度推荐;告警的重视度判断单元,用于将当前告警时间序列的特征与对应的历史时间序列进行对比,判断告警的重视度。
技术总结
本发明提供一种基于时间序列周期性的告警重视度推荐方法及系统,包括以下步骤:步骤1,从多源异构的网络安全告警数据中提取生成多个告警时间序列;步骤2,统计每个告警时间序列对应的频度特征;步骤3,判断每个告警时间序列是否具有周期性;步骤4,根据步骤2和步骤3的结果,对每个告警时间序列中每个元素对应的告警进行分类和重视度推荐;步骤5,将当前告警时间序列的特征与对应的历史时间序列进行对比,判断告警的重视度;本发明利用误报警的时序周期性特征进行快速挖掘,从而高效批量识别工业互联网中周期性误报,有效降低需要处理的数据规模,提高告警的分析处理效率。提高告警的分析处理效率。提高告警的分析处理效率。
技术研发人员:刘杨 刘慧翔 任泽华 姜宝翔 阮高飞 徐子森 张世龙 罗子安 鲍远义 杨欣雨 刘烃 王云
受保护的技术使用者:西安交通大学
技术研发日:2023.06.21
技术公布日:2023/9/22
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/