基于深度合成数据的异常检测方法和系统与流程
未命名
09-22
阅读:58
评论:0
1.本技术涉及网络安全技术领域,尤其涉及一种基于深度合成数据的异常检测方法和系统。
背景技术:
2.现有的网络检测方法经常由于样本不均导致漏检或错检,需要考虑网络拓扑结构进行正向建模,根据流量的动态分布合理采集样本,从而更好地提取特征。
3.因此,急需一种针对性的基于深度合成数据的异常检测方法和系统。
技术实现要素:
4.本发明的目的在于提供一种基于深度合成数据的异常检测方法和系统,解决现有样本不均导致漏检或错检的问题。
5.第一方面,本技术提供一种基于深度合成数据的异常检测方法,所述方法包括:
6.在检测点采集数据包,提取其中携带的第一数据特征;
7.根据网络中网元之间的交互和流量的路径,构建网络拓扑关系表;
8.获知发送流量的网元标识和数量,根据该发送流量的网元在所述网络拓扑关系表中的位置,预测流量途径的重要节点,采集该重要节点的数据包,提取其中携带的第二数据特征;
9.分别对第一数据特征和第二数据特征进行离散化处理,得到降维后的第一样本集和第二样本集;
10.将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端,由该对抗性网络计算两者之间的差异度,若该差异度大于阈值,则将差异度反馈给网络拓扑关系表,用于调整预测流量途径的节点的重要程度;若该差异度小于等于阈值,则表示捕获成功,将所述第一样本集和第二样本集融合为深度合成样本集;
11.将所述深度合成样本集送入识别模型,进行分类操作,得出分类结果;
12.根据所述分类结果进行管控。
13.第二方面,本技术提供一种基于深度合成数据的异常检测系统,所述系统包括:
14.第一采集单元,用于在检测点采集数据包,提取其中携带的第一数据特征;
15.构建单元,用于根据网络中网元之间的交互和流量的路径,构建网络拓扑关系表;
16.第二采集单元,用于获知发送流量的网元标识和数量,根据该发送流量的网元在所述网络拓扑关系表中的位置,预测流量途径的重要节点,采集该重要节点的数据包,提取其中携带的第二数据特征;
17.融合单元,用于分别对第一数据特征和第二数据特征进行离散化处理,得到降维后的第一样本集和第二样本集;
18.将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端,由该对抗性网络计算两者之间的差异度,若该差异度大于阈值,则将差异度反馈给网络拓扑关系表,用
于调整预测流量途径的节点的重要程度;若该差异度小于等于阈值,则表示捕获成功,将所述第一样本集和第二样本集融合为深度合成样本集;
19.分类单元,用于将所述深度合成样本集送入识别模型,进行分类操作,得出分类结果;
20.执行单元,用于根据所述分类结果进行管控。
21.第三方面,本技术提供一种基于深度合成数据的异常检测系统,所述系统包括处理器以及存储器:
22.所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
23.所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
24.第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行第一方面四种可能中任一项所述的方法。
25.有益效果
26.本发明提供一种基于深度合成数据的异常检测方法和系统,通过检测点采样和构建网络拓扑建模预测流量途径的重要节点采样两种采样方式,得到两个不同的样本集,将两个样本集输入对抗性网络,计算两者之间的差异度,根据差异度调整流量途径的节点的预测,当该差异度小于等于阈值时表示捕获成功,融合得到深度合成样本集,最后通过识别模型分类,克服了现有技术由于样本不均导致漏检或错检的不足,实现检测的高效性和自动性。
附图说明
27.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
28.图1为本发明基于深度合成数据的异常检测方法的大致流程图;
29.图2为本发明基于深度合成数据的异常检测系统的架构图。
具体实施方式
30.下面结合附图对本发明的优选实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
31.图1为本技术提供的基于深度合成数据的异常检测方法的大致流程图,所述方法包括:
32.在检测点采集数据包,提取其中携带的第一数据特征;
33.根据网络中网元之间的交互和流量的路径,构建网络拓扑关系表;
34.获知发送流量的网元标识和数量,根据该发送流量的网元在所述网络拓扑关系表中的位置,预测流量途径的重要节点,采集该重要节点的数据包,提取其中携带的第二数据特征;
35.分别对第一数据特征和第二数据特征进行离散化处理,得到降维后的第一样本集和第二样本集;
36.将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端,由该对抗性网络计算两者之间的差异度,若该差异度大于阈值,则将差异度反馈给网络拓扑关系表,用于调整预测流量途径的节点的重要程度;若该差异度小于等于阈值,则表示捕获成功,将所述第一样本集和第二样本集融合为深度合成样本集;
37.将所述深度合成样本集送入识别模型,进行分类操作,得出分类结果;
38.根据所述分类结果进行管控。
39.在一些优选实施例中,所述将第一样本集和第二样本集融合包括以下任一种:将两个样本集按照对应项目重组,第二样本集按照项目将数据特征插入补齐到第一样本集中,得到所述深度合成样本集;
40.或,将两个样本集按前后顺序拼接,得到所述深度合成样本集。
41.在一些优选实施例中,所述预测流量途径的重要节点包括:根据发送流量的网元在所述网络拓扑关系表中位置,确定流量可能流动的若干方向,再根据发送流量的网元的数量,确定若干流量可能交汇的交叉节点,最后根据发送流量的网元类型,确定流量的权重,最终预测出流量途径的重要节点。
42.从流量可能交汇的交叉节点中,根据流量的权重大小选出流量途径的重要节点,所述重要节点可以是多个流量都要交汇的节点,也可以是权重值排序前列的流量途径的节点。
43.在流量途径的重要节点处采集数据包,可以弥补现有技术样本不均的问题。
44.在一些优选实施例中,所述调整预测流量途径的节点的重要程度包括:接收对抗性网络反馈的所述差异度,利用该差异度修正网元类型与流量权重的对应关系,包括增加或降低权重数值。
45.所述修正网元类型与流量权重的对应关系,可以是将网元类型与更高或更低的权重数值对应起来,也就是改变对应关系,也可以是增加或降低对应权重的数值,也就是改变数值大小。
46.图2为本技术提供的基于深度合成数据的异常检测系统的架构图,所述系统包括:
47.第一采集单元,用于在检测点采集数据包,提取其中携带的第一数据特征;
48.构建单元,用于根据网络中网元之间的交互和流量的路径,构建网络拓扑关系表;
49.第二采集单元,用于获知发送流量的网元标识和数量,根据该发送流量的网元在所述网络拓扑关系表中的位置,预测流量途径的重要节点,采集该重要节点的数据包,提取其中携带的第二数据特征;
50.融合单元,用于分别对第一数据特征和第二数据特征进行离散化处理,得到降维后的第一样本集和第二样本集;
51.将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端,由该对抗性网络计算两者之间的差异度,若该差异度大于阈值,则将差异度反馈给网络拓扑关系表,用于调整预测流量途径的节点的重要程度;若该差异度小于等于阈值,则表示捕获成功,将所述第一样本集和第二样本集融合为深度合成样本集;
52.分类单元,用于将所述深度合成样本集送入识别模型,进行分类操作,得出分类结果;
53.执行单元,用于根据所述分类结果进行管控。
54.本技术提供一种基于深度合成数据的异常检测系统,所述系统包括:所述系统包括处理器以及存储器:
55.所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
56.所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
57.本技术提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
58.具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可以存储有程序,该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称:rom)或随机存储记忆体(简称:ram)等。
59.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
60.本说明书各个实施例之间相同相似的部分互相参见即可。尤其,对于实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
61.以上所述的本发明实施方式并不构成对本发明保护范围的限定。
技术特征:
1.一种基于深度合成数据的异常检测方法,其特征在于,所述方法包括:在检测点采集数据包,提取其中携带的第一数据特征;根据网络中网元之间的交互和流量的路径,构建网络拓扑关系表;获知发送流量的网元标识和数量,根据该发送流量的网元在所述网络拓扑关系表中的位置,预测流量途径的重要节点,采集该重要节点的数据包,提取其中携带的第二数据特征;分别对第一数据特征和第二数据特征进行离散化处理,得到降维后的第一样本集和第二样本集;将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端,由该对抗性网络计算两者之间的差异度,若该差异度大于阈值,则将差异度反馈给网络拓扑关系表,用于调整预测流量途径的节点的重要程度;若该差异度小于等于阈值,则表示捕获成功,将所述第一样本集和第二样本集融合为深度合成样本集;将所述深度合成样本集送入识别模型,进行分类操作,得出分类结果;根据所述分类结果进行管控。2.根据权利要求1所述的方法,其特征在于:所述将第一样本集和第二样本集融合包括以下任一种:将两个样本集按照对应项目重组,第二样本集按照项目将数据特征插入补齐到第一样本集中,得到所述深度合成样本集;或,将两个样本集按前后顺序拼接,得到所述深度合成样本集。3.根据权利要求1所述的方法,其特征在于:所述预测流量途径的重要节点包括:根据发送流量的网元在所述网络拓扑关系表中位置,确定流量可能流动的若干方向,再根据发送流量的网元的数量,确定若干流量可能交汇的交叉节点,最后根据发送流量的网元类型,确定流量的权重,最终预测出流量途径的重要节点。4.根据权利要求2或3任一项所述的方法,其特征在于:所述调整预测流量途径的节点的重要程度包括:接收对抗性网络反馈的所述差异度,利用该差异度修正网元类型与流量权重的对应关系,包括增加或降低权重数值。5.一种基于深度合成数据的异常检测系统,其特征在于,所述系统包括:第一采集单元,用于在检测点采集数据包,提取其中携带的第一数据特征;构建单元,用于根据网络中网元之间的交互和流量的路径,构建网络拓扑关系表;第二采集单元,用于获知发送流量的网元标识和数量,根据该发送流量的网元在所述网络拓扑关系表中的位置,预测流量途径的重要节点,采集该重要节点的数据包,提取其中携带的第二数据特征;融合单元,用于分别对第一数据特征和第二数据特征进行离散化处理,得到降维后的第一样本集和第二样本集;将所述第一样本集和第二样本集分别送入对抗性网络的两个输入端,由该对抗性网络计算两者之间的差异度,若该差异度大于阈值,则将差异度反馈给网络拓扑关系表,用于调整预测流量途径的节点的重要程度;若该差异度小于等于阈值,则表示捕获成功,将所述第一样本集和第二样本集融合为深度合成样本集;分类单元,用于将所述深度合成样本集送入识别模型,进行分类操作,得出分类结果;执行单元,用于根据所述分类结果进行管控。
6.一种基于深度合成数据的异常检测系统,其特征在于,所述系统包括处理器以及存储器:所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行实现权利要求1-4任一项所述的方法。
技术总结
本发明提供一种基于深度合成数据的异常检测方法和系统,通过检测点采样和构建网络拓扑建模预测流量途径的重要节点采样两种采样方式,得到两个不同的样本集,将两个样本集输入对抗性网络,计算两者之间的差异度,根据差异度调整流量途径的节点的预测,当该差异度小于等于阈值时表示捕获成功,融合得到深度合成样本集,最后通过识别模型分类。最后通过识别模型分类。最后通过识别模型分类。
技术研发人员:魏亮 谢玮 魏薇 彭志艺 海涵 凌霞 郑晓玲
受保护的技术使用者:中国信息通信研究院
技术研发日:2023.06.26
技术公布日:2023/9/20
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/