一种网络功能虚拟化场景下服务功能链异常检测方法
未命名
10-21
阅读:72
评论:0
1.本发明属于移动通信技术领域,涉及一种网络功能虚拟化场景下服务功能链异常检测方法。
背景技术:
2.虚拟化在网络中的一个丰富应用是网络功能虚拟化nfv。nfv使得网络或服务功能从底层硬件中解耦出来,在虚拟化的商品硬件上将其实现为软件设备。大量现有的网络虚拟化功能vnf部署已经显示出接近硬件性能的潜力,为网络优化和降低成本提供了充足的机会。
3.nfv使得网络或服务功能从底层硬件中解耦出来,在虚拟化的商品硬件上将其实现为软件设备。用户请求产生的服务可以被视为一个sfc,并被处理为一个特定的vnf序列,并部署在云和边缘。然而,由于动态的网络拓扑、多重分层和缺乏网络可见性等因素造成复杂性的增加,使得vnf比基于硬件的专用解决方案更容易发生故障。因此,检测nfv系统中的异常行为对于保证虚拟化服务的高可靠性至关重要。
4.现有技术对sfc中vnf的异常检测,采用对vnf状态预测或聚类等方式,采用集中式机器学习对网络进行训练,且在训练过程中未考虑链路节点空间拓扑关系和复杂度高的问题。
5.相关解释:
6.知识蒸馏是一种基于“教师-学生”思想的模型压缩方法,一般用于将复杂模型的知识压缩到较为简单的模型中。通常先训练好一个教师网络,然后将教师网络的输出结果作为学生网络学习的目标,从而训练学生网络使其输出不断接近教师网络。因此损失包含两部分,一部分为软损失,另一部分为本地训练损失。
7.gcn利用图卷积层来对节点和它们的邻居进行信息传播,从而捕捉节点之间的关系和图的全局结构。图拓扑结构的特点可以包括节点之间的拓扑位置、连接关系、带宽限制、延迟等信息。sfc节点的图拓扑结构描述了节点之间的连接关系和通信路径。它可以是一个有向图或无向图,其中节点表示sfc中的服务功能,边表示节点之间的通信链接。
技术实现要素:
8.有鉴于此,本发明的目的在于提供一种网络功能虚拟化场景下服务功能链异常检测方法,解决异常检测过程中由于计算复杂度过高引起的检测速度缓慢以及未考虑链路节点空间拓扑关系的问题,同时能够增强虚拟网络安全性,有效提高异常检测的准确性和稳定性。
9.为达到上述目的,本发明提供如下技术方案:
10.一种网络功能虚拟化场景下服务功能链异常检测方法,该方法包括以下步骤:
11.s1:在网络功能虚拟化nfv环境中,为独立检测服务功能链sfc中包含的多个虚拟网络功能vnf性能,构建分布式异常检测架构;
12.s2:为挖掘链路节点时序数据特征之外更深层的空间拓扑信息,采用基于特征融合的空时扩张卷积编码方案作为教师网络的编码方案,利用空间卷积联合扩张卷积共同编码以捕获空时依赖关系;
13.s3:在教师学生网络知识迁移过程中采用渐进式知识蒸馏算法,学生网络接收原始数据和来自s2中教师网络的预测数据作为共同输入,学生网络通过给与这两部分数据的重构损失不同的权重,实现自动化调节学生网络学习阶段;
14.s4:采用学生网络对重构数据的异常得分函数评判vnf的状态,进而完成对sfc的异常检测。
15.可选的,所述s1中,用户请求使得网络功能虚拟化管理与编排nfv mano的虚拟化网络功能管理器vnfm部署映射策略,将多个网络功能连接起来以创建端到端服务的机制;
16.分布式异常检测架构将教师网络部署在vnfm中,分布式学生网络部署在每个vnf的网元管理器em中,每个sfc都对应单个教师和分布式的多个学生的异常检测模型,分布在各个em中的学生网络在训练完成后分别对各自所属的单元监测以完成对其整条sfc的异常检测。
17.可选的,所述s2中,将每个虚拟机节点的各个节点的特征映射到c维嵌入空间进行特征融合;将特征融合得到的输入数据联合sfc节点空间图拓扑信息作为教师模型的输入数据;这些数据被送入空时扩张卷积模块,空时卷积模块包括特征融合层,k层扩张卷积模块以及k个空间传播模块以及输出模块,其中扩张卷积模块每层的卷积核的尺寸不同,以充分融合数据;
18.教师模型经过空时编码模块后通过输出层输出一定步长的预测数据,并作为下一步学生模型的一部分输入。
19.可选的,所述s3中,在这个知识迁移的过程中,渐进式蒸馏算法首先对原始数据进行学习,权重λ设定为1,随着训练轮次的增加,此权重λ定义为:
[0020][0021]
其中b1和b3分别是完全使用原始数据的训练阶段和完全使用预测数据的训练阶段中训练轮次的数目,b是当前训练轮次,而b
max
是最大训练轮次,随着训练轮次的增加,由此式定义的权重λ逐渐滑向0,此时对来自教师预测的输入数据的训练权重逐渐增加,学生网络开始向带有未来预测属性特征的数据特征方向进行拟合。
[0022]
可选的,所述s4中,利用各个部署在不同em中的分布式学生网络对每个vnf的状态通过异常评分函数进行评判;其中学生模型的异常得分表示为潜在损失和表观损失之和,表示为:
[0023]rs
=αla+(1-α)lb[0024]
其中α为la所占权重,使用训练过程中参数wa和wb之比作为超参;
[0025]
当测试数据流x
′
={x
′1,x
′2,...x
′n}进入模型判别时,每个分布式vnf中的生成器对其计算异常得分rs,当得分rs大于评判阈值时,判定当前输入数据存在异常,即第i个vnf存在异常,完成对sfc的异常检测。
[0026]
本发明的有益效果在于:本发明构建了分布式知识蒸馏方法的教师学生网络异常检测架构,实现了sfc中每个vnf能够独立快速进行异常检测,提高了检测准确性和稳定性,
同时提升了整体虚拟网络的鲁棒性,进而增强网络安全性。
[0027]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0028]
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
[0029]
图1为本发明整体流程;
[0030]
图2为本发明架构中空时扩张卷积模块图;
[0031]
图3为本发明训练阶段原理图。
具体实施方式
[0032]
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
[0033]
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
[0034]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
[0035]
参见图1,图1是本发明基于分布式知识蒸馏框架的异常方法的整体流程,第一部分任务在教师网络用给定数据的一部分来预测未来一部分的数据。如图2所示的空时扩张卷积模块。此模块的输入数据包含所属链路时序数据{x1,x2,...,xi}以及空间拓扑信息{g1,g2,...,g
t
},xi表示第i个网元管理器中的时序数据信息,其中表示为各节点的多特征时间序列数据,n为每个节点特征个数。对于每个虚拟机节点v1,v2一直到vm,按照如下方式进行特征融合。
[0036]
特征融合层被构造为将特征向量(即,映射到c维嵌入空间,表示为:
[0037]
[0038][0039]
······
[0040][0041][0042]
其中,n表示节点v具有的特征的不同类别数,其中,n表示节点v具有的特征的不同类别数,分别表示为可学习的参数,“||”表示串联运算符。特征融合模块是实现每个单一的时间戳进行细微的特征融合,融合后的数据将被作为空时扩张卷积模块的输入。
[0043]
在接收通过特征融合层获得每个时间戳处的融合特征之后定义一组扩张卷积核以捕获多个层次的时间模式,其中第1层的卷积模块表示为:
[0044][0045]
其中,表示由c个大小为{a
×
b}的核构成的第一个时态卷积,*是具有零填充的一维卷积算子。
[0046]
经过卷积模块的数据被送入图卷积传播模块中,其中在第k层扩张卷积模块中,将经过特征融合和扩张卷积后的输入记为则将图卷积的分层传播规则表示为:
[0047][0048]
其中,是指具有附加的自连接的无向图g的邻接矩阵,in是单位矩阵,和w
(l)
是层特定的可训练权重矩阵。是具有自环的对角矩阵,和分别是k和k+1图卷积层中的节点表示,wk是参数矩阵,σ是非线性激活函数。
[0049]
此外,在每个gcn时空层中堆叠三个图卷积层来聚合更多的近邻信息,并使用混合跳传播组件来提取高阶空间信息。在图卷积中使用初始残差连接,通过强调初始特征,学习到的特征在经过多个图卷积层后变得更具判别性。逐层传播规则表示为:
[0050][0051]
其中h
(0)
表示本层图卷积模块输出表示,γ是控制初始信息比例的超参数,h
(k)
表示堆叠的k层图卷积的融合。最终图卷积的输出是前面所有层得到的表示的组合:
[0052][0053]
将经过第k层的扩张卷积数据通过图卷积传播模块对相邻节点之间的数据传播融
合,图传播模块中提到将输入看作为z
(k)
,因此定义,当数据经过图传播模块后,将输出看作z
(k)
′
,并将其作为输入数据继续通过下一时态卷积扩张模块。令第k+1层的卷积模块将表示为:
[0054][0055]
经过以上k层扩张卷积模块和k层图卷积模块,编码数据被送入最终的输出层中。输出模块包括两个一维的标准卷积模块,即1
×
lk的标准卷积层,其中lk表示第k个跳跃连接层的输入长度。其主要功能是对跳转到输出模块的信息进行标准化处理,使其具有相同的输出序列长度,将最终结果转化为所需的输出维度序列
[0056]
教师网络的单个教师网络训练完成后,输出预测数据yi并发送给各学生网络emi。{x1,x2,...,xi}为各em层学生网络的原始输入数据,在接收到来自训练完成的教师网络针对各自em层的预测数据yi后,学生网络将{xi,yi}共同作为本层的输入数据,
[0057]
学生模型包含3层编解码器:编码器t1、解码器t2、编码器t3,分别由三个不同的tcn子网组成,使用fi和分别表示emi层部署的学生网络接收到的原始数据的特征序列和重构序列,ri和分别表示fi的潜在表示和的重构潜在表示。两个编码器t1和t3分别对获取的输入数据和输出为潜在表示和解码器t2对进行重构得到
[0058]
在编解码器对数据重构的过程中,联合部署多层感知机的鉴别模块对学生模型进行反馈,其中,多层感知机中用函数d(
·
)来对鉴别模块d建模,其中,d(
·
)是来自真实的正常数据集的概率。在每次反馈更新迭代中,鉴别模块接收来自学生模型中生成的数据流常数据集的概率。在每次反馈更新迭代中,鉴别模块接收来自学生模型中生成的数据流以及真实的原始正常数据流计算损失函数,emi层的损失函数表示为:
[0059][0060]
鉴别模块通过损失函数对求导得到梯度,对鉴别模块的多层感知机的参数进行更新,同时更新学生模型中的编解码器参数。鉴别模块在收到数据流后将数据进行合并,计算出误差项反馈给第i层tcn编解码器进行更新。
[0061]
在知识迁移的任务阶段,emi学生模型包含两个部分的预测损失,一部分是对于教师预测数据的重构损失,另一部分是原始输入数据的重构损失,分别表示为:
[0062][0063][0064]
其中,表示表观损失,通过不断缩小表观损失可使得重构特征序列与特征序列更接近。指的是潜在损失,最终tcn编解码器的总体损失误差表示为:
[0065]
[0066]
其中,为损失函数中以及损失函数的权重。
[0067]
之后学生网络向含有空时特征的未来预测序列信息的y序列数据特征方向拟合。具体来说,渐进式算法对模型输出层的损失进行操作,通过损失层的权重来控制和切换阶段,λ代表当前对相应任务的关注程度,损失项的权重对学习过程有很大的影响,损失值大的任务比损失值小的任务更新得更快。因此将emi学生网络tcn编解码器的总体损失误差重新定义为教师学生模型的加权组合:
[0068][0069]
通过权重参数来调节对两个任务的不同关注。在第一阶段,λ被设置为1,只进行对原始数据的学习任务,因为其他阶段任务的权重为0,停止了其损失的反向传播。在第二阶段,根据训练伦次的个数,λ逐渐减小,直到0,目的是同时学习原始数据和预测数据,逐步将教师知识转移到学生模型。其中,第二阶段中的λ,表示为:
[0070][0071]
其中b1和b3分别是阶段一和阶段二中的训练轮次的数目,b是当前训练轮次,而b
max
是最大纪元的数目。一旦前一阶段的任务训练好,对后面任务的关注就会迅速增加。
[0072]
因此调整训练阶段后,学生模型中编码器模块的t1参数更新表示为:
[0073][0074]
解码器模块的t2参数更新表示为:
[0075][0076]
编码器模块的t3参数更新表示为:
[0077][0078]
在计算得到之后,使用adam优化器对参数进行更新。
[0079]
在模型训练完备后,当输入测试数据时,每个对其计算异常得分,其中学生模型的异常得分表示为潜在损失和表观损失之和,表示为:
[0080]
s=αla+(1-α)lb[0081]
其中α为la所占权重,使用训练过程中参数wa和wb之比作为超参。当异常数据流进入模型判别时,过于偏离正常值的数据流会使异常得分明显偏离于正常值,当评分大于评判阈值时,判定该输入数据存在异常,即该链路当前时刻存在异常。
[0082]
图3为本发明训练阶段和测试阶段原理图。
[0083]
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明
的权利要求范围当中。
技术特征:
1.一种网络功能虚拟化场景下服务功能链异常检测方法,其特征在于:该方法包括以下步骤:s1:在网络功能虚拟化nfv(network function visualization,nfv)环境中,为独立检测服务功能链sfc(service function chain,sfc)中包含的多个虚拟网络功能vnf(visual network function,vnf)性能,构建分布式异常检测架构;s2:为挖掘链路节点时序数据特征之外更深层的空间拓扑信息,采用基于特征融合的空时扩张卷积编码方案作为教师网络的编码方案,利用空间卷积联合扩张卷积共同编码以捕获空时依赖关系;s3:在教师学生网络知识迁移过程中采用渐进式知识蒸馏算法,学生网络接收原始数据和来自s2中教师网络的预测数据作为共同输入,学生网络通过给与这两部分数据的重构损失不同的权重,实现自动化调节学生网络学习阶段;s4:采用学生网络对重构数据的异常得分函数评判vnf(visual network function,vnf)的状态,进而完成对sfc(service function chain,sfc)的异常检测。2.根据权利要求1所述的一种网络功能虚拟化场景下服务功能链异常检测方法,其特征在于:所述s1中,用户请求使得网络功能虚拟化管理与编排nfv mano(vnf management and orchestration,nfv mano)的虚拟化网络功能管理器vnfm(vnf manager,vnfm)部署映射策略,将多个网络功能连接起来以创建端到端服务的机制;分布式异常检测架构将教师网络部署在vnfm中,分布式学生网络部署在每个vnf的网元管理器em(element management,em)中,每个sfc都对应单个教师和分布式的多个学生的异常检测模型,分布在各个em中的学生网络在训练完成后分别对各自所属的单元监测以完成对其整条sfc的异常检测。3.根据权利要求1所述的一种网络功能虚拟化场景下服务功能链异常检测方法,其特征在于:所述s2中,将每个虚拟机节点的各个节点的特征映射到c维嵌入空间进行特征融合;将特征融合得到的输入数据联合sfc节点空间图拓扑信息作为教师模型的输入数据;这些数据被送入空时扩张卷积模块,空时卷积模块包括特征融合层,k层扩张卷积模块以及k个空间传播模块以及输出模块,其中扩张卷积模块每层的卷积核的尺寸不同,以充分融合数据;教师模型经过空时编码模块后通过输出层输出一定步长的预测数据,并作为下一步学生模型的一部分输入。4.根据权利要求1所述的一种网络功能虚拟化场景下服务功能链异常检测方法,其特征在于:所述s3中,在这个知识迁移的过程中,渐进式蒸馏算法首先对原始数据进行学习,权重λ设定为1,随着训练轮次的增加,此权重λ定义为:其中b1和b3分别是完全使用原始数据的训练阶段和完全使用预测数据的训练阶段中训练轮次的数目,b是当前训练轮次,而b
max
是最大训练轮次,随着训练轮次的增加,由此式定义的权重λ逐渐滑向0,此时对来自教师预测的输入数据的训练权重逐渐增加,学生网络开始向带有未来预测属性特征的数据特征方向进行拟合。
5.根据权利要求1所述的一种网络功能虚拟化场景下服务功能链异常检测方法,其特征在于:所述s4中,利用各个部署在不同em中的分布式学生网络对每个vnf的状态通过异常评分函数进行评判;其中学生模型的异常得分表示为潜在损失和表观损失之和,表示为:r
s
=αl
a
+(1-α)l
b
其中α为l
a
所占权重,使用训练过程中参数w
a
和w
b
之比作为超参;当测试数据流x
′
={x1′
,x2′
,...x
n
′
}进入模型判别时,每个分布式vnf中的生成器对其计算异常得分r
s
,当得分r
s
大于评判阈值时,判定当前输入数据存在异常,即第i个vnf存在异常,完成对sfc的异常检测。
技术总结
本发明涉及一种网络功能虚拟化场景下服务功能链异常检测方法,属于移动通信技术领域。该方法包括为:构建基于分布式知识蒸馏框架的时间序列异常检测模型,对每条链路包含的不同虚拟网络功能进行异常检测;为挖掘链路节点时序数据特征之外更深层的空间拓扑信息,采用基于特征融合的空时扩张卷积模块编码方案,利用空间卷积联合扩张卷积共同编码以捕获空时依赖关系;在教师学生网络知识迁移过程中提出渐进式知识蒸馏算法,训练完成后学生模型通过重构数据异常得分衡量该时刻链路中是否存在异常,完成该时刻对于SFC的异常检测。本发明将以上方法相结合,运用到SFC异常检测的场景,提供较高的检测准确性和稳定性。提供较高的检测准确性和稳定性。提供较高的检测准确性和稳定性。
技术研发人员:唐伦 薛呈呈 赵禹辰 陈前斌
受保护的技术使用者:重庆邮电大学
技术研发日:2023.08.30
技术公布日:2023/10/19
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/