基于数据增强的卷积双向长短期记忆网络入侵检测方法与流程

1.本发明涉及信息安全技术领域，尤其涉及基于数据增强的卷积双向长短期记忆网络入侵检测方法。


背景技术：

2.网络攻击已经成为当前互联网安全面临的一个重要问题，越来越多的组织和企业需要采取措施来保护自己的信息系统和网络资源不受攻击，入侵检测技术作为一种重要的网络安全技术，可以对网络中的异常流量进行实时监控和分析，帮助组织和企业及时发现和应对网络攻击事件；入侵检测技术的发展可以追溯到上世纪80年代，当时主要是基于规则的入侵检测技术。这种技术主要是通过预先定义一些规则来识别和报告攻击行为，但是这种技术只能检测到已知的攻击类型，对于未知的攻击行为无法有效应对；随着互联网用户数量急剧增加，促进了各类新兴互联网应用蓬勃发展，网络流量爆发式增长，使得当前网络环境变得复杂而多变，依靠传统方法规则更新数据仓库难以适应多变的网络环境，无法保障网络安全；
3.传统机器学习和深度学习是目前入侵检测领域中主要的两种技术手段，它们都可以用于分析网络流量和系统日志等数据，从而识别网络中的异常流量，发现潜在的攻击行为，传统机器学习技术通常采用一些经典的分类器算法，如knn、贝叶斯网络模型、支持向量机、人工神经网络、随机森林和决策树算法等等，这些算法需要通过对历史数据进行训练，建立模型，并使用该模型来对新数据进行分类，在入侵检测中，这些算法通常需要使用数据预处理技术来提取网络流量和系统日志中的特征，如数据包的大小、协议类型、源地址等，通过这些特征，机器学习算法可以识别出正常和异常流量，并将异常流量分类为攻击或非攻击流量，然而，传统机器学习算法对于高维度和复杂数据的处理效果有限，且需要大量的手工特征工程，存在特征选取和模型泛化能力不足等问题，深度学习通过构建多层神经网络来学习复杂的特征表示，具有较强的自动化特征学习能力，在入侵检测中，深度学习可以直接处理原始的网络流量和系统日志数据，通过多层卷积神经网络、循环神经网络等模型进行学习和分类，识别出潜在的攻击行为，深度学习技术可以克服传统机器学习算法中需要手工设计特征的问题，大大降低了特征工程的复杂度和人工成本，不少研究人员就将其引入到入侵检测领域中，其中的模型主要包括循环神经网络、自编码器、深度神经网络、深度置信网络、卷积神经网络和长短期记忆等等，尽管使用深度学习在入侵检测领域取得了长足的进步，但现有的深度学习技术也存在以下问题，一是关于特征冗余，更多的特征维度不仅会增加模型的训练时间，还会降低模型的检测效果，二是用于评估模型有效性的数据集存在正负类样本不平衡的问题，三是当前模型单一，提取各类型攻击的特征困难，导致对于入侵的多分类检测准确率低的问题，四是对于稀有类攻击样本的检测准确率低的问题。


技术实现要素：

4.为了解决上述技术问题，本发明的目的是提供基于数据增强的卷积双向长短期记
忆网络入侵检测方法，通过构建一种融合数据增强和卷积双向长短期记忆网络，提高模型的多分类的准确率和对于稀有类攻击样本的检测准确率。
5.本发明所采用的第一技术方案是：基于数据增强的卷积双向长短期记忆网络入侵检测方法，包括以下步骤：
6.获取入侵检测数据集，进行非数值特征转换为数值特征处理，并进行独热编码和最小最大值归一化处理，得到预处理后的入侵检测数据集；
7.通过改进的基于密度的噪声应用空间聚类算法与改进的生成对抗网络对预处理后的入侵检测数据集进行样本扩充处理，得到扩充后的入侵检测数据集；
8.通过随机森林算法结合皮尔逊相关系数分析对扩充后的入侵检测数据集进行特征选择处理后再进行特征提取处理，得到入侵检测数据集的特征向量；
9.引入改进的dbscan模块，通过特征关注增强模型对入侵检测数据集的特征向量进行赋予权重处理，得到赋予权重后的入侵检测数据集特征；
10.通过卷积双向长短期记忆网络对赋予权重后的入侵检测数据集特征进行分类处理，得到分类结果，所述分类结果包括正常流量样本与攻击类型流量样本。
11.进一步，所述通过改进的基于密度的噪声应用空间聚类算法与改进的生成对抗网络对预处理后的入侵检测数据集进行样本扩充处理，得到扩充后的入侵检测数据集这一步骤，其具体包括：
12.引入带权的曼哈顿距离，构建改进的基于密度的噪声应用空间聚类算法并对预处理后的入侵检测数据集进行计算处理，得到预处理后的入侵检测数据集对应的聚类簇和离群点；
13.所述预处理后的入侵检测数据集中的聚类簇包括少数类簇样本与多数类簇样本；
14.通过改进的生成对抗网络wgan对预处理后的入侵检测数据集中的少数类簇样本进行过采样处理，通过wasserstein距离度量wgan中的生成器和判别器之间的距离，得到扩充的少数类簇样本；
15.将扩充的少数类簇样本添加至预处理后的入侵检测数据集，得到扩充后的入侵检测数据集。
16.进一步，所述引入带权的曼哈顿距离，构建改进的基于密度的噪声应用空间聚类算法并对预处理后的入侵检测数据集进行计算处理，得到预处理后的入侵检测数据集对应的聚类簇和离群点这一步骤，其具体包括：
17.对于预处理后的入侵检测数据集中的每一个特征，计算其与目标变量之间的pearson相关系数，所述目标变量为攻击流量样本；
18.对获取到的pearson相关系数进行最小-最大归一化处理并映射至[0,1]的范围内，得到归一化的相关系数；
[0019]
将归一化的相关系数作为预处理后的入侵检测数据集中的特征权重；
[0020]
基于预处理后的入侵检测数据集中的特征权重计算流量数据之间的加权曼哈顿距离，并对距离值大于预设阈值的流量数据进行舍弃，选取满足预设距离值的流量数据对应的距离值进行存储，得到距离矩阵；
[0021]
确定邻域半径，计算距离矩阵中处于邻域半径内的流量数据样本个数，若计算得到的流量数据样本个数大于或等于预设数目，定义该流量数据样本为核心点；
[0022]
循环上述确定核心点步骤，直至遍历所有流量数据样本，将得到的核心点进行归类处理，得到聚类簇；
[0023]
对非核心点进行标记处理为噪声点，并归类为离群点。
[0024]
进一步，所述通过随机森林算法结合皮尔逊相关系数分析对扩充后的入侵检测数据集进行特征选择处理后再进行特征提取处理，得到入侵检测数据集的特征向量这一步骤，其具体包括：
[0025]
对扩充后的入侵检测数据集进行选取，得到特征集与目标变量；
[0026]
计算特征集中每个特征与目标变量之间的皮尔逊系数，并按照取绝对值降序排序处理，得到排序序列；
[0027]
根据排序序列选择与目标变量相关性最强的前k个特征作为候选特征集，其中所述k为人为预设条件数；
[0028]
将候选特征集输入至随机森林模型进行训练，得到每个特征在随机森林模型中的重要性得分；
[0029]
选取重要性得分中最高的前n个特征作为最终的特征集对随机森林模型进行训练，并评估训练后的随机森林模型的性能；
[0030]
若所述训练后的随机森林模型的性能不满足预设要求，则重新设置k值进行随机森林模型训练步骤，直至随机森林模型的性能满足预设要求，输出最终的随机森林模型；
[0031]
基于最终的随机森林模型对扩充后的入侵检测数据集进行特征选择，得到入侵检测数据集的特征数据；
[0032]
对入侵检测数据集的特征数据进行预处理，得到入侵检测数据集的特征向量。
[0033]
进一步，所述对入侵检测数据集的特征数据进行预处理，得到入侵检测数据集的特征向量这一步骤，其具体包括：
[0034]
对入侵检测数据集的特征数据进行灰度转换处理，得到转换后的入侵检测数据集的特征数据；
[0035]
基于二维卷积神经网络对转换后的入侵检测数据集的特征数据进行空间特征提取，得到入侵检测数据集的空间特征；
[0036]
基于最大池化层对入侵检测数据集的空间特征进行整合处理，得到入侵检测数据集的特征向量。
[0037]
进一步，所述引入改进的dbscan模块，通过特征关注增强模型对入侵检测数据集的特征向量进行赋予权重处理，得到赋予权重后的入侵检测数据集特征这一步骤，其具体包括：
[0038]
引入改进的dbscan模块，构建特征关注增强模型，所述特征关注增强模型包括卷积层、池化层、改进的dbscan模块、全连接层、重塑层、通道注意力模块和空间注意力模块；
[0039]
基于特征关注增强模型的卷积层和池化层，对入侵检测数据集的特征向量进行卷积池化处理，得到入侵检测数据的特征图；
[0040]
基于特征关注增强模型的改进的dbscan模块，对入侵检测数据的特征图进行簇的注意力计算，得到簇注意力向量矩阵；
[0041]
基于特征关注增强模型的全连接层与重塑层，对簇注意力向量矩阵依次进行全连接处理与重塑处理，得到第一注意力向量和第二注意力向量；
[0042]
将第一注意力向量和第二注意力向量分别输入至通道注意力模块和空间注意力模块，得到对应的通道注意力向量和空间注意力向量；
[0043]
将通道注意力向量和空间注意力向量进行相乘再与簇注意力向量矩阵进行相乘，得到赋予权重后的入侵检测数据集特征。
[0044]
进一步，所述改进的dbscan模块具体包括自适应加权平均池化层、自适应加权最大池化层、全连接层、卷积层、空间注意力层和跳跃连接，其中：
[0045]
基于改进的dbscan模块的自适应加权平均池化层和自适应加权最大池化层，对输入的数据分别进行加权平均池化操作和加权最大池化操作；
[0046]
基于改进的dbscan模块的全连接层，对加权平均池化操作结果与加权最大池化操作结果进行加权拼接计算，得到加权结果；
[0047]
基于改进的dbscan模块的卷积层对加权结果进行卷积操作，得到对应的卷积结果；
[0048]
基于改进的dbscan模块的跳跃连接直接将输入的数据与对应的卷积结果进行加权，得到最终的加权结果；
[0049]
基于改进的dbscan模块的空间注意力层对最终的加权结果进行特征提取。
[0050]
进一步，所述通过卷积双向长短期记忆网络对赋予权重后的入侵检测数据集特征进行分类处理，得到分类结果这一步骤，其具体包括：
[0051]
将赋予权重后的入侵检测数据集特征输入至卷积双向长短期记忆网络，所述卷积双向长短期记忆网络包括cnn神经网络、双向长短期记忆神经网络和softmax函数；
[0052]
基于卷积双向长短期记忆网络的cnn神经网络，对赋予权重后的入侵检测数据集特征进行数据流量特征的空间提取处理，得到入侵检测数据集的空间特征；
[0053]
基于卷积双向长短期记忆网络的双向长短期记忆神经网络，对赋予权重后的入侵检测数据集特征进行数据流量特征的时间提取处理，得到入侵检测数据集的时间特征；
[0054]
将入侵检测数据集的空间特征与入侵检测数据集的时间特征进行结合并通过softmax函数进行分类，得到分类结果。
[0055]
本发明方法的有益效果是：本发明通过基于密度的噪声应用空间聚类算法和改进的生成对抗网络结合对各稀有类数据样本中的簇内样本进行数据扩充，最终实现平衡的数据集，解决数据集中存在正负类样本不平衡的问题，引入随机森林算法结合皮尔逊相关系数分析来进行特征选择，解决特征冗余问题，进一步使用卷积神经网络从网络数据流量中提取空间特征，利用其权值共享特性提高速度；引入双向长短期记忆网络提取时间特征，学习特征之间的依赖关系，避免过拟合问题，提高模型的多分类的准确率；引入改进的注意力机制cbam-as来对特征赋予不同的权重，从而减少开销并提高模型性能，提高模型检测精度和泛化能力，本发明解决了现有的数据集中存在正负类样本不平衡、特征冗余、提高模型的多分类的准确率和对于稀有类攻击样本的检测准确率低的问题，缓解模型的梯度消失问题，有更高的计算效率，增强了模型的泛化能力和鲁棒性。
附图说明
[0056]
图1是本发明基于数据增强的卷积双向长短期记忆网络入侵检测方法的步骤流程图；
[0057]
图2是本发明db-wgans算法生成数据样本的步骤流程图；
[0058]
图3是现有的dbscan算法步骤流程示意图；
[0059]
图4是现有的注意力模块的结构示意图；
[0060]
图5是现有的空间注意力模块的结构示意图；
[0061]
图6是本发明改进的空间注意力模块的结构示意图；
[0062]
图7是本发明构建的cbamas-dbscan模型结构示意图；
[0063]
图8是本发明cnn神经网络结构的示意图；
[0064]
图9是本发明lstm单元的结构示意图；
[0065]
图10是本发明双向长短期记忆神经网络的结构示意图。
具体实施方式
[0066]
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0067]
参照图1，本发明提供了基于数据增强的卷积双向长短期记忆网络入侵检测方法，该方法包括以下步骤：
[0068]
s1、对于原始数据集，将非数值特征转换为数值特征，并且进行独热编码和最小最大值归一化处理；
[0069]
s2、对预处理过的数据集使用提出的db-wgan方法对少数类样本进行样本生成，经过数据增强后得到新的数据集；
[0070]
具体地，目前入侵检测的数据集如kdd99、nsl-kdd、unsw-nb15、cic-ids 2017数据集等，它们中的正常流量数量远远大于异常流量数据，数据样本分类极其不平衡，这就容易导致过拟合现象；
[0071]
本发明使用基于密度的噪声应用空间聚类(dbscan)和改进的生成对抗网络(wgan)结合进行样本扩充，生成稀有类攻击样本，平衡数据集；
[0072]
dbscan是一种基于密度的聚类算法，它能够自动识别具有高密度区域的数据点，并将它们划分为一个簇，dbscan能够处理任意形状的簇，并且能够有效地识别和过滤掉噪声点；
[0073]
在dbscan中，通过两个参数来定义密度，分别是eps和最小点数minpts，eps表示邻域半径，指定一个数据点的邻域半径为eps，如果在该半径内的点数大于等于minpts，则该数据点为核心点；如果在该半径内的点数小于minpts，则该数据点为噪声点；如果在该半径内的点数大于等于minpts，但是该点不是核心点，则该点为边界点；
[0074]
现有的dbscan算法的过程如下，参照图3：
[0075]
(1)随机选择一个未访问的数据点p；
[0076]
(2)计算数据点p的邻域内的所有点，如果邻域内的点的数量大于等于minpts；
[0077]
(3)则标记为核心点，并将邻域内的所有点加入到一个新的簇中；
[0078]
(4)如果邻域内的点的数量小于minpts，则将p标记为噪声点；如果邻域内的点的数量大于等于minpts，但是p不是核心点，则将p标记为边界点；
[0079]
(5)对于一个新的簇，继续扩展该簇，直到邻域内的所有点都被访问过；
[0080]
(6)重复上述步骤，直到所有的数据点都被访问过。
[0081]
本发明改进的dbscan算法如下；
[0082]
使用带权的曼哈顿距离计算每个样本和其他样本的距离，并基于权重距离进行剪枝存储在距离矩阵中，通过计算样本在eps半径内的样本个数来判断是否为核心点，这样避免对每个样本都进行重复邻域搜索，从而提高计算效率；
[0083]
传统的计算距离公式通常使用欧式距离或曼哈顿距离，本发明通过在计算曼哈顿距离时引入每个特征的权重，可以有效避免噪声对聚类精度的影响，特征权重通过pearson系数计算并归一化处理得到，其具体步骤为：
[0084]
(1)对于数据集中的每一个特征，计算其与目标变量(即是否为攻击)之间的pearson相关系数ρ；
[0085][0086]
(2)将相关系数使用最小-最大归一化处理将其映射到[0,1]的范围内，将每个归一化的相关系数作为该特征的权重wi；
[0087][0088]
(3)计算每个样本和其他样本之间的加权曼哈顿距离，可以通过设定距离阈值，将距离大于域值的数据点剪去，最后将距离存储在一个距离矩阵中；
[0089]
加权的曼哈顿距离公式为：
[0090][0091]
上式中，wi为第i个特征的权重，|x
i-yi|是两个样本在第i个特征上差值的绝对值；
[0092]
(4)对于每个样本，从距离矩阵中统计其在eps半径内的样本个数，如果个数大于或等于minpts，则该样本标记为核心点；
[0093]
(5)对于每个核心点，找到所有在eps半径内的样本，将它们添加到该核心点的邻域中，所有位于核心点邻域内的样本被归类为同一簇；
[0094]
(6)重复步骤(5)，直到找不到新的样本可以添加到邻域中；
[0095]
(7)非核心点被标记为噪声点。
[0096]
本发明改进的dbscan算法相较于传统dbscan方法能够更好的反映数据点之间的相似度，传统的距离计算没有考虑到不同样本之间的权重差异，使用加权的曼哈顿距离可以为不同样本引入不同的权重系数，更好的考虑不同特征之间的重要性，可以有效避免噪声对聚类精度的影响，每个簇都是由样本相关性高的样本聚集在一起，提高聚类的准确性；
[0097]
传统dbscan方法需要计算每一个核心点，并且搜索所有点判断是否在邻域内，每一次找到核心点都要进行重复的计算所有的点，效率低并且浪费计算机资源。本方法计算距离并剪枝存储在矩阵中，当一个样本与其他样本的加权距离小于阈值时，才被视为邻居点，提高效率和准确性。判断是否为核心点，只需要从距离矩阵中找到样本并统计数目，无需再次计算遍历找邻域点，可以快速寻找到核心点，避免了传统方法中对每个样本都进行邻域搜索，从而有效的减少计算量，提高聚类的速度，并且对于已经确定核心点的样本，在
搜索邻域时只需考虑邻域内的样本，也可以加快计算速度，减少资源浪费，提高聚类效率；
[0098]
本发明改进的dbscan算法使用加权的曼哈顿距离计算距离，能够提高聚类的精准度，通过基于距离阈值的剪枝并将其结果存入距离矩阵，减少了相关距离计算，加快聚类收敛时间，从而提高聚类效率，
[0099]
生成性对抗网络(gan)是一类强大的生成性模型，它将生成性建模转化为两个网络之间的博弈：生成器(g)网络产生给定的噪声源的合成数据，而鉴别器(d)网络区分生成器的输出和真实数据，生成器和鉴别器之间的博弈作为模型的目标函数，其表达式如下：
[0100]
mingmaxdv(d,g)＝e
x～pdata(x)
[logd(x)]-e
z～pz(z)
[log(1-d(g(z)))]
[0101]
上式中，p_data(x)表示真实样本分布，p_z表示噪声变量分布，g(z)表示将噪声映射到数据空间的函数，x～～g(z)，以及d(x)表示样本x是真实数据的概率；
[0102]
本发明使用的是wgan，即wasserstein gan，是一种生成对抗网络(gan)的改进版本，旨在克服传统gan中存在的一些问题，wgan通过引入一种新的目标函数，即wasserstein距离，来改进gan的训练和性能；
[0103]
在传统的gan中，生成器和判别器之间的训练是通过最小化jensen-shannon散度(js散度)来完成的，然而，js散度在训练过程中存在一些问题，例如梯度消失和模式崩溃等问题，相比之下，wasserstein距离更加稳定，能够避免这些问题的发生；
[0104]
wasserstein距离是一种用于衡量两个分布之间差异的距离指标，它可以更好地描述分布之间的几何特征，因此在gan中使用wasserstein距离可以更准确地度量生成器和判别器之间的距离，从而提高gan的训练稳定性和生成质量；
[0105]
wgan的训练过程与传统gan类似，但是它使用的是wasserstein距离来度量生成器和判别器之间的距离，在wgan中，判别器不再输出0到1之间的概率值，而是输出一个实数，表示生成器生成的样本与真实数据之间的距离，然后，生成器被更新以最小化这个距离，而不是最小化js散度，wasserstein距离又叫earth-mover(em)距离，定义如下：
[0106]
mingmaxdv(d,g)＝e
x～pdata(x)
[d(x)]-e
z～pz(z)
[d(g(z))]-λ
·
penalty
[0107]
上式中，d(x)表示判别器对真实样本的输出，d(g(z))表示判别器对生成器生成的样本g(z)的输出，penalty表示梯度惩罚项，λ为超参数，用于控制梯度惩罚项的影响程度；
[0108]
判别器的目标是尽可能地提高d(x)的输出值，同时尽可能地降低d(g(z))的输出值，使得能够准确地区分真实样本和生成样本，梯度惩罚项用于强制使得判别器的输出函数满足lipschitz连续性条件，从而保证wasserstein距离的可导性和有界性；
[0109]
参照图2，db-wgans算法生成数据样本具体步骤如下：
[0110]
(1)首先需要对原始数据集进行预处理，包括独热编码、最小-最大值归一化等操作；
[0111]
(2)对预处理过的数据集应用dbscan算法，得到聚类簇和离群点；
[0112]
(3)对于少数类簇中的样本，使用wgan进行过采样，生成更多的少数类样本。wgan使用生成器网络来生成新的数据样本；
[0113]
(4)将生成的新数据样本添加到原始数据集中，以扩充数据集，平衡数据集。
[0114]
s3、使用prf算法，随机森林算法结合皮尔逊(pearson)相关系数分析来计算特征的重要性并进行特征选择，之后将得到的特征数据转换为灰度图；
[0115]
具体地，特征选择是指从原始数据中选择最具有代表性的特征子集，以便构建高
效的机器学习模型，本发明使用随机森林算法结合皮尔逊(pearson)相关系数分析来进行特征选择，降低数据维度，解决特征冗余的问题，提高模型的泛化能力和预测性能，同时减少模型的计算量和存储空间，减少了模型训练时间；
[0116]
皮尔逊相关系数用于衡量两个变量x和y之间的相关性，取值范围为(-1,1)，皮尔逊相关系数是通过计算两个特征值之间的协方差和标准差并通过以下公式引用得到的：
[0117][0118]
皮尔逊相关系数在-1到1之间变化，如果皮尔逊相关系数接近于
±
1，则表明两个特征之间的相关性很高，并且这种关系可以很好地用线性方程表示，如果皮尔逊相关系数接近于零，则说明两个特征之间不存在线性关系；
[0119]
随机森林算法(rf)是一种使用决策树作为基础学习器的集成学习算法。在特征工程中，rf算法可以从大量的样本特征中识别出重要的特征。该算法的本质是分析计算样本的每个特征在树中的贡献度，然后计算其平均值并比较特征之间的贡献度来识别重要特征..本发明以袋外数据错误率作为评估指标进行评估；
[0120]
所述随机森林算法步骤为：
[0121]
(1)对每个基础学习器，选择对应的袋外数据(剩余的一些未被选择的样本)，计算其误差，记为error_a；
[0122]
(2)对袋外数据全样本随机加入扰动，计算其误差，记为error_b；
[0123]
(3)假设森林中有m棵树，则某个特征的importance值如下：
[0124][0125]
因此，本发明的特征选择具体步骤为：
[0126]
(1)从原始数据中选取出特征集和目标变量；
[0127]
(2)计算特征集中每个特征与目标变量之间的皮尔逊系数，并将它们按照绝对值从大到小排序；
[0128]
(3)选择与目标变量相关性最强的前k个特征作为候选特征集，其中k可以根据实际情况设置；
[0129]
(4)使用候选特征集训练一个随机森林模型，并计算每个特征在模型中的重要性得分；
[0130]
(5)按照重要性得分从高到低排序，选择得分最高的前n个特征作为最终的特征集，其中n可以根据实际情况设置；
[0131]
(6)使用最终的特征集训练模型，并评估模型的性能。如果性能仍然不够好，可以回到步骤(3)，调整k值，重新选择候选特征集；
[0132]
s4、通过二维卷积神经网络对输入的数据进行空间特征的提取，然后通过最大池化层(maxpooling)对空间特征进行整合，数据经过本层的处理，大大减少了数据量的计算，提高模型的效率；
[0133]
s5、db-cbam-as更高效和精准的聚类数据，进一步提取关键的空间特征，使得特征表达的更加准确，可以使得模型更加注重重要的簇，对于噪声点或者较小的簇则降低其注意力权重，从而使得模型的注意力更加精细化，并且缓解梯度消失的问题；
[0134]
具体地，cbam是一种注意力机制，可以被添加到卷积神经网络(cnn)中，以提高其在图像识别任务上的性能，cbam模块包括两种类型的注意机制：空间注意和通道注意。空间注意力集中在输入图像的哪些区域对进行预测是重要的，而通道注意力则集中在特征图的哪些通道对进行预测是重要的，如图4和图5所示为传统的注意力模块；
[0135]
参照图6，为本发明改进的空间注意力模块，其表达式为：
[0136][0137]
其中，跳跃连接是一种从一个层直接连接到后续层的技术，它可以传递来自上一层的信息，有助于缓解梯度消失或梯度爆炸的问题；自适应池化是一种池化操作，它可以根据输入特征图对不同位置的重要性对不同位置的特征进行不同的加权；
[0138]
本发明提出将自适应加权池化和跳跃连接应用于在cbam的空间注意力通道中，更好的适应不同维度的输入，使用自适应加权平均池化和自适应加权最大池化来计算每个通道的权重，具体实现如下，空间注意力模块中：在前向传播中，先对输入特征图进行自适应平均池化和自适应最大池化操作，然后在全连接层使用相应的权重进行加权，最后将加权的结果拼接输出到卷积层进行卷积和加权操作，在最后引入跳跃连接，使网络更加深层，使得网络可以捕捉更加抽象和复杂的特征，提高了特征提取能力，从而提高模型的准确率和鲁棒性，缓解了传统的cbam中训练时出现梯度消失的问题。加权自适应池化可以更好捕获空间特征，且进一步提高模型的性能，获得更高的计算效率，增强了模型的泛化能力。
[0139]
本发明创造性的提出一种通过特征关注增强模型的方法：db-cbam-as，将cbam-as模型进行改进，添加改进的dbscan模块处理输入的特征，经过全连接层得到每个簇的权重并将其转化为向量矩阵，随后将权重矩阵作为cbam的注意力输入，在通道注意力中簇权重作为全局权重与输入特征图进行加权，从而改变每个通道的重要性，在空间注意力中作为空间注意力权重与输入特征图进行加权，不同空间位置的重要性，实现更好的特征提取并行计算通道注意力和空间注意力，参照图7为本发明的db-cbam-as模型示意图；
[0140]
本发明的db-cbam-as模型的控制方法具体如下所示：
[0141]
(1)输入特征图经过卷积层和池化层，得到特征图f；
[0142]
(2)将f输入到改进的dbscan聚类模块中，计算得到每个簇的注意力向量ai，将簇注意力向量可以视为簇的注意力权重，将所有簇注意力向量ai连接起来得到一个簇注意力向量矩阵a，公式如下：
[0143][0144][0145][0146]
假设第i个簇有ni个数据点，特征维度为d，x
ij
表示第i簇的第j个数据点的特征向量，ci表示第i个簇的特征向量，s
ij
表示该簇的第j个数据点与特征向量的余弦相似度，ai表示该第i个簇的注意力向量，其中使用softmax对向量进行归一化，将归一化后的相似度向量作为簇的注意力向量；
[0147]
(3)将a输入到一个全连接层，按照聚类簇的顺序，与输入数据的顺序对应起来，得到一个注意力向量a
′
并将经过重塑层，重塑为a
′
_c和a
′
_s；
[0148]
(4)将a
′
_c和a
′
_s分别输入到通道注意力模块和空间注意力模块，得到对应的通道注意力向量c和空间注意力向量s，其表达式为；
[0149][0150][0151]
上式中，表示逐元素相乘，+是特征相加；
[0152]
(5)将c和s进行相乘得到最终的注意力向量f，其表达式为：
[0153][0154]
(6)将改进的dbscan中得到的注意力权重与cbam-as得到的注意力权重f相乘，得到加权后的特征图f
′
，其表达式为：
[0155][0156]
在最终的输入数据中，不同簇的数据点被赋予了不同的权重，同时cbam-as模型中的注意力机制也对输入数据进行了加权处理，该方法具有更好的特征表达，改进的dbscan可以更高效和精准的聚类数据，在cbam中结合改进的空间注意力，能够进一步提取关键的空间特征，使得特征表达的更加准确，可以使得模型更加注重重要的簇，对于噪声点或者较小的簇则降低其注意力权重，从而使得模型的注意力更加精细化，提高了入侵检测的准确性和鲁棒性。同时这个模型结构可以自适应调整聚类的参数，对于不同的数据集可以进行有效的聚类，使得模型的适应性更强并且缓解梯度消失的问题。
[0157]
s6、最大池化层(maxpooling)之后是批量归一化层(batch normalization)，它可以对中间层之间的参数进行归一化，以防止训练时间变慢；
[0158]
s7、接着使用bi-lstm层对数据的时间特征进行提取，cnn结构在提取数据流量的空间特征方面更为有效，但其对长距离相关信息的提取能力一般；bilsmt结构在提取长距离依赖信息方面更有效，将两者结合起来，提高模型学习特征的能力，可以从空间和时间两个维度充分提取特征，从而达到更高的分类检测精度；
[0159]
具体地，卷积神经网络(convolutional neural network，简称cnn)是一种常用的神经网络结构，特别适用于处理图像和视频数据，cnn的主要思想是通过卷积操作提取图像中的特征，然后通过池化操作减小特征图的尺寸，最终通过全连接层实现分类或回归等任务，cnn具有局部连接和权值共享的特点，可以大大减少网络的参数量，提高网络的训练速度和泛化能力，近年来，cnn已经在图像分类、目标检测、人脸识别、自然语言处理等领域取得了很多成功应用；
[0160]
参照图8，在本发明中使用conv2d层，优点如下：首先是参数共享，在卷积神经网络中，每个卷积核权重都与整个图像的每个部分共享，这种参数共享减少了需要学习的参数数量，同时可以有效地提高模型的泛化能力，其次conv2d层能够在输入图像的不同区域之间共享信息，保留输入图像的空间结构，而不是将其视为一维数据。这种空间信息保留有助于卷积神经网络捕捉图像中的局部模式和特征，conv2d层使用的卷积操作具有局部性质，即输出中的每个元素只取决于输入中对应的局部区域，这种局部性质使得conv2d层的计算可以高度并行化，从而提高了模型训练和推理的速度，最后是数据增强，conv2d层通常与其
bilstm)的网络异常流量检测方法，通过基于密度的噪声应用空间聚类(dbscan)算法和改进的生成对抗网络(wgan)结合对各稀有类数据样本中的簇内样本进行数据扩充，最终实现平衡的数据集，解决数据集中存在正负类样本不平衡的问题。引入随机森林算法结合皮尔逊(pearson)相关系数分析来进行特征选择，解决特征冗余问题，本发明使用卷积神经网络(cnn)从网络数据流量中提取空间特征，利用其权值共享特性提高速度；引入双向长短期记忆网络(bilstm)提取时间特征，学习特征之间的依赖关系，避免过拟合问题，提高模型的多分类的准确率；引入改进的注意力机制cbam-as来对特征赋予不同的权重，从而减少开销并提高模型性能，提高模型检测精度和泛化能力；
[0175]
本发明相较于现有的技术相比，解决了数据集中存在正负类样本不平衡的问题、特征冗余问题、提高模型的多分类的准确率和对于稀有类攻击样本的检测准确率低的问题，缓解模型的梯度消失问题，有更高的计算效率，增强了模型的泛化能力和鲁棒性。
[0176]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.基于数据增强的卷积双向长短期记忆网络入侵检测方法，其特征在于，包括以下步骤：获取入侵检测数据集，进行非数值特征转换为数值特征处理，并进行独热编码和最小最大值归一化处理，得到预处理后的入侵检测数据集；通过改进的基于密度的噪声应用空间聚类算法与改进的生成对抗网络对预处理后的入侵检测数据集进行样本扩充处理，得到扩充后的入侵检测数据集；通过随机森林算法结合皮尔逊相关系数分析对扩充后的入侵检测数据集进行特征选择处理后再进行特征提取处理，得到入侵检测数据集的特征向量；引入改进的dbscan模块，通过特征关注增强模型对入侵检测数据集的特征向量进行赋予权重处理，得到赋予权重后的入侵检测数据集特征；通过卷积双向长短期记忆网络对赋予权重后的入侵检测数据集特征进行分类处理，得到分类结果，所述分类结果包括正常流量样本与攻击类型流量样本。2.根据权利要求1所述基于数据增强的卷积双向长短期记忆网络入侵检测方法，其特征在于，所述通过改进的基于密度的噪声应用空间聚类算法与改进的生成对抗网络对预处理后的入侵检测数据集进行样本扩充处理，得到扩充后的入侵检测数据集这一步骤，其具体包括：引入带权的曼哈顿距离，构建改进的基于密度的噪声应用空间聚类算法并对预处理后的入侵检测数据集进行计算处理，得到预处理后的入侵检测数据集对应的聚类簇和离群点；所述预处理后的入侵检测数据集中的聚类簇包括少数类簇样本与多数类簇样本；通过改进的生成对抗网络wgan对预处理后的入侵检测数据集中的少数类簇样本进行过采样处理，通过wasserstein距离度量wgan中的生成器和判别器之间的距离，得到扩充的少数类簇样本；将扩充的少数类簇样本添加至预处理后的入侵检测数据集，得到扩充后的入侵检测数据集。3.根据权利要求2所述基于数据增强的卷积双向长短期记忆网络入侵检测方法，其特征在于，所述引入带权的曼哈顿距离，构建改进的基于密度的噪声应用空间聚类算法并对预处理后的入侵检测数据集进行计算处理，得到预处理后的入侵检测数据集对应的聚类簇和离群点这一步骤，其具体包括：对于预处理后的入侵检测数据集中的每一个特征，计算其与目标变量之间的pearson相关系数，所述目标变量为攻击流量样本；对获取到的pearson相关系数进行最小-最大归一化处理并映射至[0,1]的范围内，得到归一化的相关系数；将归一化的相关系数作为预处理后的入侵检测数据集中的特征权重；基于预处理后的入侵检测数据集中的特征权重计算流量数据之间的加权曼哈顿距离，并对距离值大于预设阈值的流量数据进行舍弃，选取满足预设距离值的流量数据对应的距离值进行存储，得到距离矩阵；确定邻域半径，计算距离矩阵中处于邻域半径内的流量数据样本个数，若计算得到的流量数据样本个数大于或等于预设数目，定义该流量数据样本为核心点；
循环上述确定核心点步骤，直至遍历所有流量数据样本，将得到的核心点进行归类处理，得到聚类簇；对非核心点进行标记处理为噪声点，并归类为离群点。4.根据权利要求3所述基于数据增强的卷积双向长短期记忆网络入侵检测方法，其特征在于，所述通过随机森林算法结合皮尔逊相关系数分析对扩充后的入侵检测数据集进行特征选择处理后再进行特征提取处理，得到入侵检测数据集的特征向量这一步骤，其具体包括：对扩充后的入侵检测数据集进行选取，得到特征集与目标变量；计算特征集中每个特征与目标变量之间的皮尔逊系数，并按照取绝对值降序排序处理，得到排序序列；根据排序序列选择与目标变量相关性最强的前k个特征作为候选特征集，其中所述k为人为预设条件数；将候选特征集输入至随机森林模型进行训练，得到每个特征在随机森林模型中的重要性得分；选取重要性得分中最高的前n个特征作为最终的特征集对随机森林模型进行训练，并评估训练后的随机森林模型的性能；若所述训练后的随机森林模型的性能不满足预设要求，则重新设置k值进行随机森林模型训练步骤，直至随机森林模型的性能满足预设要求，输出最终的随机森林模型；基于最终的随机森林模型对扩充后的入侵检测数据集进行特征选择，得到入侵检测数据集的特征数据；对入侵检测数据集的特征数据进行预处理，得到入侵检测数据集的特征向量。5.根据权利要求4所述基于数据增强的卷积双向长短期记忆网络入侵检测方法，其特征在于，所述对入侵检测数据集的特征数据进行预处理，得到入侵检测数据集的特征向量这一步骤，其具体包括：对入侵检测数据集的特征数据进行灰度转换处理，得到转换后的入侵检测数据集的特征数据；基于二维卷积神经网络对转换后的入侵检测数据集的特征数据进行空间特征提取，得到入侵检测数据集的空间特征；基于最大池化层对入侵检测数据集的空间特征进行整合处理，得到入侵检测数据集的特征向量。6.根据权利要求5所述基于数据增强的卷积双向长短期记忆网络入侵检测方法，其特征在于，所述引入改进的dbscan模块，通过特征关注增强模型对入侵检测数据集的特征向量进行赋予权重处理，得到赋予权重后的入侵检测数据集特征这一步骤，其具体包括：引入改进的dbscan模块，构建特征关注增强模型，所述特征关注增强模型包括卷积层、池化层、改进的dbscan模块、全连接层、重塑层、通道注意力模块和空间注意力模块；基于特征关注增强模型的卷积层和池化层，对入侵检测数据集的特征向量进行卷积池化处理，得到入侵检测数据的特征图；基于特征关注增强模型的改进的dbscan模块，对入侵检测数据的特征图进行簇的注意力计算，得到簇注意力向量矩阵；
基于特征关注增强模型的全连接层与重塑层，对簇注意力向量矩阵依次进行全连接处理与重塑处理，得到第一注意力向量和第二注意力向量；将第一注意力向量和第二注意力向量分别输入至通道注意力模块和空间注意力模块，得到对应的通道注意力向量和空间注意力向量；将通道注意力向量和空间注意力向量进行相乘再与簇注意力向量矩阵进行相乘，得到赋予权重后的入侵检测数据集特征。7.根据权利要求6所述基于数据增强的卷积双向长短期记忆网络入侵检测方法，其特征在于，所述改进的dbscan模块具体包括自适应加权平均池化层、自适应加权最大池化层、全连接层、卷积层、空间注意力层和跳跃连接，其中：基于改进的dbscan模块的自适应加权平均池化层和自适应加权最大池化层，对输入的数据分别进行加权平均池化操作和加权最大池化操作；基于改进的dbscan模块的全连接层，对加权平均池化操作结果与加权最大池化操作结果进行加权拼接计算，得到加权结果；基于改进的dbscan模块的卷积层对加权结果进行卷积操作，得到对应的卷积结果；基于改进的dbscan模块的跳跃连接直接将输入的数据与对应的卷积结果进行加权，得到最终的加权结果；基于改进的dbscan模块的空间注意力层对最终的加权结果进行特征提取。8.根据权利要求7所述基于数据增强的卷积双向长短期记忆网络入侵检测方法，其特征在于，所述通过卷积双向长短期记忆网络对赋予权重后的入侵检测数据集特征进行分类处理，得到分类结果这一步骤，其具体包括：将赋予权重后的入侵检测数据集特征输入至卷积双向长短期记忆网络，所述卷积双向长短期记忆网络包括cnn神经网络、双向长短期记忆神经网络和softmax函数；基于卷积双向长短期记忆网络的cnn神经网络，对赋予权重后的入侵检测数据集特征进行数据流量特征的空间提取处理，得到入侵检测数据集的空间特征；基于卷积双向长短期记忆网络的双向长短期记忆神经网络，对赋予权重后的入侵检测数据集特征进行数据流量特征的时间提取处理，得到入侵检测数据集的时间特征；将入侵检测数据集的空间特征与入侵检测数据集的时间特征进行结合并通过softmax函数进行分类，得到分类结果。

技术总结
本发明公开了基于数据增强的卷积双向长短期记忆网络入侵检测方法，该方法包括：获取入侵检测数据集；通过改进的DBSCAN聚类算法与改进的WGAN对预处理后的入侵检测数据集进行样本扩充处理；通过随机森林算法结合皮尔逊相关系数分析对扩充后的入侵检测数据集进行特征选择处理后再进行特征提取处理；通过特征关注增强模型对入侵检测数据集的特征向量进行赋予权重处理；通过CNN-BiLSTM对赋予权重后的入侵检测数据集特征进行分类处理。本发明通过构建一种融合数据增强和卷积双向长短期记忆网络，提高模型的多分类的准确率和对于稀有类攻击样本的检测准确率。本发明作为基于数据增强的卷积双向长短期记忆网络入侵检测方法，可广泛应用于信息安全技术领域。广泛应用于信息安全技术领域。广泛应用于信息安全技术领域。


技术研发人员：柳毅 刘东 巫朝平 谢嘉乐 黎阳 余家丽 毕玲滢
受保护的技术使用者：佳都科技集团股份有限公司
技术研发日：2023.06.20
技术公布日：2023/9/20