一种基于模型迁移的智能抽水蓄能电站在线入侵检测方法与流程

1.本发明属于入侵检测系统领域，尤其涉及一种基于模型迁移的智能抽水蓄能电站在线入侵检测方法。


背景技术：

2.智能抽水蓄能电站通过在用电低谷时抽水蓄能存储电荷，在用电高峰时当作电源释放电能，有助于电网调频调峰以及黑启动，消除新能源大规模并网引起电网频率偏差和电压波动等影响，有效减少火电机组深度调峰启停次数，从而提高电网能源利用率。
3.然而，作为电网中重要的调峰填谷节点，基于5g技术的智能抽水蓄能电站工控系统，在利用超高带宽和超大规模连接实现全息信息采集、远程控制、和应急指挥任务的同时，病毒、木马等威胁也正在蔓延，其面临的信息安全问题日益突出。
4.因此，入侵检测系统是保障智能电网安全的关键。入侵检测系统利用机器学习或深度学习在海量数据上构建模型从而识别异常行为，但随着时间推移智能抽水蓄电站工控系统会不断有新型攻击出现且新型攻击数据数量通常极少，使得基于大量数据的机器学习方法难以有效学习从而导致检测性能下降。
5.为此，相关研究提出了基于迁移学习的入侵检测系统，有效解决了数据缺乏的问题。但目前基于迁移学习的入侵检测系统的相关研究假设目标域数据均已存在，并采用离线学习模型对所有数据进行训练。这就造成设计出的入侵检测系统训练效率低，无法满足工控系统网络动态变化的特性。


技术实现要素：

6.本发明的目的在于，针对现有相关研究基于目标域数据均已存在的假设从而使用离线学习模型造成训练效率低的问题，提供一种基于模型迁移的智能抽水蓄能电站在线入侵检测方法。
7.为此，本发明的上述目的通过如下技术方案实现：
8.一种基于模型迁移的智能抽水蓄能电站在线入侵检测方法，其特征在于：所述方法包括如下步骤：
9.s1：采用nsl-kdd数据集作为实验数据并对该数据集进行数据预处理；
10.s2：构建入侵检测源域离线模块，并利用经步骤s1预处理的数据完成对入侵检测源域离线模块的训练；
11.s3：构建目标域在线入侵检测模块，并使用步骤s2收敛的入侵检测源域离线模块利用迁移学习初始化目标域在线入侵检测模块，并当新数据到来时利用在线学习的方法进行实时更新从而实现对新攻击的检测，提高训练效率。
12.在采用上述技术方案的同时，本发明还可以采用或者组合采用如下技术方案：
13.作为本发明的一种优选技术方案：所述步骤s1具体包括如下步骤：
14.s101：数据集的选取；
15.nsl-kdd数据集中包含四种攻击类型：dos(拒绝服务攻击)、probe(监视和其他探测活动)、u2r(普通用户对超级用户特权的非法访问)和r2l(来自远程机器的非法访问)和normal(正常数据)；
16.nsl-kdd数据集中包含训练集kddtrain+和测试数据集kddtest+且kddtest+中相对于kddtrain+中增加了分属于上述四大类攻击的17种新攻击数据，因此，采用其作为实验数据；
17.s102：数据预处理；
18.本发明对源域、目标域间类别不平衡问题不作重点研究，因此，将kddtest+中的r2l和u2r中的部分数据划分到kddtrain+中，使两个数据集中的类别占比大致相同，将调整后的kddtrain+作为源域数据集，kddtest+作为目标域数据集，对目标域和源域的数据进行独热编码、数据归一化以及二维化以便于后续对数据进行特征提取。
19.作为本发明的一种优选技术方案：所述步骤s2具体包括如下步骤：
20.s201：构建源域特征提取器；
21.利用卷积神经网络的经典结构lenet-5在源域数据上建立特征提取模型，提取通用的底层知识；将lenet-5除输出层外的网络结构作为特征提取器，并将经步骤s1预处理的数据作为特征提取器的输入，输出为提取出的特征向量；
22.s202：构建源域分类器；
23.elm是一种由输入层、隐藏层和输出层组成的单隐层前馈神经网络，输入层和隐藏层之间的权重和偏置是随机选取的，确定隐藏节点数量后，只需通过最小二乘法计算隐藏层和输出层之间的权重，训练速度快，泛化性能较好，并且可以扩展为在线学习方法os-elm，对数据进行增量学习，因此，采用elm作为源域分类器，elm分类器的工作原理如下：
24.随机选取elm分类器的输入和隐藏节点间的权重a和偏置b，确定隐藏节点的大小选择sigmoid函数作为隐藏节点的激活函数h，如下式所示，其中x为输入数据；
[0025][0026]
elm的隐藏层输出矩阵h、隐藏层和输出层之间的输出权重矩阵β和标签向量矩阵t分别表示为：
[0027][0028]
其中，输入的类别总数为m，输入特征维数为n的n个任意样本(xi，ti)，输入样本xi＝(x1，x2，...，xn)∈rn，样本标签ti＝(t1，t2，...，tn)∈rm；
[0029]
elm分类器的输出函数定义为：
[0030]
f(x)＝arg max h(x)β
[0031]
训练源域分类器可以看做从源域数据中提取知识，将步骤s201所提取出的特征向量作为elm分类器的输入；设源域数据集中有ns个训练样本，elm训练过程相当于优化目标为最小化源域分类器的输出权重矩阵βs和每个源域样本训练误差的平方之和：
[0032][0033][0034]
其中，c为正则化参数，(xi，ti),i＝1,2,...,ns为ns个源域样本，由拉格朗日乘子法可求得源域分类器的输出权重矩阵：
[0035][0036]
其中，βs为源域分类器的输出权重矩阵，h为源域分类器的隐藏层输出矩阵，h
t
为h的转置矩阵，ts为源域数据的标签向量矩阵。
[0037]
作为本发明的一种优选技术方案：所述步骤s3具体包括如下步骤：
[0038]
s301：利用模型迁移方法构建目标域在线入侵检测模块；
[0039]
将步骤s2中所构建的入侵检测源域离线模块的源域特征提取器迁移至在线模块，构建在线模块特征提取器；此外，将入侵检测源域离线模块的源域训练的分类器进行迁移，构建tos-elm的初始化模型；为将从源域学到的知识迁移到目标域，加入一项最小化目标域分类器参数β
t
和源域分类器参数βs之间的欧氏距离，优化目标如下：
[0040][0041][0042]
其中，μ为惩罚参数，c为正则化参数，为已存在的目标域样本，β
t
为目标域分类器的输出权重矩阵，βs为源域分类器的输出权重矩阵，为每个目标域样本的训练误差；参与初始化的训练数据量要大于或等于隐藏节点的数量；根据源域和目标域之间相似性的不同，μ并非越大越好，当μ可以更准确的描述两者之间的相似性时，目标域分类器能够学习到合适程度的源域知识，从而得到更高的准确度；反之则会造成负迁移，使得分类准确度比无迁移时低；
[0043]
根据拉格朗日乘子法求得目标域权重矩阵β
t
：
[0044][0045]
其中，β
t
为源域输出权重矩阵，h为目标域分类器的隐藏层输出矩阵，h
t
为h的转置矩阵，t
t
为目标域数据的标签向量矩阵；
[0046]
s302：在线更新目标域在线入侵检测模块；
[0047]
实际中新数据往往是在线到来的，因此，需要对模型进行在线训练更新，以及时进行检测；当第k轮，为新到来的目标域数据，由于n
t
和nk均为目标域数据，模型在已经获得的目标域数据和新到来的目标域数据上的训练误差应当尽可能小，此时优化目标变为：
[0048][0049][0050]
[0051]
根据s301中的目标域权重矩阵可得：
[0052][0053]
设
[0054]
其中，
[0055]
此时，在目标域权重矩阵公式中：
[0056][0057]
其中，h
t
为已经获得的目标域数据的隐藏层矩阵，hk为新到来的目标域数据的隐藏层矩阵，t
t
为已经获得的目标域数据的标签，tk为新到来的目标域数据的标签，将其带入到目标域权重矩阵公式可得：
[0058][0059]
令：
[0060][0061]
将pk用p
t
表示：
[0062][0063]
根据woodbury矩阵逆引理，将pk用p
t
的递推形式求出：
[0064][0065]
由此，可得βk用β
t
的递推形式的表示：
[0066][0067]
其中，β
t
、βs、tk和hk均为已知矩阵，pk可以在p
t
的基础上递推得到，由此，新数据到来时，tos-elm分类器的输出权重矩阵βk可以通过旧模型递推得到，无需利用之前获得的数据进行重新训练，因此训练速度较快。
[0068]
s303：构建集成分类器；
[0069]
考虑到单个分类器的性能不稳定，因此，利用集成学习方法；由于不同分类器有不同偏好，即使某个分类器预测错误，其他分类器也可以进行纠正；在初始化过程中，根据不同的惩罚参数μ，构建l个tos-elm基模型，根据每个基模型在新数据上的性能，赋予不同的权重；集成系统在新样本上的分类性能可能会下降，因此，当集成系统准确率不达标时，则构建新模型，替换权重最低的模型，来缓解这一问题；
[0070]
在分类问题中，衡量模型性能优劣的主要标准是模型的分类准确度(accuracy)；入侵检测领域通常将攻击样本定义为正类，正常样本定义为反类，定义如下四种情况：tp为真正例，代表将攻击样本被正确分类的数量；tn为真反例，代表将正常样本被正确分类的数量；fn为假反例，代表将正常样本判断为攻击样本的数量；fp为假正例，代表将攻击样本判断为正常样本的数量，则准确度表示为：
[0071][0072]
当第k轮新数据到来时，定义累计准确度
[0073][0074]
其中，itemn为第n个基分类器当前迭代更新的次数，根据第n个基分类器在第k轮新数据上的准确度和之前itemn轮的累计准确度分数计算得到
[0075]
根据各个模型的及下式更新模型权重
[0076][0077]
初始值为1/l；当第n个模型的累计的acc分数大于平均值时，其权重上升；基模型在新数据样本上的准确度越高，权重越高；惩罚参数μ的取值对源域和目标域相似性描述更准确的分类器，会得到更高的集成权重；根据权重组合基模型，根据软投票法，集成模型的输出为：
[0078][0079]
其中，sn(x)为第n个基模型对样本x属于类别m的预测概率，对l个分类器的输出加权求和后，取概率最大的类别m作为最终的输出类别。
[0080]
作为本发明的一种优选技术方案：步骤s3中，还可以再利用集成学习多个分类器的方式进一步提高系统对异常行为的检测准确度。
[0081]
本发明提供一种基于模型迁移的智能抽水蓄能电站在线入侵检测方法，通过将迁移学习与入侵检测机制结合，有效解决了有关新型攻击数据匮乏的问题；同时，将迁移学习与在线学习结合构建基于迁移学习的在线入侵检测方法显著提高了模型的训练效率以及对新型攻击的检测率，在解决现有相关技术训练效率低的同时也克服了数据匮乏的问题。同时，本发明所提供的方法训练时间更短，更适用于实时性要求较高的智能抽水蓄能电站入侵检测系统。
附图说明
[0082]
图1为本发明所提供的基于模型迁移的智能抽水蓄能电站在线入侵检测方法的框架图。
[0083]
图2为lenet-5网络结构图。
[0084]
图3为kddtrain+和kddtest+数据分布图。
[0085]
图4为tos-elm在不同μ值下的性能图。
[0086]
图5为算法分类准确度对比图。
[0087]
图6为算法分类误报率对比图。
[0088]
图7为算法检测率对比图。
[0089]
图8为算法在线训练时间对比图。
具体实施方式
[0090]
参照附图和具体实施例对本发明作进一步详细地描述。
[0091]
如图1所示，一种基于模型迁移的智能抽水蓄能电站在线入侵检测方法(cnn-toselm)，具体包括以下步骤：
[0092]
s1：采用nsl-kdd数据集作为实验数据并对该数据集进行数据预处理；
[0093]
s2：构建入侵检测源域离线模块，并利用经步骤s1预处理的数据完成对入侵检测源域离线模块的训练；
[0094]
s3：构建目标域在线入侵检测模块，并使用步骤s2收敛的入侵检测源域离线模块利用迁移学习初始化目标域在线入侵检测模块，并当新数据到来时利用在线学习的方法进行实时更新从而实现对新攻击的检测，提高训练效率。
[0095]
此外，再利用集成学习多个分类器的方式进一步提高系统对异常行为的检测准确度。
[0096]
步骤s1具体为：
[0097]
s101：数据集的选取。nsl-kdd数据集中包含四种攻击类型：dos(拒绝服务攻击)、probe(监视和其他探测活动)、u2r(普通用户对超级用户特权的非法访问)和r2l(来自远程机器的非法访问)和normal(正常数据)。此外，nsl-kdd数据集中包含训练集kddtrain+和测试数据集kddtest+且kddtest+中相对于kddtrain+中增加了分属于上述四大类攻击的17种新攻击数据，因此采用其作为实验数据。
[0098]
s102：数据预处理。由于本发明对源域、目标域间类别不平衡问题不作重点研究，因此将kddtest+中的r2l和u2r中的部分数据划分到kddtrain+中，使两个数据集中的类别占比大致相同，图3所示为源域及目标域数据分布图。将调整后的kddtrain+作为源域数据集，kddtest+作为目标域数据集。对目标域和源域的数据进行独热编码、数据归一化以及二维化以便于后续对数据进行特征提取。经过调整后目标域每类攻击中新攻击的类型和数量如下表1所示：
[0099]
表1 调整后目标域中新攻击类别及数量
[0100][0101]
步骤s2具体为：
[0102]
s201：构建入侵检测源域离线模块中的源域特征提取器。如图2所示，本发明利用卷积神经网络的经典结构lenet-5在源域数据上建立特征提取模型，提取通用的底层知识。本发明将lenet-5除输出层外的网络结构作为特征提取器并将步骤1预处理的数据作为特征提取器的输入，输出为提取出的特征向量。
[0103]
s202：构建入侵检测源域离线模块中的源域分类器。elm是一种由输入层、隐藏层和输出层组成的单隐层前馈神经网络，输入层和隐藏层之间的权重和偏置是随机选取的，确定隐藏节点数量后，只需通过最小二乘法计算隐藏层和输出层之间的权重，训练速度快，
泛化性能较好，并且可以扩展为在线学习方法os-elm，对数据进行增量学习。因此本发明采用elm作为源域分类器，elm分类器的工作原理如下：
[0104]
随机选取elm分类器的输入和隐藏节点间的权重a和偏置b，确定隐藏节点的大小选择sigmoid函数作为隐藏节点的激活函数，如下式所示，其中x为输入数据。
[0105][0106]
elm的隐藏层输出矩阵h、隐藏层和输出层之间的输出权重矩阵β和标签向量矩阵t分别表示为：
[0107][0108]
其中，输入的类别总数为m，输入特征维数为n的n个任意样本(xi，ti)，输入样本xi＝(x1，x2，...，xn)∈rn，样本标签ti＝(t1，t2，...，tn)∈rm。
[0109]
elm分类器的输出函数定义为：
[0110]
f(x)＝arg max h(x)β
[0111]
训练源域分类器可以看做从源域数据中提取知识，将步骤201提取出的特征向量作为elm分类器的输入。设源域数据集中有ns个训练样本，elm训练过程相当于优化目标为最小化输出权重矩阵βs和每个样本训练误差的平方之和：
[0112][0113][0114]
其中，c为正则化参数，(xi，ti),i＝1,2,...,ns为ns个源域样本，由拉格朗日乘子法可求得源域分类器的输出权重矩阵：
[0115][0116]
步骤s3具体为：
[0117]
s301：模型迁移；将步骤s2中构建的源域特征提取器迁移至在线模块完成对在线模块特征提取器的初始化。此外，将源域分类器进行迁移，构建tos-elm的初始化模型。为将从源域学到的知识迁移到目标域，加入一项最小化目标域分类器参数β
t
和源域分类器参数βs之间的欧氏距离，优化目标如下：
[0118][0119][0120]
其中，μ为惩罚参数，c为正则化参数，为已存在的目标域样本。参与初始化的训练数据量要大于或等于隐藏节点的数量。根据源域和目标域之间相似性的不同，μ并非越大越好，当μ可以更准确的描述两者之间的相似性时，目标域分类器能够学习到合适程度的源域知识，从而得到更高的准确度。反之则会造成负迁移，使得分类准确度比
无迁移时低。图4表示tos-elm在不同μ值下的性能图，左图为准确率，右图为误报率。
[0121]
根据拉格朗日乘子法求得目标域权重矩阵β
t
：
[0122][0123]
s302：在线更新。实际中新数据往往是在线到来的，因此需要对模型进行在线训练更新，以及时进行检测。当第k轮，为新到来的目标域数据，由于n
t
和nk均为目标域数据，模型在已经获得的目标域数据和新到来的目标域数据上的训练误差应当尽可能小，此时优化目标变为：
[0124][0125][0126][0127]
根据步骤s301中的目标域权重矩阵可得：
[0128][0129]
设其中
[0130]
此时在目标域权重矩阵公式中：
[0131][0132]
其中，h
t
为已经获得的目标域数据的隐藏层矩阵，hk为新到来的目标域数据的隐藏层矩阵，t
t
为已经获得的目标域数据的标签，tk为新到来的目标域数据的标签，将其带入到权重矩阵公式可得：
[0133][0134]
令：
[0135][0136]
将pk用p
t
表示：
[0137][0138]
根据woodbury矩阵逆引理，将pk用p
t
的递推形式求出：
[0139][0140]
由此可得βk用β
t
的递推形式的表示：
[0141][0142]
上式中，β
t
、βs、tk和hk均为已知矩阵，pk可以在p
t
的基础上递推得到，由此，新数据到来时，tos-elm分类器的输出权重矩阵βk可以通过旧模型递推得到，无需利用之前获得的数据进行重新训练。因此训练速度较快。
[0143]
步骤303：构建集成分类器。考虑到单个分类器的性能不稳定，因此利用集成学习方法。由于不同分类器有不同偏好，即使某个分类器预测错误，其他分类器也可以进行纠正。在初始化过程中，根据不同的惩罚参数μ，构建l个tos-elm基模型，根据每个基模型在新数据上的性能，赋予不同的权重。集成系统在新样本上的分类性能可能会下降，因此当集成系统准确率不达标时，则构建新模型，替换权重最低的模型，来缓解这一问题。
[0144]
在分类问题中，衡量模型性能优劣的主要标准是模型的分类准确度(accuracy)。入侵检测领域通常将攻击样本定义为正类，正常样本定义为反类，定义如下四种情况：tp为真正例，代表将攻击样本被正确分类的数量；tn为真反例，代表将正常样本被正确分类的数量；fn为假反例，代表将正常样本判断为攻击样本的数量；fp为假正例，代表将攻击样本判断为正常样本的数量。则准确度表示为：
[0145][0146]
当第k轮新数据到来时，定义累计准确度
[0147][0148]
其中itemn为第n个基分类器当前迭代更新的次数，根据第n个基分类器在第k轮新数据上的准确度和之前itemn轮的累计准确度分数计算得到根据各个模型的根据下式更新模型权重
[0149][0150]
初始值为1/l。当第n个模型的累计的acc分数大于平均值时，其权重上升。基模型在新数据样本上的准确度越高，权重越高。惩罚参数μ的取值对源域和目标域相似性描述更准确的分类器，会得到更高的集成权重。根据权重组合基模型，根据软投票法，集成模型的输出为：
[0151][0152]
其中，sn(x)为第n个基模型对样本x属于类别m的预测概率，对l个分类器的输出加权求和后，取概率最大的类别m作为最终的输出类别。
[0153]
本发明选取3个算法作为对比算法，分别为：基于样本的迁移学习的tradaboost方法，模型微调方法cnn-finetune以及无迁移的卷积神经网络cnn方法。
[0154]
图5为本发明与其他三种方法的五分类准确度对比。如图5所示，当数据量较少时，由于结合了预训练cnn良好的特征提取能力和tos-elm能够借助源域分类器模型参数的知识的能力，本发明cnn-toselm准确度更高。当数据逐渐增多，由于cnn-toselm方法只在线学习新到达的数据，因此，准确率逐渐低于学习所有数据的tradaboost。
[0155]
图6为本发明与其他三种方法的五分类误报率对比。如图6所示，cnn-toselm相比cnn-finetune方法和cnn方法，平均误报率更低。主要原因在于：一是由于迁移模型的过程中，提取到了源域数据中大量正常流量中所蕴含的知识；二是由于集成学习可以综合多个
分类器的输出结果。tradaboost方法训练直接使用源域的大量正常数据，更多的学习到正常流量的特征，因此，误报率更低。
[0156]
图7为算法检测率对比图。当数据量较少时，本发明方法的检测率相比其他三种方法更高。由于tradaboost方法训练过程中直接利用了源域数据和目标数据，其中正常数据远多于新攻击数据，因此，当目标域数据较少时，tradaboost对攻击数据的检测率相对本发明方法较低。随目标域数据增多，tradaboost方法对所有数据进行学习，因此，检测率逐渐高于本发明方法。但从总体来看，本发明方法的平均检测率更高。
[0157]
图8为本发明和对比算法的训练时间对比图。从图8中，可以看出相比其他方法，在达到较优的检测性能的同时，本发明训练时间更短，更适用于实时性要求较高的智能抽水蓄能电站入侵检测系统。
[0158]
上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都落入本发明的保护范围。

技术特征：
1.一种基于模型迁移的智能抽水蓄能电站在线入侵检测方法，其特征在于：所述方法包括如下步骤：s1：采用nsl-kdd数据集作为实验数据并对该数据集进行数据预处理；s2：构建入侵检测源域离线模块，并利用经步骤s1预处理的数据完成对入侵检测源域离线模块的训练；s3：构建目标域在线入侵检测模块，并使用步骤s2收敛的入侵检测源域离线模块利用迁移学习初始化目标域在线入侵检测模块，当新数据到来时利用在线学习的方法进行实时更新从而实现对新攻击的检测，提高训练效率。2.根据权利要求1所述的基于模型迁移的智能抽水蓄能电站在线入侵检测方法，其特征在于：所述步骤s1具体包括如下步骤：s101：数据集的选取；nsl-kdd数据集中包含四种攻击类型：dos、probe、u2r和r2l和normal；nsl-kdd数据集中包含训练集kddtrain+和测试数据集kddtest+且kddtest+中相对于kddtrain+中增加了分属于上述四大类攻击的17种新攻击数据，因此，采用其作为实验数据；s102：数据预处理；将kddtest+中的r2l和u2r中的部分数据划分到kddtrain+中，使两个数据集中的类别占比大致相同，将调整后的kddtrain+作为源域数据集，kddtest+作为目标域数据集，对目标域和源域的数据进行独热编码、数据归一化以及二维化以便于后续对数据进行特征提取。3.根据权利要求1所述的基于模型迁移的智能抽水蓄能电站在线入侵检测方法，其特征在于：所述步骤s2具体包括如下步骤：s201：构建入侵检测源域离线模块中的源域特征提取器；利用卷积神经网络的经典结构lenet-5在源域数据上建立特征提取模型，提取通用的底层知识；将lenet-5除输出层外的网络结构作为源域特征提取器，并将经步骤s1预处理的数据作为源域特征提取器的输入，输出为提取出的特征向量；s202：构建入侵检测源域离线模块中的源域分类器；elm是一种由输入层、隐藏层和输出层组成的单隐层前馈神经网络，输入层和隐藏层之间的权重和偏置是随机选取的，确定隐藏节点数量后，只需通过最小二乘法计算隐藏层和输出层之间的权重，训练速度快，泛化性能较好，并且可以扩展为在线学习方法os-elm，对数据进行增量学习，因此，采用elm作为源域分类器，elm分类器的工作原理如下：随机选取elm分类器的输入和隐藏节点间的权重a和偏置b，确定隐藏节点的大小选择sigmoid函数作为隐藏节点的激活函数h，如下式所示，其中x为输入数据；elm的隐藏层输出矩阵h、隐藏层和输出层之间的输出权重矩阵β和标签向量矩阵t分别表示为：
其中，输入的类别总数为m，输入特征维数为n的n个任意样本(x
i
，t
i
)，输入样本x
i
＝(x1，x2，...，x
n
)∈r
n
，样本标签t
i
＝(t1，t2，...，t
n
)∈r
m
；elm分类器的输出函数定义为：f(x)＝arg max h(x)β训练源域分类器可以看做从源域数据中提取知识，将步骤s201所提取出的特征向量作为elm分类器的输入；设源域数据集中有n
s
个训练样本，elm训练过程相当于优化目标为最小化源域分类器的输出权重矩阵β
s
和每个源域样本训练误差的平方之和：之和：其中，c为正则化参数，(x
i
，t
i
),i＝1,2,...,n
s
为n
s
个源域样本，由拉格朗日乘子法可求得源域分类器的输出权重矩阵β
s
：其中，β
s
为源域分类器的输出权重矩阵，h为源域分类器的隐藏层输出矩阵，h
t
为h的转置矩阵，t
s
为源域数据的标签向量矩阵。4.根据权利要求1所述的基于模型迁移的智能抽水蓄能电站在线入侵检测方法，其特征在于：所述步骤s3具体包括如下步骤：s301：利用模型迁移方法构建目标域在线入侵检测模块；将步骤s2中所构建的入侵检测源域离线模块的源域特征提取器迁移至在线模块，构建目标域在线入侵检测模块的特征提取器；此外，将入侵检测源域离线模块的源域分类器进行迁移，构建tos-elm的初始化模型；为将从源域学到的知识迁移到目标域，加入一项最小化目标域分类器参数β
t
和源域分类器参数β
s
之间的欧氏距离，优化目标如下：之间的欧氏距离，优化目标如下：其中，μ为惩罚参数，c为正则化参数，为已存在的目标域样本，β
t
为目标域分类器的输出权重矩阵，β
s
为源域分类器的输出权重矩阵，为每个目标域样本的训练误差；参与初始化的训练数据量要大于或等于隐藏节点的数量；根据源域和目标域之间相似性的不同，μ并非越大越好，当μ可以更准确的描述两者之间的相似性时，目标域分类器能够学习到合适程度的源域知识，从而得到更高的准确度；反之则会造成负迁移，使得分类准确度比无迁移时低；根据拉格朗日乘子法求得目标域权重矩阵β
t
：
其中，β
t
为源域输出权重矩阵，h为目标域分类器的隐藏层输出矩阵，h
t
为h的转置矩阵，t
t
为目标域数据的标签向量矩阵；s302：在线更新目标域在线入侵检测模块；实际中新数据往往是在线到来的，因此，需要对模型进行在线训练更新，以及时进行检测；当第k轮，为新到来的目标域数据，由于n
t
和n
k
均为目标域数据，模型在已经获得的目标域数据和新到来的目标域数据上的训练误差应当尽可能小，此时优化目标变为：目标变为：目标变为：根据s301中的目标域权重矩阵可得：设其中，此时，在目标域权重矩阵公式中：其中，h
t
为已经获得的目标域数据的隐藏层矩阵，h
k
为新到来的目标域数据的隐藏层矩阵，t
t
为已经获得的目标域数据的标签，t
k
为新到来的目标域数据的标签，将其带入到目标域权重矩阵公式可得：令：将p
k
用p
t
表示：根据woodbury矩阵逆引理，将p
k
用p
t
的递推形式求出：由此，可得β
k
用β
t
的递推形式的表示：
其中，β
t
、β
s
、t
k
和h
k
均为已知矩阵，p
k
可以在p
t
的基础上递推得到；s303：构建集成分类器；考虑到单个分类器的性能不稳定，因此，利用集成学习方法；由于不同分类器有不同偏好，即使某个分类器预测错误，其他分类器也可以进行纠正；在初始化过程中，根据不同的惩罚参数μ，构建l个tos-elm基模型，根据每个基模型在新数据上的性能，赋予不同的权重；集成系统在新样本上的分类性能可能会下降，因此，当集成系统准确率不达标时，则构建新模型，替换权重最低的模型，来缓解这一问题；在分类问题中，衡量模型性能优劣的主要标准是模型的分类准确度；入侵检测领域通常将攻击样本定义为正类，正常样本定义为反类，定义如下四种情况：tp为真正例，代表将攻击样本被正确分类的数量；tn为真反例，代表将正常样本被正确分类的数量；fn为假反例，代表将正常样本判断为攻击样本的数量；fp为假正例，代表将攻击样本判断为正常样本的数量，则准确度表示为：当第k轮新数据到来时，定义累计准确度当第k轮新数据到来时，定义累计准确度其中，item
n
为第n个基分类器当前迭代更新的次数，根据第n个基分类器在第k轮新数据上的准确度和之前item
n
轮的累计准确度分数计算得到根据各个模型的及下式更新模型权重及下式更新模型权重及下式更新模型权重初始值为1/l；当第n个模型的累计的acc分数大于平均值时，其权重上升；基模型在新数据样本上的准确度越高，权重越高；惩罚参数μ的取值对源域和目标域相似性描述更准确的分类器，会得到更高的集成权重；根据权重组合基模型，根据软投票法，集成模型的输出为：其中，s
n
(x)为第n个基模型对样本x属于类别m的预测概率，对l个分类器的输出加权求和后，取概率最大的类别m作为最终的输出类别。5.根据权利要求1所述的基于模型迁移的智能抽水蓄能电站在线入侵检测方法，其特征在于：步骤s3中，还可以再利用集成学习多个分类器的方式进一步提高系统对异常行为的检测准确度。

技术总结
本发明提供一种基于模型迁移的智能抽水蓄能电站在线入侵检测方法，包括如下步骤：S1：采用NSL-KDD数据集作为实验数据并对该数据集进行数据预处理；S2：构建入侵检测源域离线模块，并利用经步骤S1预处理的数据完成对入侵检测源域离线模块的训练；S3：构建目标域在线入侵检测模块，并使用步骤S2收敛的入侵检测源域离线模块利用迁移学习初始化目标域在线入侵检测模块，并当新数据到来时利用在线学习的方法进行实时更新从而实现对新攻击的检测，提高训练效率。本发明将迁移学习与在线学习结合构建基于迁移学习的在线入侵检测方法显著提高了模型的训练效率以及对新型攻击的检测率，在解决现有相关技术训练效率低的同时也克服了数据匮乏的问题。数据匮乏的问题。数据匮乏的问题。


技术研发人员：宗悦 罗远林 赖昕杰 郑波 吴月超 邹雯 徐涵
受保护的技术使用者：中国电建集团华东勘测设计研究院有限公司
技术研发日：2022.10.19
技术公布日：2023/9/22