基于改进AdaRNN的电力负荷预测方法及系统与流程

基于改进adarnn的电力负荷预测方法及系统
技术领域
1.本发明属于电力负荷预测技术领域，具体涉及一种基于改进adarnn的电力负荷预测方法及系统。


背景技术：

2.目前能源结构正在从以石油、天然气和煤炭为主的化石能源转向以风能和太阳能为主的可再生能源，另外氢、氨等低碳或零碳等可再生能源在供应结构中的比例不断提高。电气化的开始和能源储存技术的发展正在加速能源转型。
3.在能源转型过程中，如何更好的对能源管理、规划和控制是一个复杂任务。电力负荷预测在解决这些问题中扮演着相当重要的角色。短期的负荷预测可以估计负荷流，并且做出避免超载的决定，这样可以提高电网的可靠性，降低设备故障和停电的频率，除此之外，准确的负荷估计不仅可以优化未来的机组设备，还可以识别计划、控制活动中的风险因素。
4.电力负荷预测的数据属于时间序列数据，基于传统数理统计模型的针对具有非平稳性和强随机性的时序数据预测难以获得准确的预测结果。近年来，深度学习在电力负荷预测中得到广泛应用，取得了良好的结果。例如申请号为cn202110153953.1的中国专利文献，公开了一种基于非线性时间序列算法的电力负荷预测方法及系统，该方法改进了经典时间序列算法构建电力负荷模型时只基于历史用电数据单一指标以及线性模型的问题，加入温度、节假日多重影响因素，同时，加入了非线性回归内核，提升电力负荷模型预测精度。另外该方法在构建电力负荷模型过程中，采用基于bp神经网络回归模型的自动化寻优方法，如异常数据检测方法、自适应数据平稳化方法、自动模型定阶方法，大量减少了人工调参工作量，有效降低模型构建难度，进一步提高模型构建效率和预测精度。但是该方法针对时序数据中的分布偏移问题并没有得到很好的解决。
5.目前，rnn(recurrentneural network，循环神经网络)是解决时间序列预测问题的主要网络框架，在语义识别、图像理解和自然语言处理等方面已经相当成熟。而针对时序数据中的分布偏移问题，现有技术研究了非平稳时间序列的时序分布漂移(tcs)问题，并提出adarnn(adaptive learning and forecasting of timeseries，时间序列的自适应学习和预测模型)框架使得rnn模型可以更好地泛化。但是，由于adarnn模型是面向各类时间序列的模型框架，adarnn模型的直接应用并不能获取较优的电力负荷预测结果。因此本发明在adarnn的基础上，对时序分布匹配部分做出改进，提出self-attentive adarnn模型。


技术实现要素：

6.本发明的目的之一在于提供一种基于改进adarnn的电力负荷预测方法，解决时序数据中分布偏移问题，输出准确率高的电力负荷预测数据。
7.为实现上述目的，本发明所采取的技术方案为：
8.一种基于改进adarnn的电力负荷预测方法，所述基于改进adarnn的电力负荷预测
方法，包括：
9.采集电力负荷数据集，并划分为训练集和测试集；
10.构建self-attentive adarnn模型，所述self-attentive adarnn模型包括时序分布表征部分和时序分布匹配部分，所述时序分布匹配部分采用self-attentive深度学习方法学习不同隐藏层之间的重要性参数；
11.基于所述训练集训练所述self-attentive adarnn模型，并在测试集测试通过后输出最终的self-attentive adarnn模型；
12.利用最终的self-attentive adarnn模型根据历史电力负荷数据，输出电力负荷预测数据。
13.以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
14.作为优选，所述时序分布表征部分，基于最大熵原理，通过计算最不相似两个区间的共有特征来确定分割数据的区间。
15.作为优选，所述计算最不相似两个区间的共有特征来确定分割数据的区间，对应的目标函数如下：
[0016][0017][0018]
式中，k表示区间总数，k0为超参数，ni表示第i个区间的长度，1≤i≤k，d(
·
，
·
)为距离度量函数，di表示第i个区间，dj表示第j个区间，δ1与δ2为设置的超参数，n为所有区间的总长度。
[0019]
作为优选，所述区间总数的确定过程如下：
[0020]
初始化区间的最小长度，并给出候选集合；
[0021]
在所述区间的最小长度的约束下，采用贪婪算法遍历所述候选集合，并基于所述目标函数输出候选集合中作为区间总数的值。
[0022]
作为优选，所述self-attentive adarnn模型训练中的总损失为预测损失和不同区间之间的分布损失的权重和。
[0023]
作为优选，所述预测损失，对应的损失函数如下：
[0024][0025]
式中，l
pred
(θ)表示在参数θ下self-attentive adarnn模型的预测损失，k表示区间总数，dj表示第j个区间，l(
·
，
·
)表示损失函数，表示区间dj中的第i个特征，为特征的标签，m(
·
；
·
)表示self-attentive adarnn模型。
[0026]
作为优选，所述不同区间之间的分布损失，对应的损失函数构建如下：
[0027]
对于一对区间di，dj，计算两者的正则项表示为：
[0028][0029]
式中，l
dm
(di，dj；θ)表示在参数θ下区间di，dj的正则项，表示区间di的第v个隐藏状态，表示区间dj的第v个隐藏状态；
[0030]
基于两个区间之间的正则项，加入不同隐藏状态之间的重要性参数α，则区间di，dj之间的匹配项表示为：
[0031][0032]
式中，l
tdm
(di，dj；θ，α)表示引入重要性参数α后，在参数θ下区间di，dj的匹配项，表示在第t个隐藏状态时区间di，dj的重要性参数，表示区间di的第t个隐藏状态，表示区间dj的第t个隐藏状态，v为隐藏状态总数，表示隐藏状态和之间的距离度量值，并且隐藏状态和的求解如下：
[0033][0034][0035]
式中，σ(
·
，
·
)为sigmiod函数，表示对应于区间di的第t个隐藏层的输入，表示对应于区间di的第t-1个隐藏层的输出，表示对应于区间dj的第t个隐藏层的输入，表示对应于区间dj的第t-1个隐藏层的输出；
[0036]
则得到损失函数如下：
[0037][0038]
式中，l
tdm
(θ)表示在参数θ下self-attentive adarnn模型的分布损失。
[0039]
作为优选，所述重要性参数α采用self-attentive深度学习方法进行求解，具体如下：
[0040]
self-attentive深度学习方法中的查询矩阵q、键矩阵k和值矩阵v的计算如下：
[0041][0042][0043][0044]
式中，为第h个子空间的参数矩阵，qh表示第h个子空间的查询矩阵，kh表示第h个子空间的键矩阵，vh表示第第h个子空间的值矩阵；
[0045]
在第h个子空间中，隐藏状态和隐藏状态之间的相关权重计算如下：
[0046][0047]
式中，headn表示第h个注意力头的输出，v为隐藏状态总数；
[0048]
则得到在第t个隐藏状态时区间di，dj的重要性参数为：
[0049][0050]
式中，wo为权重矩阵，h为子空间总数，1≤h≤h。
[0051]
作为优选，所述self-attentive adarnn模型中的rnn网络为单层gru网络，所述单层gru网络的隐藏层数与self-attentive深度学习方法中嵌入向量的维度相同。
[0052]
作为优选，所述self-attentive adarnn模型的预测中，利用前q期的历史电力负荷数据，预测后一期的电力负荷数据，q＞1。
[0053]
本发明提供的一种基于改进adarnn的电力负荷预测方法，对时序分布匹配部分做出改进，引入self-attentive深度学习方法学习不同隐藏层之间的重要性参数，解决时序数据中分布偏移问题，输出准确率高的电力负荷预测数据。
[0054]
本发明的目的之二在于提供一种基于改进adarnn的电力负荷预测系统，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于改进adarnn的电力负荷预测方法的步骤。
附图说明
[0055]
图1为本发明的一种基于改进adarnn的电力负荷预测方法的流程图；
[0056]
图2为本发明的self-attentive adarnn模型中时序分布表征部分结构示意图；
[0057]
图3为本发明的self-attentive adarnn模型中时序分布匹配部分结构示意图。
具体实施方式
[0058]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。
[0060]
如图1所示，本实施例的一种基于改进adarnn的电力负荷预测方法，具体包括以下步骤：
[0061]
步骤1、采集电力负荷数据集，并划分为训练集和测试集。
[0062]
在模型优化阶段，主要为利用采集的数据集优化模型参数，因此本实施例将采集的电力负荷数据集划分为训练集和测试集，训练集用于训练优化模型，测试集用于完成对模型的测试评估。
[0063]
在其他实施例中，还可以根据实际需要将采集的数据集划分为训练集、验证集和测试集，训练集(train set)用于训练模型(拟合参数)，验证集(validation set)用于确定
网络结构或者控制模型复杂程度的超参数(拟合超参数)，是模型训练过程中单独留出的样本集，用于调整模型的超参数和用于对模型的能力进行初步评估。通常用来在模型迭代训练时，用以验证当前模型泛化能力(准确率，召回率等)，防止过你话的现象出现，以决定如何调整超参数。测试集(test set)用来评估模最终模型的性能，测试集没有参于训练，主要是测试训练好的模型的准确能力等，但不能作为调参、选择特征等算法相关的选择的依据
[0064]
本实施例数据取自某平台，选取某市2020年1月至2022年8月的数据，时间间隔为1分钟。该数据包含1381320条记录，包含日期、环境信息(例如天气、温度、湿度等)和电力负荷值。经过数据清洗后，还剩1278432条数据。数据划分按照6:1:1的比例划分训练集、验证集、测试集，2020年1月-2021年12月的数据为训练集，2022年1月-2022年4月为验证集，2022年5月-2022年8月为测试集。本实施例中数据的评价标准采用均方根误差rmse和平均绝对百分比误差mae，计算公式如下所示：
[0065][0066][0067]
式中，l为样本数量，x
l
为实际的电力负荷值，为预测的电力负荷值，1≤l≤l。
[0068]
步骤2、构建self-attentive adarnn模型，self-attentive adarnn模型包括时序分布表征部分和时序分布匹配部分，时序分布匹配部分采用self-attentive深度学习方法学习不同隐藏层之间的重要性参数。
[0069]
为了使得adarnn模型符合电力负荷预测，本实施例对adarnn模型进行改进，提出self-attentive adarnn模型。在adarnn模型的时序分布匹配部分，α是学习不同隐藏层之间的重要性参数，常规的adarnn模型使用的是机器学习boosting集成方法，该方法无法适应于电力负荷数据存在分布偏移的问题，因此本实施例把隐藏层之间的重要性计算方法改变为self-attention(自注意力机制)深度学习方法。
[0070]
本实施例首先表征时间序列中的分布信息，然后通过匹配时间段的分布，建立时间预测模型m。如图2所示，在表征分布阶段，通过最大限度提高不同区间的不相似性来确定分割，使得区间之间分布较大；如图3所示，在匹配段，预测模型m通过rnn与带有自注意力机制的正则化项对未来进行预测。
[0071]
对于给定一个时序其中即长度为mi的特征数量为p的序列，为相关xi的标签。本实施例中的模型的目的是：训练预测模型m：xi→
yi在未来的r∈n
+
步中预测即根据历史数据，预测未来r期的值。本实施例中，不仅是训练段和测试段的时序数据的分布是不同的，而且训练段的序列在不同的时间段的分布也是不一样的。
[0072]
给定某训练数据和测试数据，其分布可以表示为p
train
(x，y)和p
test
(x，y)，协变量偏移可以表示为边际概率分布不同，条件概率分布相同，用公式可以表示为：p
train
(x)≠p
test
(x)和p
train
(y|x)＝p
test
(y|x)。上述内容描述的是在非时间序列中的数据，在时间序列
中的定义如下。给定一包含n个标记段时间序列d，假设其可以被分成k个区间，即d＝{d1，d2，...，dk}，其中时间协变量是指在di区间的数据都服从在不同区间的边际概率分布不同，条件概率相同，用公示表示即为：对于1≤i≠j≤k，有在不同区间的边际概率分布不同，条件概率相同，用公示表示即为：对于1≤i≠j≤k，有
[0073]
本发明的学习目标就是在包含k个区间的训练数据中，学习预测模型m：xi→
yi，使得该模型能包含这些区间的共有特征，这样能区间有着良好的预测。这里本发明假定预测的条件概率分布和训练中的条件概率分布是一致的，用公示可以表示为：1≤i≤k，为：1≤i≤k，
[0074]
(1)时序分布表征部分。
[0075]
在协变量偏移的情况下，基于最大熵原理，通过计算最不相似两个区间的共有特征来确定分割数据的区间。本实施例构建对应的目标函数如下：
[0076][0077][0078]
式中，k表示区间(时间序列)总数，k0为超参数，可以避免过度分割，ni表示第i个区间的长度，1≤i≤k，d(
·
，
·
)为距离度量函数，本发明中使用的是cosine距离，di表示第i个区间，dj表示第j个区间，δ1与δ2为设置的超参数，避免dj过大或过小，n为所有区间的总长度。
[0079]
本实施例提出的目标函数使得模型在训练过程中看不到测试数据中的先验信息，在最坏的情况下训练该模型，这将会使得模型有着更好的泛化能力。
[0080]
在求解所分割的区间总数的计算中，首先初始化区间的最小长度(例如设置数据被划分为最大份数(10份)，则最大份数下的区间即为最小长度)，并给出候选集合(针对最大份数为10，给出候选集合为{2，3，5，7，9})；在区间的最小长度的约束下，采用贪婪算法遍历所述候选集合，并基于目标函数输出候选集合中作为区间总数的值(针对最大份数为10，候选集合为{2，3，5，7，9}，输出最终的区间总数的值为5)。
[0081]
(2)时序分布匹配部分。
[0082]
在给定学习的时间段，时间分布匹配学习不同时间段公共特征，这会使得模型有着更好的泛化能力。模型预测的损失函数可以表示为：
[0083][0084]
式中，l
pred
(θ)表示在参数θ下self-attentive adarnn模型的预测损失，k表示区间总数，dj表示第j个区间，l(
·
，
·
)表示损失函数，本发明使用的是rmse和mae，表示区间dj中的第u个特征，为特征的标签，m(
·
；
·
)表示s elf-attentive adarnn模型。
[0085]
预测损失函数是学习的每个区间的预测知识，不能利用不同区间的共有特征，为此还需要一个正则项来匹配di，dj之间的分布。本实施例把rnn的最终输出作为分布匹配项，代表着特征维数为q的v个隐藏状态。因此，对于一对区间di，dj，计算两者的正则项表示为：
[0086][0087]
式中，l
dm
(di，dj；θ)表示在参数θ下区间di，dj的正则项，表示区间di的第v个隐藏状态，表示区间dj的第v个隐藏状态。
[0088]
然而，正则项表示并不能表示每个隐藏状态之间的时间依赖性。而每个隐藏单元只包含输入序列的部分分布信息，为更好的捕捉到公共特征，模型还需要一个序列来自适应的匹配两个隐藏单元之间的分布。因此，引入α∈rv学习每个隐藏状态之间的相对重要性。此时，区间di，dj之间的匹配项表示为：
[0089][0090]
式中，l
tdm
(di，dj；θ，α)表示引入重要性参数α后，在参数θ下区间di，dj的匹配项，表示在第t个隐藏状态时区间di，dj的重要性参数，表示区间di的第t个隐藏状态，表示区间dj的第t个隐藏状态，v为隐藏状态总数，表示隐藏状态和之间的距离度量值，并且隐藏层可以通过rnn来计算，即隐藏状态和的求解如下：
[0091][0092][0093]
式中，σ(
·
，
·
)为sigmiod函数，表示对应于区间di的第t个隐藏层的输入，表示对应于区间di的第t-1个隐藏层的输出，表示对应于区间dj的第t个隐藏层的输入，表示对应于区间dj的第t-1个隐藏层的输出。
[0094]
则得到分布损失的损失函数如下：
[0095][0096]
式中，l
tdm
(θ)表示在参数θ下self-attentive adarnn模型的分布损失，计算的是所有成对周期分布距离的平均值。
[0097]
对于重要性参数α的求解，本实施例引入self-attentive深度学习方法。self-attentive深度学习方法中的查询矩阵q、键矩阵k和值矩阵v的计算如下：
[0098][0099]
[0100][0101]
式中，为第h个子空间的参数矩阵，qh表示第h个子空间的查询矩阵，kh表示第h个子空间的键矩阵，vh表示第第h个子空间的值矩阵。
[0102]
在第h个子空间中，隐藏状态和隐藏状态之间的相关权重计算如下：
[0103][0104]
式中，headn表示第h个注意力头的输出，v为隐藏状态总数，k
ht
表示kh的转置。为了学习到不同子空间的分布值，本实施例采用多头注意力机制。
[0105]
则得到在第t个隐藏状态时区间di，dj的重要性参数为：
[0106][0107]
式中，wo为权重矩阵，h为子空间总数，1≤h≤h。
[0108]
因此，本实施例提出的self-attentive adarnn模型训练中的总损失为预测损失和不同区间之间的分布损失的权重和，公式表述如下：
[0109]
l(θ，α)＝l
pred
(θ)+λl
tdm
(θ，α)
[0110]
式中，表示引入重要性参数α后，在参数θ下self-attentive adarnn模型的总损失，λ为权重。
[0111]
步骤3、基于训练集训练所述self-attentive adarnn模型，并在测试集测试通过后输出最终的self-attentive adarnn模型。
[0112]
在模型训练中，选取self-attentive adarnn模型中的rnn网络为单层gru网络，单层gru网络的隐藏层数与self-attentive深度学习方法中嵌入向量的维度相同。本实施例取单层gru网络的隐藏层数为64，self-attentive深度学习方法中嵌入向量的维度也为64。
[0113]
且设置λ＝0.001，使用adam优化器进行参数的更新，学习率为0.0005，batch_size为16，epoch数为100。为了计算方便，取di与dj的小批量数据在网络层进行前向计算，然后再将隐藏特征联系起来，最后利用l(θ，α)计算损失值。
[0114]
步骤4、利用最终的self-attentiveadarnn模型根据历史电力负荷数据，输出电力负荷预测数据。
[0115]
本实施例在self-attentive adarnn模型的预测中，利用前q期的历史电力负荷数据，预测后一期的电力负荷数据，q＞1。经过多次测试发现，当q为5时具有最优的预测结果。
[0116]
在另一个实施例中，本技术还提供了一种基于改进adarnn的电力负荷预测系统，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述一种基于改进adarnn的电力负荷预测方法的步骤。
[0117]
关于一种基于改进adarnn的电力负荷预测系统的具体限定可以参见上文中对于一种基于改进adarnn的电力负荷预测方法的限定，在此不再赘述。
[0118]
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的方法。
[0119]
其中，所述存储器可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
[0120]
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0121]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0122]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

技术特征：
1.一种基于改进adarnn的电力负荷预测方法，其特征在于，所述基于改进adarnn的电力负荷预测方法，包括：采集电力负荷数据集，并划分为训练集和测试集；构建self-attentive adarnn模型，所述self-attentive adarnn模型包括时序分布表征部分和时序分布匹配部分，所述时序分布匹配部分采用self-attentive深度学习方法学习不同隐藏层之间的重要性参数；基于所述训练集训练所述self-attentive adarnn模型，并在测试集测试通过后输出最终的self-attentive adarnn模型；利用最终的self-attentive adarnn模型根据历史电力负荷数据，输出电力负荷预测数据。2.如权利要求1所述的基于改进adarnn的电力负荷预测方法，其特征在于，所述时序分布表征部分，基于最大熵原理，通过计算最不相似两个区间的共有特征来确定分割数据的区间。3.如权利要求2所述的基于改进adarnn的电力负荷预测方法，其特征在于，所述计算最不相似两个区间的共有特征来确定分割数据的区间，对应的目标函数如下：不相似两个区间的共有特征来确定分割数据的区间，对应的目标函数如下：式中，k表示区间总数，k0为超参数，n
i
表示第i个区间的长度，1≤i≤k，d(
·
,
·
)为距离度量函数，d
i
表示第i个区间，d
j
表示第j个区间，δ1与δ2为设置的超参数，n为所有区间的总长度。4.如权利要求3所述的基于改进adarnn的电力负荷预测方法，其特征在于，所述区间总数的确定过程如下：初始化区间的最小长度，并给出候选集合；在所述区间的最小长度的约束下，采用贪婪算法遍历所述候选集合，并基于所述目标函数输出候选集合中作为区间总数的值。5.如权利要求1所述的基于改进adarnn的电力负荷预测方法，其特征在于，所述self-attentive adarnn模型训练中的总损失为预测损失和不同区间之间的分布损失的权重和。6.如权利要求5所述的基于改进adarnn的电力负荷预测方法，其特征在于，所述预测损失，对应的损失函数如下：式中，l
pred
(θ)表示在参数θ下self-attentive adarnn模型的预测损失，k表示区间总数，d
j
表示第j个区间，l(
·
,
·
)表示损失函数，表示区间d
j
中的第i个特征，为特征
的标签，m(
·
；
·
)表示self-attentive adarnn模型。7.如权利要求5所述的基于改进adarnn的电力负荷预测方法，其特征在于，所述不同区间之间的分布损失，对应的损失函数构建如下：对于一对区间d
i
,d
j
，计算两者的正则项表示为：式中，l
dm
(d
i
,d
j
；θ)表示在参数θ下区间d
i
,d
j
的正则项，表示区间d
i
的第v个隐藏状态，表示区间d
j
的第v个隐藏状态；基于两个区间之间的正则项，加入不同隐藏状态之间的重要性参数α，则区间d
i
,d
j
之间的匹配项表示为：式中，l
tdm
(d
i
,d
j
；θ,α)表示引入重要性参数α后，在参数θ下区间d
i
,d
j
的匹配项，表示在第t个隐藏状态时区间d
i
,d
j
的重要性参数，表示区间d
i
的第t个隐藏状态，表示区间d
j
的第t个隐藏状态，v为隐藏状态总数，表示隐藏状态和之间的距离度量值，并且隐藏状态和的求解如下：的求解如下：式中，σ(
·
,
·
)为sigmiod函数，表示对应于区间d
i
的第t个隐藏层的输入，表示对应于区间d
i
的第t-1个隐藏层的输出，表示对应于区间d
j
的第t个隐藏层的输入，表示对应于区间d
j
的第t-1个隐藏层的输出；则得到损失函数如下：式中，l
tdm
(θ)表示在参数θ下self-attentive adarnn模型的分布损失。8.如权利要求7所述的基于改进adarnn的电力负荷预测方法，其特征在于，所述重要性参数α采用self-attentive深度学习方法进行求解，具体如下：self-attentive深度学习方法中的查询矩阵q、键矩阵k和值矩阵v的计算如下：
式中，为第h个子空间的参数矩阵，q
h
表示第h个子空间的查询矩阵，k
h
表示第h个子空间的键矩阵，v
h
表示第h个子空间的值矩阵；在第h个子空间中，隐藏状态和隐藏状态之间的相关权重计算如下：式中，head
h
表示第h个注意力头的输出，v为隐藏状态总数；则得到在第t个隐藏状态时区间d
i
,d
j
的重要性参数为：式中，w
o
为权重矩阵，h为子空间总数，1≤h≤h。9.如权利要求7所述的基于改进adarnn的电力负荷预测方法，其特征在于，所述self-attentive adarnn模型中的rnn网络为单层gru网络，所述单层gru网络的隐藏层数与self-attentive深度学习方法中嵌入向量的维度相同。10.如权利要求1所述的基于改进adarnn的电力负荷预测方法，其特征在于，所述self-attentive adarnn模型的预测中，利用前q期的历史电力负荷数据，预测后一期的电力负荷数据，q>1。11.一种基于改进adarnn的电力负荷预测系统，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求10中任意一项所述基于改进adarnn的电力负荷预测方法的步骤。

技术总结
本发明公开了一种基于改进AdaRNN的电力负荷预测方法及系统，方法包括采集电力负荷数据集，并划分为训练集和测试集；构建Self-attentive AdaRNN模型，Self-attentive AdaRNN模型的时序分布匹配部分采用Self-attentive深度学习方法学习不同隐藏层之间的重要性参数；基于训练集训练Self-attentive AdaRNN模型，在测试集测试通过后输出Self-attentive AdaRNN模型；利用Self-attentive AdaRNN模型根据历史电力负荷数据，输出电力负荷预测数据。本发明解决时序数据中分布偏移问题，输出准确率高的电力负荷预测数据。输出准确率高的电力负荷预测数据。输出准确率高的电力负荷预测数据。


技术研发人员：郁丹 杨鹏 吴君 翁华 唐人 朱维骏 何勇玲
受保护的技术使用者：浙江华云电力工程设计咨询有限公司
技术研发日：2023.07.18
技术公布日：2023/10/8