无线能量传输方法、装置、设备及可读存储介质与流程

1.本技术涉及能量传输技术领域，尤其涉及一种无线能量传输方法、装置、设备及可读存储介质。


背景技术：

2.数字电网的建设过程是传统电网的数字化、智能化、互联网化过程。对传统电网进行数字化转型，需要构建相对应的数字孪生电网，用先进的数字技术平台，以“计算能力+数据+模型+算法”形成强大的“算力”，依托物联网、互联网打通电网相关各方的感知、分析、决策、业务等各环节，使电网公司具备超强感知能力、明智决策能力和快速执行能力，让数字电网的边界从传统电网扩展至社会的方方面面，变革传统电网的管理、运营和服务模式，驱动相关产业的能量流、资金流、物流、业务流、人才流的广泛配置，用“电力+算力”推动能源革命和新能源体系建设，助力国家经济体系现代化，构建本体安全的数字电网新体系。
3.人工智能的兴起为数字电网的发展提供了新的视角与思路。随着人工智能技术的快速发展，深度学习在计算机视觉、信号处理、无线通信等领域显示出巨大的潜力。由于在集中式深度学习中，需要从分布式用户那里收集大量的数据并上传到中央服务器以支持集中式训练，这就带来了严重的隐私泄露风险。因此，越来越多的用户不愿意分享他们的私人数据，这就导致了数据孤岛的局面。为了解决这个问题，有人提出联邦学习的概念，旨在促进分散的智能而不损害隐私。在联邦学习框架中，用户可以通过上传模型参数而不是私人原始数据，与联邦学习服务器协作训练一个全局模型，这样可以保证私人数据的安全，同时减少通信开销。但是，联邦学习中的能源消耗是包括联邦学习网络在内的无线网络的一个关键问题，它决定了网络中的用户可以工作多长时间，而参与联邦学习的用户数直接关系到电网系统的性能表现。如何解决用户参加联邦学习时因能源消耗问题而被迫退出联邦学习是人们一直关注的问题。


技术实现要素：

4.本技术旨在至少能解决上述的技术缺陷之一，有鉴于此，本技术提供了一种无线能量传输方法、装置、设备及可读存储介质，用于解决现有技术中用户参与联邦学习因能源消耗问题难以解决而被迫退出联邦学习的技术缺陷。
5.一种无线能量传输方法，包括：
6.持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型；
7.判断是否已获知能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息；
8.若已获知所述能量传输系统中无线链路的瞬时信道状态信息，则采用预设基于深度q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。
9.优选地，该方法还包括：
10.若只获知所述能量传输系统中无线链路的统计信道状态信息，则采用基于联深度q-learning网络和黄金分割法的资源分配策略，优化对各个用户的无线能量资源分配策略。
11.优选地，所述基于深度q-learning网络和贪心算法的资源分配策略的创建过程，包括：
12.动态更新每个用户从所述能量传输系统的混合接入点获得的无线带宽；
13.更新每个用户从所述混合接入点获得的无线带宽相应的射频功率；
14.根据更新后的每个用户从所述混合接入点获得的无线带宽及其射频功率，更新每个用户在所述混合接入点的无线充电时间，直到预设的第一资源分配网络模型的损失函数收敛，得到所述能量传输系统的基于深度q-learning网络和贪心算法的资源分配策略，其中，所述预设的第一资源分配网络模型以训练每个用户从所述混合接入点获得的无线带宽及相应的射频功率和每个用户在所述混合接入点的无线充电时间作为训练样本，以训练每个用户从所述混合接入点获得的无线带宽及相应的射频功率和每个用户在所述混合接入点的无线充电时间所对应的资源分配策略作为样本标签，训练得到。
15.优选地，所述基于联深度q-learning网络和黄金分割法的资源分配策略的创建过程，包括：
16.动态更新每个用户从所述能量传输系统的混合接入点获得的无线带宽；
17.更新每个用户从所述混合接入点获得的无线带宽相应的射频功率；
18.根据更新后的每个用户从所述混合接入点获得的无线带宽及其相应的射频功率，更新每个用户在所述混合接入点相应的无线充电时间，直到预设的第二资源分配模型网络的损失函数收敛，得到所述能量传输系统的基于联深度q-learning网络和黄金分割法的资源分配策略，其中，所述预设的第二资源分配网络模型以训练每个用户从所述混合接入点获得的无线带宽及相应的射频功率和每个用户在所述混合接入点的无线充电时间作为训练样本，以训练每个用户从所述混合接入点获得的无线带宽及相应的射频功率和每个用户在所述混合接入点的无线充电时间所对应的资源分配策略作为样本标签，训练得到。
19.优选地，所述持续为各个用户传输无线能量，包括：
20.将向各个用户传输无线能量的传输时间划分为等跨度的若干个时隙段；
21.在每个时隙段开始时，对每个用户进行无线充电；
22.其中，
23.对每个用户传输无线能量的过程如下：
24.t
k，0
+t
k,1
≤(1-αk)γ
[0025][0026]
其中，
[0027]
t
k，0
表示各个用户每次在本地训练目标模型的时间；
[0028]
t
k,1
表示各个用户每次传输目标模型的时间；
[0029]
表示对每个用户的无线充电时间；
[0030]
αk∈[0,1]表示每个用户的充电时间比例；
[0031]
γ表示一轮联邦学习的持续时间；
[0032]
其中，
[0033][0034][0035]
其中，
[0036]dk
表示每个用户的数据集大小；
[0037]
c表示计算一个样本数据所需要的cpu周期；
[0038]
表示一个联邦学习回合中本地用户训练的轮数；
[0039]fk
表示每个用户的计算能力；
[0040]
lk表示每个用户的模型大小；
[0041]rk
表示每个用户的传输速率。
[0042]
优选地，所述更新每个用户从所述混合接入点获得的无线带宽相应的射频功率，包括：
[0043]
将每个用户所需要的射频功率进行排序；
[0044]
依据每个用户所需要的射频功率排序结果，更新每个用户从所述混合接入点获得的无线带宽相应的射频功率。
[0045]
一种无线能量传输装置，包括：
[0046]
传输单元，用于持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型；
[0047]
分发单元，用于接收各个用户上传的各个所述目标模型，并将各个所述目标模型聚合为目标全局模型后分发给各个用户；
[0048]
判断单元，用于判断是否已获知能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息；
[0049]
第一优化单元，用于当所述判断单元的执行结果为确定为已获知所述能量传输系统中无线链路的瞬时信道状态信息时，采用预设基于深度q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0050]
优选地，该装置还包括：
[0051]
第二优化单元，用于当所述判断单元的执行结果为确定为只获知所述能量传输系统中无线链路的统计信道状态信息时，采用基于联深度q-learning网络和黄金分割法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0052]
一种无线能量传输设备，包括：一个或多个处理器，以及存储器；
[0053]
所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，实现如前述介绍中任一项所述无线能量传输方法的步骤。
[0054]
一种可读存储介质，所述可读存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器实现如前述介绍中任一项所述无线能量传输方法的步骤。
[0055]
从以上介绍的技术方案可以看出，当分布在轻量级物联网中的各个用户想要上传模型数据时，本技术实施例提供的方法可以持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型；进一步地可以判断是否已获知能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息，以便可以根据能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息来调整对各个用户的无线能量资源分配策略，若已获知所述能量传输系统中无线链路的瞬时信道状态信息，则可以采用基于深度q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0056]
由上述介绍可知，当分布在轻量级物联网中的各个用户想要上传模型数据时，本技术实施例提供的方法可以在有效保护用户的数据隐私的同时，还可以确保各个用户可以从能量传输系统的混合接入点接收无线能量来进行联邦学习模型的训练和传输，有效避免了参与联邦学习的各个用户因能量消耗过多或者执行时延过长而导致被迫中断联邦学习，无法上传模型参数的问题。
附图说明
[0057]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0058]
图1为本技术实施例提供的一种面向数字电网的无线能量传输辅助的联邦学习框架示意图；
[0059]
图2为本技术实施例提供的一种实现无线能量传输方法的流程图；
[0060]
图3为运用本技术实施例提供的联邦学习框架训练模型的测试精确度随着联邦学习每轮时间跨度变化的仿真结果图；
[0061]
图4为运用本技术实施例提供的联邦学习框架训练模型的测试精确度随着系统总带宽变化的仿真结果图；
[0062]
图5为本技术实施例示例的一种无线能量传输装置结构示意图；
[0063]
图6为本技术实施例公开的一种无线能量传输设备的硬件结构框图。
具体实施方式
[0064]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0065]
鉴于目前大部分的无线能量传输方案难以适应复杂多变的业务需求，为此，本技术人研究了一种无线能量传输方案，当分布在轻量级物联网中的各个用户想要上传模型数据时，本技术实施例提供的方法可以在有效保护用户的数据隐私的同时，还可以确保各个用户可以从能量传输系统的混合接入点接收无线能量来进行联邦学习模型的训练和传输，有效避免了参与联邦学习的各个用户因能量消耗过多或者执行时延过长而导致被迫中断
联邦学习，无法上传模型参数的问题。
[0066]
本技术实施例提供的方法可以用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
[0067]
本技术实施例提供一种无线能量传输方法，该方法可以应用于各种能量管理系统或数字电网管理系统中，亦可以应用在各种计算机终端或是智能终端中，其执行主体可以为计算机终端或是智能终端的处理器或服务器。
[0068]
下面结合图1和图2，介绍本技术实施例给出的无线能量传输方法的流程，如图2所示，该流程可以包括以下几个步骤：
[0069]
步骤s101，持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型。
[0070]
具体地，由于人工智能的发展，在集中式深度学习中，往往需要从分布式用户那里收集大量的数据并上传到中央服务器以支持集中式训练，这就带来了严重的隐私泄露风险。因此，越来越多的用户不愿意分享他们的私人数据，这就导致了数据孤岛的局面。
[0071]
为了解决这个问题，有些研究人员在2016年首次提出了联邦学习的概念，旨在促进分散的智能而不损害隐私。在联邦学习框架中，用户可以上传模型参数来实现贡献数据，而不是上传用户的私人原始数据，与联邦学习服务器协作训练一个全局模型，这样可以保证私人数据的安全，同时减少通信开销。
[0072]
近些年，随着联邦学习的发展，涌现了许多关于应用联邦学习挑战的研究，其中，在联邦学习过程中用户的能源消耗是包括联邦学习网络在内的无线网络的一个关键问题，它决定了网络中的用户可以工作多长时间，会不会出现能源不足而被迫退出联邦学习的问题，而参与联邦学习的用户数直接关系到系统的性能表现。
[0073]
在实际应用过程中，当轻量级物联网中的各个用户参与联邦学习训练时，容易出现因供电不足或者执行时延过长而导致退出联邦学习。
[0074]
例如，
[0075]
图1为本技术实施例提供的一种面向数字电网的无线能量传输辅助的联邦学习框架示意图；
[0076]
因此，为了解决这个问题，本技术实施例提供的方法可以持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型。
[0077]
其中，
[0078]
各个用户可以通过无线能量传输系统的混合接入点收集无线能量，并采用所收集到的无线能量来支撑各个用户在本地配合联邦学习服务器训练联邦学习模型，并将训练得到的联邦学习模型上传给服务器。
[0079]
例如，
[0080]
在实际应用过程中，可以采用时分复用的方式持续向各个用户传输无线能量，以使得无线能量传输系统可以在有限的时间内既可以保证本地模型的训练与上传，又可以确保各个用户可以从混合接入点收集无线能量。
[0081]
在实际应用过程中，各个用户在利用收集到的无线能量之后，可以用所收集到的无线传输能量来进行联邦学习模型的训练，并将训练后的联邦学习模型发送给服务器。
[0082]
因此，本技术实施例提供的方法还可以接收各个用户上传的各个目标模型，其中，
[0083]
目标模型可以为用户利用所收集的无线能量进行联邦学习训练的联邦学习模型，目标模型中包括用户的原始私人数据对应的参数。
[0084]
在收集到各个目标模型之后，为了保护用户的隐私，可以进一步将所收集到的目标模型聚合为全局模型，并将聚合后所得到的全局模型下发给各个用户进一步学习和训练，以实现为用户安全可靠地上传数据到服务器。
[0085]
步骤s102，判断是否已获知能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息。
[0086]
具体地，由上述介绍可知，本技术实施例提供的方法可以为各个用户持续传输无线能量。
[0087]
在实际应用过程中，能量传输系统所能利用的时间、功率和带宽资源有限，则在可以利用的资源有限的情况下，尽可能多保证参与联邦学习的用户的资源需求，以确保在有限的资源下，让更多的用户可以持续参与联邦学习，则可以需要根据有限的资源来分配资源给各个用户。
[0088]
因此，需要根据可以利用的资源以及各个用户的需求来执行不同的资源分配方案。
[0089]
在实际应用过程中，能量传输系统的无线链路的信道状态信息可以影响对各个用户的资源分配。
[0090]
因此，可以判断是否获知能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息，以便可以确定可以采用哪一种资源分配策略来为各个用户分配资源，以实现资源利用率最大化。
[0091]
其中，
[0092]
能量传输系统的无线链路的信道状态信息可以包括瞬时信道状态信息以及统计信道状态信息。
[0093]
不同类型的信道状态信息采用的资源分配策略不同。
[0094]
其中，
[0095]
无限能量传输系统的无线链路的统计信道状态信息以及瞬时信道状态信息都可以由接收端获取。
[0096]
无线链路的瞬时信道状态信息可以反映信道特定时刻的无线链路质量，而统计信道状态信息则可以反映无线链路的分布与统计特性。
[0097]
当各个用户终端发送上行导频至接收端，接收端进行信道估计即可求出系统上下行信道信息，由此则可以确定已经获知能量传输系统的无线链路的瞬时信道状态信息。
[0098]
在实际应用过程中，当无线链路变化过快时，可能在短时内无法通过信道估计得到无线链路的瞬时信道状态信息，则可以采用统计特性来获取统计信道状态信息。
[0099]
因此，若已获知能量传输系统中无线链路的瞬时信道状态信息，则可以执行步骤s103。
[0100]
若只获知能量传输系统中无线链路的统计信道状态信息，则可以执行步骤s104。
[0101]
步骤s103，采用基于深度q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0102]
具体地，由上述介绍可以看出，本技术实施例提供的方法可以通过分析能量传输系统的无线链路的信道状态信息来采取对应的资源分配策略。
[0103]
若已获知能量传输系统中无线链路的瞬时信道状态信息，则说明可以通过无线链路的瞬时信道状态信息了解无线链路的信道特定时刻的无线链路质量，因此，可以通过能量传输系统的无线链路的瞬时信道状态信息来分析对各个用户的资源分配策略。
[0104]
因此，当获得的是无线链路的瞬时信道状态信息，可以采用基于深度q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0105]
其中，
[0106]
通过基于深度q-learning网络和贪心算法的资源分配策略，可以使得轻量级物联网中的各个用户可以满足能耗与时延的要求以参与联邦训练。
[0107]
其中，
[0108]
无线能量传输系统可以根据实际的网络使用情况，确定轻量级物联网的各个用户能耗与时延阈值，以此来确定轻量级物联网中的各个用户是否可以满足能耗和时延的要求。
[0109]
步骤s104，采用基于联深度q-learning网络和黄金分割法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0110]
具体地，由上述介绍可以看出，本技术实施例提供的方法可以通过分析能量传输系统的无线链路的信道状态信息来采取不同的资源分配策略。
[0111]
在实际应用过程中，当无线链路变化过快时，可能在短时内无法通过信道估计得到无线链路的瞬时信道状态信息，则可以采用统计特性来获取统计信道状态信息。
[0112]
若已获知能量传输系统中无线链路的瞬时信道状态信息，则说明可能无法及时通过信道估计得到无线链路的瞬时信道状态信息，可以通过无线链路的统计信道状态信息来分析对各个用户的资源分配策略。
[0113]
因此，当获得的是无线链路的统计信道状态信息，则可以采用基于联深度q-learning网络和黄金分割法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0114]
其中，
[0115]
可以通过基于联深度q-learning网络和黄金分割法的资源分配策略，可以使得轻量级物联网中的各个用户满足能耗与时延的要求以参与联邦训练。
[0116]
其中，
[0117]
无线能量传输系统可以根据实际的网络使用情况，确定轻量级物联网的各个用户能耗与时延阈值，以此来确定轻量级物联网中的各个用户是否可以满足能耗和时延的要求。
[0118]
从上述介绍的技术方案可以看出，当分布在轻量级物联网中的各个用户想要上传模型数据时，本技术实施例提供的方法可以在有效保护用户的数据隐私的同时，还可以确保各个用户可以从能量传输系统的混合接入点接收无线能量来进行联邦学习模型的训练和传输，有效避免了参与联邦学习的各个用户因能量消耗过多或者执行时延过长而导致被迫中断联邦学习，无法上传模型参数的问题。
[0119]
由上述介绍的技术方案可知，本技术实施例提供的方法可以利用基于深度q-learning网络和贪心算法的资源分配策略来优化对各个用户的无线能量资源分配策略，接
下来介绍基于深度q-learning网络和贪心算法的资源分配策略的创建过程，该过程可以包括如下几个步骤：
[0120]
步骤s201，动态更新每个用户从所述能量传输系统的混合接入点获得的无线带宽。
[0121]
具体地，在实际应用过程中，用户从能量传输系统的混合接入点收集能量受每个用户在混合接入点获得的无线带宽的影响。
[0122]
而在实际应用过程中，每个用户在混合接入点处所获得的无线带宽各不相同。
[0123]
因此，在实际应用过程中，可以在每个联邦训练回合中，无线传输系统可以获取无线链路的瞬时信道状态信息，在获得无线链路的瞬时信道状态信息之后，可以进一步利用深度q-learning网络动态更新每个用户从能量传输系统的混合接入点处获得的无线带宽，以便可以及时根据每个用户所获得的无线带宽资源来实时调整对各个用户的资源分配策略。
[0124]
步骤s202，更新每个用户从所述混合接入点获得的无线带宽相应的射频功率。
[0125]
具体地，由上述介绍可知，本技术实施例提供的方法利用深度q-learning网络动态更新每个用户从能量传输系统的混合接入点处获得的无线带宽。
[0126]
在更新每个用户从混合接入处获得的无线带宽之后，可以进一步更新每个用户从所述混合接入点获得的无线带宽相应的射频功率，以便可以确定每个用户所需要的射频功率，以便可以及时根据每个用户所获得的无线带宽资源以及每个用户所需要的射频功率，来实时调整对各个用户的资源分配策略。
[0127]
其中，
[0128]
在实际应用过程中，可以根据实际应用需求，将每个用户所需要的射频功率进行排序之后，再依据每个用户所需要的射频功率排序结果，更新每个用户从所述混合接入点获得的无线带宽相应的射频功率。
[0129]
例如，
[0130]
可以将各个用户按每个用户所需射频功率从小至大排序，然后按序为各个用户给更新每个用户所需要的射频功率。
[0131]
步骤s203，根据更新后的每个用户从所述混合接入点获得的无线带宽及其射频功率，更新每个用户在所述混合接入点的无线充电时间，直到预设的第一资源分配网络模型的损失函数收敛，得到所述能量传输系统的基于深度q-learning网络和贪心算法的资源分配策略。
[0132]
具体地，由上述介绍可知，本技术实施例提供的方法可以利用深度q-learning网络动态更新每个用户从混合接入点所获得的无线带宽及所需要的射频功率。
[0133]
确定了每个用户从混合接入点所获得的无线带宽及所需要的射频功率之后，可以进一步确定各个用户在混合接入点的无线充电时间。
[0134]
因此，在更新各个用户在混合接入点所获得的无线带宽及其对应的射频功率之后，可以进一步利用深度q-learning网络动态更新每个用户在混合接入点的无线充电时间，直到第一资源分配网络模型的损失函数收敛，由此可以得到所述能量传输系统的基于深度q-learning网络和贪心算法的资源分配策略。
[0135]
其中，
[0136]
第一资源分配网络模型可以以训练每个用户从混合接入点获得的无线带宽及相应的射频功率和每个用户在混合接入点的无线充电时间作为训练样本，以训练每个用户从混合接入点获得的无线带宽及相应的射频功率和每个用户在混合接入点的无线充电时间所对应的资源分配策略作为样本标签，训练得到。
[0137]
例如，
[0138]
在实际应用过程中，可以设置足够的训练轮数以保证第一资源分配模型的损失函数可以收敛。
[0139]
在实际应用过程中，当第一资源分配模型的损失函数收敛之后，可以得到一个趋于稳定的资源分配策略。
[0140]
例如，可以通过所得到的资源分配策略得到每个用户的无线充电时间，以及各个用户从混合接入点获得的无线带宽以及射频功率具体是多少。
[0141]
例如，
[0142]
在每一个联邦训练回合，系统可以获取无线链路的瞬时信道状态信息，并且利用深度q-learning网络动态更新每个用户从混合接入点获得的无线带宽。
[0143]
其中，首先进行马尔可夫建模，将深度q-learning网络的在状态空间定义为如下：
[0144]
s(γe)＝{b1(γe),...,bk(γe),...,bk(γe)}
ꢀꢀꢀꢀ
(1)
[0145]
其中，
[0146]
γe可以表示为深度q-learning网络的训练回合序数；
[0147]bk
(γe)可以表示用户k在γe轮带宽分配的结果；
[0148]
本技术实施例提供的方法可以将深度q-learning网络的动作空间定义为如下：
[0149]
a(γe)＝{ai(γ-{e})|i∈[1,2k]},
ꢀꢀꢀꢀ
(2)
[0150]
其中，
[0151][0152]
i可以表示动作命令的序号；
[0153]
k可以表示参与边缘联邦学习的用户数；
[0154]
ξ可以表示正反馈；
[0155]-ξ可以表示负反馈；
[0156]
在实际应用过程中，在选取某个动作之后，每个用户的无线带宽会随之被更新，具体如下：
[0157]bk
(γe+1)＝bk(γe)+ai(γe)
ꢀꢀꢀꢀ
(3)
[0158]
其中，
[0159]bk
(γe)可以表示用户k在γe轮带宽分配的结果；
[0160]ai
(γe)可以表示在γe轮、动作i的作用下带宽分配的更新值；
[0161]
在每个用户的无线带宽被更新之后，可以进一步采用贪心算法根据各个用户的时延与能耗限制更新相应的射频功率，具体可以如下：
[0162][0163]
其中，
[0164][0165]
且，
[0166][0167]
其中，
[0168]
p
k，2
可以表示为混合接入点的射频发射功率；
[0169]
可以表示为更新后的混合接入点的射频发射功率；
[0170]
p
k,0
可以表示用户本地训练功率；
[0171]dk
可以表示每个用户的数据集大小；
[0172]
c可以表示计算一个样本数据所需要的cpu周期；
[0173]
可以表示一个联邦学习回合中本地用户训练的轮数；
[0174]fk
可以表示每个用户的计算能力；
[0175]
lk可以表示每个用户的模型大小；
[0176]bk
可以表示每个用户从混合接入点分配到的无线带宽；
[0177]
p
k,1
可以表示为每个用户的发射功率；
[0178]
hk可以表示为第k个用户与混合接入点之间无线链路的信道参数；
[0179]
σ2可以表示为加性高斯白噪声的方差；
[0180]
η∈[0,1]，可以表示用户的能量收集效率；
[0181]
θ2可以表示卸载系数的下限；
[0182]
θ1可以表示卸载系数的上限；
[0183]
γ可以表示一轮联邦学习的持续时间；
[0184]
本技术实施例首先将用户按所需射频功率从小至大排序，然后按序为用户给更新射频功率，具体地如下：
[0185]
[0186]
在每个用户的射频功率被更新之后，本技术实施例提供的方法可以进一步更新相应的无线充电时间，具体可以如下：
[0187]ak
＝θ1ꢀꢀ
(8)
[0188]
在用户的无线带宽、射频功率以及充电时间被更新之后，可以得到每个联邦学习回合的用户参加数，那么深度q-learning网络的可以定义为相邻两个联邦学习回合用户参加数的差值，而深度q-learning网络的损失函数可以定义为如下：
[0189]
v(γe)＝(y(γe)-q(s(γe),a(γe)；ω
dqn
(γe)))2ꢀꢀꢀ
(9)
[0190]
其中，
[0191]
q(s(γe),a(γe)；ω
dqn
(γe))可以表示状态动作值函数；
[0192]
y(γe)可以表示表示目标值函数；
[0193]
其中，
[0194][0195]
其中，
[0196]
δ可以表示折扣因子；
[0197]
可以表示第γe次回合目标网络的模型参数；
[0198]
在实际应用过程中，可以运行以上过程直到深度q-learning网络的损失函数收敛，可以得到无线能量传输系统基于无线链路的瞬时信道信息的资源分配策略。
[0199]
从上述介绍的技术方案可以看出，当确定了无线传输能量系统的无线链路的瞬时信道状态信息之后，本技术实施例提供的方法可以利用基于深度q-learning网络和贪心算法的资源分配策略来优化对各个用户的无线能量资源分配策略，以便可以更好地实现资源利用率最大化，以确保尽可能多的用户可以参与到联邦学习中。
[0200]
由上述介绍的技术方案可知，本技术实施例提供的方法可以利用基于联深度q-learning网络和黄金分割法的资源分配策略来优化对各个用户的无线能量资源分配策略，接下来介绍基于联深度q-learning网络和黄金分割法的资源分配策略的创建过程，该过程可以包括如下几个步骤：
[0201]
步骤s301，动态更新每个用户从所述能量传输系统的混合接入点获得的无线带宽。
[0202]
具体地，在实际应用过程中，用户从能量传输系统的混合接入点收集能量受每个用户在混合接入点获得的无线带宽的影响。
[0203]
而在实际应用过程中，每个用户在混合接入点处所获得的无线带宽各不相同。
[0204]
因此，在实际应用过程中，可以在每个联邦训练回合中，无线传输系统可以获取无线链路的统计信道状态信息，在获得无线链路的统计信道状态信息之后，可以进一步利用深度q-learning网络动态更新每个用户从能量传输系统的混合接入点处获得的无线带宽，以便可以及时根据每个用户所获得的无线带宽资源来实时调整对各个用户的资源分配策略。
[0205]
步骤s302，更新每个用户从所述混合接入点获得的无线带宽相应的射频功率。
[0206]
具体地，由上述介绍可知，本技术实施例提供的方法利用深度q-learning网络动
态更新每个用户从能量传输系统的混合接入点处获得的无线带宽。
[0207]
在更新每个用户从混合接入处获得的无线带宽之后，可以进一步更新每个用户从所述混合接入点获得的无线带宽相应的射频功率，以便可以确定每个用户所需要的射频功率，以便可以及时根据每个用户所获得的无线带宽资源以及每个用户所需要的射频功率，来实时调整对各个用户的资源分配策略。
[0208]
其中，
[0209]
在实际应用过程中，可以根据实际应用需求，将每个用户所需要的射频功率进行排序之后，再依据每个用户所需要的射频功率排序结果，更新每个用户从所述混合接入点获得的无线带宽相应的射频功率。
[0210]
例如，
[0211]
可以将各个用户按每个用户所需射频功率从小至大排序，然后按序为各个用户给更新每个用户所需要的射频功率。
[0212]
步骤s303，根据更新后的每个用户从所述混合接入点获得的无线带宽及其相应的射频功率，更新每个用户在所述混合接入点相应的无线充电时间，直到预设的第二资源分配模型网络的损失函数收敛，得到所述能量传输系统的基于联深度q-learning网络和黄金分割法的资源分配策略。
[0213]
具体地，由上述介绍可知，本技术实施例提供的方法可以利用深度q-learning网络动态更新每个用户从混合接入点所获得的无线带宽及所需要的射频功率。
[0214]
确定了每个用户从混合接入点所获得的无线带宽及所需要的射频功率之后，可以进一步确定各个用户在混合接入点的无线充电时间。
[0215]
因此，在更新各个用户在混合接入点所获得的无线带宽及其对应的射频功率之后，可以进一步利用深度q-learning网络动态更新每个用户在混合接入点的无线充电时间，直到第二资源分配网络模型的损失函数收敛，由此可以得到所述能量传输系统的基于联深度q-learning网络和黄金分割法的资源分配策略。
[0216]
其中，
[0217]
第二资源分配网络模型可以以训练每个用户从混合接入点获得的无线带宽及相应的射频功率和每个用户在混合接入点的无线充电时间作为训练样本，以训练每个用户从混合接入点获得的无线带宽及相应的射频功率和每个用户在混合接入点的无线充电时间所对应的资源分配策略作为样本标签，训练得到。
[0218]
例如，
[0219]
在实际应用过程中，可以设置足够的训练轮数以保证第二资源分配模型的损失函数可以收敛。
[0220]
在实际应用过程中，当第二资源分配模型的损失函数收敛之后，可以得到一个趋于稳定的资源分配策略，例如，可以通过所得到的资源分配策略得到每个用户的无线充电时间，以及各个用户从混合接入点获得的无线带宽以及射频功率具体是多少。
[0221]
例如，
[0222]
在每一个联邦训练回合，系统可以获取无线链路的统计信道状态信息，并且利用深度q-learning网络动态更新每个用户从混合接入点获得的无线带宽以及射频功率。
[0223]
其中，
[0224]
可以先进行马尔可夫建模，将深度q-learning网络的状态空间定义为如下：
[0225]
s(γe)＝{b1(γe),...,bk(γe),...,b
t
(γe)，p
1，2
(γe),...,p
k，2
(γe),...,p
t，2
(γe)}
ꢀꢀ
(11)
[0226]
可以将深度q-learning网络的动作空间定义为如下：
[0227]
a(γe)＝{aj(γ-{e})|j∈[1,4k]}
ꢀꢀ
(12)
[0228]
其中，
[0229]
j可以表示动作命令的序号，且每个动作命令的定义与前述介绍相同；
[0230]
在实际应用过程中，在选取某一动作后，每个用户的无线带宽以及射频功率随之被更新，具体地如下：
[0231]bk
(γe+1)＝bk(γe)+aj(γe)
ꢀꢀ
(13)
[0232]
p
k，2
(γe+1)＝p
k，2
(γe)+aj(γe)
ꢀꢀ
(14)
[0233]
在上述两者被更新之后，本技术实施例提供的方法可以将无线充电时间的分配问题转化为如下：
[0234][0235]
其中，
[0236][0237]
θ3可以表示中间变量；
[0238]
其中，
[0239]
可以表示为每个用户根据能耗限制得到的信道状态阈值；
[0240]
进一步地，在更新每个用户的无线带宽以及射频功率后，本技术实施例提供的方法可以进一步利用黄金分割法更新每个用户的无线充电时间。
[0241]
在每个用户的无线带宽、充电功率以及充电时间更新完成后，可以得到参加联邦学习用户的统计数量，那么深度q-learning网络的奖赏定义为相邻两个联邦学习回合参加用户统计数量的差值。运行以上过程直到深度q-learning网络的损失函数收敛，则可以得到系统基于统计信道信息的资源分配策略。
[0242]
例如，
[0243]
图3示例了运用本技术实施例提供的联邦学习框架训练模型的测试精确度随着联邦学习每轮时间跨度变化的仿真结果图；
[0244]
图4示例了运用本技术实施例提供的联邦学习框架训练模型的测试精确度随着系统总带宽变化的仿真结果图；
[0245]
由图3和图4可知，在python仿真环境下，在仿真实验中，参数b＝100mhz，p＝20w，变化范围为[5,25]s。通过对比基于传统资源分配方法的联邦学习框架训练的模型，基于本技术实施例提供的方法所提出资源分配机制的联邦学习框架的训练模型具有更高测试精确度，这一现象验证了本技术实施例提供方法的有效性。
[0246]
在仿真实验中，参数p＝20w，b变化范围为[50,150]s。
[0247]
通过对比基于传统资源分配方法的联邦学习框架训练的模型，基于本技术实施例提供的方法所提出资源分配机制的联邦学习框架的训练模型具有更高测试精确度，这一现象验证了本技术实施例提供的方法有效性。
[0248]
从上述介绍的技术方案可以看出，当确定了无线传输能量系统的无线链路的统计信道状态信息之后，本技术实施例提供的方法可以利用基于联深度q-learning网络和黄金分割法的资源分配策略来优化对各个用户的无线能量资源分配策略，以便可以更好地实现资源利用率最大化，以确保尽可能多的用户可以参与到联邦学习中。
[0249]
由上述介绍的技术方案可知，本技术实施例提供的方法可以持续为各个用户传输无线能量，接下来介绍该过程，该过程可以包括如下几个步骤：
[0250]
步骤s401，将向各个用户传输无线能量的传输时间划分为等跨度的若干个时隙段。
[0251]
具体地，在实际应用过程中，如果一直保持对各个用户进行充电的状态，可能会造成能源损耗及设备损害，因此，可以考虑根据各个用户的需求来持续为不同的用户进行充电，以实现资源利用最大化。
[0252]
例如，
[0253]
可以将向各个用户传输无线能量的传输时间划分为等跨度的若干个时隙段，可以采用时分复用的方式来为各个用户传输无线能量。
[0254]
步骤s402，在每个时隙段开始时，对每个用户进行无线充电。
[0255]
具体地，由上述介绍可知，本技术实施例提供的方法可以将向各个用户传输无线能量的传输时间划分为等跨度的若干个时隙段，可以采用时分复用的方式来为各个用户传输无线能量。
[0256]
进一步地，在将传输无线能量的时间划分为多个等跨度的时隙段之后，可以在每个时隙段开始时，对每个用户进行无线充电。
[0257]
其中，
[0258]
对每个用户传输无线能量的过程可以表示如下：
[0259]
t
k，0
+t
k,1
≤(1-αk)γ
ꢀꢀ
(17)
[0260][0261]
其中，
[0262]
t
k，0
可以表示各个用户每次在本地训练目标模型的时间；
[0263]
t
k,1
可以表示各个用户每次传输目标模型的时间；
[0264]
s(γe)＝{b1(γe),...,bk(γe),...,b
t
(γe)}可以表示对每个用户的无线充电时间；
[0265]
αk∈[0,1]，可以表示每个用户的充电时间比例；
[0266]
γ可以表示一轮联邦学习的持续时间；
[0267]
其中，
[0268]
[0269][0270]
其中，
[0271]dk
可以表示每个用户的数据集大小；
[0272]
c可以表示计算一个样本数据所需要的cpu周期；
[0273]
可以表示一个联邦学习回合中本地用户训练的轮数；
[0274]fk
可以表示每个用户的计算能力；
[0275]
lk可以表示每个用户的模型大小；
[0276]rk
可以表示每个用户的传输速率；
[0277]
此外，
[0278][0279]bk
可以表示每个用户从混合接入点分配到的无线带宽；
[0280]
p
k,1
可以表示为每个用户的发射功率；
[0281]
hk可以表示为第k个用户与混合接入点之间无线链路的信道参数；
[0282]
σ2可以表示为加性高斯白噪声的方差；
[0283]
其中，
[0284]
每个用户从混合接入点收集的无线能量可以表示为：
[0285][0286]
η∈[0,1]，可以表示用户的能量收集效率；
[0287]
p
k,2
可以表示为混合接入点的射频发射功率；
[0288]
其中，
[0289]
每个用户的训练能耗以及上传能耗可以分别表示如下：
[0290]ek,0
＝p
k,0
t
k,0
ꢀꢀ
(23)
[0291]ek,1
＝p
k,1
t
k,1
ꢀꢀ
(24)
[0292]ek,0
可以表示为每个用户的训练能耗；
[0293]ek,1
可以表示为每个用户的上传能耗；
[0294]
p
k,0
可以表示为用户本地训练功率。
[0295]
从上述介绍的技术方案可以看出，本技术实施例提供的方法可以采用时分复用的方法持续为各个用户传输无线能量，以便可以更好地实现资源利用率最大化，以确保尽可能多的用户可以参与到联邦学习中。
[0296]
下面对本技术实施例提供的无线能量传输装置进行描述，下文描述的无线能量传输装置与上文描述的无线能量传输方法可相互对应参照。
[0297]
参见图5，图5为本技术实施例公开的一种无线能量传输装置结构示意图。
[0298]
如图5所示，该无线能量传输装置可以包括：
[0299]
传输单元101，用于持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型；
[0300]
判断单元102，用于判断是否已获知能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息；
[0301]
第一优化单元103，用于当所述判断单元的执行结果为确定为已获知所述能量传输系统中无线链路的瞬时信道状态信息时，采用预设基于深度q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0302]
从以上介绍的技术方案可以看出，当分布在轻量级物联网中的各个用户想要上传模型数据时，本技术实施例提供的装置可以持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型；进一步，可以判断是否已获知能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息，以便可以根据能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息来调整对各个用户的无线能量资源分配策略，若已获知所述能量传输系统中无线链路的瞬时信道状态信息，则可以采用预设基于深度q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0303]
由上述介绍可知，当分布在轻量级物联网中的各个用户想要上传模型数据时，本技术实施例提供的装置可以在有效保护用户的数据隐私的同时，还可以确保各个用户可以从能量传输系统的混合接入点接收无线能量来进行联邦学习模型的训练和传输，有效避免了参与联邦学习的各个用户因能量消耗过多或者执行时延过长而导致被迫中断联邦学习，无法上传模型参数的问题。
[0304]
进一步可选的，该装置还可以包括：
[0305]
第二优化单元，用于当所述判断单元的执行结果为确定为只获知所述能量传输系统中无线链路的统计信道状态信息时，采用基于联深度q-learning网络和黄金分割法的资源分配策略，优化对各个用户的无线能量资源分配策略。
[0306]
其中，上述无线能量传输装置所包含的各个单元的具体处理流程，可以参照前文无线能量传输方法部分相关介绍，此处不再赘述。
[0307]
本技术实施例提供的无线能量传输装置可应用于无线能量传输设备，如终端：手机、电脑等。可选的，图6示出了无线能量传输设备的硬件结构框图，参照图6，无线能量传输设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4。
[0308]
在本技术实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信。
[0309]
处理器1可能是一个中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本技术实施例的一个或多个集成电路等；
[0310]
存储器3可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
[0311]
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：实现前述终端无线能量传输方案中的各个处理流程。
[0312]
本技术实施例还提供一种可读存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：实现前述终端在无线能量传输方案中的各个处理流程。
[0313]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0314]
本说明书中各个实“例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0315]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。各个实施例之间可以相互组合。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种无线能量传输方法，其特征在于，包括：持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型；判断是否已获知能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息；若已获知所述能量传输系统中无线链路的瞬时信道状态信息，则采用基于深度q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。2.根据权利要求1所述的方法，其特征在于，该方法还包括：若只获知所述能量传输系统中无线链路的统计信道状态信息，则采用基于联深度q-learning网络和黄金分割法的资源分配策略，优化对各个用户的无线能量资源分配策略。3.根据权利要求1所述的方法，其特征在于，所述基于深度q-learning网络和贪心算法的资源分配策略的创建过程，包括：动态更新每个用户从所述能量传输系统的混合接入点获得的无线带宽；更新每个用户从所述混合接入点获得的无线带宽相应的射频功率；根据更新后的每个用户从所述混合接入点获得的无线带宽及其射频功率，更新每个用户在所述混合接入点的无线充电时间，直到预设的第一资源分配网络模型的损失函数收敛，得到所述能量传输系统的基于深度q-learning网络和贪心算法的资源分配策略，其中，所述预设的第一资源分配网络模型以训练每个用户从所述混合接入点获得的无线带宽及相应的射频功率和每个用户在所述混合接入点的无线充电时间作为训练样本，以训练每个用户从所述混合接入点获得的无线带宽及相应的射频功率和每个用户在所述混合接入点的无线充电时间所对应的资源分配策略作为样本标签，训练得到。4.根据权利要求2所述的方法，其特征在于，所述基于联深度q-learning网络和黄金分割法的资源分配策略的创建过程，包括：动态更新每个用户从所述能量传输系统的混合接入点获得的无线带宽；更新每个用户从所述混合接入点获得的无线带宽相应的射频功率；根据更新后的每个用户从所述混合接入点获得的无线带宽及其相应的射频功率，更新每个用户在所述混合接入点相应的无线充电时间，直到预设的第二资源分配模型网络的损失函数收敛，得到所述能量传输系统的基于联深度q-learning网络和黄金分割法的资源分配策略，其中，所述预设的第二资源分配网络模型以训练每个用户从所述混合接入点获得的无线带宽及相应的射频功率和每个用户在所述混合接入点的无线充电时间作为训练样本，以训练每个用户从所述混合接入点获得的无线带宽及相应的射频功率和每个用户在所述混合接入点的无线充电时间所对应的资源分配策略作为样本标签，训练得到。5.根据权利要求1所述的方法，其特征在于，所述持续为各个用户传输无线能量，包括：将向各个用户传输无线能量的传输时间划分为等跨度的若干个时隙段；在每个时隙段开始时，对每个用户进行无线充电；其中，对每个用户传输无线能量的过程如下：t
k，0
+t
k,1
≤(1-α
k
)γ
其中，t
k，0
表示各个用户每次在本地训练目标模型的时间；t
k,1
表示各个用户每次传输目标模型的时间；表示对每个用户的无线充电时间；α
k
∈[0,1]表示每个用户的充电时间比例；γ表示一轮联邦学习的持续时间；其中，其中，其中，d
k
表示每个用户的数据集大小；c表示计算一个样本数据所需要的cpu周期；表示一个联邦学习回合中本地用户训练的轮数；f
k
表示每个用户的计算能力；l
k
表示每个用户的模型大小；r
k
表示每个用户的传输速率。6.根据权利要求3或4所述的方法，其特征在于，所述更新每个用户从所述混合接入点获得的无线带宽相应的射频功率，包括：将每个用户所需要的射频功率进行排序；依据每个用户所需要的射频功率排序结果，更新每个用户从所述混合接入点获得的无线带宽相应的射频功率。7.一种无线能量传输装置，其特征在于，包括：传输单元，用于持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型；判断单元，用于判断是否已获知能量传输系统中无线链路的瞬时信道状态信息或统计信道状态信息；第一优化单元，用于当所述判断单元的执行结果为确定为已获知所述能量传输系统中无线链路的瞬时信道状态信息时，采用预设基于深度q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。8.根据权利要求7所述的装置，其特征在于，该装置还包括：第二优化单元，用于当所述判断单元的执行结果为确定为只获知所述能量传输系统中无线链路的统计信道状态信息时，采用基于联深度q-learning网络和黄金分割法的资源分配策略，优化对各个用户的无线能量资源分配策略。9.一种无线能量传输设备，其特征在于，包括：一个或多个处理器，以及存储器；所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，实现如权利要求1至6中任一项所述无线能量传输方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器实现如权利要求1至6中任一项所述无线能量传输方法的步骤。

技术总结
本申请提供一种无线能量传输方法、装置、设备及可读存储介质，本申请可持续为各个用户传输无线能量，以供各个用户在本地训练目标模型和传输本地已完成训练的目标模型；并可以判断是否已获知无线链路的瞬时信道状态信息，以根据瞬时信道状态信息来调整对各个用户的无线能量资源分配策略，若已获知瞬时信道状态信息，则可以采用基于深度Q-learning网络和贪心算法的资源分配策略，优化对各个用户的无线能量资源分配策略。有效避免了参与联邦学习的各个用户因能量消耗过多或者执行时延过长而导致被迫中断联邦学习，无法上传模型参数的问题。题。题。


技术研发人员：陈立明 梁志宏 许爱东 索思亮 黄开天 洪超 支志军
受保护的技术使用者：南方电网科学研究院有限责任公司
技术研发日：2023.06.28
技术公布日：2023/9/23