一种电力弹性光网络的自主路由规划方法、装置及系统与流程

1.本发明涉及通信的技术领域，特别是涉及一种电力弹性光网络的自主路由规划方法、装置及系统。


背景技术：

2.传统电力通信光网络采用波分复用技术进行通信，然而，波分复用光网络波长单元固定、光转发器传输速率及带宽大小固定、不同传输距离的业务调制方式固定，其粗粒度的频谱划分方式限制了通信网络路由规划的灵活性，无法适配差异化电力业务的传输需求。
3.电力弹性光网络可以根据电力业务差异化需求，通过频谱的动态分配来实现更小粒度的通信带宽调度，提升网络的资源利用率；然而，电力弹性光网络的核心问题是路由和频谱规划问题，即根据业务请求的带宽大小，为其在源节点、目的节点之间建立一条光路，并分配连续的频谱资源；目前关于电力弹性光网络的路由和频谱规划问题，主要采用静态算法和动态算法进行解决，其中静态算法包括精确算法、静态启发式算法和智能优化算法，动态算法包括动态启发式算法和学习型算法。
4.传统静态的电力弹性光网络路由与频谱规划方法需要全面获取源节点、目的节点和带宽需求信息，得出离线状态下业务请求的光路由及频谱规划方案，这种方法缺乏网络路由和频谱的自主规划能力，无法适应网络资源的时变性和电力业务的动态到达性；且基于传统学习型算法的电力弹性光网络路由与频谱规划方法未考虑通信网络状态的时变性和业务请求的随机性，路由与频谱规划自主性差，导致收敛速度慢，需要的大量的业务请求做试验，业务保障性差。


技术实现要素：

5.本发明要解决的技术问题是：提供一种电力弹性光网络的自主路由规划方法、装置及系统，能实现网络路由和频谱的自主规划，有效适应大规模并发接入的电力业务。
6.为了解决上述技术问题，本发明提供了一种电力弹性光网络的自主路由规划方法，包括：
7.当检测到业务请求到达时，获取物理网络层的所有可用路由数据和所有可用频隙数据，基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，并计算所述业务请求对每个路由规划方案的偏好值；
8.选取偏好值最大对应的第一路由规划方案，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量和第一学习回报值，并记录当前第一模拟传输次数；
9.基于所述第一路由与频隙选择指示变量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值；
10.基于所述第一学习回报值，确定成功传输指示变量为1时，停止对所述业务请求进
行模拟传输，将所述第一路由规划方案作为所述业务请求对应的最优路由规划方案，并将所述最优路由规划方案发送给所述物理网络层，以使所述物理网络层根据所述最优路由规划方案对所述业务请求进行传输。
11.本发明提供的一种电力弹性光网络的自主路由规划方法，还包括：
12.基于所述第一学习回报值，确定所述成功传输指示变量不为1时，且所述当前第一模拟传输次数不等于预设模拟传输阈值时，重新选取偏好值最大对应的第二路由规划方案，并对所述第二路由规划方案进行模拟传输，直至确定所述成功传输指示变量为1，或所述当前第一模拟传输次数等于预设模拟传输阈值时，将所述第二路由规划方案作为所述业务请求对应的最优路由规划方案。
13.在一种可能的实现方式中，基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，具体包括：
14.计算所述业务请求的业务请求频隙数，根据所述业务请求频隙数，确定所述业务请求的所有候选路由，并计算所述业务请求在每条候选路由上的路由频隙数量；
15.根据所述所有候选路由和所述路由频隙数量，生成所述业务请求对应的所有路由规划方案。
16.在一种可能的实现方式中，基于预设的偏好值计算公式，计算所述业务请求对每个路由规划方案的偏好值，其中，所述预设的偏好值计算公式，如下所示：
[0017][0018]
式中，为第t个业务请求的偏好值，为第t个业务请求对应的学习回报样本均值，β为探索与利用之间的折中系数，为截至当前时隙第t个业务请求中第k条路由及第f个频隙的选择次数。
[0019]
在一种可能的实现方式中，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量和第一学习回报值，具体包括：
[0020]
获取所述第一路由规划方案对应的第一偏好值，将所述第一偏好值代入到预设的第一路由与频隙选择指示变量计算公式中，计算得到所述第一路由规划方案的第一路由与频隙选择指示变量，其中，所述预设的第一路由与频隙选择指示变量计算公式，如下所示：
[0021][0022]
式中，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量；
[0023]
根据所述第一路由规划方案对所述业务请求进行模拟传输时，获取所述业务请求的数据传输速率、传输功耗和成功传输指示变量，将所述数据传输速率、所述传输功耗和所述成功传输指示变量代入到预设的学习回报值计算公式中，计算得到所述第一路由规划方案的第一学习回报值，其中，所述预设的学习回报值计算公式如下所示：
[0024][0025]
式中，θ
t
[k，f]为第t个业务请求对应的第一学习回报值，b
t
为数据传输速率，p
t
[k,
f]为第t个业务请求对应的传输功耗，φ
t
[k,f]为第t个业务请求对应的成功传输指示变量，φ
t
[k,f]＝{0,1}。
[0026]
在一种可能的实现方式中，基于所述第一路由与频隙选择指示变量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值，具体包括：
[0027]
获取截止当前时隙第k条路由及第f个频隙的选择次数，将所述选择次数输入到预设的选择次数更新公式中，得到所述第一路由规划方案对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，并将所述选择次数更新为所述第一选择次数；
[0028][0029]
式中，为第t个业务请求对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，为第t-1个业务请求对应的截至当前时隙第k条路由及第f个频隙的选择次数，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量；
[0030]
获取所述第一路由规划方案的所述第一路由与频隙选择指示变量和所述第一学习回报值，以及更新后的所述选择次数，将所述第一路由与频隙选择指示变量、所述第一学习回报值和所述选择次数代入到预设的学习回报样本均值计算公式中，得到第一学习回报样本均值，将所述学习回报样本均值更新为所述第一学习回报样本均值，其中，所述预设的学习回报样本均值计算公式，如下所示：
[0031][0032]
式中，为第t个业务请求对应的第一学习回报样本均值，为第t-1个业务请求对应的学习回报样本均值，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量，θ
t
[k,f]为第t个业务请求对应的第一学习回报值，为第t个业务请求对应的截至当前时隙第k条路由及第f个频隙的第一选择次数；
[0033]
并将更新后的截至当前时隙第k条路由及第f个频隙的选择次数和更新后的学习回报样本均值代入到预设的偏好值计算公式，计算并更新所述第一路由规划方案的偏好值。
[0034]
本发明提供的一种电力弹性光网络的自主路由规划装置，包括：路由规划方案偏好值计算模块、业务请求模拟传输模块、路由规划方案偏好值更新模块和最优路由规划方案确定模块；
[0035]
其中，所述路由规划方案偏好值计算模块，用于当检测到业务请求到达时，获取物理网络层的所有可用路由数据和所有可用频隙数据，基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，并计算所述业务请求对每个路由规划方案的偏好值；
[0036]
所述业务请求模拟传输模块，用于选取偏好值最大对应的第一路由规划方案，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量和第一学习回报值，并记录当前第一模拟传输次数；
[0037]
所述路由规划方案偏好值更新模块，用于基于所述第一路由与频隙选择指示变
量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值；
[0038]
所述最优路由规划方案确定模块，用于基于所述第一学习回报值，确定成功传输指示变量为1时，停止对所述业务请求进行模拟传输，将所述第一路由规划方案作为所述业务请求对应的最优路由规划方案，并将所述最优路由规划方案发送给所述物理网络层，以使所述物理网络层根据所述最优路由规划方案对所述业务请求进行传输。
[0039]
本发明提供的一种电力弹性光网络的自主路由规划装置，所述最优路由规划方案确定模块，还用于：基于所述第一学习回报值，确定所述成功传输指示变量不为1时，且所述当前第一模拟传输次数不等于预设模拟传输阈值时，重新选取偏好值最大对应的第二路由规划方案，并对所述第二路由规划方案进行模拟传输，直至确定所述成功传输指示变量为1，或所述当前第一模拟传输次数等于预设模拟传输阈值时，将所述第二路由规划方案作为所述业务请求对应的最优路由规划方案。
[0040]
在一种可能的实现方式中，所述路由规划方案偏好值计算模块，用于基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，具体包括：
[0041]
计算所述业务请求的业务请求频隙数，根据所述业务请求频隙数，确定所述业务请求的所有候选路由，并计算所述业务请求在每条候选路由上的路由频隙数量；
[0042]
根据所述所有候选路由和所述路由频隙数量，生成所述业务请求对应的所有路由规划方案。
[0043]
在一种可能的实现方式中，所述路由规划方案偏好值计算模块，用于基于预设的偏好值计算公式，计算所述业务请求对每个路由规划方案的偏好值，其中，所述预设的偏好值计算公式，如下所示：
[0044][0045]
式中，为第t个业务请求的偏好值，为第t个业务请求对应的学习回报样本均值，β为探索与利用之间的折中系数，为截至当前时隙第t个业务请求中第k条路由及第f个频隙的选择次数。
[0046]
在一种可能的实现方式中，所述业务请求模拟传输模块，用于根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量和第一学习回报值，具体包括：
[0047]
获取所述第一路由规划方案对应的第一偏好值，将所述第一偏好值代入到预设的第一路由与频隙选择指示变量计算公式中，计算得到所述第一路由规划方案的第一路由与频隙选择指示变量，其中，所述预设的第一路由与频隙选择指示变量计算公式，如下所示：
[0048][0049]
式中，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量；
[0050]
根据所述第一路由规划方案对所述业务请求进行模拟传输时，获取所述业务请求
的数据传输速率、传输功耗和成功传输指示变量，将所述数据传输速率、所述传输功耗和所述成功传输指示变量代入到预设的学习回报值计算公式中，计算得到所述第一路由规划方案的第一学习回报值，其中，所述预设的学习回报值计算公式如下所示：
[0051][0052]
式中，θ
t
[k,f]为第t个业务请求对应的第一学习回报值，b
t
为数据传输速率，p
t
[k,f]为第t个业务请求对应的传输功耗，φ
t
[k,f]为第t个业务请求对应的成功传输指示变量，φ
t
[k,f]＝{0,1}。
[0053]
在一种可能的实现方式中，所述路由规划方案偏好值更新模块，用于基于所述第一路由与频隙选择指示变量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值，具体包括：
[0054]
获取截止当前时隙第k条路由及第f个频隙的选择次数，将所述选择次数输入到预设的选择次数更新公式中，得到所述第一路由规划方案对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，并将所述选择次数更新为所述第一选择次数；
[0055][0056]
式中，为第t个业务请求对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，为第t-1个业务请求对应的截至当前时隙第k条路由及第f个频隙的选择次数，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量；
[0057]
获取所述第一路由规划方案的所述第一路由与频隙选择指示变量和所述第一学习回报值，以及更新后的所述选择次数，将所述第一路由与频隙选择指示变量、所述第一学习回报值和所述选择次数代入到预设的学习回报样本均值计算公式中，得到第一学习回报样本均值，将所述学习回报样本均值更新为所述第一学习回报样本均值，其中，所述预设的学习回报样本均值计算公式，如下所示：
[0058][0059]
式中，为第t个业务请求对应的第一学习回报样本均值，为第t-1个业务请求对应的学习回报样本均值，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量，θ
t
[k,f]为第t个业务请求对应的第一学习回报值，为第t个业务请求对应的截至当前时隙第k条路由及第f个频隙的第一选择次数；
[0060]
并将更新后的截至当前时隙第k条路由及第f个频隙的选择次数和更新后的学习回报样本均值代入到预设的偏好值计算公式，计算并更新所述第一路由规划方案的偏好值。
[0061]
本发明提供了一种电力弹性光网络，包括：物理网络层、孪生网络层和业务应用层；
[0062]
其中，所述孪生网络层包括北向接口和南向接口；
[0063]
所述孪生网络层通过所述北向接口接收所述业务应用层输入的需求；
[0064]
所述孪生网络层通过所述南向接口获取所述物理网络层中的网络状态数据，并在
确定最优路由规划方案后，通过所述南向接口向所述物理网络层发送所述最优路由规划方案；
[0065]
所述孪生网络层，用于执行如上述任意一项所述的电力弹性光网络的自主路由规划方法。
[0066]
本发明提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的电力弹性光网络的自主路由规划方法。
[0067]
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的电力弹性光网络的自主路由规划方法。
[0068]
本发明实施例一种电力弹性光网络的自主路由规划方法、装置及系统，与现有技术相比，具有如下有益效果：
[0069]
当检测到业务请求到达时，获取物理网络层的所有可用路由数据和所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，计算每个路由规划方案的偏好值，基于偏好值最大对应的第一路由规划方案对业务请求进行模拟传输，计算业务请求的第一路由与频隙选择指示变量和第一学习回报值；基于第一路由与频隙选择指示变量，计算并基于第一学习回报样本均值，更新第一路由规划方案的偏好值；基于第一学习回报值，确定成功传输指示变量为1时，将第一路由规划方案作为业务请求对应的最优路由规划方案，并下发给物理网络层；与现有技术相比，本发明的技术方案通过在孪生网络层中对路由规划方案进行模拟实验，加快学习的收敛速度，动态选取当前拥有最大偏好值的路由规划方案，实现网络路由和频谱的自主规划，能够有效解决传统机器学习方法自主性差，需要大量业务请求试验导致业务保障性变差的问题，能实现网络路由和频谱的自主规划。
附图说明
[0070]
图1是本发明提供的一种电力弹性光网络的自主路由规划方法的一种实施例的流程示意图；
[0071]
图2是本发明提供的一种电力弹性光网络的自主路由规划装置的一种实施例的结构示意图；
[0072]
图3是本发明提供的一种电力弹性光网络的一种实施例的结构示意图；
[0073]
图4是本发明提供的一种实施例的电力弹性光网络的结构示意图；
[0074]
图5是本发明提供的一种实施例的孪生网络层路由规划原理图。
具体实施方式
[0075]
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0076]
实施例1
[0077]
参见图1，图1是本发明提供的一种电力弹性光网络的自主路由规划方法的一种实
施例的流程示意图，如图1所示，该方法包括步骤101-步骤104，具体如下：
[0078]
步骤101：当检测到业务请求到达时，获取物理网络层的所有可用路由数据和所有可用频隙数据，基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，并计算所述业务请求对每个路由规划方案的偏好值。
[0079]
一实施例中，电力弹性光网络包括物理网络层、孪生网络层和业务应用层，如图4所示，图4是电力弹性光网络的结构示意图。
[0080]
一实施例中，孪生网络层包括南向接口和北向接口。
[0081]
一实施例中，物理网络层包含路由器、光纤链路等电力弹性光网络物理实体，各种网元通过孪生网络层的南向接口同孪生网络交互网络数据和网络控制信息，实现对业务应用层具体业务的可靠承载。
[0082]
一实施例中，业务应用层通过孪生网络层的北向接口向孪生网络输入需求，支撑电力业务在孪生网络层的部署。
[0083]
一实施例中，物理网络层和孪生网络层均使用集合g＝{v,e,f}，v表示节点集合，e表示光链路集合，f＝{f
e,f
|
e,f
}，e∈e表示每条链路上的频隙集合，其中f＝[1,f
max
]，表示每条链路上最多有f
max
个频隙；频隙是电力光网络中频谱资源规划的最小单位，与传统波分复用光网络不同，其在路由自主规划时需要满足连续性、一致性、不可复用性约束。
[0084]
优选的，对于频隙在路由自主规划时满足的连续性、一致性、不可复用性约束进行举例说明：如图5所示，图5是孪生网络层路由规划原理图；当一个业务请求需要两个频隙从路由节点1传输到路由节点4，虽然此时链路1
→
2和链路1
→
3均有两个空闲频隙，但是由于链路1
→
3上的两个频隙不满足连续性约束，因此选择链路1
→
2到达路由节点2；业务请求到达路由节点2时，尽管链路2
→
3和链路2
→
4均有两个连续空闲频隙，但是由于链路2
→
4上的频隙位置与链路1
→
2上的不同，不满足频隙一致性约束，因此选择链路2
→
3传输至路由节点4；最终，该业务请求的规划路由为路由节点1
→
路由节点2
→
路由节点3
→
路由节点4，在该业务请求持续时间内，频隙2、3禁止规划给其他业务请求。
[0085]
一实施例中，在业务请求持续时间段内，物理网络层不间断的接收到多个业务请求，并基于所述多个业务请求生成业务请求集合，其中，业务请求集合中的每个业务请求包括业务请求的源节点、目的节点、带宽需求和持续时间。
[0086]
具体的，在业务请求持续时间段内，共有t个业务请求不间断到达，业务请求集合为r＝{r
t
}，其中t＝[1,t]；每个业务请求用集合r
t
＝{o,d,b
t
,τ
t
}表示，其中，o代表该业务请求的源节点，d代表目的节点，且o,d∈v，b
t
和τ
t
分别代表该业务请求的带宽需求和持续时间。
[0087]
一实施例中，孪生网络层通过与物理网络层的数据交互，构建可以实时反应物理网络状态的数字化网络，进行网络路由和频谱的动态自主规划；因此，当检测到业务请求到达时，孪生网络层通过获取物理网络层的所有可用路由数据和所有可用频隙数据，基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案。
[0088]
一实施例中，计算所述业务请求的业务请求频隙数，根据所述业务请求频隙数，确定所述业务请求的所有候选路由，并计算所述业务请求在每条候选路由上的路由频隙数量；根据所述所有候选路由和所述路由频隙数量，生成所述业务请求对应的所有路由规划
方案。
[0089]
具体的，计算所述业务请求的业务请求频隙数时，获取所述业务请求的带宽需求、传输速率大小，以及采用的调制方式所对应的调制等级，将所述带宽需求、所述传输速率和所述调制等级代入到预设的业务请求频隙数计算公式中，得到所述业务请求的业务请求频隙数；其中，所述预设的业务请求频隙数计算公式，如下所示：
[0090][0091]
式中，为业务请求频隙数，b
t
为业务请求的带宽需求，c0表示采用bpsk调制方式时单个频隙支持的传输速率大小，m＝{1,2,3,4,5}分别是表示采用bpsk，qpsk，8qam，16qam，32qam调制方式所对应的调制等级。
[0092]
为了服务该业务请求，需要建立一条端到端的路由，并且该路由上具有满足频隙连续性、一致性、不可复用性约束的频隙块。
[0093]
具体的，根据所述业务请求频隙数，确定所述业务请求的所有候选路由，生成候选路由集合。
[0094]
优选的，业务请求生成的从源节点到目的节点的候选路由集合为k＝{k}，且k＝[1,k]，基于预设的频隙数量计算公式计算所述业务请求在每条候选路由上的路由频隙数量，其中，预设的频隙数量计算公式，如下所示：
[0095][0096]
式中，表示路由包含的光链路中采用最低调制等级所需的最大频隙数，fg为保护频隙。
[0097]
一实施例中，基于预设的偏好值计算公式，计算所述业务请求对每个路由规划方案的偏好值，其中，所述预设的偏好值计算公式，如下所示：
[0098][0099]
式中，为第t个业务请求的偏好值，为第t个业务请求对应的学习回报样本均值，β为探索与利用之间的折中系数，β越大，越倾向于探索，为截至当前时隙第t个业务请求中第k条路由及第f个频隙的选择次数，且t＝0时，初始化为0，初始化为0。
[0100]
步骤102：选取偏好值最大对应的第一路由规划方案，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量和第一学习回报值，并记录当前第一模拟传输次数。
[0101]
一实施例中，由于每个业务请求到达时，孪生网络与物理网络进行可用路由与频隙信息的同步，设置在孪生网络层中进行路由规划方案模拟的最大次数为i，即设置模拟次数阈值为i，实际进行的模拟次数为i，初始化i＝1，并选取偏好值最大的路由与频隙在孪生网络中模拟该次传输过程。
[0102]
一实施例中，根据所述第一路由规划方案对所述业务请求进行模拟传输前，先设
置路由与频隙选择指示变量为x
t
[k,f]∈{0,1}，当x
t
[k,f]＝1表示业务请求r
t
选择候选路由k上自第f个频隙起的个连续频隙进行传输，否则x
t
[k,f]＝0表示业务请求r
t
无法选择候选路由k上自第f个频隙起的个连续频隙进行传输。
[0103]
由于单个业务请求的不可分割性，即单个业务请求一次只能选择一条路由上的一个频隙块进行传输，x
t
[k,f]应满足：
[0104]
一实施例中，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量，具体包括：获取所述第一路由规划方案对应的第一偏好值，将所述第一偏好值代入到预设的第一路由与频隙选择指示变量计算公式中，计算得到所述第一路由规划方案的第一路由与频隙选择指示变量，其中，所述预设的第一路由与频隙选择指示变量计算公式，如下所示：
[0105][0106]
式中，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量。
[0107]
一实施例中，由于大量业务请求的并发接入，会导致某一业务请求按照预设的路由与频隙传输至某一节点，其选择的频隙被其他业务请求占据，导致该业务请求传输失败；因此，本实施例中，还设定成功传输指示变量为φ
t
[k,f]＝{0,1}，其中，φ
t
[k,f]＝1表示该业务请求可以通过预设的路由与频隙到达目的节点，否则φ
t
[k,f]＝0。
[0108]
一实施例中，根据所述第一路由规划方案对所述业务请求进行模拟传输前，还设置业务请求r
t
传输完成或传输失败时对应传输功耗为p
t
[k,f]，其中，业务请求的传输功耗计算公式如下所示：
[0109][0110]
一实施例中，根据所述第一路由规划方案对所述业务请求进行模拟传输前，还设置频隙可用性指示变量为ω
t
[k,f]∈{0,1}，当ω
t
[k,f]＝1表示候选路由k上自第f个频隙起的个连续频隙均处于空闲状态，否则ω
t
[k,f]＝0。
[0111]
一实施例中，基于业务请求的传输功耗、成功传输指示变量、路由与频隙选择指示变量、频隙可用性指示变量、带宽需求和持续时间，设置优化目标函数，用于自主寻找恰当的路由规划方案，其中，所述优化目标函数如下所示：
[0112][0113]
s.t.c1:ω
t
[k,f]＝1；
[0114]
c2:x
t
[k,f]∈{0,1}；
[0115]
c3:式中，b
t
表示业务请求r
t
数据传输速率；τ
t
表示业务请求r
t
数据传输时延；则表示业务请求r
t
单位能耗所传输的数据量。c1代表路由与频隙的可用性约束，c2代表路由与频隙选择指示变量的取值范围约束，c3表示单个业务请求的不可分割性约束。
[0116]
一实施例中，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一学习回报值，具体包括：根据所述第一路由规划方案对所述业务请求进行模拟传输时，获取所述业务请求的数据传输速率、传输功耗和成功传输指示变量，将所述数据传输速率、所述传输功耗和所述成功传输指示变量代入到预设的学习回报值计算公式中，计算得到所述第一路由规划方案的第一学习回报值，其中，所述预设的学习回报值计算公式如下所示：
[0117][0118]
式中，θ
t
[k,f]为第t个业务请求对应的第一学习回报值，b
t
为数据传输速率，p
t
[k,f]为第t个业务请求对应的传输功耗，φ
t
[k,f]为第t个业务请求对应的成功传输指示变量，φ
t
[k,f]＝{0,1}。
[0119]
优选的，将学习回报值定义与优化目标函数相一致。
[0120]
一实施例中，根据所述第一路由规划方案对所述业务请求进行模拟传输前，还设置截至当前时隙第k条路由及第f个频隙的选择次数。
[0121]
一实施例中，在根据所述第一路由规划方案对所述业务请求进行模拟传输前，还包括对所述路由与频隙选择指示变量、截至当前时隙第k条路由及第f个频隙的选择次数和学习回报值进行初始化；具体的，当t＝0时，设置所述路由与频隙选择指示变量x
t
[k,f]、截至当前时隙第k条路由及第f个频隙选择次数和学习回报值学习回报为0。
[0122]
步骤103：基于所述第一路由与频隙选择指示变量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值。
[0123]
一实施例中，获取截止当前时隙第k条路由及第f个频隙的选择次数，将所述选择次数输入到预设的选择次数更新公式中，得到所述第一路由规划方案对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，并将所述选择次数更新为所述第一选择次数；
[0124][0125]
式中，为第t个业务请求对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，为第t-1个业务请求对应的截至当前时隙第k条路由及第f个频隙的选择次数，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量。
[0126]
一实施例中，获取所述第一路由规划方案的所述第一路由与频隙选择指示变量和所述第一学习回报值，以及更新后的所述选择次数，将所述第一路由与频隙选择指示变量、所述第一学习回报值和所述选择次数代入到预设的学习回报样本均值计算公式中，得到第一学习回报样本均值，将所述学习回报样本均值更新为所述第一学习回报样本均值，其中，所述预设的学习回报样本均值计算公式，如下所示：
[0127][0128]
式中，为第t个业务请求对应的第一学习回报样本均值，为第t-1个业务请求对应的学习回报样本均值，x
t
[k，f]为第t个业务请求对应的第一路由与频隙选择指示变量，θ
t
[k,f]为第t个业务请求对应的第一学习回报值，为第t个业务请求对
应的截至当前时隙第k条路由及第f个频隙的第一选择次数。
[0129]
一实施例中，将更新后的截至当前时隙第k条路由及第f个频隙的选择次数和更新后的学习回报样本均值代入到预设的偏好值计算公式，计算并更新所述第一路由规划方案的偏好值；通过更新偏好值列表，能实现路由与频谱规划策略的快速收敛。
[0130]
步骤104：基于所述第一学习回报值，确定成功传输指示变量为1时，停止对所述业务请求进行模拟传输，将所述第一路由规划方案作为所述业务请求对应的最优路由规划方案，并将所述最优路由规划方案发送给所述物理网络层，以使所述物理网络层根据所述最优路由规划方案对所述业务请求进行传输。
[0131]
一实施例中，基于所述第一学习回报值，确定所述成功传输指示变量不为1时，且所述当前第一模拟传输次数不等于预设模拟传输阈值时，重新选取偏好值最大对应的第二路由规划方案，并对所述第二路由规划方案进行模拟传输，直至确定所述成功传输指示变量为1，或所述当前第一模拟传输次数等于预设模拟传输阈值时，将所述第二路由规划方案作为所述业务请求对应的最优路由规划方案。
[0132]
具体的，在孪生网络层中，每个业务请求会经过至多i次路由规划方案的模拟，以确定最终的最优路由规划方案，若φ
t
[k,f]＝1，则终止模拟过程，将本次模拟传输对应的路由规划方案作为最优路由规划方案，并下发最优路由规划方案到物理网络层中，否则，增加当前模拟次数i＝i+1，重复上述模拟选择过程，直至i＝i。
[0133]
本实施例中，每个业务请求选择不同的动作会获得不同的能耗反馈，并作为未来决策的经验值依据，实现业务请求数据传输时延和能耗的联合优化，且能够在未掌握全局信息的条件下学习并收敛至最优路由与频隙规划策略。
[0134]
综上，本发明提供的一种电力弹性光网络的自主路由规划方法，通过将数字孪生技术与置信上限算法相结合，同步孪生网络层与物理网络层的可用路由与频隙信息，通过在孪生网络层中对路由规划方案的模拟实验，加快学习的收敛速度，动态选取当前拥有最大偏好值的路由规划方案，能够有效解决传统机器学习方法自主性差，需要大量业务请求试验导致业务保障性变差的问题；且通过估计每个路由规划方案偏好值的置信上界，可在网络状态信息动态变化的条件下寻找最优路由规划方案，实现网络路由和频谱自主规划，有效适应大规模并发接入的电力业务。
[0135]
实施例2
[0136]
参见图2，图2是本发明提供的一种电力弹性光网络的自主路由规划装置的一种实施例的结构示意图，如图2所示，该装置包括路由规划方案偏好值计算模块201、业务请求模拟传输模块202、路由规划方案偏好值更新模块203和最优路由规划方案确定模块204，具体如下：
[0137]
所述路由规划方案偏好值计算模块201，用于当检测到业务请求到达时，获取物理网络层的所有可用路由数据和所有可用频隙数据，基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，并计算所述业务请求对每个路由规划方案的偏好值。
[0138]
所述业务请求模拟传输模块202，用于选取偏好值最大对应的第一路由规划方案，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量和第一学习回报值，并记录当前第一模拟传输次数。
[0139]
所述路由规划方案偏好值更新模块203，用于基于所述第一路由与频隙选择指示变量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值。
[0140]
所述最优路由规划方案确定模块204，用于基于所述第一学习回报值，确定成功传输指示变量为1时，停止对所述业务请求进行模拟传输，将所述第一路由规划方案作为所述业务请求对应的最优路由规划方案，并将所述最优路由规划方案发送给所述物理网络层，以使所述物理网络层根据所述最优路由规划方案对所述业务请求进行传输。
[0141]
一实施例中，所述最优路由规划方案确定模块204，还用于：基于所述第一学习回报值，确定所述成功传输指示变量不为1时，且所述当前第一模拟传输次数不等于预设模拟传输阈值时，重新选取偏好值最大对应的第二路由规划方案，并对所述第二路由规划方案进行模拟传输，直至确定所述成功传输指示变量为1，或所述当前第一模拟传输次数等于预设模拟传输阈值时，将所述第二路由规划方案作为所述业务请求对应的最优路由规划方案。
[0142]
一实施例中，所述路由规划方案偏好值计算模块201，用于基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，具体包括：计算所述业务请求的业务请求频隙数，根据所述业务请求频隙数，确定所述业务请求的所有候选路由，并计算所述业务请求在每条候选路由上的路由频隙数量；根据所述所有候选路由和所述路由频隙数量，生成所述业务请求对应的所有路由规划方案。
[0143]
一实施例中，所述路由规划方案偏好值计算模块201，用于基于预设的偏好值计算公式，计算所述业务请求对每个路由规划方案的偏好值，其中，所述预设的偏好值计算公式，如下所示：
[0144][0145]
式中，为第t个业务请求的偏好值，为第t个业务请求对应的学习回报样本均值，β为探索与利用之间的折中系数，为截至当前时隙第t个业务请求中第k条路由及第f个频隙的选择次数。
[0146]
一实施例中，所述业务请求模拟传输模块202，用于根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量和第一学习回报值，具体包括：获取所述第一路由规划方案对应的第一偏好值，将所述第一偏好值代入到预设的第一路由与频隙选择指示变量计算公式中，计算得到所述第一路由规划方案的第一路由与频隙选择指示变量，其中，所述预设的第一路由与频隙选择指示变量计算公式，如下所示：
[0147][0148]
式中，x
t
[k，f]为第t个业务请求对应的第一路由与频隙选择指示变量。
[0149]
一实施例中，所述业务请求模拟传输模块202，用于根据所述第一路由规划方案对所述业务请求进行模拟传输时，获取所述业务请求的数据传输速率、传输功耗和成功传输指示变量，将所述数据传输速率、所述传输功耗和所述成功传输指示变量代入到预设的学习回报值计算公式中，计算得到所述第一路由规划方案的第一学习回报值，其中，所述预设
的学习回报值计算公式如下所示：
[0150][0151]
式中，θ
t
[k，f]为第t个业务请求对应的第一学习回报值，b
t
为数据传输速率，p
t
[k,f]为第t个业务请求对应的传输功耗，φ
t
[k,f]为第t个业务请求对应的成功传输指示变量，φ
t
[k，f]＝{0,1}。
[0152]
一实施例中，所述路由规划方案偏好值更新模块203，用于基于所述第一路由与频隙选择指示变量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值，具体包括：获取截止当前时隙第k条路由及第f个频隙的选择次数，将所述选择次数输入到预设的选择次数更新公式中，得到所述第一路由规划方案对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，并将所述选择次数更新为所述第一选择次数；
[0153][0154]
式中，为第t个业务请求对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，为第t-1个业务请求对应的截至当前时隙第k条路由及第f个频隙的选择次数，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量。
[0155]
一实施例中，所述路由规划方案偏好值更新模块203，用于获取所述第一路由规划方案的所述第一路由与频隙选择指示变量和所述第一学习回报值，以及更新后的所述选择次数，将所述第一路由与频隙选择指示变量、所述第一学习回报值和所述选择次数代入到预设的学习回报样本均值计算公式中，得到第一学习回报样本均值，将所述学习回报样本均值更新为所述第一学习回报样本均值，其中，所述预设的学习回报样本均值计算公式，如下所示：
[0156][0157]
式中，为第t个业务请求对应的第一学习回报样本均值，为第t-1个业务请求对应的学习回报样本均值，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量，θ
t
[k,f]为第t个业务请求对应的第一学习回报值，为第t个业务请求对应的截至当前时隙第k条路由及第f个频隙的第一选择次数；
[0158]
一实施例中，所述路由规划方案偏好值更新模块203，用于将更新后的截至当前时隙第k条路由及第f个频隙的选择次数和更新后的学习回报样本均值代入到预设的偏好值计算公式，计算并更新所述第一路由规划方案的偏好值。
[0159]
综上，本发明提供的一种电力弹性光网络的自主路由规划装置，通过将数字孪生技术与置信上限算法相结合，同步孪生网络层与物理网络层的可用路由与频隙信息，通过在孪生网络层中对路由规划方案的模拟实验，加快学习的收敛速度，动态选取当前拥有最大偏好值的路由规划方案，能够有效解决传统机器学习方法自主性差，需要大量业务请求试验导致业务保障性变差的问题；且通过估计每个路由规划方案偏好值的置信上界，可在网络状态信息动态变化的条件下寻找最优路由规划方案，实现网络路由和频谱自主规划，有效适应大规模并发接入的电力业务。
[0160]
实施例3
[0161]
参见图3，图3是本发明提供的一种电力弹性光网络的一种实施例的结构示意图，如图2所示，该网络包括物理网络层301、孪生网络层302和业务应用层303，具体如下：
[0162]
所述孪生网络层302包括北向接口和南向接口。
[0163]
所述孪生网络层302通过所述北向接口接收所述业务应用层303输入的需求。
[0164]
所述孪生网络层302通过所述南向接口获取所述物理网络层301中的网络状态数据，并在确定最优路由规划方案后，通过所述南向接口向所述物理网络层301述最优路由规划方案。
[0165]
所述孪生网络层302执行如上述实施例所述的电力弹性光网络的自主路由规划方法。
[0166]
一实施例中，物理网络层301包含路由器、光纤链路等电力弹性光网络物理实体，各种网元通过孪生网络层302的南向接口同孪生网络层302交互网络数据和网络控制信息，实现对业务应用层303具体业务的可靠承载。
[0167]
一实施例中，业务应用层303通过孪生网络层302的北向接口向孪生网络层302输入需求，支撑电力业务在孪生网络层302的部署。
[0168]
一实施例中，孪生网络层302通过与物理网络层301的数据交互，构建可以实时反应物理网络层301的网络状态的数字化网络，进行网络路由和频谱的动态自主规划，孪生网络层302根据当前网络状态学习出最优路由规划方案，经过充分验证后，将最优路由规划方案通过南向接口下发至物理网络层301。
[0169]
综上，本发明提供的一种电力弹性光网络，通过设置基于数字孪生辅助的电力弹性光网络架构，实现更小粒度的通信带宽调度，提升网络的资源利用率；且通过设立南北向接口，使得数字孪生既能够从北向接口获取业务应用层的输入需求，也能够从南向接口获取物理网络层的网络数据，支撑网络自主路由规划适配差异化电力业务需求。
[0170]
所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不在赘述。
[0171]
需要说明的是，上述电力弹性光网络的自主路由规划装置的实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0172]
在上述的电力弹性光网络的自主路由规划方法的实施例的基础上，本发明另一实施例提供了一种电力弹性光网络的自主路由规划终端设备，该电力弹性光网络的自主路由规划终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时，实现本发明任意一实施例的电力弹性光网络的自主路由规划方法。
[0173]
示例性的，在这一实施例中所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电力弹性光网络的自主路由规划终端设备中的执行过程。
[0174]
所述电力弹性光网络的自主路由规划终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电力弹性光网络的自主路由规划终端设备可包括，但不仅限于，处理器、存储器。
[0175]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述电力弹性光网络的自主路由规划终端设备的控制中心，利用各种接口和线路连接整个电力弹性光网络的自主路由规划终端设备的各个部分。
[0176]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述电力弹性光网络的自主路由规划终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0177]
在上述电力弹性光网络的自主路由规划方法的实施例的基础上，本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时，控制所述存储介质所在的设备执行本发明任意一实施例的电力弹性光网络的自主路由规划方法。
[0178]
在这一实施例中，上述存储介质为计算机可读存储介质，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0179]
综上，本发明提供了一种电力弹性光网络的自主路由规划方法、装置及系统，当检测到业务请求到达时，获取物理网络层的所有可用路由数据和所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，计算每个路由规划方案的偏好值，基于偏好值最大对应的第一路由规划方案对业务请求进行模拟传输，计算业务请求的第一路由与频隙选择指示变量和第一学习回报值；基于第一路由与频隙选择指示变量，计算并基于第一学习回报样本均值，更新第一路由规划方案的偏好值；基于第一学习回报值，确定成功传输指示变量为1时，将第一路由规划方案作为业务请求对应的最优路由规划方案，并下发给物理网络层；与现有技术相比，本发明的技术方案能实现网络路由和频谱的自主规划。
[0180]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人
员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

技术特征：
1.一种电力弹性光网络的自主路由规划方法，其特征在于，包括：当检测到业务请求到达时，获取物理网络层的所有可用路由数据和所有可用频隙数据，基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，并计算所述业务请求对每个路由规划方案的偏好值；选取偏好值最大对应的第一路由规划方案，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量和第一学习回报值，并记录当前第一模拟传输次数；基于所述第一路由与频隙选择指示变量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值；基于所述第一学习回报值，确定成功传输指示变量为1时，停止对所述业务请求进行模拟传输，将所述第一路由规划方案作为所述业务请求对应的最优路由规划方案，并将所述最优路由规划方案发送给所述物理网络层，以使所述物理网络层根据所述最优路由规划方案对所述业务请求进行传输。2.如权利要求1所述的一种电力弹性光网络的自主路由规划方法，其特征在于，还包括：基于所述第一学习回报值，确定所述成功传输指示变量不为1时，且所述当前第一模拟传输次数不等于预设模拟传输阈值时，重新选取偏好值最大对应的第二路由规划方案，并对所述第二路由规划方案进行模拟传输，直至确定所述成功传输指示变量为1，或所述当前第一模拟传输次数等于预设模拟传输阈值时，将所述第二路由规划方案作为所述业务请求对应的最优路由规划方案。3.如权利要求1所述的一种电力弹性光网络的自主路由规划方法，其特征在于，基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，具体包括：计算所述业务请求的业务请求频隙数，根据所述业务请求频隙数，确定所述业务请求的所有候选路由，并计算所述业务请求在每条候选路由上的路由频隙数量；根据所述所有候选路由和所述路由频隙数量，生成所述业务请求对应的所有路由规划方案。4.如权利要求1所述的一种电力弹性光网络的自主路由规划方法，其特征在于，基于预设的偏好值计算公式，计算所述业务请求对每个路由规划方案的偏好值，其中，所述预设的偏好值计算公式，如下所示：式中，为第t个业务请求的偏好值，为第t个业务请求对应的学习回报样本均值，β为探索与利用之间的折中系数，为截至当前时隙第t个业务请求中第k条路由及第f个频隙的选择次数。5.如权利要求4所述的一种电力弹性光网络的自主路由规划方法，其特征在于，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙
选择指示变量和第一学习回报值，具体包括：获取所述第一路由规划方案对应的第一偏好值，将所述第一偏好值代入到预设的第一路由与频隙选择指示变量计算公式中，计算得到所述第一路由规划方案的第一路由与频隙选择指示变量，其中，所述预设的第一路由与频隙选择指示变量计算公式，如下所示：式中，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量；根据所述第一路由规划方案对所述业务请求进行模拟传输时，获取所述业务请求的数据传输速率、传输功耗和成功传输指示变量，将所述数据传输速率、所述传输功耗和所述成功传输指示变量代入到预设的学习回报值计算公式中，计算得到所述第一路由规划方案的第一学习回报值，其中，所述预设的学习回报值计算公式如下所示：式中，θ
t
[k,f]为第t个业务请求对应的第一学习回报值，b
t
为数据传输速率，p
t
[k,f]为第t个业务请求对应的传输功耗，φ
t
[k,f]为第t个业务请求对应的成功传输指示变量，φ
t
[k,f]＝{0,1}。6.如权利要求5所述的一种电力弹性光网络的自主路由规划方法，其特征在于，基于所述第一路由与频隙选择指示变量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值，具体包括：获取截止当前时隙第k条路由及第f个频隙的选择次数，将所述选择次数输入到预设的选择次数更新公式中，得到所述第一路由规划方案对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，并将所述选择次数更新为所述第一选择次数；式中，为第t个业务请求对应的截至当前时隙第k条路由及第f个频隙的第一选择次数，为第t-1个业务请求对应的截至当前时隙第k条路由及第f个频隙的选择次数，x
t
[k,f]为第t个业务请求对应的第一路由与频隙选择指示变量；获取所述第一路由规划方案的所述第一路由与频隙选择指示变量和所述第一学习回报值，以及更新后的所述选择次数，将所述第一路由与频隙选择指示变量、所述第一学习回报值和所述选择次数代入到预设的学习回报样本均值计算公式中，得到第一学习回报样本均值，将所述学习回报样本均值更新为所述第一学习回报样本均值，其中，所述预设的学习回报样本均值计算公式，如下所示：式中，为第t个业务请求对应的第一学习回报样本均值，为第t-1个业务请求对应的学习回报样本均值，x
t
[k，f]为第t个业务请求对应的第一路由与频隙选择指示变量，θ
t
[k,f]为第t个业务请求对应的第一学习回报值，为第t个业务请求对应的截至当前时隙第k条路由及第f个频隙的第一选择次数；
并将更新后的截至当前时隙第k条路由及第f个频隙的选择次数和更新后的学习回报样本均值代入到预设的偏好值计算公式，计算并更新所述第一路由规划方案的偏好值。7.一种电力弹性光网络的自主路由规划装置，其特征在于，包括：路由规划方案偏好值计算模块、业务请求模拟传输模块、路由规划方案偏好值更新模块和最优路由规划方案确定模块；其中，所述路由规划方案偏好值计算模块，用于当检测到业务请求到达时，获取物理网络层的所有可用路由数据和所有可用频隙数据，基于所述所有可用路由数据和所述所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，并计算所述业务请求对每个路由规划方案的偏好值；所述业务请求模拟传输模块，用于选取偏好值最大对应的第一路由规划方案，根据所述第一路由规划方案对所述业务请求进行模拟传输，计算所述业务请求的第一路由与频隙选择指示变量和第一学习回报值，并记录当前第一模拟传输次数；所述路由规划方案偏好值更新模块，用于基于所述第一路由与频隙选择指示变量，计算第一学习回报样本均值，并基于所述第一学习回报样本均值，更新所述第一路由规划方案的偏好值；所述最优路由规划方案确定模块，用于基于所述第一学习回报值，确定成功传输指示变量为1时，停止对所述业务请求进行模拟传输，将所述第一路由规划方案作为所述业务请求对应的最优路由规划方案，并将所述最优路由规划方案发送给所述物理网络层，以使所述物理网络层根据所述最优路由规划方案对所述业务请求进行传输。8.一种电力弹性光网络，其特征在于，包括：物理网络层、孪生网络层和业务应用层；其中，所述孪生网络层包括北向接口和南向接口；所述孪生网络层通过所述北向接口接收所述业务应用层输入的需求；所述孪生网络层通过所述南向接口获取所述物理网络层中的网络状态数据，并在确定最优路由规划方案后，通过所述南向接口向所述物理网络层发送所述最优路由规划方案；所述孪生网络层，用于执行如权利要求1-6任意一项所述的电力弹性光网络的自主路由规划方法。9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述的电力弹性光网络的自主路由规划方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的电力弹性光网络的自主路由规划方法。

技术总结
本发明公开了一种电力弹性光网络的自主路由规划方法、装置及系统，当检测到业务请求到达时，获取物理网络层的所有可用路由数据和所有可用频隙数据，生成所述业务请求对应的所有路由规划方案，计算每个路由规划方案的偏好值，基于偏好值最大对应的第一路由规划方案对业务请求进行模拟传输，计算业务请求的第一路由与频隙选择指示变量和第一学习回报值；基于第一路由与频隙选择指示变量，计算并基于第一学习回报样本均值，更新第一路由规划方案的偏好值；基于第一学习回报值，确定成功传输指示变量为1时，将第一路由规划方案作为业务请求对应的最优路由规划方案，并下发给物理网络层；与现有技术相比，本发明能实现网络路由和频谱的自主规划。频谱的自主规划。频谱的自主规划。


技术研发人员：李溢杰 梁文娟 梁宇图 张珮明 李星南 邓晓智
受保护的技术使用者：广东电网有限责任公司电力调度控制中心
技术研发日：2023.04.23
技术公布日：2023/8/28