算力匹配方法、设备、系统及介质与流程
未命名
09-29
阅读:112
评论:0

1.本发明涉及算力服务技术领域,尤其涉及一种算力匹配方法、算力匹配设备、算力匹配系统及计算机可读存储介质。
背景技术:
2.一些情况下,在算力网络中,由算力提供者发布算力资源信息,算力消费者根据算力资源信息选择算力资源进行消费,这时在算力提供者和算力消费者之间提供算力服务,生成有效的算力调度管理方案,可以帮助算力消费者选择合适的算力资源,同时提高算力提供者的算力资源利用率。
3.然而,由于算力资源信息数量庞大、动态变化,算力消费需求存在多指标、多层级的特点,如何处理算力信息,匹配算力提供者的供给算力与算力消费者的算力需求,提供令算力消费者和算力提供者满意的算力服务,是亟待解决的问题。
技术实现要素:
4.本发明所要解决的技术问题是针对现有技术的上述不足,提供一种算力匹配方法、算力匹配设备、算力匹配系统及计算机可读存储介质,以实现处理算力信息,匹配算力提供者的供给算力与算力消费者的算力需求,生成有效的算力调度管理方案。
5.第一方面,本发明提供一种算力匹配方法,应用于第一区域算力代理者设备broker,所述方法包括:
6.基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息;
7.基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度;
8.基于rabbitmq广播模式,根据匹配度依序将当前算力资源消息加入第一区域consumer的第三消息队列,并推送给第一区域consumer;
9.其中,rabbitmq是消息队列架构,producer是算力提供者设备,consumer是算力消费者设备。
10.第二方面,本发明提供一种算力匹配设备,包括:
11.接收模块,用于基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息;
12.匹配模块,与接收模块连接,用于基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度;
13.推送模块,与匹配模块连接,用于基于rabbitmq广播模式,根据匹配度依序将当前算力资源消息加入第一区域consumer的第三消息队列,并推送给第一区域consumer;
14.其中,rabbitmq是消息队列架构,producer是算力提供者设备,consumer是算力消费者设备。
15.第三方面,本发明提供一种算力系统,包括:
16.第一区域算力代理者设备broker,用于实现如上所述的算力匹配方法;
17.算力提供者设备producer,与第一区域broker连接,用于向第一区域broker提供自身当前算力资源消息;
18.第一区域算力消费者设备consumer,与第一区域broker连接,用于向第一区域broker发送自身当前算力资源消息。
19.第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序被处理器运行时,实现如上所述的算力匹配方法。
20.本发明提供一种算力匹配方法、算力匹配设备、算力匹配系统及计算机可读存储介质,通过broker在producer和consumer之间提供算力服务,基于rabbitmq接收算力资源消息和算力需求消息,将数量庞大、动态变化的算力资源信息和多指标、多层级的算力资源需求信息有效融合到一起,利用智能分类与匹配算法对算力资源消息和算力需求消息进行分类和匹配后,基于rabbitmq向consumer推送匹配的算力资源信息,以使consumer选择到合适的算力资源,可以帮助算力消费者选择合适的算力资源,同时提高算力提供者的算力资源利用率,提供令算力消费者和算力提供者满意的算力服务。
附图说明
21.图1是本发明实施例的一种算力匹配方法的流程图;
22.图2是本发明实施例的一种算力匹配系统的结构示意图;
23.图3是本发明实施例的一种节点特征权重生成方法的示意图;
24.图4是本发明实施例的一种智能分类决策树的示意图;
25.图5是本发明实施例的一种算力匹配装置的结构示意图。
具体实施方式
26.为使本领域技术人员更好地理解本发明的技术方案,下面将结合附图对本发明实施方式作进一步地详细描述。
27.可以理解的是,此处描述的具体实施例和附图仅仅用于解释本发明,而非对本发明的限定。
28.可以理解的是,在不冲突的情况下,本发明中的各实施例及实施例中的各特征可相互组合。
29.可以理解的是,为便于描述,本发明的附图中仅示出了与本发明相关的部分,而与本发明无关的部分未在附图中示出。
30.可以理解的是,本发明的实施例中所涉及的每个单元、模块可仅对应一个实体结构,也可由多个实体结构组成,或者,多个单元、模块也可集成为一个实体结构。
31.可以理解的是,在不冲突的情况下,本发明的流程图和框图中所标注的功能、步骤可根据不同于附图中所标注的顺序发生。
32.可以理解的是,本发明的流程图和框图中,示出了根据本发明各实施例的系统、装置、设备、方法的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可代表一个单元、模块、程序段、代码,其包含用于实现规定的功能的可执行指令。而且,框图和
流程图中的每个方框或方框的组合,可用实现规定的功能的基于硬件的系统实现,也可用硬件与计算机指令的组合来实现。
33.可以理解的是,本发明实施例中所涉及的单元、模块可通过软件的方式实现,也可通过硬件的方式来实现,例如单元、模块可位于处理器中。
34.为了便于理解本发明,首先介绍算力网络及算力匹配需求。
35.算力网络是一种根据业务需求,在云、网、边之间按需分配和灵活调度计算资源、存储资源以及网络资源的新型信息基础设施。算力网络利用云网融合技术以及sdn(软件定义网络,software defined network)/nfv(网络功能虚拟化,network functions virtualization)等新型网络技术,将边缘计算节点、云计算节点以及含广域网在内的各类网络资源深度融合在一起,并通过集中控制或者分布式调度方法与云计算节点的计算和存储资源、广域网的网络资源进行协同,组成新一代信息基础设施,为消费者提供包含计算、存储和连接的整体算力服务,并根据业务特性提供灵活、可调度的按需服务。
36.运营商网络的核心价值从近20年运营商的发展来看,一直是业务和技术双轮驱动,且以移动通信的代际划分为标志,运营商提供的业务和为提供这些业务所采用的支撑技术,均在不断发生变化,而这些变化也直接影响着运营商的经营状况和收入水平。针对全社会对ai(人工智能,artificial intelligence)服务的迫切需求,以及运营商强大的网络服务能力和空闲的it(信息技术,information technology)资源,运营商将算力网络作为一个新的服务形态,向全社会提供普适性的ai算力,使算力成为继话音、短信、专线、流量之后运营商提供的新一代普适性标准化产品。且该产品的价值比流量更高,可以结合用户的时延需求,计算能力与计算位置需求,充分结合运营商5g(第五代移动通信技术,5th generation mobile communication technology)网络接入优势,边缘机房和光纤覆盖优势,以及富余it资源优势,包装成面向不同用户层级、不同需求的多等级、多种类算力服务,为ai社会提供丰富的算力服务,对拓展运营商的服务形态和发展也具有积极的意义。
37.算力网络的技术元素主要包括算力信息收集、算力调度管理方案生成、算力调度(路由)过程和算力交易结算三个方面。其中通过算力调度管理方案生成,实现对算力资源和网络资源的协调和调度,让网络实时感知消费者的算力需求,以及提供者(可以是自身)的算力资源状态,经过分析算法调度不同位置、不同类型的算力资源为消费者服务。调度和管理的算力资源包括cpu(中央处理器,central processing unit)、存储、gpu(图形处理器,graphics processing unit)等,以及云技术、移动边缘计算和企业边缘计算,还包括异构计算、无服务计算(serverless computing)、存算一体、算力卸载等各类资源。
38.实现算力资源的有效管理和调度可能面临以下问题:1)算力资源分散在网络中,算力资源提供者无法确定潜在的算力资源使用者的位置和路由;2)算力资源提供者提供的算力资源以多种形态存在,在算力的价格等方面千差万别,而算力资源使用者的算力需求也多种多样,如何调度和生成满足算力资源使用者需要的算力资源面临巨大的复杂性;3)算力资源提供者提供的算力资源信息发布后,不一定有合适的算力资源使用者购买这个算力资源,因此资源的提供和使用不是同步的,这就需要有一种异步工作的算力资源调度和生成的机制来解决算力资源提供和使用异步的问题;4)算力资源提供的算力资源消息数量庞大,如果把系统全部的算力资源消息都提供给算力使用者,会造成算力资源使用者无法在海量的算力资源中获取合适的资源,从而导致满足需求的算力资源利用率不高。
39.针对上述问题,本发明采用rabbitmq消息队列接收和发送算力消息,rabbitmq消息队列是分布式系统中重要的组件,主要解决应用耦合、异步消息、流量削峰等问题,实现高性能、高可用、可伸缩和最终一致性的架构,是大型分布式系统不可缺少的中间件。消息队列的主要作用是解耦、异步、削峰。其中,解耦的作用就在于降低系统与系统,或者系统中模块与模块之间的耦合度,提高系统的吞吐量与并发度。异步解决了严格按照先后顺序的同步方式带来的执行等待,提高了系统资源利用率。削峰解决了大量并发涌入超过处理能力的问题。
40.针对算力管理和调度面临的问题,本发明引入消息队列机制重构算力匹配业务处理流程,可以显著优化业务处理的效率,设计一种基于消息队列的算力匹配方法,带来如下优势:1)可以通过消息队列将算力资源提供者和算力资源使用者(算力资源消费者)通过消息路由进行匹配,通过智能决策算法为算力资源消费者提供最适合的算力资源;2)通过消息队列的存储和分配机制,解决算力资源消息和算力资源使用时间点不一致的问题,使得算力资源使用者不仅能选择实时发布的算力资源,也可以使用历史发布的有效期范围内的更加广泛的算力资源,更好地为用户提供算力服务;3)利用消息队列的路由功能,采用智能算力资源匹配算法,可以在海量算力资源中,为用户提供精准的、符合算力消费者需求的算力消息,降低用户获取算力消息的复杂性,提高系统算力资源的利用率。
41.综上所述,本发明提供一种算力匹配方法、算力匹配设备、算力匹配系统及计算机可读存储介质,基于rabbitmq将数量庞大、动态变化的算力资源信息和多指标、多层级的算力资源需求信息有效融合到一起,利用智能分类决策树对算力资源消息和算力需求消息进行分类,基于分类结果获得算力资源消息和算力需求消息的匹配度后,基于rabbitmq向consumer推送匹配度高的算力资源信息,以使consumer选择到合适的算力资源,并将consumer对推送的算力资源信息的选择结果作为智能分类决策树监督学习的数据,动态调整智能分类决策树的决策参数,实现算力网络的算力资源与算力需求间的最大匹配,可以帮助consumer选择合适的算力资源,同时提高producer的算力资源利用率,提供令consumer和producer满意的算力服务,对促进算力网络的发展具有积极的意义。
42.实施例1:
43.如图1所示,本发明提供一种算力匹配方法,应用于第一区域算力代理者设备broker,所述方法包括:
44.s11、基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息;
45.s12、基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度;
46.s13、基于rabbitmq广播模式,根据匹配度依序将当前算力资源消息加入第一区域consumer的第三消息队列,并推送给第一区域consumer;
47.其中,rabbitmq是消息队列架构,producer是算力提供者设备,consumer是算力消费者设备。
48.具体而言,在本实施例中,所述方法,通过broker在producer和consumer之间提供算力服务,基于rabbitmq接收算力资源消息和算力需求消息,将数量庞大、动态变化的算力资源信息和多指标、多层级的算力资源需求信息有效融合到一起,利用智能分类与匹配算
法对算力资源消息和算力需求消息进行分类和匹配后,基于rabbitmq向consumer推送匹配的算力资源信息,以使consumer选择到合适的算力资源,可以帮助算力消费者选择合适的算力资源,同时提高算力提供者的算力资源利用率,提供令算力消费者和算力提供者满意的算力服务。
49.在一实施方式中,s11、基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息之前,所述方法还包括:
50.设置rabbitmq,通过rabbitmq绑定多个算力交换机exchange,建立用于存储当前算力资源消息的第一消息队列、用于存储第一区域consumer当前算力需求消息的第二消息队列和向某一第一区域consumer推送消息的第三消息队列,对应第一消息队列、第二消息队列分别设置第一绑定键binding key、第二binding key。
51.具体而言,在本实施例中,选择基于消息队列架构rabbitmq的技术路线实现感知用户业务需求并为用户提供最优的算力资源目标,一方面是能动态感知大量用户的业务需求,另外一方面是实现满足用户业务需求的多指标(计算时间、成本、能耗等)的最优算力资源调度、分配和协同;其中,用户主要是指如图2所示的算力消费者设备(consumer),是从算力消息队列取得算力列表并进行购买消费的终端用户,也可以包括如图2所示的算力提供者设备(producer),是具有算力资源并提供对外服务的算力节点;设置rabbitmq的算力代理者设备broker,是消息的服务器实体,通过如图2所示的算力交换机(exchange)完成将消息按照路由规则转发到对应的消息队列,由于所有的算力资源信息和用户算力需求信息均通过exchange进行路由,因此exchange掌握全局的算力资源信息和用户需求,可以实现充分利用rabbitmq队列中交换机节点的这一优势,通过增加进行算力资源的过滤、调度、分配的优化模块,实现算力的集中管理和优化,此外,这种路由功能集中在exchange的设计,使得producer的路由只到exchange一个节点,简化了producer的路由功能,降低了producer的设备复杂度,由于producer数量巨大,因此采用这种方式可以显著降低整个算力网络的成本。
52.在一实施方式中,当前算力资源消息、第一区域consumer当前算力需求消息中均包括消息头和消息体,消息头采用key-value形式携带路由键routing-key和/或消息优先权priority,当前算力资源消息的消息体携带当前算力资源信息,第一区域consumer当前算力需求消息的消息体携带第一区域consumer当前算力需求信息。
53.具体而言,在本实施例中,算力消息(message)是算力网络节点之间通信的主要载体,所有的节点都通过队列传输的算力消息进行通信,不再设置直接通信方式,基于rabbitmq的算力消息由消息头和消息体组成,消息体是不透明的,而消息头则采用key-value的形式,由一系列的可选属性组成,例如routing-key(路由键)、priority(消息优先权),当前算力资源消息、第一区域consumer当前算力需求消息均为算力消息。
54.在一实施方式中,s11、基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息,具体包括:
55.基于rabbitmq订阅模式,通过第一消息队列接收来自第一区域producer的第一区域当前算力资源消息,以及通过第二消息队列接收来自第一区域consumer的第一区域consumer当前算力需求消息;
56.基于rabbitmq广播模式,接收来自非第一区域broker的跨区域当前算力资源消
息,并将跨区域当前算力资源消息加入第一消息队列,跨区域当前算力资源消息由非第一区域broker从来自自身所在区域的非第一区域producer的非第一区域当前算力资源消息中选取;
57.当前算力资源消息包括第一区域当前算力资源消息和跨区域当前算力资源消息。
58.具体而言,在本实施例中,所述方法应用于如图2所示的broker-a,即图2中,区域a为第一区域,区域b和c为非第一区域,区域b和c可以是与区域a相同的结构且相互之间网状连接,区域a的结构中主要包括算力提供者(producer)、算力消费者(consumer)、算力代理者(broker),producer与broker之间、consumer与broker之间设置信道(channel),是传输算力消息的多路复用的双向数据流通道,用于存储算力消息的消息队列(queue)是数据容器,一个算力消息可投入一个或多个消息队列,绑定功能(binding)用于建立exchange和消息队列之间的关联,绑定键(binding key)用于表征rabbitmq中交换机与消息队列的绑定关系,路由功能(routing)用于建立消息队列和producer、consumer之间的关联。
59.在一实施方式中,基于rabbitmq订阅模式,通过第一消息队列接收来自第一区域producer的第一区域当前算力资源消息,以及通过第二消息队列接收来自第一区域consumer的第一区域consumer当前算力需求消息,具体包括:
60.由exchange根据第一binding key和第二binding key生成第一routing key和第二routing key,为第一区域producer和第一区域consumer分别提供包括第一routing key和第二routing key的封装要求,以使第一区域producer和第一区域consumer按照封装要求分别封装第一区域当前算力资源消息和第一区域consumer当前算力需求消息,每个消息的消息头中携带对应的第一routing key或第二routing key;
61.由exchange通过第一binding key与第一routing key匹配确定第一消息队列,通过第一消息队列接收第一区域producer通过第一信道传输的第一区域当前算力资源消息,以及,由exchange通过第二binding key与第二routing key匹配确定第二消息队列,通过第二消息队列接收第一区域consumer通过第二信道传输的第一区域consumer当前算力需求消息。
62.具体而言,在本实施例中,基于rabbitmq架构的算力消息接收与推送过程如下:1)算力资源消息公告,由算力提供者将能提供算力服务的算力资源按照系统要求封装成算力资源消息,通过信道发送给算力交换机,将发布的算力资源消息发布存储到算力交换机的本地算力资源消息处理队列中;2)算力消费者发布算力需求,由算力消费者发布算力需求到算力交换机,放入本地的算力需求队列,具体方式与1)相同;3)算力资源的智能分类匹配和组播路由,由智能分类算法对资源进行分类,对队列中的算力需求信息进行智能匹配,然后发送到不同类别算力资源对应的队列中;4)算力资源信息推送,匹配的算力资源信息按照匹配度大小或者算力消费者要求的顺序路由到算力消费者对应的消息队列,推送到算力消费者的终端显示;5)算力选择和交易,由算力消费者选择合适的算力,通过区块链的智能合约进行算力交易和结算。
63.在一实施方式中,s12、基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度之前,所述方法还包括:
64.获取历史算力资源消息、历史算力需求消息和consumer对算力资源消息的历史算力选择结果,根据历史算力资源消息、历史算力需求消息和历史算力选择结果训练初始智
能分类与匹配算法,以获得训练后智能分类与匹配算法,在通过rabbitmq绑定的算力交换机exchange中插入训练后智能分类与匹配算法。
65.具体而言,在本实施例中,算力交换机的核心算法是智能分类与匹配算法,智能分类与匹配算法根据历史数据训练建模而获得。
66.在一实施方式中,历史算力资源消息、历史算力需求消息、当前算力资源消息、第一区域consumer当前算力需求消息均包括多个算力特征;
67.初始智能分类与匹配算法包括初始智能分类决策树、第一公式和第二公式,训练后智能分类与匹配算法包括训练后智能分类决策树、第一公式和第三公式;
68.初始智能分类决策树包括多个初始节点,每个初始节点各自对应若干个算力特征及若干个对应的初始节点特征权重,训练后智能分类决策树包括多个训练后节点,每个训练后节点各自对应若干个算力特征及若干个对应的训练后节点特征权重;
69.第一公式用于根据算力特征及对应的节点特征权重计算节点的节点匹配值,节点为初始节点、节点特征权重为初始节点特征权重、节点匹配值为节点资源匹配值,或节点为训练后节点、节点特征权重为训练后节点特征权重、节点匹配值为节点需求匹配值;
70.第二公式用于最小化计算训练集数据在匹配到的节点的节点资源匹配值和节点需求匹配值之间的误差和,训练集是历史算力资源消息、历史算力需求消息和历史算力选择结果组成的数据集合;
71.第三公式用于计算同一节点的节点资源匹配值和节点需求匹配值之间的误差。
72.具体而言,在本实施例中,智能分类与匹配算法基于智能分类决策树(decision tree)构建,利用智能分类决策树对算力消息进行分类后,再利用相应的公式(第一公式和第二公式、第一公式和第三公式)计算匹配到同一节点的算力资源消息和算力需求消息在该节点各自的匹配值(节点资源匹配值、节点需求匹配值),两者的匹配值相差越小则说明二者在同一节点的匹配度越高,合适将相应的算力资源消息推送给算力需求消息对应的consumer。
73.在一实施方式中,第一公式具体是:
[0074][0075]
第二公式具体是:
[0076][0077]
第三公式具体是:
[0078]
[f1(x)-f2(x)]2[0079]
其中,f(x)是某一算力消息在x节点的节点匹配值,n是x节点的算力特征的数量,ki是x节点的第i个算力特征的节点特征权重,pi是某一算力消息对应x节点的第i个算力特征的数值,d是训练集,f1(x)、f2(x)对应是节点资源匹配值、节点需求匹配值之一,算力消息是历史算力资源消息、历史算力需求消息、当前算力资源消息、第一区域consumer当前算力需求消息之一。
[0080]
在一实施方式中,根据历史算力资源消息、历史算力需求消息和历史算力选择结
果训练初始智能分类与匹配算法,以获得训练后智能分类与匹配算法,具体包括:
[0081]
选取算力特征的不同组合划分多层特征空间,根据多层特征空间创建多层智能分类决策树,多层智能分类决策树的每个初始节点对应一个特征空间,一个特征空间对应若干个算力特征,对每个初始节点的每个算力特征分配对应的初始节点特征权重,以获得初始智能分类决策树;
[0082]
根据算力特征将历史算力资源消息/历史算力需求消息匹配给初始节点,根据历史算力选择结果将对应的历史算力需求消息/历史算力资源消息,匹配给对应的历史算力资源消息/历史算力需求消息匹配的初始节点;
[0083]
根据第一公式计算历史算力资源消息和历史算力需求消息匹配的初始节点的第一节点资源匹配值和第一节点需求匹配值,根据第二公式最小化计算训练集数据在初始智能分类决策树匹配的初始节点的误差和,响应于误差和大于第一预设值则调整初始节点特征权重,直至误差和小于等于第一预设值则获得训练后节点特征权重。
[0084]
在一实施方式中,获得训练后节点特征权重之后,所述方法还包括:
[0085]
响应于剪除若干初始节点后,误差和的变化小于第二预设值,剪除若干初始节点,以获得保留训练后节点的训练后智能分类决策树。
[0086]
具体而言,在本实施例中,算法训练过程包括:构造智能分类决策树t,如图3所示,对算力特征的分类是多维度的,各个维度之间具有相互影响又关联的特性,可以根据多维特征将需求空间划分为若干个子空间,例如服务范围是广域,多区域和本地的用户需求子空间,然后再在每个子空间下根据对应多维特征的层级进行下一个层级的子空间划分,例如本地服务下的高性能高价格、中性能实惠价格、低性能经济价格,之后还可以进一步依次递归划分,可以针对算力资源特征和算力需求特征采用多维类别来协同特征描述,例如算力特征包括算力数量、算力能力、算力位置、算力价格、响应时间、网络带宽等,在t的不同节点对算力特征排序,以如图4所示两层结构的t作为简化示例,节点可以包括第一层的广域、多区域、本地,分别表示可以为整个算力网络提供算力资源的producer和可接受来自整个算力网络的算力资源的consumer、可以为多个区域提供算力资源的producer和可接受来自多个区域的算力资源的consumer、只为本区域提供算力资源的producer和只接受来自本区域的算力资源的consumer,第二层包括本地节点之下的高性能高价格节点、中性能实惠价格节点、低性能经济价格节点,分别表示为本区域提供高性能高价格算力资源的producer和接受来自本区域的高性能高价格算力资源的consumer、为本区域提供中性能实惠价格算力资源的producer和接受来自本区域的中性能实惠价格算力资源的consumer、为本区域提供低性能经济价格算力资源的producer和接受来自本区域的低性能经济价格算力资源的consumer,针对图4中每一个节点基于自身所描述性质,对自身所看重的算力特征进行排序,如高性能高价格节点会将算力数量、算力能力、响应时间、网络带宽排在靠前的位置,而将算力价格排在靠后的位置,算力位置则根据其在本地节点之下需要排在靠前的位置,根据排序结果对每一特征位分配节点特征权重,靠前的算力特征具有更高的节点特征权重,从而排序后节点的算力特征指标与节点特征权重相乘再求和,即可得到对应的算力消息符合该节点所描述性质的程度(节点匹配值),如producer提供的算力资源是否具备高性能高价格的特点,consumer是否接受高性能高价格的算力资源等,因为算法需要训练,所以一开始赋予节点的是初始节点特征权重,采用动态加权量化的方法获得预测性好的训练后节点
特征权重;组建训练集d,将历史算力需求信息和消费者历史选择的算力资源信息作为d,将d中的数据映射到t的节点,通过用户的算力需求和用户的最终选择对t进行训练,以训练数据的决策树输出空间和训练数据的用户实际选择空间的误差累计最小作为判断训练达到目标的条件,结束训练获得训练后的算法模型;对t剪枝,为解决t的生成只考虑局部优化而忽略了全局优化的问题,防止局部的"过拟合现象"的发生,使得决策树具有更好的泛化能力,在生成t的节点之后,再从当前的节点开始,逐层向上对每个节点进行评估,如果剪掉该节点,带来的验证集中准确性差别不大或有明显提升,则可以对它进行剪枝,用子节点来代替该节点。
[0087]
在一实施方式中,s12、基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度,具体包括:
[0088]
根据算力特征将当前算力资源消息和第一区域consumer当前算力需求消息匹配给训练后智能分类决策树的训练后节点,确定某一第一区域consumer当前算力需求消息匹配的训练后节点;
[0089]
根据第一公式分别计算当前算力资源消息和某一第一区域consumer当前算力需求消息在匹配的训练后节点的第二节点资源匹配值和第二节点需求匹配值,根据第三公式计算的第二节点资源匹配值和第二节点需求匹配值之间的误差,根据误差获得当前算力资源消息与某一第一区域consumer当前算力需求消息的匹配度。
[0090]
具体而言,在本实施例中,由exchange进行对算力资源的过滤、调度、分配的算法是训练后智能分类与匹配算法,算法包括训练后智能分类算法(智能分类决策树)和匹配算法(第一公式和第二公式)两部分,匹配过程包括,基于训练后智能分类算法,将当前算力资源消息与第一区域consumer当前算力需求消息分别分类为不同类别,基于匹配算法计算分为同一类别的当前算力资源消息与第一区域consumer当前算力需求消息的匹配度,第一消息队列可以对应训练后智能分类决策树的每个节点设置,将每一类别的当前算力资源消息分别加入各自的第一消息队列,便于处理海量的算力资源消息,对训练后获得的t的应用,原理与训练过程类似,只是验证时只需计算被匹配到同一节点的算力资源消息与算力需求消息之间的匹配度是否达到预设条件即可,即计算一个或几个节点的匹配值误差,无需对所有节点计算误差和。
[0091]
在一实施方式中,s13、基于rabbitmq广播模式,根据匹配度依序将当前算力资源消息加入第一区域consumer的第三消息队列,并推送给第一区域consumer,具体包括:
[0092]
由exchange根据与某一第一区域consumer当前算力需求消息对应的某一第一区域consumer建立的第三消息队列的第三绑定键binding key,将匹配度作为优先权priority加入对应的当前算力资源消息的消息头,根据priority按照误差由小到大的顺序将误差最小的第三预设值个当前算力资源消息加入某一第一区域consumer的第三消息队列,并推送给某一第一区域consumer。
[0093]
具体而言,在本实施例中,consumer提交算力需求描述(发送算力需求消息)后,通过训练后的决策树对需求对应的算力资源按照决策结果的符合度(匹配度)大小的先后顺序通过队列推送给consumer使用,如图2所示的绑定方式获得的binding key同样适用于消息推送,同时可以在推送的消息的消息头中加入优先权来作为依序推送的依据。
[0094]
在一实施方式中,s13、基于rabbitmq广播模式,根据匹配度依序将当前算力资源
消息加入第一区域consumer的第三消息队列,并推送给第一区域consumer之后,所述方法还包括:
[0095]
接收第一区域consumer对当前算力资源消息的当前算力选择结果;
[0096]
响应于当前算力选择结果对应的误差大于第四预设值,将当前算力选择结果、所选择的当前算力资源消息和对应的第一区域consumer当前算力需求消息作为历史算力选择结果、历史算力资源消息和历史算力需求消息加入训练集;
[0097]
基于新的训练集以原训练后智能分类决策树作为初始智能分类决策树,重新训练获得训练后智能分类决策树。
[0098]
具体而言,在本实施例中,智能分类与匹配算法的智能分类决策树采用动态监督学习算法,如果算力资源使用者(consumer)选择的算力资源在系统设定的范围之内(例如前20),则表示决策树的算力资源决策结果满足了用户资源需求,如果用户资源选择在系统设定的范围以外,则对应的算力资源信息、算力需求信息和用户选择,这一组数据作为训练数据放入学习样本空间,以当前的决策树调整决策树的学习过程,使得决策树的决策动态适应当前的变化。
[0099]
在一实施方式中,历史算力资源消息、当前算力资源消息中包括算力资源信息,历史算力需求消息、第一区域consumer当前算力需求消息中包括算力需求信息,算力特征包括算力数量、算力能力、算力位置、算力价格、响应时间、网络带宽、支付方式;
[0100]
算力资源信息中算力特征为算力资源特征,算力资源信息包括:算力提供者标识、算力资源标识、算力资源特征和第一发布时间戳,算力资源特征包括:供给算力数量、供给算力能力、供给算力位置、供给算力价格、供给响应时间、供给网络带宽、供给方指定支付方式;
[0101]
算力需求信息中算力特征为算力需求特征,算力需求信息包括:算力消费者标识、本次算力需求标识、算力需求特征、优先因素和第二发布时间戳,算力需求特征包括:算力数量需求、算力能力需求、消费算力位置、消费方期望算力价格、响应时间需求、网络带宽需求、消费方期望支付方式,优先因素包括算力特征至少之一。
[0102]
在一实施方式中,接收第一区域consumer对当前算力资源消息的当前算力选择结果之前,所述方法还包括:
[0103]
基于rabbitmq广播模式,选择与优先因素对应的算力资源特征指标最大的第五预设值个当前算力资源消息,根据优先因素对应的算力资源特征指标依序将第五预设值个当前算力资源消息加入第三消息队列,并推送给第一区域consumer。
[0104]
在一实施方式中,接收第一区域consumer对当前算力资源消息的当前算力选择结果之后,所述方法还包括:
[0105]
将当前算力选择结果对应的当前算力资源消息和第一区域consumer当前算力需求消息分别从第一消息队列和第二消息队列中删除,将对应第三消息队列中所有的当前算力资源消息删除;
[0106]
接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息之后,所述方法还包括:
[0107]
响应于第一消息队列/第二消息队列中有同一producer/第一区域consumer的对应在先算力资源消息/第一区域consumer在先算力需求消息,删除对应在先算力资源消息/
第一区域consumer在先算力需求消息。
[0108]
具体而言,在本实施例中,通过在算力需求消息中携带优先因素,特别是在决策树动态学习的早期,可能存在决策树决策效果不理想的问题,此时可以通过用户比较关注的算力特征,直接推送相关的算力资源消息,如果用户选择了这部分消息,则需要进一步进行决策树的学习训练,有利于用户在模型不成熟时选择到合适的资源,也有利于获得训练数据;通过在算力资源消息和算力需求消息中携带时间戳,记录每条消息生成的时间,对于表示相同信息的消息,只需保留时间戳最新的消息作为当前消息。
[0109]
更完整详细的实施示例说明如下:
[0110]
所公开的算力匹配方法设置于算力网络中,算力网络通过控制信令同5g网络融合,使得5g网络从只处理电信业务的封闭模式向可对外开放、融合感知、传输、存储、计算、处理为一体的智能化、多业务形态(通信、信息、算力)的信息基础设施发展。例如算网融合的发展使得mec从“对业务无感知的私有网络”向“感知用户业务需求,为数据和算力服务之间建立按需连接”的开放型网络节点发展。算力网络的算力资源主要以“云数据中心+边缘服务器+用户终端”三级协同(简称“云+边+端”协同),算力资源从传统的云数据中心向5g网络中更加贴近用户的mec(multi-access edge computing多接入边缘计算)、以及用户各类终端的算力扩散,实现算力资源的泛在和灵活的调度。由于通信网络用户数量庞大,而且分布在网络的不同位置,可能处于移动状态中,因此实现算力生成的“感知用户业务需求,为用户提供最优的算力计算结果”目标,一方面需要能动态感知大量用户的业务需求,另外一方面需要实现满足用户业务需求的多指标(计算时间、成本、能耗等)的最优算力资源调度、分配和协同。
[0111]
本示例具体用于实现如图2所示算力网络中实现producer和consumer之间的算力匹配,方法主要通过计算机程序设置于broker中,为实现上述目标,主要进行两部分技术开发,1)建立基于消息队列的算力生成架构,2)在broker的算力交换机exchange中的设置智能分类决策树算法。
[0112]
第一部分、建立基于消息队列的算力生成架构:
[0113]
选择基于消息队列架构rabbitmq的技术路线实现上述算力生成的目标,rabbitmq是一款优秀的基于高级消息队列协议(advanced message queuing protocol,amqp)面向消息的中间件框架,具有高可靠性,并支持高并发,以及基于集群模式的可伸缩性,适合大规模部署。rabbitmq具有灵活的路由(routing),对于典型的路由功能,rabbit通过内置的exchange提供服务,针对复杂的路由功能,可以将多个exchange绑定在一起,也通过插件机制实现自己的exchange路由算法,rabbitmq的插件机制(plugin system)支持通过插件的形式扩展功能功能,方便本发明的算力生成算法通过插件的形式融合到系统中。
[0114]
如图2所示的基于rabbitmq架构的算力网络算力生成架构包括如下结构单元:
[0115]
1)算力提供者(producer):是具有算力资源并提供对外服务的算力节点,例如中心云的云计算tc、电信边缘的多接入边缘计算(mec)、企业边缘的现场级计算(ecc)、用户端的服务器、个人计算机(pc)和移动终端安装算力分享应用(app)的空闲算力资源;
[0116]
2)算力消费者(consumer):是从算力消息队列(第三消息队列)取得算力列表并进行购买消费的终端用户,算力消费者提交算力请求(以算力需求消息的形式)到算力交换机后,会获得算力交换机提供的经过过滤和优化的算力列表,算力列表默认是智能排列,由算
力交换机采用优化算法生成算力资源消息排序的队列,此外,第三消息队列还支持按照系统设定的指标排序,例如按照算力的价格排序、按照算力地理位置远近排序和按照处理速度排序等,对于不同的排序需求,算力交换机根据用户提供的信息生成算力列表,消费者根据队列提供的算力信息选择一个或者多个算力资源,反馈给算力交换机,算力交换机应答算力分配成功后,终端将计算任务通过队列提交预定的算力资源,预定的算力资源完成计算任务后,通过队列返回计算结果到终端,并通过电信链的智能合约自动结算;
[0117]
3)算力消息(message):rabbitmq的消息由消息头和消息体组成,消息体是不透明的,消息头则采用key-value的形式,由一系列的可选属性组成,例如routing-key(路由键)、priority(消息优先权),算力消息是算力网络节点之间通信的主要载体,所有的节点都通过队列传输的算力消息进行通信,不再设置直接通信方式;
[0118]
4)信道(channel):是传输算力消息的多路复用的双向数据流通道,信道是tcp(传输控制协议,transmission control protocol)连接中的虚拟连接,通过信道多个节点可以复用一个tcp连接传输各自的算力消息;
[0119]
5)消息队列(queue):是存储消息的数据容器,一个消息可投入一个或多个队列,消息会一直在队列里面,直到消费者连接到这个队列将消息取走,消息有时间戳标识,如果终端读取的消息超时,则可以直接抛弃该消息,读取下一个消息,超过系统设定的期限的未读消息,系统会发送到死信队列,并通知消息的发送者,也可以按照设定清除队列中的消息;
[0120]
6)算力交换机(exchange):rabbitmq的交换机主要用于完成将消息按照路由规则转发到对应的消息队列,由于算力网络中,算力资源提供者并不知道合适的算力消费者的位置,因此算力提供者并没有算力消息的路由能力,另外,由于算力网络中存在大量的算力资源,如果所有的资源都广播到算力消费者,一方面会占用大量的网络资源和存储,另外一方面算力消费者面临在海量的算力资源中无法选择的困境,由于所有的算力资源信息和用户算力需求信息均通过交换机进行路由,因此交换机掌握全局的算力资源信息和用户需求,通过充分利用rabbitmq队列中交换机节点的这一优势,通过增加具有算力资源的过滤、调度、分配的优化模块,实现算力生成的集中管理和优化,此外,这种路由功能集中在算力交换机的设计,使得算力发布者的路由只到算力交换机一个节点,简化了算力发布者的路由功能,降低了资源发布者设备的复杂度,由于算力发布者数量巨大,因此采用这种方式可以显著降低整个算力网络的成本;
[0121]
7)绑定(binding)和路由(routing):用于建立消息和消息队列之间的关联,一个绑定就是基于binding key将算力交换机和消息队列连接起来的路由规则,由于本示例路由集中在算力交换机,因此算力交换机生成的路由信息是由binding构成的路由表;
[0122]
8)绑定键(binding key):是rabbitmq中交换机与消息队列的绑定关系,用于匹配routing key;
[0123]
9)broker:rabbitmq的server,就是消息的服务器实体,可成为算力代理者。
[0124]
在上述组成架构之下,算力匹配的工作过程如下:
[0125]
1)算力资源消息公告,由算力提供者将能提供算力服务的算力资源按照系统要求封装成算力资源消息,通过信道发送给算力交换机,算力资源消息通过routing-key统一指向本地的算力交换机,算力资源消息通过消息的属性封装算力资源的特征,形式如下:{算
力资源提供者标识id+算力资源的标识id+算力资源特征(算力数量、供给能力、节点位置、网络参数、算力价格、支付方式)+发布时间戳},其中,算力资源提供者标识id唯一标识算力提供者,算力资源的标识id标识一个算力提供者的一个独立的算力资源,例如一个算力提供者,可以提供云计算、边缘计算的算力资源,每一种资源有不同的性能和收费标准,就可以用不同的算力资源标识id来区分。发布时间戳标识算力提供者发布的标识为{算力资源提供者标识id+算力资源的标识id}的算力资源信息的时间,如果相同标识资源更新了算力资源消息,则会覆盖相同标识的算力资源的更早时间戳的算力资源公告消息,网络参数可以包括响应时间、网络带宽等参数;
[0126]
2)算力消费者发布算力需求,与算力资源消息公告的原理是相同的,是对算力消费的需求进行描述,如消费者想购买数据分析服务,需要分析多少数据,多久能完成,服务商(提供者)限定在什么区域,选择的时候优先考虑服务商的能力还是价格等,使用rabbitmq机制作为异步缓冲池,消息发布和消息处理不一定同时,需要放到消息队列中缓冲一下等待完成匹配,算力消费者发布算力需求消息到算力交换机,算力需求消息可采用如下格式:{算力消费标识id+算力需求的标识id+算力需求特征(算力需求数量、响应时间、节点位置、网络参数、费用期望值、支付方式)+优先因素(算力、价格、响应时间、网络带宽、计费方式)+发布时间戳};
[0127]
3)算力资源的智能分类和组播路由,算力资源消息发布后,可先存储到算力交换机的本地算力资源消息处理队列(可以将此队列理解为第一消息队列,用于存储算力资源消息)中,由智能分类算法对资源进行分类,然后发送到不同类别算力资源对应的队列(也可以将此队列理解为第一消息队列,用于存储分类后的算力资源消息,即智能分类决策树中每个节点对应的算力资源消息,且在该队列中可以按照节点特征值对消息排序,这样便于后续根据公式计算误差,也即计算匹配度)中,由于算力资源采用多维度特征表述,因此需要综合多个特征基于学习算法进行智能分类,rabbitmq的exchange支持fanout(广播模式)和订阅模式,exchange可以通过订阅模式接收消息,再把所有发送到自身的消息路由到所有与自身绑定的消息队列中,订阅模式根据binding key和routing key对应接收消息,广播模式与binding key和routing key的对应关系无关,交换机将接受到的消息分发给有绑定关系的所有消息队列,算力资源根据服务范围可以分为本地(例如企业边缘)和跨区域(例如电信边缘),以及全网(例如中心云),基于rabbitmq的fanout模式,对于支持跨区域的算力资源,所属区域的算力交换机将算力资源信息组播到设定区域的算力交换机,对于面向全网的算力资源,资源所属区域的算力交换机将算力资源信息广播到全网的算力交换机;
[0128]
4)算力需求和资源匹配以及算力资源信息推送,算力交换机收到算力消费者发布的算力需求后,放入本地的算力需求队列(第二消息队列),然后由智能分类和匹配算法对队列中的算力需求信息进行智能匹配,匹配的算力资源信息按照匹配度大小或者算力消费者要求的顺序路由到算力消费者对应的消息队列(第三消息队列),推送到算力消费者的终端显示;
[0129]
5)算力选择和交易,算力消费者选择合适的算力,通过电信区块链的智能合约进行算力交易和结算。
[0130]
第二部分、在broker的算力交换机exchange中的设置智能分类决策树算法:
[0131]
由于简化了算力提供者和算力消费者的路由功能,两者的路由均直接路由到算力交换机,算力资源的路由由算力交换机的智能分类和匹配模块完成,因此,智能分类和匹配模块成为算力交换机的核心,智能分类算法基于决策树(decision tree)构建,之后基于决策树的分类结果进行匹配,决策树模型呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程,其主要优点是模型具有可读性,分类速度快。
[0132]
智能分类决策树算法需要经过学习训练后方可用于实际分类,在学习过程中利用训练数据根据损失函数最小化的原则建立决策树模型,分类过程中对新的数据利用训练过的决策树模型进行分类,其中每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别,使用决策树进行分类的过程是从根节点开始,测试待分类项中相应的特征属性,并按照其值选择输出分支,直到到达叶子节点,将叶子节点存放的类别作为决策结果输出,分类树是一种人工智能的监督学习,给定一堆样本,每个样本都有一组属性和一个类别,这些类别是事先确定的,通过学习得到一个分类器,这个分类器能够对新出现的对象给出正确的分类,可类比的应用方式如,有很多运动鞋商家,对其分类有很多维度,对学生来说,样式新潮、价格偏低是好的,可以据此针对学生对商家或产品进行分类并排序,对职场人员来说,商务风范、品牌是重要的特征分类维度,对老年人来说,舒服、全棉是重点考虑的优先因素,因此,可以利用不同人群的购买记录对应的特征偏好对运动鞋进行分类,然后再有新的卖家,判断一下他的年龄、职业等,就能给他分类到他最适合的运动鞋。
[0133]
本示例中,算力资源的分类是多维度的,各个维度之间相互影响,又具有关联特性,例如对于价格因素,某个收费价格对于边缘计算的计算资源可能划分到高费用类别,但是对于云计算资源可能就划分到低费用类别,同样的原因,由于mec靠近用户,同样的响应速度和带宽,对于mec的算力资源可能划分到普通类别,对于云中心可能划分到高等级类别,另外,算法的初始状态无法确定某个特征的某个具体指标数值应该划分到哪个等级类别,需要通过发布的数据和成交的数据不断学习生成各个类别对应的具体指标范围,并随着时间和周围环境动态变化,例如工作日和节假日或者昼夜之间的商务区和住宅区,同样的算力资源价格可能会划分到不同的类别中等。
[0134]
因此,建立智能分类决策树算法包括3个步骤:决策树的结构、决策树的训练、决策树的修剪,建立智能分类决策树后还包括决策树的动态学习。
[0135]
1)决策树t的结构,主要是生成多维特征空间组合,即构造树状的特征分类结构,选取对训练数据具有分类能力的特征,并选用这些特征来划分特征空间,例如算力能力、响应时间、费用构成一个特征空间,按照这个空间可以构成一个分支节点,如果按照可靠性、算力能力、延迟就构成另外一个特征空间,不同特征空间评价算力资源的角度不同,本示例采用多维类别来协同描述算力特征,采用如图2所示的动态加权量化的方法生成决策树的节点,首先综合实际算力资源特征和算力需求特征得到多种用于分类的算力特征,根据算力特征划分不同的特征空间,每个特征空间算力特征的排序不同,排在前面的算力特征是该空间更加看重的特征,如用户如果对价格更敏感,存在一个节点以价格作为第一位的算力特征,通过算力特征排序在决策树的不同节点动态分配算力特征到对应的特征位(第1位、第2位
……
),然后再生成各个特征位的节点特征权重,最终将各个特征位的指标数值和权重相乘后求和(第一公式),得到该节点的节点特征值,为说明上述多维动态特征算法作
用,下面选用如图3所示的决策树的两层为例来说明,对于服务范围这个决策树节点,资源服务范围包括广域(云中心)、多区域(移动边缘计算)、本地(企业边缘),可以按照地理位置将对应类型的算力资源分配到对应的节点,但是也不能完全依靠这个因素,因为地理位置是本地的边缘节点也可以支持大范围算力需求的本地算力服务,同样云中心也支持本地范围的算力服务,因此,需要综合资源、地理位置、接入带宽、资源能力、资源价格等多维因素,才能准确区分哪些算力资源适合服务多区域,哪些算力资源适合服务本地,在下一层本地服务范围下,为用户提供各类性价比的算力资源,资源特征类型指标的分配要动态改变,权重也要动态改变,以适应决策树本节点的需求,在决策树的第一层本地下面的第二层,资源能力和资源价格要分配到特征位的高位,资源类型要分配到低权重的位置,但是也不能没有这个因素,例如云中心的算力能力强大,但是距离用户较远,响应时间长,因此,算力资源的能力要综合考虑资源能力、资源价格、接入带宽、响应时间等因素。
[0136]
2)决策树的训练,决策树的训练数据由对应用户的算力需求和实际算力选择结果构成,例如工业生产企业用户大部分选择的是高性能、快速响应的低延时本地算力资源,而银行大部分选择的是高性能、高安全性和高可靠的广域范围的算力资源,微型连锁超市往往选择的是低费用、高可靠的广域范围的算力资源,因此,基于上述结构的决策树t的输入数据为训练集d(不同用户的算力需求和用户选择的算力资源的特征),将训练数据空间映射到决策树空间,通过用户的算力需求和用户的最终选择对决策树进行训练,获得训练数据的决策树输出空间和训练数据的用户实际选择空间的误差累计最小,在训练集数据所在的用户算力需求空间中,递归地根据多维特征生成的特征值,将需求空间划分为若干个子空间,例如服务范围是广域、多区域和本地的用户需求子空间,然后在每个子空间下再根据对应多维特征生成的层级进行下一个层级的子空间划分,例如本地服务下的高性能高价格、中性能实惠价格、低性能经济价格,然后依次递归划分,统计决策树空间和训练数据的误差,调整决策树的节点特征权重,使得两个空间的误差和最小,持续对决策树的每个节点用训练数据进行最小化方差计算,调整决策树的特征位权重,直到总的误差(第二公式)满足要求。
[0137]
3)决策树的修剪,由于上述决策树的生成可能只考虑了局部优化而忽略了全局优化,可以通过剪枝兼顾决策树的全局优化和局部优化,防止局部的"过拟合现象"的发生,使得决策树具有更好的泛化能力,由于算力决策树构造对应用户的类型和算力需求通过训练数据构造,决策树按照从上到下的顺序生成,但是由于训练数据的潜在的关联因素,例如对于廉价的算力资源需求,由于需求庞大,再细分更多等级的价格范围和融合不同的资源能力和响应时间的综合因素生成特征值,这些更加细化的决策节点已经影响全局资源的利用率,因为这样会造成这些资源由于用户选择集中而很快过载,而其他相似的资源缺少选择的机会而浪费资源,影响整体的系统效率,因此在生成决策树的叶节点之后,再从当前的叶节点开始,逐层向上对每个节点进行评估,如果剪掉该节点,带来的验证集中准确性差别不大或有明显提升,则可以对它进行剪枝,用叶子节点来代替该节点,例如有个分类,廉价的算力资源,如果分的很细,就会聚焦到少数算力节点上,这样大量的寻找廉价算力资源的算力需求就会集中到这些少数算力节点,带来这些节点的服务急剧下降,实际上很多寻找廉价资源的用户,不一定是找最廉价的算力资源,稍微贵点的,服务质量更好的也是他们选择的目标,如果分的太细,这些资源就没有被寻找廉价算力资源的需求选择的机会,如果把这
个过细的分支减掉,对廉价这个特征影响不大,或者系统有显著的性能提升,就可以剪掉这个分支。
[0138]
4)决策树的动态学习,利用用户的算力资源决策对决策树进行动态监督学习,所谓的监督学习就是给定样本空间,空间的每个样本都有一组属性和一个类别,这些类别是确定的,样本空间是可以变化的,通过对新样本的学习动态调整决策树,使得决策树能更好地对需要决策的新对象给出更好的决策,包括:1)算力使用者提交算力资源的需求描述后,通过决策树对需求对应的算力资源按照决策结果的符合度(可以基于第三公式获得)大小的先后顺序通过队列推送给算力消费者;2)如果算力消费者选择的算力资源在系统设定的推送的范围之内(例如前20),则表示决策树的算力资源决策结果满足了用户的资源选择需求,如果用户资源选择在系统设定的范围以外(例如选择了决策树结果的其他分类节点),则将对应的算力资源需求描述和用户选择以及当前的决策树决策结果作为训练数据放入学习样本空间,调整决策树的学习过程,使得决策树的决策动态适应当前的算力资源的变化。
[0139]
本示例具备多种优势,包括:1)选择基于消息队列架构rabbitmq的技术路线实现算力生成的“感知用户业务需求,为用户提供最优的算力计算结果”目标,一方面能动态感知大量用户的业务需求,另一方面能实现满足用户业务需求的多指标(计算时间、成本、能耗等)的最优算力资源调度、分配和协同;2)基于决策树(decision tree)构建智能分类算法,对用户的特征和算力需求通过训练数据进行构造,将算力资源的提供和消费的需求结合,将数量庞大、动态变化的算力资源信息有效融合管理,实现高效的管理匹配;3)通过动态监督学习算法,使得基于决策树的算力资源决策动态适应当前的算力资源的变化。
[0140]
实施例2:
[0141]
如图5所示,本发明实施例2一种算力匹配设备,包括:
[0142]
接收模块11,用于基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息;
[0143]
匹配模块12,与接收模块11连接,用于基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度;
[0144]
推送模块13,与匹配模块12连接,用于基于rabbitmq广播模式,根据匹配度依序将当前算力资源消息加入第一区域consumer的第三消息队列,并推送给第一区域consumer;
[0145]
其中,rabbitmq是消息队列架构,producer是算力提供者设备,consumer是算力消费者设备。
[0146]
在一实施方式中,所述设备还包括:
[0147]
设置模块,用于设置rabbitmq,通过rabbitmq绑定多个算力交换机exchange,建立用于存储当前算力资源消息的第一消息队列、用于存储第一区域consumer当前算力需求消息的第二消息队列和向某一第一区域consumer推送消息的第三消息队列,对应第一消息队列、第二消息队列分别设置第一绑定键binding key、第二binding key。
[0148]
在一实施方式中,当前算力资源消息、第一区域consumer当前算力需求消息中均包括消息头和消息体,消息头采用key-value形式携带路由键routing-key和/或消息优先权priority,当前算力资源消息的消息体携带当前算力资源信息,第一区域consumer当前算力需求消息的消息体携带第一区域consumer当前算力需求信息。
[0149]
在一实施方式中,接收模块11,具体包括:
[0150]
第一接收单元,用于基于rabbitmq订阅模式,通过第一消息队列接收来自第一区域producer的第一区域当前算力资源消息,以及通过第二消息队列接收来自第一区域consumer的第一区域consumer当前算力需求消息;
[0151]
第二接收单元,用于基于rabbitmq广播模式,接收来自非第一区域broker的跨区域当前算力资源消息,并将跨区域当前算力资源消息加入第一消息队列,跨区域当前算力资源消息由非第一区域broker从来自自身所在区域的非第一区域producer的非第一区域当前算力资源消息中选取;
[0152]
当前算力资源消息包括第一区域当前算力资源消息和跨区域当前算力资源消息。
[0153]
在一实施方式中,第一接收单元,具体包括:
[0154]
绑定子单元,用于由exchange根据第一binding key和第二binding key生成第一routing key和第二routing key,为第一区域producer和第一区域consumer分别提供包括第一routing key和第二routing key的封装要求,以使第一区域producer和第一区域consumer按照封装要求分别封装第一区域当前算力资源消息和第一区域consumer当前算力需求消息,每个消息的消息头中携带对应的第一routing key或第二routing key;
[0155]
匹配接收子单元,用于由exchange通过第一binding key与第一routing key匹配确定第一消息队列,通过第一消息队列接收第一区域producer通过第一信道传输的第一区域当前算力资源消息,以及,由exchange通过第二binding key与第二routing key匹配确定第二消息队列,通过第二消息队列接收第一区域consumer通过第二信道传输的第一区域consumer当前算力需求消息。
[0156]
在一实施方式中,所述装置还包括:
[0157]
训练模块,用于获取历史算力资源消息、历史算力需求消息和consumer对算力资源消息的历史算力选择结果,根据历史算力资源消息、历史算力需求消息和历史算力选择结果训练初始智能分类与匹配算法,以获得训练后智能分类与匹配算法,在通过rabbitmq绑定的算力交换机exchange中插入训练后智能分类与匹配算法。
[0158]
在一实施方式中,历史算力资源消息、历史算力需求消息、当前算力资源消息、第一区域consumer当前算力需求消息均包括多个算力特征;
[0159]
初始智能分类与匹配算法包括初始智能分类决策树、第一公式和第二公式,训练后智能分类与匹配算法包括训练后智能分类决策树、第一公式和第三公式;
[0160]
初始智能分类决策树包括多个初始节点,每个初始节点各自对应若干个算力特征及若干个对应的初始节点特征权重,训练后智能分类决策树包括多个训练后节点,每个训练后节点各自对应若干个算力特征及若干个对应的训练后节点特征权重;
[0161]
第一公式用于根据算力特征及对应的节点特征权重计算节点的节点匹配值,节点为初始节点、节点特征权重为初始节点特征权重、节点匹配值为节点资源匹配值,或节点为训练后节点、节点特征权重为训练后节点特征权重、节点匹配值为节点需求匹配值:
[0162]
第二公式用于最小化计算训练集数据在匹配到的节点的节点资源匹配值和节点需求匹配值之间的误差和,训练集是历史算力资源消息、历史算力需求消息和历史算力选择结果组成的数据集合:
[0163]
第三公式用于计算同一节点的节点资源匹配值和节点需求匹配值之间的误差。
[0164]
在一实施方式中,第一公式具体是:
[0165][0166]
第二公式具体是:
[0167][0168]
第三公式具体是:
[0169]
[f1(x)-f2(x)]2[0170]
其中,f(x)是某一算力消息在x节点的节点匹配值,n是x节点的算力特征的数量,ki是x节点的第i个算力特征的节点特征权重,pi是某一算力消息对应x节点的第i个算力特征的数值,d是训练集,f1(x)、f2(x)对应是节点资源匹配值、节点需求匹配值之一,算力消息是历史算力资源消息、历史算力需求消息、当前算力资源消息、第一区域consumer当前算力需求消息之一。
[0171]
在一实施方式中,训练模块,具体包括:
[0172]
决策树单元,用于选取算力特征的不同组合划分多层特征空间,根据多层特征空间创建多层智能分类决策树,多层智能分类决策树的每个初始节点对应一个特征空间,一个特征空间对应若干个算力特征,对每个初始节点的每个算力特征分配对应的初始节点特征权重,以获得初始智能分类决策树;
[0173]
节点匹配单元,用于根据算力特征将历史算力资源消息/历史算力需求消息匹配给初始节点,根据历史算力选择结果将对应的历史算力需求消息/历史算力资源消息,匹配给对应的历史算力资源消息/历史算力需求消息匹配的初始节点;
[0174]
匹配度计算单元,用于根据第一公式计算历史算力资源消息和历史算力需求消息匹配的初始节点的第一节点资源匹配值和第一节点需求匹配值,根据第二公式最小化计算训练集数据在初始智能分类决策树匹配的初始节点的误差和,响应于误差和大于第一预设值则调整初始节点特征权重,直至误差和小于等于第一预设值则获得训练后节点特征权重。
[0175]
在一实施方式中,训练模块还包括:
[0176]
剪枝单元,用于响应于剪除若干初始节点后,误差和的变化小于第二预设值,剪除若干初始节点,以获得保留训练后节点的训练后智能分类决策树。
[0177]
在一实施方式中,匹配模块12,具体包括:
[0178]
节点匹配单元,还用于根据算力特征将当前算力资源消息和第一区域consumer当前算力需求消息匹配给训练后智能分类决策树的训练后节点,确定某一第一区域consumer当前算力需求消息匹配的训练后节点;
[0179]
匹配度计算单元,还用于根据第一公式分别计算当前算力资源消息和某一第一区域consumer当前算力需求消息在匹配的训练后节点的第二节点资源匹配值和第二节点需求匹配值,根据第三公式计算的第二节点资源匹配值和第二节点需求匹配值之间的误差,根据误差获得当前算力资源消息与某一第一区域consumer当前算力需求消息的匹配度。
[0180]
在一实施方式中,推送模块13,具体用于:
[0181]
由exchange根据与某一第一区域consumer当前算力需求消息对应的某一第一区域consumer建立的第三消息队列的第三绑定键binding key,将匹配度作为优先权priority加入对应的当前算力资源消息的消息头,根据priority按照误差由小到大的顺序将误差最小的第三预设值个当前算力资源消息加入某一第一区域consumer的第三消息队列,并推送给某一第一区域consumer。
[0182]
在一实施方式中,所述设备还包括:
[0183]
接收模块11,还用于接收第一区域consumer对当前算力资源消息的当前算力选择结果;
[0184]
训练集数据模块,用于响应于当前算力选择结果对应的误差大于第四预设值,将当前算力选择结果、所选择的当前算力资源消息和对应的第一区域consumer当前算力需求消息作为历史算力选择结果、历史算力资源消息和历史算力需求消息加入训练集;
[0185]
训练模块,还用于基于新的训练集以原训练后智能分类决策树作为初始智能分类决策树,重新训练获得训练后智能分类决策树。
[0186]
在一实施方式中,历史算力资源消息、当前算力资源消息中包括算力资源信息,历史算力需求消息、第一区域consumer当前算力需求消息中包括算力需求信息,算力特征包括算力数量、算力能力、算力位置、算力价格、响应时间、网络带宽、支付方式;
[0187]
算力资源信息中算力特征为算力资源特征,算力资源信息包括:算力提供者标识、算力资源标识、算力资源特征和第一发布时间戳,算力资源特征包括:供给算力数量、供给算力能力、供给算力位置、供给算力价格、供给响应时间、供给网络带宽、供给方指定支付方式;
[0188]
算力需求信息中算力特征为算力需求特征,算力需求信息包括:算力消费者标识、本次算力需求标识、算力需求特征、优先因素和第二发布时间戳,算力需求特征包括:算力数量需求、算力能力需求、消费算力位置、消费方期望算力价格、响应时间需求、网络带宽需求、消费方期望支付方式,优先因素包括算力特征至少之一。
[0189]
在一实施方式中,推送模块13还用于:
[0190]
基于rabbitmq广播模式,选择与优先因素对应的算力资源特征指标最大的第五预设值个当前算力资源消息,根据优先因素对应的算力资源特征指标依序将第五预设值个当前算力资源消息加入第三消息队列,并推送给第一区域consumer。
[0191]
在一实施方式中,所述设备还包括删除模块,用于:
[0192]
将当前算力选择结果对应的当前算力资源消息和第一区域consumer当前算力需求消息分别从第一消息队列和第二消息队列中删除;
[0193]
响应于第一消息队列/第二消息队列中有同一producer/第一区域consumer的对应在先算力资源消息/第一区域consumer在先算力需求消息,删除对应在先算力资源消息/第一区域consumer在先算力需求消息。
[0194]
实施例3:
[0195]
如图2所示,本发明实施例3提供一种算力系统,包括:
[0196]
第一区域(区域a)算力代理者设备broker,用于实现如实施例1所述的算力匹配方法;
[0197]
算力提供者设备producer,与第一区域broker连接,用于向第一区域broker提供
自身当前算力资源消息;
[0198]
第一区域算力消费者设备consumer,与第一区域broker连接,用于向第一区域broker发送自身当前算力资源消息。
[0199]
在一实施方式中,所述系统还包括非第一区域(区域b和/或c)broker,producer包括:第一区域producer和非第一区域producer;
[0200]
第一区域producer与第一区域broker连接,用于向第一区域broker发送自身当前算力资源消息;
[0201]
非第一区域broker与第一区域broker和自身所在区域的非第一区域producer连接,用于从来自自身所在区域的非第一区域producer的非第一区域当前算力资源消息中选取跨区域当前算力资源消息,并发送给第一区域broker。
[0202]
另外,每一区域broker均可以包括exchange、可以建立queue、可以设置binding key绑定exchange和queue,可以通过binding与routing设置producer和consumer与exchange的消息订阅模式,消息通过channel传输,详细的说明见实施例1。
[0203]
实施例4:
[0204]
本发明实施例4一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序被处理器运行时,实现如实施例1所述的算力匹配方法。
[0205]
所述计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于ram(random access memory,随机存取存储器),rom(read-only memory,只读存储器),eeprom(electrically erasable programmable read only memory,带电可擦可编程只读存储器)、闪存或其他存储器技术、cd-rom(compact disc read-only memory,光盘只读存储器),数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
[0206]
另外,本发明还可以提供一种计算机装置,包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时,所述处理器执行如实施例1或2所述的算力匹配方法。
[0207]
其中,存储器与处理器连接,存储器可采用闪存或只读存储器或其他存储器,处理器可采用中央处理器或单片机。
[0208]
本发明实施例1-5提供一种算力匹配方法、算力匹配设备、算力匹配系统及计算机可读存储介质,通过broker在producer和consumer之间提供算力服务,基于rabbitmq接收算力资源消息和算力需求消息,将数量庞大、动态变化的算力资源信息和多指标、多层级的算力资源需求信息有效融合到一起,利用智能分类与匹配算法对算力资源消息和算力需求消息进行分类和匹配后,基于rabbitmq向consumer推送匹配的算力资源信息,以使consumer选择到合适的算力资源,可以帮助算力消费者选择合适的算力资源,同时提高算力提供者的算力资源利用率,提供令算力消费者和算力提供者满意的算力服务。
[0209]
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
技术特征:
1.一种算力匹配方法,其特征在于,应用于第一区域算力代理者设备broker,所述方法包括:基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息;基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度;基于rabbitmq广播模式,根据匹配度依序将当前算力资源消息加入第一区域consumer的第三消息队列,并推送给第一区域consumer;其中,rabbitmq是消息队列架构,producer是算力提供者设备,consumer是算力消费者设备。2.根据权利要求1所述的方法,其特征在于,基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息之前,所述方法还包括:设置rabbitmq,通过rabbitmq绑定多个算力交换机exchange,建立用于存储当前算力资源消息的第一消息队列、用于存储第一区域consumer当前算力需求消息的第二消息队列和向某一第一区域consumer推送消息的第三消息队列,对应第一消息队列、第二消息队列分别设置第一绑定键binding key、第二binding key。3.根据权利要求2所述的方法,其特征在于,当前算力资源消息、第一区域consumer当前算力需求消息中均包括消息头和消息体,消息头采用key-value形式携带路由键routing-key和/或消息优先权priority,当前算力资源消息的消息体携带当前算力资源信息,第一区域consumer当前算力需求消息的消息体携带第一区域consumer当前算力需求信息。4.根据权利要求3所述的方法,其特征在于,基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息,具体包括:基于rabbitmq订阅模式,通过第一消息队列接收来自第一区域producer的第一区域当前算力资源消息,以及通过第二消息队列接收来自第一区域consumer的第一区域consumer当前算力需求消息;基于rabbitmq广播模式,接收来自非第一区域broker的跨区域当前算力资源消息,并将跨区域当前算力资源消息加入第一消息队列,跨区域当前算力资源消息由非第一区域broker从来自自身所在区域的非第一区域producer的非第一区域当前算力资源消息中选取;当前算力资源消息包括第一区域当前算力资源消息和跨区域当前算力资源消息。5.根据权利要求4所述的方法,其特征在于,基于rabbitmq订阅模式,通过第一消息队列接收来自第一区域producer的第一区域当前算力资源消息,以及通过第二消息队列接收来自第一区域consumer的第一区域consumer当前算力需求消息,具体包括:由exchange根据第一binding key和第二binding key生成第一routing key和第二routing key,为第一区域producer和第一区域consumer分别提供包括第一routing key和第二routing key的封装要求,以使第一区域producer和第一区域consumer按照封装要求分别封装第一区域当前算力资源消息和第一区域consumer当前算力需求消息,每个消息的
消息头中携带对应的第一routing key或第二routing key;由exchange通过第一binding key与第一routing key匹配确定第一消息队列,通过第一消息队列接收第一区域producer通过第一信道传输的第一区域当前算力资源消息,以及,由exchange通过第二binding key与第二routing key匹配确定第二消息队列,通过第二消息队列接收第一区域consumer通过第二信道传输的第一区域consumer当前算力需求消息。6.根据权利要求1-5任一项所述的方法,其特征在于,基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度之前,所述方法还包括:获取历史算力资源消息、历史算力需求消息和consumer对算力资源消息的历史算力选择结果,根据历史算力资源消息、历史算力需求消息和历史算力选择结果训练初始智能分类与匹配算法,以获得训练后智能分类与匹配算法,在通过rabbitmq绑定的算力交换机exchange中插入训练后智能分类与匹配算法。7.根据权利要求6所述的方法,其特征在于,历史算力资源消息、历史算力需求消息、当前算力资源消息、第一区域consumer当前算力需求消息均包括多个算力特征;初始智能分类与匹配算法包括初始智能分类决策树、第一公式和第二公式,训练后智能分类与匹配算法包括训练后智能分类决策树、第一公式和第三公式;初始智能分类决策树包括多个初始节点,每个初始节点各自对应若干个算力特征及若干个对应的初始节点特征权重,训练后智能分类决策树包括多个训练后节点,每个训练后节点各自对应若干个算力特征及若干个对应的训练后节点特征权重;第一公式用于根据算力特征及对应的节点特征权重计算节点的节点匹配值,节点为初始节点、节点特征权重为初始节点特征权重、节点匹配值为节点资源匹配值,或节点为训练后节点、节点特征权重为训练后节点特征权重、节点匹配值为节点需求匹配值;第二公式用于最小化计算训练集数据在匹配到的节点的节点资源匹配值和节点需求匹配值之间的误差和,训练集是历史算力资源消息、历史算力需求消息和历史算力选择结果组成的数据集合;第三公式用于计算同一节点的节点资源匹配值和节点需求匹配值之间的误差。8.根据权利要求7所述的方法,其特征在于,第一公式具体是:第二公式具体是:第三公式具体是:[f1(x)-f2(x)]2其中,f(x)是某一算力消息在x节点的节点匹配值,n是x节点的算力特征的数量,k
i
是x节点的第i个算力特征的节点特征权重,p
i
是某一算力消息对应x节点的第i个算力特征的数值,d是训练集,f1(x)、f2(x)对应是节点资源匹配值、节点需求匹配值之一,算力消息是历
史算力资源消息、历史算力需求消息、当前算力资源消息、第一区域consumer当前算力需求消息之一。9.根据权利要求7或8所述的方法,其特征在于,根据历史算力资源消息、历史算力需求消息和历史算力选择结果训练初始智能分类与匹配算法,以获得训练后智能分类与匹配算法,具体包括:选取算力特征的不同组合划分多层特征空间,根据多层特征空间创建多层智能分类决策树,多层智能分类决策树的每个初始节点对应一个特征空间,一个特征空间对应若干个算力特征,对每个初始节点的每个算力特征分配对应的初始节点特征权重,以获得初始智能分类决策树;根据算力特征将历史算力资源消息/历史算力需求消息匹配给初始节点,根据历史算力选择结果将对应的历史算力需求消息/历史算力资源消息,匹配给对应的历史算力资源消息/历史算力需求消息匹配的初始节点;根据第一公式计算历史算力资源消息和历史算力需求消息匹配的初始节点的第一节点资源匹配值和第一节点需求匹配值,根据第二公式最小化计算训练集数据在初始智能分类决策树匹配的初始节点的误差和,响应于误差和大于第一预设值则调整初始节点特征权重,直至误差和小于等于第一预设值则获得训练后节点特征权重。10.根据权利要求9所述的方法,其特征在于,获得训练后节点特征权重之后,所述方法还包括:响应于剪除若干初始节点后,误差和的变化小于第二预设值,剪除若干初始节点,以获得保留训练后节点的训练后智能分类决策树。11.根据权利要求7或8所述的方法,其特征在于,基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度,具体包括:根据算力特征将当前算力资源消息和第一区域consumer当前算力需求消息匹配给训练后智能分类决策树的训练后节点,确定某一第一区域consumer当前算力需求消息匹配的训练后节点;根据第一公式分别计算当前算力资源消息和某一第一区域consumer当前算力需求消息在匹配的训练后节点的第二节点资源匹配值和第二节点需求匹配值,根据第三公式计算的第二节点资源匹配值和第二节点需求匹配值之间的误差,根据误差获得当前算力资源消息与某一第一区域consumer当前算力需求消息的匹配度。12.根据权利要求11所述的方法,其特征在于,基于rabbitmq广播模式,根据匹配度依序将当前算力资源消息加入第一区域consumer的第三消息队列,并推送给第一区域consumer,具体包括:由exchange根据与某一第一区域consumer当前算力需求消息对应的某一第一区域consumer建立的第三消息队列的第三绑定键binding key,将匹配度作为优先权priority加入对应的当前算力资源消息的消息头,根据priority按照误差由小到大的顺序将误差最小的第三预设值个当前算力资源消息加入某一第一区域consumer的第三消息队列,并推送给某一第一区域consumer。13.根据权利要求12所述的方法,其特征在于,基于rabbitmq广播模式,根据匹配度依序将当前算力资源消息加入第一区域consumer的第三消息队列,并推送给第一区域
consumer之后,所述方法还包括:接收第一区域consumer对当前算力资源消息的当前算力选择结果;响应于当前算力选择结果对应的误差大于第四预设值,将当前算力选择结果、所选择的当前算力资源消息和对应的第一区域consumer当前算力需求消息作为历史算力选择结果、历史算力资源消息和历史算力需求消息加入训练集;基于新的训练集以原训练后智能分类决策树作为初始智能分类决策树,重新训练获得训练后智能分类决策树。14.根据权利要求13所述的方法,其特征在于,历史算力资源消息、当前算力资源消息中包括算力资源信息,历史算力需求消息、第一区域consumer当前算力需求消息中包括算力需求信息,算力特征包括算力数量、算力能力、算力位置、算力价格、响应时间、网络带宽、支付方式;算力资源信息中算力特征为算力资源特征,算力资源信息包括:算力提供者标识、算力资源标识、算力资源特征和第一发布时间戳,算力资源特征包括:供给算力数量、供给算力能力、供给算力位置、供给算力价格、供给响应时间、供给网络带宽、供给方指定支付方式;算力需求信息中算力特征为算力需求特征,算力需求信息包括:算力消费者标识、本次算力需求标识、算力需求特征、优先因素和第二发布时间戳,算力需求特征包括:算力数量需求、算力能力需求、消费算力位置、消费方期望算力价格、响应时间需求、网络带宽需求、消费方期望支付方式,优先因素包括算力特征至少之一。15.根据权利要求14所述的方法,其特征在于,接收第一区域consumer对当前算力资源消息的当前算力选择结果之前,所述方法还包括:基于rabbitmq广播模式,选择与优先因素对应的算力资源特征指标最大的第五预设值个当前算力资源消息,根据优先因素对应的算力资源特征指标依序将第五预设值个当前算力资源消息加入第三消息队列,并推送给第一区域consumer。16.根据权利要求13所述的方法,其特征在于,接收第一区域consumer对当前算力资源消息的当前算力选择结果之后,所述方法还包括:将当前算力选择结果对应的当前算力资源消息和第一区域consumer当前算力需求消息分别从第一消息队列和第二消息队列中删除;接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息之后,所述方法还包括:响应于第一消息队列/第二消息队列中有同一producer/第一区域consumer的对应在先算力资源消息/第一区域consumer在先算力需求消息,删除对应在先算力资源消息/第一区域consumer在先算力需求消息。17.一种算力匹配设备,其特征在于,包括:接收模块,用于基于rabbitmq,接收producer的当前算力资源消息和来自第一区域consumer的第一区域consumer当前算力需求消息;匹配模块,与接收模块连接,用于基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域consumer当前算力需求消息的匹配度;推送模块,与匹配模块连接,用于基于rabbitmq广播模式,根据匹配度依序将当前算力资源消息加入第一区域consumer的第三消息队列,并推送给第一区域consumer;
其中,rabbitmq是消息队列架构,producer是算力提供者设备,consumer是算力消费者设备。18.一种算力系统,其特征在于,包括:第一区域算力代理者设备broker,用于实现如权利要求1-16任一项所述的算力匹配方法;算力提供者设备producer,用于向第一区域broker提供自身当前算力资源消息;第一区域算力消费者设备consumer,与第一区域broker连接,用于向第一区域broker发送自身当前算力资源消息。19.根据权利要求18所述的系统,其特征在于,所述系统还包括非第一区域broker,producer包括:第一区域producer和非第一区域producer;第一区域producer与第一区域broker连接,用于向第一区域broker发送自身当前算力资源消息;非第一区域broker与第一区域broker和自身所在区域的非第一区域producer连接,用于从来自自身所在区域的非第一区域producer的非第一区域当前算力资源消息中选取跨区域当前算力资源消息,并发送给第一区域broker。20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序被处理器运行时,实现如权利要求1-16任一项所述的算力匹配方法。
技术总结
本发明提供一种算力匹配方法、设备、系统及介质,涉及算力服务技术领域,用于解决匹配算力提供者的供给算力与算力消费者的算力需求的问题,所述方法包括:基于RabbitMQ,接收Producer的当前算力资源消息和来自第一区域Consumer的第一区域Consumer当前算力需求消息;基于训练后智能分类与匹配算法,计算当前算力资源消息与第一区域Consumer当前算力需求消息的匹配度;基于RabbitMQ广播模式,根据匹配度依序将当前算力资源消息加入第一区域Consumer的第三消息队列,并推送给第一区域Consumer。本发明可以帮助算力消费者选择到合适的算力资源,同时提高算力提供者的算力资源利用率。利用率。利用率。
技术研发人员:李希金 唐雄燕 安岗
受保护的技术使用者:中国联合网络通信集团有限公司
技术研发日:2023.06.28
技术公布日:2023/9/25
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种光伏电缆的制作方法 下一篇:后悬架构造的制作方法