一种基于云边协同的智能分析方法及系统与流程

未命名 09-29 阅读:100 评论:0


1.本发明涉及互联网通信技术领域,特别涉及一种基于云边协同的智能分析方法及系统。


背景技术:

2.目前,在内容分发网络中,模型的训练和预测过程通常是相互独立的。其中,云端服务器通过对用户数据进行分析,从而完成模型的训练;边缘设备利用训练得到的模型,可以对用户数据进行预测。
3.当模型需要更新时,通常需要在外部重新训练模型,然后再将训练好的模型进行手动替换升级,这样可能会导致云端服务器与边缘设备中的模型不同步,也会导致模型更新的过程比较繁琐。
4.鉴于此,目前亟需一种更加高效的模型同步方式。


技术实现要素:

5.本发明提供一种基于云边协同的智能分析方法及系统,能够提高模型同步的效率。
6.鉴于此,本发明一方面提供一种基于云边协同的智能分析方法,所述方法包括:边缘设备采集网络请求的流程数据,并将所述流程数据上报至云端服务器;所述云端服务器基于接收到的所述流程数据,训练得到流程预测模型,并将所述流程预测模型下发至所述边缘设备;所述边缘设备利用所述流程预测模型,对用户终端发来的网络请求进行预测,生成对应的预测数据,并将所述预测数据上报至所述云端服务器;所述云端服务器根据所述预测数据,对所述流程预测模型进行修正,并将修正后的流程预测模型下发至所述边缘设备。
7.在一个实施方式中,边缘设备采集网络请求的流程数据包括:
8.接收用户输入的网络请求,并识别所述网络请求表征的资源类型;
9.在多个资源服务器中确定所述资源类型对应的目标资源服务器,并确定所述目标资源服务器的访问顺序;
10.将表征所述目标资源服务器的访问顺序的数据作为所述网络请求的流程数据。
11.在一个实施方式中,确定所述目标资源服务器的访问顺序包括:
12.获取所述网络请求的流程信息,所述流程信息中包括处理所述网络请求的各个节点的节点标识;
13.遍历所述流程信息中的各个节点标识,针对当前节点标识,确定与所述当前节点标识存在最优路径的目标资源服务器;
14.按照遍历顺序,对确定的各个目标资源服务器进行排序,以生成目标资源服务器的访问顺序。
15.在一个实施方式中,确定与所述当前节点标识存在最优路径的目标资源服务器包
括:
16.计算所述当前节点标识对应的当前节点与各个目标资源服务器之间的通信质量参数,并将通信质量参数最优的目标资源服务器,作为与所述当前节点标识存在最优路径的目标资源服务器。
17.在一个实施方式中,在确定与所述当前节点标识存在最优路径的目标资源服务器之后,所述方法还包括:
18.记录与所述当前节点标识存在最优路径的目标资源服务器的被引用次数;其中,在对下一个节点标识进行最优路径匹配时,将被引用次数达到指定数量阈值的目标资源服务器从候选的目标资源服务器中剔除。
19.在一个实施方式中,训练得到流程预测模型包括:
20.根据所述流程数据构建节点有向图,并通过层级模型对所述节点有向图进行逐层的特征提取;
21.利用融合模型将提取到的各个层级特征进行融合,得到融合特征,并生成所述融合特征的预测结果;
22.将所述融合特征的预测结果与所述流程数据对应的标签值进行对比,以生成误差数据;
23.利用所述误差数据对所述层级模型和所述融合模型进行校正,并将校正后的层级模型和融合模型的组合作为训练得到的流程预测模型。
24.本发明另一方面还提供一种基于云边协同的智能分析系统,所述系统包括边缘设备和云端服务器,其中:
25.所述边缘设备,用于采集网络请求的流程数据,并将所述流程数据上报至所述云端服务器,以及利用所述云端服务器下发的流程预测模型,对用户终端发来的网络请求进行预测,生成对应的预测数据,并将所述预测数据上报至所述云端服务器;
26.所述云端服务器,用于基于接收到的所述流程数据,训练得到流程预测模型,并将所述流程预测模型下发至所述边缘设备,以及根据所述预测数据,对所述流程预测模型进行修正,并将修正后的流程预测模型下发至所述边缘设备。
27.在一个实施方式中,所述边缘设备还用于,接收用户输入的网络请求,并识别所述网络请求表征的资源类型;在多个资源服务器中确定所述资源类型对应的目标资源服务器,并确定所述目标资源服务器的访问顺序;将表征所述目标资源服务器的访问顺序的数据作为所述网络请求的流程数据。
28.本公开提供的技术方案,当边缘设备采集到网络请求的流程数据后,可以将该流程数据发送至云端服务器,云端服务器可以针对流程数据进行模型训练,训练得到的模型可以下发至边缘设备。这样,边缘设备便可以基于训练得到的模型对新采集的网络数据进行流程数据的预测。当生成新的预测结果后,该预测结果可以被上传至云端服务器,从而使得云端服务器对完成训练的模型进行再次的训练。训练得到的新模型依然可以被部署至边缘设备处。这样,通过云端服务器与边缘设备的协同运作,可以使得训练与预测过程构成闭环,不需要在外部重新训练模型后再手动更新和升级,从而提高了模型同步的效率。
29.本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明
书、权利要求书、以及附图中所特别指出的结构来实现和获得。
30.下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
31.附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
32.图1为本发明实施例中一种基于云边协同的智能分析方法的步骤示意图;
33.图2为本发明实施例中一种基于云边协同的智能分析系统的交互示意图。
具体实施方式
34.以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
35.本发明实施例提供一种基于云边协同的智能分析方法,请参阅图1,所述方法包括以下步骤。
36.s1:边缘设备采集网络请求的流程数据,并将所述流程数据上报至云端服务器;
37.s2:所述云端服务器基于接收到的所述流程数据,训练得到流程预测模型,并将所述流程预测模型下发至所述边缘设备;
38.s3:所述边缘设备利用所述流程预测模型,对用户终端发来的网络请求进行预测,生成对应的预测数据,并将所述预测数据上报至所述云端服务器;
39.s4:所述云端服务器根据所述预测数据,对所述流程预测模型进行修正,并将修正后的流程预测模型下发至所述边缘设备。
40.在本实施方式中,网络请求的流程数据可以表征处理网络请求的过程中,依次需要经过的资源服务器。该流程数据可以表征各个资源服务器被调用的过程。在实际应用中,访问同一种资源类型的网络请求,对应的资源服务器的调用过程也可能是相同的。鉴于此,在采集网络请求的流程数据时,可以接收用户输入的网络请求,并识别所述网络请求表征的资源类型。该资源类型例如可以是文本类型、视频类型、图片类型等。然后,可以在多个资源服务器中确定所述资源类型对应的目标资源服务器,并确定所述目标资源服务器的访问顺序。其中,目标资源服务器的数量可以是多个,在处理网络请求的过程中,可以涉及不同的目标资源服务器。例如,网络请求对应的是视频类型,那么对应的目标资源服务器就可以是对视频资源进行处理的一系列服务器。在确定出资源类型对应的目标资源服务器后,可以进一步地确定这些目标资源服务器的访问顺序。
41.其中,目标资源服务器的访问顺序可以结合网络请求的流程信息来确定。具体地,网络请求的流程信息中可以包括处理网络请求的各个节点的节点标识。其中,这些节点是处理网络请求的主体,这些节点在按序处理网络请求时,可能会调用对应的资源服务器。这样,遍历流程信息中的各个节点标识,针对其中的任意一个当前节点标识,可以确定与所述当前节点标识存在最优路径的目标资源服务器。
42.在本实施方式中,在确定存在最优路径的目标资源服务器时,可以计算所述当前节点标识对应的当前节点与各个目标资源服务器之间的通信质量参数,并将通信质量参数最优的目标资源服务器,作为与所述当前节点标识存在最优路径的目标资源服务器。其中,
通信质量参数可以是延迟、丢包率等参数。
43.按照上述方式确定出存在最优路径的目标资源服务器后,可以按照节点标识的遍历顺序,对确定的各个目标资源服务器进行排序,以生成目标资源服务器的访问顺序。例如,流程信息中包括三个节点标识,这三个节点标识各自的最优路径的目标资源服务器是资源服务器a、资源服务器b以及资源服务器c,那么就可以按照资源服务器从a到c的顺序,构成目标资源服务器的访问顺序。最终,可以将表征所述目标资源服务器的访问顺序的数据作为所述网络请求的流程数据。
44.在实际应用中,在确定与所述当前节点标识存在最优路径的目标资源服务器之后,所述方法还包括:
45.记录与所述当前节点标识存在最优路径的目标资源服务器的被引用次数;其中,在对下一个节点标识进行最优路径匹配时,将被引用次数达到指定数量阈值的目标资源服务器从候选的目标资源服务器中剔除。
46.这样处理的目的在于,当某个目标资源服务器被引用次数较高时,为了避免该资源服务器的负载压力过高,可以将该目标资源服务器从候选的服务器列表中删除,以避免继续被其它的节点选中。
47.在一个实施方式中,可以通过层级模型和融合模型的方式对流程数据进行训练。其中,层级模型可以包括多个采样层,其中每个采样层可以进行下采样,逐步减少特征的维度。融合模型则可以采用加权求和的方式,将各个层级输出的层级特征进行融合,从而使得融合能够中会包含高维度的特征和低维度的特征。具体地,可以将流程数据转换为图像进行处理。根据所述流程数据,可以构建节点有向图。通过层级模型可以对所述节点有向图进行逐层的特征提取,每一层都可以输出对应的层级特征。后续,为了保留每个层级特征的内容,可以利用融合模型将提取到的各个层级特征进行融合,得到融合特征。该融合特征可以经过神经网络进行处理,从而生成所述融合特征的预测结果。根据模型训练的过程,可以将所述融合特征的预测结果与所述流程数据对应的标签值进行对比,以生成误差数据。最终,利用所述误差数据对所述层级模型和所述融合模型进行校正,从而使得校正后的模型能够正确地对融合特征进行预测。经过大量样本的训练,可以将校正后的层级模型和融合模型的组合作为训练得到的流程预测模型。
48.请参阅图2,本发明还提供一种基于云边协同的智能分析系统,所述系统包括边缘设备和云端服务器,其中:
49.所述边缘设备,用于采集网络请求的流程数据,并将所述流程数据上报至所述云端服务器,以及利用所述云端服务器下发的流程预测模型,对用户终端发来的网络请求进行预测,生成对应的预测数据,并将所述预测数据上报至所述云端服务器;
50.所述云端服务器,用于基于接收到的所述流程数据,训练得到流程预测模型,并将所述流程预测模型下发至所述边缘设备,以及根据所述预测数据,对所述流程预测模型进行修正,并将修正后的流程预测模型下发至所述边缘设备。
51.在一个实施方式中,所述边缘设备还用于,接收用户输入的网络请求,并识别所述网络请求表征的资源类型;在多个资源服务器中确定所述资源类型对应的目标资源服务器,并确定所述目标资源服务器的访问顺序;将表征所述目标资源服务器的访问顺序的数据作为所述网络请求的流程数据。
52.由上可见,本公开提供的技术方案,当边缘设备采集到网络请求的流程数据后,可以将该流程数据发送至云端服务器,云端服务器可以针对流程数据进行模型训练,训练得到的模型可以下发至边缘设备。这样,边缘设备便可以基于训练得到的模型对新采集的网络数据进行流程数据的预测。当生成新的预测结果后,该预测结果可以被上传至云端服务器,从而使得云端服务器对完成训练的模型进行再次的训练。训练得到的新模型依然可以被部署至边缘设备处。这样,通过云端服务器与边缘设备的协同运作,可以使得训练与预测过程构成闭环,不需要在外部重新训练模型后再手动更新和升级,从而提高了模型同步的效率。
53.显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

技术特征:
1.一种基于云边协同的智能分析方法,其特征在于,所述方法包括:边缘设备采集网络请求的流程数据,并将所述流程数据上报至云端服务器;所述云端服务器基于接收到的所述流程数据,训练得到流程预测模型,并将所述流程预测模型下发至所述边缘设备;所述边缘设备利用所述流程预测模型,对用户终端发来的网络请求进行预测,生成对应的预测数据,并将所述预测数据上报至所述云端服务器;所述云端服务器根据所述预测数据,对所述流程预测模型进行修正,并将修正后的流程预测模型下发至所述边缘设备。2.根据权利要求1所述的方法,其特征在于,边缘设备采集网络请求的流程数据包括:接收用户输入的网络请求,并识别所述网络请求表征的资源类型;在多个资源服务器中确定所述资源类型对应的目标资源服务器,并确定所述目标资源服务器的访问顺序;将表征所述目标资源服务器的访问顺序的数据作为所述网络请求的流程数据。3.根据权利要求2所述的方法,其特征在于,确定所述目标资源服务器的访问顺序包括:获取所述网络请求的流程信息,所述流程信息中包括处理所述网络请求的各个节点的节点标识;遍历所述流程信息中的各个节点标识,针对当前节点标识,确定与所述当前节点标识存在最优路径的目标资源服务器;按照遍历顺序,对确定的各个目标资源服务器进行排序,以生成目标资源服务器的访问顺序。4.根据权利要求3所述的方法,其特征在于,确定与所述当前节点标识存在最优路径的目标资源服务器包括:计算所述当前节点标识对应的当前节点与各个目标资源服务器之间的通信质量参数,并将通信质量参数最优的目标资源服务器,作为与所述当前节点标识存在最优路径的目标资源服务器。5.根据权利要求3所述的方法,其特征在于,在确定与所述当前节点标识存在最优路径的目标资源服务器之后,所述方法还包括:记录与所述当前节点标识存在最优路径的目标资源服务器的被引用次数;其中,在对下一个节点标识进行最优路径匹配时,将被引用次数达到指定数量阈值的目标资源服务器从候选的目标资源服务器中剔除。6.根据权利要求1所述的方法,其特征在于,训练得到流程预测模型包括:根据所述流程数据构建节点有向图,并通过层级模型对所述节点有向图进行逐层的特征提取;利用融合模型将提取到的各个层级特征进行融合,得到融合特征,并生成所述融合特征的预测结果;将所述融合特征的预测结果与所述流程数据对应的标签值进行对比,以生成误差数据;利用所述误差数据对所述层级模型和所述融合模型进行校正,并将校正后的层级模型
和融合模型的组合作为训练得到的流程预测模型。7.一种基于云边协同的智能分析系统,其特征在于,所述系统包括边缘设备和云端服务器,其中:所述边缘设备,用于采集网络请求的流程数据,并将所述流程数据上报至所述云端服务器,以及利用所述云端服务器下发的流程预测模型,对用户终端发来的网络请求进行预测,生成对应的预测数据,并将所述预测数据上报至所述云端服务器;所述云端服务器,用于基于接收到的所述流程数据,训练得到流程预测模型,并将所述流程预测模型下发至所述边缘设备,以及根据所述预测数据,对所述流程预测模型进行修正,并将修正后的流程预测模型下发至所述边缘设备。8.根据权利要求7所述的系统,其特征在于,所述边缘设备还用于,接收用户输入的网络请求,并识别所述网络请求表征的资源类型;在多个资源服务器中确定所述资源类型对应的目标资源服务器,并确定所述目标资源服务器的访问顺序;将表征所述目标资源服务器的访问顺序的数据作为所述网络请求的流程数据。

技术总结
本发明提供了一种基于云边协同的智能分析方法及系统,所述方法包括:边缘设备采集网络请求的流程数据,并将所述流程数据上报至云端服务器;所述云端服务器基于接收到的所述流程数据,训练得到流程预测模型,并将所述流程预测模型下发至所述边缘设备;所述边缘设备利用所述流程预测模型,对用户终端发来的网络请求进行预测,生成对应的预测数据,并将所述预测数据上报至所述云端服务器;所述云端服务器根据所述预测数据,对所述流程预测模型进行修正,并将修正后的流程预测模型下发至所述边缘设备。本发明提供的技术方案,能够提高模型同步的效率。步的效率。步的效率。


技术研发人员:兰雨晴 余丹 李易君 邢智涣 王丹星
受保护的技术使用者:慧之安信息技术股份有限公司
技术研发日:2022.12.05
技术公布日:2023/9/25
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

航空商城 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

评论

相关推荐