数据处理方法、装置、设备、可读存储介质及程序产品与流程
未命名
09-24
阅读:85
评论:0
1.本技术涉及计算机技术领域,具体涉及数据处理方法、数据处理装置、计算机设备、计算机可读存储介质以及计算机程序产品。
背景技术:
2.随着计算机技术的不断发展和应用,越来越多的场景需要利用数据处理技术来提高生产力,例如,客户端通过接入目标域名,从该目标域名对应的总服务器上获取请求数据。由于不同客户端都是从总服务器上进行数据获取的,使得总服务器的负载压力和存储压力较大,导致客户端获取请求数据的效率低。因此,如何配置多个能够分担总服务器负载压力和存储压力的节点,并基于请求数据的业务类型从最匹配的节点获取请求数据,从而提高数据的获取效率,是目前亟需解决的问题。
技术实现要素:
3.本技术提供了一种数据处理方法、装置、设备、可读存储介质及程序产品,可以基于请求数据的业务类型从最匹配的节点获取请求数据,从而提高数据的获取效率。
4.第一方面,本技术提供了一种数据处理方法,应用于内容分发网络,上述内容分发网络包括管理节点和多个边缘节点,每一个边缘节点存储一种业务类型的业务数据,上述多个边缘节点存储多种业务类型的业务数据;上述管理节点记录有边缘节点的节点地址与调度域名之间的第一对应关系,上述调度域名与目标域名相关联;上述管理节点还记录有各个调度域名与业务类型之间的第二对应关系,不同业务类型所对应的调度域名不同,各个调度域名对应的业务类型为调度域名所对应边缘节点存储的业务数据的业务类型;该方法包括:
5.接收客户端基于上述目标域名发起的数据获取请求,上述数据获取请求携带请求数据的目标业务类型,上述请求数据为上述数据获取请求所请求的数据;
6.响应于上述数据获取请求,基于上述第二对应关系确定与上述目标域名以及上述目标业务类型相关联的关联调度域名;
7.基于上述第一对应关系确定与上述关联调度域名相匹配的匹配节点地址;
8.从上述匹配节点地址对应的目标边缘节点中获取上述请求数据,并向上述客户端返回上述请求数据。
9.第二方面,本技术提供了一种数据处理装置,包含于内容分发网络,上述内容分发网络还包括多个边缘节点,每一个边缘节点存储一种业务类型的业务数据,上述多个边缘节点存储多种业务类型的业务数据;上述数据处理装置记录有边缘节点的节点地址与调度域名之间的第一对应关系,上述调度域名与目标域名相关联;上述数据处理装置还记录有各个调度域名与业务类型之间的第二对应关系,不同业务类型所对应的调度域名不同,各个调度域名对应的业务类型为调度域名所对应边缘节点存储的业务数据的业务类型;该装置包括:
10.获取模块,用于接收客户端基于上述目标域名发起的数据获取请求,上述数据获取请求携带请求数据的目标业务类型,上述请求数据为上述数据获取请求所请求的数据;
11.处理模块,用于响应于上述数据获取请求,基于上述第二对应关系确定与上述目标域名以及上述目标业务类型相关联的关联调度域名;
12.上述处理模块,还用于基于上述第一对应关系确定与上述关联调度域名相匹配的匹配节点地址;
13.发送模块,用于从上述匹配节点地址对应的目标边缘节点中获取上述请求数据,并向上述客户端返回上述请求数据。
14.第三方面,本技术提供了一种计算机设备,包括:处理器、存储装置和通信接口,上述处理器、上述通信接口和上述存储装置相互连接,其中,上述存储装置存储有可执行程序代码,上述处理器用于调用上述可执行程序代码,用以实现上述的数据处理方法。
15.第四方面,本技术提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序包括程序指令,上述程序指令被处理器执行,用以实现如上述的数据处理方法。
16.第五方面,本技术提供了一种计算机程序产品,上述计算机程序产品包括计算机程序或计算机指令,上述计算机程序或计算机指令被处理器执行,用以实现上述的数据处理方法。
17.本技术构建了边缘节点的节点地址与调度域名之间的第一对应关系,以及调度域名与业务类型之间的第二对应关系,使得调度域名与边缘节点的节点地址和业务类型相关联;通过接收客户端基于目标域名发起的数据获取请求,根据数据请求中携带的目标业务类型从第二对应关系中确定关联调度域名;再根据第一对应关系确定与关联调度域名相匹配的匹配节点地址,使得管理节点可以从匹配节点地址对应的边缘节点中获取到客户端的请求数据,保证了管理节点可以响应任一业务类型对应的客户端针对目标域名的数据获取请求,并从对应的边缘节点中获取请求数据,管理节点再将请求数据返回给客户端。在本技术中,每一个边缘节点存储一种业务类型的业务数据,多个边缘节点存储多种业务类型的业务数据,保证了在一个内容分发网络中的多个边缘节点存储多种业务类型的业务数据,并且任意客户端只能从一个边缘节点中获取同一业务类型的业务数据;通过规定不同业务类型所对应的调度域名不同,使得多个客户端针对同一目标域名进行数据请求时,结合第一对应关系和第二对应关系,可以分别基于客户端对应的业务类型得到对应的关联调度域名,再基于多个客户端的关联调度域名,从关联调度域名所对应的节点地址中获取数据,实现了在一个内容分发网络中响应多个业务类型对应的客户端针对同一目标域名的数据获取请求,并从不同业务类型对应的边缘节点中获取数据,不需要删除先前已接入的业务对应的客户端,使得域名接入成本低,使得加速域名的接入方式多样化,并且减少了客户流失,提高了经济效益。
附图说明
18.为了更清楚地说明本技术实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
19.图1a是本技术一个示例性实施例提供的一种多个业务类型的客户端接入同一域名的处理流程图;
20.图1b是本技术一个示例性实施例提供的一种数据处理系统的架构示意图;
21.图2是本技术一个示例性实施例提供的一种数据处理方法的流程示意图;
22.图3是本技术一个示例性实施例提供的另一种数据处理方法的流程示意图;
23.图4a是本技术一个示例性实施例提供的另一种多个业务类型的客户端接入同一域名的处理流程图;
24.图4b是本技术一个示例性实施例提供的另一种多个业务类型的客户端接入同一域名的处理流程图;
25.图4c是本技术一个示例性实施例提供的另一种多个业务类型的客户端接入同一域名的处理流程图;
26.图5是本技术一个示例性实施例提供的一种数据处理装置的示意框图;
27.图6是本技术一个示例性实施例提供的一种计算机设备的示意框图。
具体实施方式
28.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
29.需要说明的是,本技术实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的,而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此,限定有“第一”、“第二”的技术特征可以明示或者隐含的包括至少一个该特征。
30.本发明实施例可应用于云计算、云物联、云游戏、人工智能、车载场景、智慧交通、辅助驾驶等各种场景,下面将对几个典型应用场景进行介绍。
31.云计算(cloud computing)指it基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是it和软件、互联网相关,也可是其他服务。云计算是网格计算(grid computing)、分布式计算(distributedcomputing)、并行计算(parallel computing)、效用计算(utility computing)、网络存储(network storage technologies)、虚拟化(virtualization)、负载均衡(load balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展,以及搜索服务、社会网络、移动商务和开放协作等需求的推动,云计算迅速发展起来。不同于以往的并行分布式计算,云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。本技术可以将调度域名、业务类型、边缘节点的节点地址之间的关系等数据存储于云服务器上,当需要使用上述不同数据时,可以在云服务器上直接获取,极大地提高了数据获取速度。
32.云物联(cloud iot)旨在将传统物联网中传感设备感知的信息和接受的指令连入互联网中,真正实现网络化,并通过云计算技术实现海量数据存储和运算,由于物联网的特性是物与物相连接,实时感知各个“物体”当前的运行状态,在这个过程中会产生大量的数
据信息,如何将这些信息汇总,如何在海量信息中筛取有用信息为后续发展做决策支持,这些已成为影响物联网发展的关键问题,而基于云计算和云存储技术的物联云也因此成为物联网技术和应用的有力支持。
33.云游戏(cloud gaming)又可称为游戏点播(gaming on demand),是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下,游戏并不在玩家游戏终端,而是在云端服务器中运行,并由云端服务器将游戏场景渲染为视频音频流,通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力,仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。本技术应用于云游戏,可以基于不同的游戏业务需求针对性的提供差异化的加速服务,例如实现游戏网站内容加速、游戏客户端下载加速、移动终端加速等。
34.智能交通系统(intelligent traffic system,its)又称智能运输系统(intelligent transportation system),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。本技术应用于智能交通系统,可以实现地域化的加速服务,并支持多种交通监管业务,同时也极大提高了智能交通系统的响应速度。
35.本技术还能应用到包括内容分发网络(cdn)、动态加速、动静混合加速、四层网络加速、游戏加速等多种加速产品应用的域名接入中,可以支持在同一域名上接入多个客户端,并支持多个客户端拥有不同的产品功能表现(例如业务类型)以及不同的域名加速效果。
36.近年来,内容分发网络的市场发展的非常快,有非常多的大型互联网公司以及中小企业都加入到了内容分发网络市场的竞争当中。而在进行内容分发网络加速时,最首要的步骤就是把需要加速的域名接入到内容分发网络服务器上,在接入后才能使用内容分发网络服务进行加速。由于在同一家内容分发网络服务商上,加速域名是唯一的,基于同一家内容分发网络服务厂商,并且该内容分发网络服务厂商已经接入某一业务类型的客户端的情况下,若是想要另一种业务类型的客户端重复接入相同的加速域名,就需要先删除掉之前已接入的该业务类型的客户端,并且其对应的加速服务,才能让后者顺利接入。
37.请参见图1a,图1a是本技术实施例提供的一种多个业务类型的客户端接入相同域名的处理流程图,图中包括a业务对应的客户端、b业务对应的客户端和内容分发网络服务厂商,加速域名(例如图中www.test.com)通过接入内容分发网络服务厂商,为使用者提供加速服务。在没有任何业务对应的客户端接入到加速域名的情况下,a业务对应的客户端可以成功接入加速域名(对应图中步骤1),并使用内容分发网络服务厂商针对加速域名提供的加速服务;此时如果有b业务对应的客户端请求并尝试接入该加速域名(对应图中步骤2),但同一家内容分发网络服务商又无法实现多种业务类型的客户端重复接入相同的加速域名,内容分发网络服务商就会向加速域名对应的服务器发送通知告知(对应图中步骤3),以使其删除a业务对应的客户端已接入的加速服务;加速域名对应的服务器会向a业务对应的客户端获取授权,用以删除a业务对应的客户端已接入的加速服务;在a业务对应的客户
端在授予删除域名的权限后,加速域名对应的服务器会删除a业务对应的客户端已接入的加速服务(对应图中步骤4);此时b业务对应的客户端即可正常接入该加速域名(对应图中步骤5),并使用内容分发网络服务厂商针对加速域名提供的加速服务。
38.上述方法主要存在以下几个缺点:第一方面是,无法支持多种业务对应的客户端在同一内容分发网络服务厂商上多次接入相同域名。市场上有多家内容分发网络服务厂商,在检测到多种业务对应的客户端在同一内容分发网络服务厂商上多次接入相同域名时,内容分发网络服务厂商会保留一种业务对应的客户端使用加速服务,并把其他业务对应的客户端分别接入到其他内容分发网络服务厂商上。该方法会使得内容分发网络服务厂商的使用客户流失,降低了该内容分发网络服务厂商的经济效益。第二方面是,在同一加速域名的情况下,内容分发网络服务厂商无法基于不同的业务需求进行不同的加速效果配置,以实现不同的业务功能表现。使得加速域名的接入方式单一,域名接入能力弱。第三方面是在有另一业务对应的客户端接入该加速域名时,需要删除先前已接入的业务对应的客户端,并断开连接,才能使另一业务对应的客户端正常接入并使用该加速域名,使得使用者的配合成本较高,接入加速域名的难度大。
39.本技术提出的在一个内容分发网络中接入多个相同的加速域名,并基于多个相同的待加速域名提供不同的加速效果的方案,满足了不同业务对应的客户端接入相同域名的需求,并且该方案不需要删除已接入的域名,极大降低使用者接入加速域名的成本以及门槛。具体的,本技术针对不同业务对应的客户端接入相同的加速域名,生成加速域名对应的别名(也可叫做域名区别信息,其中包括调度域名和回源域名),并且每个业务类型对应的调度域名和回源域名的别名各不相同,用于区别不同业务类型。通过上述分配加速域名的别名(cname)的方法,使得内容分发网络中各个预先进行加速配置后的节点可以区分不同业务类型的客户端针对同一加速域名的访问,并基于配置好的加速配置为不同业务类型的客户端提供差异化的调度以及加速服务等。
40.可以理解的是,在本技术的具体实施方式中,涉及到目标域名、节点地址等相关的数据,当本技术以上实施例运用到具体产品或技术中时,相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
41.本技术将具体通过如下实施例进行说明:
42.请参阅图1b,图1b是本技术一个示例性实施例提供的一种数据处理系统的架构示意图。该数据处理系统具体可以包括第一终端设备101、第二终端设备102、第一服务器103和第二服务器104。其中,第一终端设备101、第二终端设备102、第一服务器103和第二服务器104之间通过网络连接,比如,通过无线网络连接等。上述第一终端设备101可以指代本技术中针对各个边缘节点(或中间节点,或源节点)等进行配置的运维设备;上述第二终端设备102可以指代本技术中基于目标域名发起数据获取请求的客户端(第二终端设备102可以包括多个客户端,多个客户端既可以是基于同一业务类型的,也可以是基于多种业务类型的);上述第一服务器103可以指代本技术的执行主体,即管理节点;上述第二服务器104可以指代本技术中连接到第一服务器103(管理节点)上的内容分发网络节点(例如边缘节点、中间节点,以及源节点),内容分发网络节点可以是多个,多个内容分发网络节点可以部署到不同的地理位置上。
43.基于本技术提出的数据处理方法,可以由终端设备101获取配置参数,并基于配置
参数对各个边缘节点等进行加速配置(其中包括对各种业务类型进行配置,以及边缘节点、中间节点和源节点的节点地址、调度域名、业务类型之间的对应关系),并将配置数据存储到第一服务器103上;第二终端设备102访问连接到第一服务器103上的目标域名,并发起数据获取请求;第一服务器103接收到第二终端设备102发起数据获取请求,通过数据获取请求中携带的业务类型,并结合存储的配置数据,确定该数据获取请求对应的关联调度域名,并从关联调度域名对应的一个或多个边缘节点的节点地址中确定关联节点地址,并从该关联节点地址对应的边缘节点(即第二服务器104中其中一个内容分发节点)中获取请求数据;第一服务器103最后将获取到的请求数据返回给第二终端设备102。
44.在一实施例中,第二服务器104可以是存储有业务数据的业务服务器组(该业务服务器组可以是一个业务服务器,也可以是多个业务服务器。该业务服务器组可以是一个主服务器与多个边缘服务器组合而成,也可以是一个主服务器、多个中间服务器,以及多个边缘服务器组合而成)。
45.第一终端设备101(或第二终端设备102)也称为终端(terminal)、用户设备(user equipment,ue)、接入终端、用户单元、移动设备、用户终端、无线通信设备、用户代理或用户装置。终端设备可以是智能家电、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personal computer,pc)、车载终端、智能语音交互设备、可穿戴设备或者其他智能装置等,但并不局限于此。
46.第一服务器103(或第二服务器104)可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
47.可以理解的是,本技术实施例描述的系统的架构示意图是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定。例如,在本技术中,第一终端设备101除了包括图1b中所示的三个设备外,也可以包括三个以上的设备,也可以是一个设备(第二终端设备102同理);同样的,服务器103除了包括图1b中所示的一个服务器外,也可以由多个服务器(也即是服务器集群)构成。第一终端设备101和第二终端设备102可以是两个独立的终端设备,也可以是同一个终端设备(即整个数据处理系统的架构包括终端设备、第一服务器103和第二服务器104),也即是,由终端设备进行加速配置,并由终端设备向第一服务器103发送数据获取请求,以使得第一服务器103从第二服务器104中获取请求数据,并将请求数据返回给终端设备。本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
48.在后续实施例中,将以运维设备指代上述第一终端设备101,以客户端指代上述第二终端设备102,以管理节点指代上述第一服务器103,以边缘节点(或中间节点,或源节点)指代上述第二服务器104,后续实施例中将不再赘述。
49.请参阅图2,图2是本技术一个示例性实施例提供的一种数据处理方法的流程示意图,以该方法应用于管理节点(指代图1b中的第一服务器103)为例进行说明,该方法可包括以下步骤:
50.s201、接收客户端基于目标域名发起的数据获取请求,数据获取请求携带请求数
据的目标业务类型,请求数据为数据获取请求所请求的数据。
51.本技术实施例中,内容分发网络包括管理节点和多个边缘节点,每一个边缘节点存储一种业务类型的业务数据,多个边缘节点存储多种业务类型的业务数据;管理节点记录有边缘节点的节点地址与调度域名之间的第一对应关系,调度域名与目标域名相关联;管理节点还记录有各个调度域名与业务类型之间的第二对应关系,不同业务类型所对应的调度域名不同,各个调度域名对应的业务类型为调度域名所对应边缘节点存储的业务数据的业务类型。
52.其中,管理节点是本技术提出的数据处理方法的执行主体,可以是一个内容分发网络处理服务器。多个边缘节点可以理解为是构建目标域名(例如www.test.com)的主服务器分配在各地的边缘节点(即最细分支的服务器节点),该边缘节点存储有主服务器中的部分数据,用于客户端基于数据获取规则从对应的边缘节点中获取数据,提高数据获取效率。每一个边缘节点存储一种业务类型的业务数据,多个边缘节点存储多种业务类型的业务数据,可以理解为众多的边缘节点基于业务类型划分成多个分组,每个分组对应一种业务类型,每个分组可以包括一个或多个存储该业务类型的边缘节点。管理节点记录有边缘节点的节点地址与调度域名之间的第一对应关系,其中,第一对应关系中包括多组关系数据,每组关系数据包括一个调度域名与一个或多个边缘节点的节点地址的对应关系(例如,关联调度域名1对应边缘节点1的节点地址,边缘节点2的节点地址以及边缘节点3的节点地址)。
53.其中,由于任意一个调度域名对应的边缘节点的节点地址所指示的边缘节点只存储某一业务类型的业务数据,客户端是基于目标域名发起某一业务类型的数据获取的,因此,可以基于上述调度域名和目标域名分别对应的业务类型建立对应关系,即调度域名与目标域名相关联。管理节点还记录有各个调度域名与业务类型之间的第二对应关系,第二对应关系中包括多组关系数据,每组关系数据包括一个业务类型与一个或多个调度域名的对应关系(例如,业务类型1对应调度域名1,调度域名2以及调度域名3)。不同业务类型所对应的调度域名不同,各个调度域名对应的业务类型为调度域名所对应边缘节点存储的业务数据的业务类型。
54.本技术实施例中,执行主体是管理节点,目标域名接入了管理节点,客户端是通过接入管理节点,以使管理节点从目标域名获取请求数据。管理节点可以接收客户端基于目标域名发起的数据获取请求,数据请求中还携带了业务类型,业务类型用于指示该次数据获取请求的业务需求。
55.在一实施例中,业务类型可以是通过该数据获取请求的接收环境中获取的。示例性的,当管理节点接收到客户端基于目标域名发起的数据获取请求,该目标域名是针对游戏业务的,该数据获取请求是针对游戏业务中的游戏客户端下载,那么该数据获取请求携带的目标业务类型即为:游戏客户端下载;若管理节点接收到另一数据获取请求,该数据获取请求是针对游戏业务中的在线游戏数据获取,那么该数据获取请求携带的目标业务类型即为:在线游戏数据获取。管理节点通过获取数据请求中携带的业务类型,可以较好地区分基于同一目标域名的不同类型的访问操作(即不同业务类型的数据获取请求),后续管理节点可以基于获取到的业务类型生成不同业务类型的客户端对应的域名区别信息(包括调度域名和回源域名),再根据域名区别信息获取请求数据,实现差异化的请求数据获取操作。
56.s202、响应于数据获取请求,基于第二对应关系确定与目标域名以及目标业务类
型相关联的关联调度域名。
57.本技术实施例中,第二对应关系包括了各个调度域名与业务类型之间的对应关系,由于在数据获取请求中携带业务类型,那么基于数据获取请求中携带业务类型,可以在第二对应关系中确定与该业务类型对应的一个或多个调度域名,再从获取到的一个或多个调度域名中确定最终的调度域名(也即是关联调度域名)。
58.在一实施例中,根据目标业务类型确定关联调度域名包括两种情况,第一种情况是一个业务类型对应一个调度域名,那么根据上述方法从第二对应关系确定与该业务类型对应的调度域名(数量为1个),再将这个调度域名作为关联调度域名;第二种情况是一个业务类型对应多个调度域名,那么根据上述方法从第二对应关系确定与该业务类型对应的调度域名(数量为多个),需要再基于数据获取规则从多个调度域名中确定其中一个调度域名作为关联调度域名。
59.由于在上述第一种情况下,一个业务类型对应唯一一个调度域名,那么当确定了业务类型,也就确定了调度域名(即关联调度域名)。而在第二种情况下,还需要基于数据获取规则从多个调度域名中确定关联调度域名。下面将基于第二种情况进行说明。
60.在一实施例中,第一对应关系中不同节点地址所对应的调度域名不同,上述基于第二对应关系确定与目标域名以及目标业务类型相关联的关联调度域名,可以根据以下步骤实现。
61.(1)、基于第二对应关系,确定与目标域名以及目标业务类型相关联的一个或多个候选调度域名。
62.本技术实施例中,第二对应关系包括了各个调度域名与业务类型之间的对应关系,调度域名与目标域名相关联,并且数据获取请求中携带了该数据获取请求对应的业务类型,那么可以确定出与目标域名以及目标业务类型相关联的一个或多个候选调度域名。
63.在一实施例中,基于目标域名的数据获取请求所对应的目标业务类型为业务1,第二对应关系中业务1与调度域名1,调度域名2和调度域3关联,那么将调度域名1,调度域名2和调度域3作为与目标域名以及目标业务类型相关联的候选调度域名。
64.(2)、基于第一对应关系,确定与各个候选调度域名相关联的关联节点地址。
65.本技术实施例中,第一对应关系中包括边缘节点的节点地址与调度域名之间的对应关系,由于在该情况下,一个调度域名对应唯一一个边缘节点的节点地址,那么当确定了各个候选调度域名,也就确定了各个候选调度域名相关联的关联节点地址。
66.(3)、获取各个关联节点地址所对应边缘节点与客户端之间的数据交互评估参数。
67.(4)、根据数据交互评估参数从一个或多个候选调度域名中确定关联调度域名。
68.本技术实施例中,管理节点可以通过候选调度域名相关联的关联节点地址,访问关联节点地址所对应的边缘节点,并从该边缘节点中获取请求数据。通过获取各个关联节点地址所对应边缘节点与客户端之间的数据交互评估参数,可以基于数据交互评估参数了解各个边缘节点与客户端的数据交互情况,从而使得管理节点选择各个边缘节点中数据交互情况最优的边缘节点进行数据获取操作,提高数据获取效率。各个边缘节点中数据交互情况最优的边缘节点所对应的节点地址指示的调度域名,即为关联调度域名。
69.在一实施例中,数据交互评估参数可以是客户端与各个边缘节点针对数据获取请求进行交互时的响应时间评估参数、负载状况评估参数、网络时延评估参数、网速评估参
数、距离信息评估参数等。
70.其中,响应时间评估参数可以是基于当前各个边缘节点上进行该次交互任务的响应时间得到的(例如,边缘节点1进行该次交互任务的响应时间为10秒,边缘节点2进行该次交互任务的响应时间为15秒,边缘节点3进行该次交互任务的响应时间为20秒,那么确定边缘节点1的响应时间评估参数最优,则选择边缘节点1对应的节点地址指示的调度域名为关联调度域名)。
71.其中,负载状况评估参数可以是基于当前各个边缘节点上正在进行交互的任务数得到的(例如,边缘节点1上正在进行数据获取任务的任务数为1000,边缘节点2上正在进行数据获取任务的任务数为2000,边缘节点3上正在进行数据获取任务的任务数为3000,那么确定边缘节点1的负载状况评估参数最优,则选择边缘节点1对应的节点地址指示的调度域名为关联调度域名)。
72.其中,距离信息评估参数可以是基于该次交互任务对应的客户端与各个边缘节点的地理距离信息得到的(例如,边缘节点1与客户端的地理位置距离为30千米,边缘节点2与客户端的地理位置距离为100千米,边缘节点3与客户端的地理位置距离为1200千米,那么确定边缘节点1的距离信息评估参数最优,则选择边缘节点1对应的节点地址指示的调度域名为关联调度域名)。
73.需要说明的是,上述数据交互评估参数可以是客户端与各个边缘节点针对数据获取请求进行交互时的响应时间评估参数、负载状况评估参数、网络时延评估参数、网速评估参数、距离信息评估参数中的任意一个,也可以是上述响应时间评估参数、负载状况评估参数、网络时延评估参数、网速评估参数、距离信息评估参数中多个。当数据交互评估参数为多个时,可以分别对多个数据交互评估参数中的每个数据交互评估参数设置权重,将每个数据交互评估参数乘以对应的权重并相加,得到融合数据交互评估参数,再基于融合数据交互评估参数从一个或多个候选调度域名中确定关联调度域名。
74.s203、基于第一对应关系确定与关联调度域名相匹配的匹配节点地址。
75.本技术实施例中,第一对应关系包括了边缘节点的节点地址与调度域名之间的对应关系,通过一个关联调度域名,可以在第一对应关系中确定与该关联调度域名对应的一个或多个节点地址,再从获取到的一个或多个节点地址中确定最终的节点地址(也即是匹配节点地址)。
76.在一实施例中,确定匹配节点地址包括两种情况,第一种情况是一个关联调度域名对应一个节点地址,那么根据上述方法从第一对应关系确定与该关联调度域名对应的节点地址(数量为1个),再将这个节点地址作为匹配节点地址;第二种情况是一个关联调度域名对应多个节点地址,那么根据上述方法从第一对应关系确定与该关联调度域名对应的节点地址(数量为多个),需要再基于数据获取规则从多个节点地址中确定其中一个节点地址作为匹配节点地址。
77.由于在上述第一种情况下,一个关联调度域名对应唯一一个节点地址,那么当确定了关联调度域名,也就确定了匹配节点地址。而在第二种情况下,还需要基于数据获取规则从多个节点地址中确定匹配节点地址。下面将基于第二种情况进行说明。
78.在一实施例中,第一对应关系中对应相同业务类型的边缘节点的节点地址与同一调度域名关联,且对应不同业务类型的边缘节点所关联的调度域名不同,也即是一个调度
域名对应同一业务类型的多个边缘节点的节点地址,上述基于第一对应关系确定与关联调度域名相匹配的匹配节点地址,可以根据以下步骤实现。
79.(1)、基于第一对应关系确定与关联调度域名相匹配的一个或多个候选节点地址。
80.本技术实施例中,第一对应关系中包括边缘节点的节点地址与调度域名之间的对应关系,由于在该情况下,一个调度域名对应一个或多个边缘节点的节点地址,那么当确定了关联调度域名,也就确定了与关联调度域名相匹配的一个节点地址(即候选节点地址)。
81.(2)、获取各个候选节点地址所对应边缘节点与客户端之间的数据交互评估参数。
82.(3)、根据数据交互评估参数从一个或多个候选节点地址中确定匹配节点地址。
83.本技术实施例中,管理节点可以通过关联调度域名相匹配的一个或多个候选节点地址,访问候选节点地址所对应的边缘节点,并从该边缘节点中获取请求数据。通过获取各个候选节点地址所对应边缘节点与客户端之间的数据交互评估参数,可以基于数据交互评估参数了解各个边缘节点与客户端的数据交互情况,从而使得客户端选择各个边缘节点中数据交互情况最优的边缘节点进行数据获取操作,提高数据获取效率。
84.在一实施例中,数据交互评估参数可以是客户端与各个边缘节点针对数据获取请求进行交互时的响应时间评估参数、负载状况评估参数、网络时延评估参数、网速评估参数、距离信息评估参数等。基于数据交互评估参数确定匹配节点地址的具体方法,请参见步骤s202的相关描述,本实施例中不再赘述。
85.s204、从匹配节点地址对应的目标边缘节点中获取请求数据,并向客户端返回请求数据。
86.本技术实施例中,当确定了匹配节点地址,管理节点可以从匹配节点地址对应的目标边缘节点中获取请求数据,并向客户端返回请求数据。由于目标边缘节点与数据获取请求携带的目标业务类型相匹配,并且是该目标业务类型对应的多个边缘节点中数据交互情况最优的边缘节点,提高了客户端接收请求数据的效率。对于不同业务类型对应的客户端来说,通过上述步骤s201~s203的方法,确定不同业务类型对应的客户端所对应的边缘节点,实现在一个内容分发网络中响应多个业务类型对应的客户端针对同一目标域名的数据获取请求,并从不同业务类型对应的边缘节点中获取数据。
87.本技术构建了边缘节点的节点地址与调度域名之间的第一对应关系,以及调度域名与业务类型之间的第二对应关系,使得调度域名与边缘节点的节点地址和业务类型相关联;通过接收客户端基于目标域名发起的数据获取请求,根据数据请求中携带的目标业务类型从第二对应关系中确定关联调度域名;再根据第一对应关系确定与关联调度域名相匹配的匹配节点地址,使得管理节点可以从匹配节点地址对应的边缘节点中获取到客户端的请求数据,保证了管理节点可以响应任一业务类型对应的客户端针对目标域名的数据获取请求,并从对应的边缘节点中获取请求数据,管理节点再将请求数据返回给客户端。在本技术中,每一个边缘节点存储一种业务类型的业务数据,多个边缘节点存储多种业务类型的业务数据,保证了在一个内容分发网络中的多个边缘节点存储多种业务类型的业务数据,并且任意客户端只能从一个边缘节点中获取同一业务类型的业务数据;通过规定不同业务类型所对应的调度域名不同,使得多个客户端针对同一目标域名进行数据请求时,结合第一对应关系和第二对应关系,可以分别基于客户端对应的业务类型得到对应的关联调度域名,再基于多个客户端的关联调度域名,从关联调度域名所对应的节点地址中获取数据,实
现了在一个内容分发网络中响应多个业务类型对应的客户端针对同一目标域名的数据获取请求,并从不同业务类型对应的边缘节点中获取数据,不需要删除先前已接入的业务对应的客户端,使得域名接入成本低,使得加速域名的接入方式多样化,并且减少了客户流失,提高了经济效益。
88.本技术提出了两种基于同一业务类型的边缘节点的节点地址与调度域名的对应方法,即不同节点地址所对应的调度域名不同,以及相同业务类型的边缘节点的节点地址对应同一调度域名,提高了第一对应关系配置的灵活性,便于应用在多种系统架构中,提高了本技术的适用性;本技术通过获取各个关联节点地址所对应边缘节点与客户端之间的数据交互评估参数,可以基于数据交互评估参数了解各个边缘节点与客户端的数据交互情况,从而使得客户端选择各个边缘节点中数据交互情况最优的边缘节点进行数据获取操作,再基于数据交互评估参数从一个或多个候选调度域名中确定关联调度域名,关联调度域名对应的边缘节点中获取请求数据,从而提高数据获取效率。其中,数据交互评估参数可以是客户端与各个边缘节点针对数据获取请求进行交互时的响应时间评估参数、负载状况评估参数、网络时延评估参数、网速评估参数、距离信息评估参数等,使得管理节点通过数据交互评估参数选择数据交互情况最优的边缘节点的准确度和可信度更高。
89.请参阅图3,图3是本技术一个示例性实施例提供的一种数据处理方法的流程示意图,以该方法应用于管理节点(指代图1b中的第一服务器103)为例进行说明,该方法可包括以下步骤:
90.s301、接收客户端基于目标域名发起的数据获取请求,数据获取请求携带请求数据的目标业务类型,请求数据为数据获取请求所请求的数据。
91.s302、响应于数据获取请求,基于第二对应关系确定与目标域名以及目标业务类型相关联的关联调度域名。
92.s303、基于第一对应关系确定与关联调度域名相匹配的匹配节点地址。
93.其中,步骤s301~s303的具体实施方式参见前述实施例中步骤s201~s203的相关描述,此处不再赘述。
94.s304、向匹配节点地址对应的目标边缘节点发送关于请求数据的数据标识信息。
95.本技术实施例中,当确定匹配节点地址,管理节点即可基于匹配节点地址从匹配节点地址对应的边缘节点(即目标边缘节点)中获取请求数据。管理节点在获取请求数据之前,需要向目标边缘节点发送关于请求数据的数据标识信息,数据标识信息用于指示需要接受的数据的具体参数。
96.在一实施例中,数据标识信息可以包括请求数据的业务类型的具体子业务分支(例如,游戏业务中的游戏客户端下载子业务),数据获取时间范围(例如,限定一小时内进行请求数据获取操作),数据筛选条件(例如,筛选出请求数据中的图像数据)等等,以此提高了数据获取的准确率。
97.s305、接收目标边缘节点发送的基于数据标识信息获取到的请求数据;其中,当目标边缘节点存储有请求数据时,接收到的请求数据为存储在目标边缘节点中的数据;当目标边缘节点未存储请求数据时,接收到的请求数据为目标边缘节点从一个或多个中间节点中的目标中间节点获取到的。
98.本技术实施例中,内容分发网络还包括一个或多个中间节点,以及一个或多个源
节点,边缘节点通过中间节点与源节点连接。上述内容分发网络的架构可以理解为,内容分发网络中包括一个或多个源节点(一个或多个源节点是由总服务器分配的),每个源节点连接一个或多个中间节点,每个中间节点连接一个或多个边缘节点,以此组成内容分发网络。管理节点将总服务器的一部分数据存储在内容分发网络中的一个或多个边缘节点中,用以客户端就近获取请求数据;管理节点将总服务器的另一部分数据存储在中间节点,以使得边缘节点在未存储该请求数据时,管理节点可以获取到边缘节点从中间节点中获取的数据;管理节点将总服务器的另一部分数据存储在源节点,以使得边缘节点和中间节点在未存储该请求数据时,管理节点可以获取到边缘节点从中间节点中获取的数据,并且该数据是中间节点从源节点中获取到的。通过上述层次化的数据获取方法,在确保能够获取到请求数据的同时,降低了总服务器,以及各个节点的存储压力和负载压力,达到负载均衡的效果。
99.在一实施例中,当目标边缘节点未存储请求数据时,接收到的请求数据也可以是目标边缘节点从一个或多个源节点中的目标源节点获取到的。
100.请参见图4a,图4a是本技术实施例提供的一种多个业务类型的客户端接入相同域名的处理流程图,图中包括a业务对应的客户端、b业务对应的客户端、管理节点、业务a源站和业务b源站,加速域名(例如图中www.test.com,也即是本技术中的目标域名)通过接入管理节点,为使用者提供加速服务。a业务对应的客户端和b业务对应的客户端分别针对加速域名尝试接入;管理节点获取到多个业务类型的客户端(例如a业务对应的客户端和b业务对应的客户端)接入相同域名的请求时,通过分析多个业务类型的客户端中任一客户端的请求对应的业务类型,基于业务类型将多个业务类型的客户端回源到不同业务类型对应的源站中去(例如,若分析得到a业务对应的客户端的业务类型为a,则将a业务对应的客户端回源到业务a源站中;若分析得到b业务对应的客户端的业务类型为b,则将b业务对应的客户端回源到业务b源站中)。通过上述方法,使得不同业务类型的客户端在通过管理节点进行回源操作后,可以基于不同业务类型的源站提供的加速服务获取请求数据。
101.在一实施例中,管理节点还记录有各个调度域名与回源域名之间的第三对应关系,回源域名与中间节点和源节点相关联,上述方法还包括以下步骤。
102.(1)、基于第三对应关系确关联调度域名对应的关联回源域名。
103.本技术实施例中,关联调度域名用于管理节点从该关联调度域名匹配的边缘节点地址所对应的边缘节点中获取请求数据,关联回源域名用于边缘节点进行回源操作获取请求数据,以使得管理节点可以从该关联调度域名匹配的边缘节点地址所对应的边缘节点中获取该边缘节点通过回源操作获取的请求数据。其中,该边缘节点的回源操作是基于回源域名进行的,需要说明的是,各个调度域名与回源域名之间的第三对应关系中包括的每个关系组中可以是一个调度域名与一个回源域名之间的对应关系,也可以是一个调度域名与多个回源域名之间的对应关系,具体形式可以根据具体业务需求进行个性化配置。
104.请参见图4b,图4b是本技术实施例提供的一种多个业务类型的客户端接入相同域名的处理流程图,图中包括a业务对应的客户端、b业务对应的客户端、管理节点和后端存储数据库,加速域名(例如图中www.test.com,也即是本技术中的目标域名)通过接入管理节点,为使用者提供加速服务。a业务对应的客户端和b业务对应的客户端分别针对加速域名进行接入操作;管理节点获取到a业务对应的客户端和b业务对应的客户端分别对应的接入
请求(也即是数据获取请求)时,根据数据获取请求中携带的目标业务类型,为每个业务对应的客户端分配域名区别信息,其中包括加速域名(即目标域名)、调度域名,以及回源域名(此时是一个调度域名对应一个回源域名)。例如基于a业务对应的客户端分配的域名区别信息包括a业务客户端对应的目标域名(例如www.test.com),回源域名(例如www.test.com.a.com),以及调度域名(例如www.test.com.a.com.dnsv1.com);基于b业务对应的客户端分配的域名区别信息包括b业务客户端对应的加速域名(例如www.test.com),回源域名(例如www.test.com.b.com),以及调度域名(例如www.test.com.b.com.dnsv1.com)。管理节点可以将上述域名区别信息存储于后端存储数据库中,便于后续获取该域名区别信息进行域名调度、回源等操作。
105.在一实施例中,调度域名是基于目标域名以及第一补充字符确定的,第一补充字符是基于调度域名对应的业务类型确定的;回源域名是基于目标域名以及第二补充字符确定的,第二补充字符是基于调度域名对应的业务类型确定的,且与第一补充字符不同。
106.示例性的,请参见图4b,目标域名为www.test.com,a业务对应的客户端的业务类型为a,b业务对应的客户端的业务类型为b,那么a业务对应的客户端基于目标域名生成的调度域名可以是www.test.com.a.com.dnsv1.com(其中,调度域名中的“b”代表了业务类型),b业务对应的客户端基于目标域名生成的调度域名可以是www.test.com.b.com.dnsv1.com。可以理解的是,上述基于第三对应关系生成的关联调度域名对应的关联回源域名的形式只是示例性的,在本技术的实际应用过程中,其形式应视具体业务情况而定。
107.(2)、向目标边缘节点发送关联回源域名,以使得目标边缘节点在未存储请求数据时,基于关联回源域名从一个或多个中间节点中确定目标中间节点,并从目标中间节点中获取请求数据。
108.在一实施例中,当目标中间节点存储有请求数据时,目标中间节点从存储的数据中获取请求数据,并发送给目标边缘节点;当目标中间节点未存储请求数据时,目标中间节点基于关联回源域名从一个或多个源节点中确定目标源节点,并从目标源节点中获取请求数据,并发送给目标边缘节点。
109.本技术实施例中,目标边缘节点的回源操作是基于回源域名进行的,也即是说,该边缘节点通过回源域名找到相匹配的一个或多个中间节点(或源节点),再从一个或多个中间节点(或源节点)中通过数据获取规则确定目标中间节点(或目标源节点),并从目标中间节点(或目标源节点)中获取数据,将该数据存储在边缘节点上,管理节点即可从该关联调度域名匹配的边缘节点地址所对应的边缘节点中获取该边缘节点通过回源操作获取的请求数据。
110.请参见图4c,图4c是本技术实施例提供的一种多个业务类型的客户端接入相同域名的处理流程图,图中包括a业务对应的客户端、b业务对应的客户端、管理节点、内容分发网络a边缘节点、内容分发网络b边缘节点、内容分发网络中间源节点、业务a源站和业务b源站。其中,内容分发网络a边缘节点和内容分发网络b边缘节点可以理解为是构建加速域名www.test.com的主服务器分配在各地的边缘节点(即最细分支的节点),该边缘节点存储有主服务器中的部分数据;业务a源站和业务b源站可以理解为是主服务器上配置的基于不同业务类型的加速节点(例如,业务a源站对应业务类型为a的加速节点;业务b源站对应业务
类型为b的加速节点);内容分发网络中间源节点可以理解为是内容分发网络的边缘节点与源站之间的加速节点。具体来说,当内容分发网络的边缘节点中未存储请求数据时,会进行回源处理,即内容分发网络的边缘节点会向内容分发网络的中间源节点获取请求数据;当内容分发网络的中间源节点中未存储请求数据时,内容分发网络的中间源节点会向内容分发网络的源站(也即是源节点)获取请求数据。通过上述架构,可使得管理节点可以在内容分发网络边缘节点上获取该内容分发网络边缘节点存储的请求数据,或者获取该内容分发网络边缘节点通过回源处理得到的请求数据。
111.下面将对图3中的流程进行详细说明。当管理节点获取到a业务对应的客户端和b业务对应的客户端分别针对目标域名(例如图3中www.test.com)发起的数据获取请求时,进行访问解析。由于管理节点针对a业务对应的客户端和b业务对应的客户端的处理流程相似,因此下面将以a业务对应的客户端作为处理对象进行说明。在管理节点进行访问解析的过程中,可以基于数据获取请求中携带的业务类型生成域名区别信息(例如,针对a业务对应的客户端,域名区别信息包括目标域名www.test.com,目标域名www.test.com对应的调度域名www.test.com.a.com.dnsv1.com,以及回源域名www.test.com.a.com)。管理节点基于调度域名www.test.com.a.com.dnsv1.com进行地址解析(例如,通过管理节点中的域名解析服务器进行地址解析),得到a业务对应的边缘节点地址。管理节点可以从该边缘节点地址对应的边缘节点(即内容分发网络a边缘节点)中获取请求数据。当内容分发网络的边缘节点中未存储请求数据时,会进行回源处理(在回源处理前,管理节点会将此前生成的回源域名www.test.com.a.com发送给内容分发网络a边缘节点),即内容分发网络a边缘节点以回源域名www.test.com.a.com作为回源地址(host),向内容分发网络中间源节点获取请求数据;当内容分发网络中间源节点中未存储请求数据时,内容分发网络中间源节点也会进行回源处理(在回源处理前,内容分发网络a边缘节点接收到的回源域名www.test.com.a.com发送给内容分发网络中间源节点)内容分发网络的中间源节点会向内容分发网络的源站(也即是源节点)获取请求数据。基于上述步骤,管理节点可以获取到请求数据,然后再将请求数据发送给a业务对应的客户端。
112.s306、向客户端返回请求数据。
113.其中,步骤s306的具体实施方式参见前述实施例中步骤s204的相关描述,此处不再赘述。
114.在一实施例中,调度域名和回源域名分别指向目标域名对应的服务器,目标域名对应的原始服务器的ip地址为原ip地址,当获取到针对目标域名对应的服务器的更换请求时,将目标域名对应的原ip地址替换为新ip地址,以使得多个客户端基于目标域名、调度域名和回源域名,对新服务器进行访问。
115.上述方法可以理解为,本技术通过生成目标域名对应的调度域名和回源域名(生成cname别名的方法),使得目标域名、调度域名和回源域名具有对应关系,那么当原始服务器的ip地址(原ip地址)需要变更为新服务器的ip地址(新ip地址)时,只需要更改目标域名对应的ip地址(即目标域名对应的原ip地址替换为新ip地址),调度域名和回源域名的指向也将自动更改到新的ip地址上了,极大地提高了地址解析速度。
116.在一实施例中,运维设备(指代第一终端设备101,具体描述请参见图1b及相关描述)可以在管理节点上针对各个边缘节点(或中间节点,或源节点)等进行加速配置,加速配
置是指对每个边缘节点(或中间节点,或源节点)允许加速的类型进行设置。其中,加速配置包括业务类型配置,加速区域配置、源站配置、访问控制配置、缓存配置、回源配置、https加速配置、优化配置中的一种或多种。管理节点可通过在运维设备上显示可视化配置界面,并获取运维人员输入的配置参数,从而对边缘节点、中间节点和源节点进行差异化的加速配置,使得管理节点通过从不同边缘节点、中间节点或源节点中获取请求数据时,可以得到不同的加速效果,并通过本技术实施例提供的s201~s204,以及s301~s306中的方法,选择加速效果较好的边缘节点、中间节点或源节点,并从中获取请求数据,再将获取到的请求数据发送给客户端,从而提高了客户端获取请求数据的效率;通过生成目标域名对应的调度域名和回源域名,管理节点再基于调度域名和回源域名分别实现关联调度域名的获取操作(可理解为调度操作)以及回源操作,实现了在一个内容分发网络中响应多个业务类型对应的客户端针对同一目标域名的数据获取请求,并从不同业务类型的边缘节点中获取数据。
117.本技术可以满足多个内容分发网络服务(cdn)厂商接入腾讯云cdn的需求,可以为不同业务类型的客户端接入相同加速域名时,提供不一样的加速效果,为扩大腾讯云cdn规模等方面提供了良好的技术支撑。克服了以往一家cdn厂商仅能接入一个同名加速域名的限制,商业模式以及合作方式可以变得更加灵活多样化,极大地提高了cdn厂商的域名接入能力。本技术提供的方案能够帮助腾讯云cdn,顺利接入国内众多融合cdn厂商域名,为其提供加速服务。
118.本技术中的管理节点在获取请求数据之前,需要向目标边缘节点发送关于请求数据的数据标识信息,数据标识信息用于指示需要接受的数据的具体参数,以此提高数据获取的准确率;本技术中的内容分发网络除了包括一个或多个边缘节点,还包括一个或多个中间节点,以及一个或多个源节点,边缘节点通过中间节点与源节点连接,管理节点可以将总服务器的所有数据进行数据划分后存储在边缘节点、中间节点和源节点中;在管理节点向目标边缘节点获取请求数据时,若目标边缘节点未存储该请求数据,则会自动进行回源处理,也即是目标边缘节点会向匹配的中间节点中获取请求数据,若目标中节点未存储该请求数据,也会自动进行回源处理,也即是目标中间节点会向匹配的源节点中获取请求数据。管理节点中记录有各个调度域名与回源域名之间的第三对应关系,回源域名与中间节点和源节点相关联,以此完成上述回源操作。通过上述层次化的数据获取方法,在确保管理节点能够获取到请求数据的同时,降低了总服务器,以及各个节点的存储压力和负载压力,达到负载均衡的效果,并且边缘节点可以配置在各个地区,提高了客户端的数据获取效率。
119.本技术通过生成目标域名对应的调度域名和回源域名,使得目标域名、调度域名和回源域名具有对应关系,当目标域名对应的原始服务器发生变更时,只需要更改目标域名对应的ip地址,调度域名和回源域名的指向也将自动更改到新的ip地址上了,极大地提高了地址解析速度。本技术还可以在管理节点上针对各个边缘节点(或中间节点,或源节点)等进行加速配置,其中,加速配置包括业务类型配置,加速区域配置、源站配置、访问控制配置、缓存配置、回源配置、https加速配置、优化配置中的一种或多种。并在运维设备上显示可视化配置界面,用于获取运维人员输入的配置参数,从而实现对边缘节点、中间节点和源节点进行差异化的加速配置,使得管理节点通过从不同边缘节点、中间节点或源节点中获取请求数据时,可以得到不同的加速效果,从而提高了客户端获取请求数据的效率。
120.请参阅图5,图5是本技术实施例提供的一种数据处理装置的示意框图。数据处理
装置包含于内容分发网络,上述内容分发网络还包括多个边缘节点,每一个边缘节点存储一种业务类型的业务数据,上述多个边缘节点存储多种业务类型的业务数据;上述数据处理装置记录有边缘节点的节点地址与调度域名之间的第一对应关系,上述调度域名与目标域名相关联;上述数据处理装置还记录有各个调度域名与业务类型之间的第二对应关系,不同业务类型所对应的调度域名不同,各个调度域名对应的业务类型为调度域名所对应边缘节点存储的业务数据的业务类型。其中,数据处理装置具体可以包括:
121.获取模块501,用于接收客户端基于上述目标域名发起的数据获取请求,上述数据获取请求携带请求数据的目标业务类型,上述请求数据为上述数据获取请求所请求的数据;
122.处理模块502,用于响应于上述数据获取请求,基于上述第二对应关系确定与上述目标域名以及上述目标业务类型相关联的关联调度域名;
123.上述处理模块502,还用于基于上述第一对应关系确定与上述关联调度域名相匹配的匹配节点地址;
124.发送模块503,用于从上述匹配节点地址对应的目标边缘节点中获取上述请求数据,并向上述客户端返回上述请求数据。
125.可选的,上述第一对应关系中不同节点地址所对应的调度域名不同,上述处理模块502在用于基于上述第二对应关系确定与上述目标域名以及上述目标业务类型相关联的关联调度域名时,具体用于:
126.基于上述第二对应关系,确定与上述目标域名以及上述目标业务类型相关联的一个或多个候选调度域名;
127.基于上述第一对应关系,确定与各个上述候选调度域名相关联的关联节点地址;
128.获取各个上述关联节点地址所对应边缘节点与上述客户端之间的数据交互评估参数;
129.根据上述数据交互评估参数从上述一个或多个候选调度域名中确定关联调度域名。
130.可选的,上述第一对应关系中对应相同业务类型的边缘节点的节点地址与同一调度域名关联,且对应不同业务类型的边缘节点所关联的调度域名不同,上述处理模块502在用于基于上述第一对应关系确定与上述关联调度域名相匹配的匹配节点地址时,具体用于:
131.基于上述第一对应关系确定与上述关联调度域名相匹配的一个或多个候选节点地址;
132.获取各个上述候选节点地址所对应边缘节点与上述客户端之间的数据交互评估参数;
133.根据上述数据交互评估参数从上述一个或多个候选节点地址中确定匹配节点地址。
134.可选的,上述内容分发网络还包括一个或多个中间节点,以及一个或多个源节点,边缘节点通过中间节点与源节点连接,上述处理模块502在用于从上述匹配节点地址对应的目标边缘节点中获取上述请求数据时,具体用于:
135.向上述匹配节点地址对应的目标边缘节点发送关于上述请求数据的数据标识信
息;
136.接收上述目标边缘节点发送的基于上述数据标识信息获取到的上述请求数据;
137.其中,当上述目标边缘节点存储有上述请求数据时,接收到的上述请求数据为存储在上述目标边缘节点中的数据;当上述目标边缘节点未存储上述请求数据时,接收到的上述请求数据为上述目标边缘节点从上述一个或多个中间节点中的目标中间节点获取到的。
138.可选的,上述管理节点还记录有各个调度域名与回源域名之间的第三对应关系,上述回源域名与中间节点和源节点相关联,上述处理模块502还用于:
139.基于上述第三对应关系确定上述关联调度域名对应的关联回源域名;
140.向上述目标边缘节点发送上述关联回源域名,以使得上述目标边缘节点在未存储上述请求数据时,基于上述关联回源域名从上述一个或多个中间节点中确定目标中间节点,并从上述目标中间节点中获取上述请求数据。
141.可选的,当上述目标中间节点存储有上述请求数据时,上述目标中间节点从存储的数据中获取上述请求数据,并发送给上述目标边缘节点;当上述目标中间节点未存储上述请求数据时,上述目标中间节点基于上述关联回源域名从上述一个或多个源节点中确定目标源节点,并从上述目标源节点中获取上述请求数据,并发送给上述目标边缘节点。
142.可选的,上述调度域名是基于上述目标域名以及第一补充字符确定的,上述第一补充字符是基于调度域名对应的业务类型确定的;
143.上述回源域名是基于上述目标域名以及第二补充字符确定的,上述第二补充字符是基于调度域名对应的业务类型确定的,且与上述第一补充字符不同。
144.需要说明的是,本技术实施例的数据处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
145.请参阅图6,图6是本技术一实施例提供的一种计算机设备的示意框图。如图所示的本实施例中的智能终端可以包括:处理器601、存储装置602以及通信接口603。上述处理器601、存储装置602以及通信接口603之间可以进行数据交互。
146.上述存储装置602可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,ram);存储装置602也可以包括非易失性存储器(non-volatile memory),例如快闪存储器(flash memory),固态硬盘(solid-state drive,ssd)等;上述存储装置602还可以包括上述种类的存储器的组合。
147.上述处理器601可以是中央处理器(central processing unit,cpu)。在一个实施例中,上述处理器601还可以是图形处理器(graphics processing unit,gpu)。上述处理器601也可以是由cpu和gpu的组合。在一个实施例中,上述存储装置602用于存储程序指令,上述处理器601可以调用上述程序指令,执行如下操作:
148.接收客户端基于上述目标域名发起的数据获取请求,上述数据获取请求携带请求数据的目标业务类型,上述请求数据为上述数据获取请求所请求的数据;
149.响应于上述数据获取请求,基于上述第二对应关系确定与上述目标域名以及上述目标业务类型相关联的关联调度域名;
150.基于上述第一对应关系确定与上述关联调度域名相匹配的匹配节点地址;
151.从上述匹配节点地址对应的目标边缘节点中获取上述请求数据,并向上述客户端返回上述请求数据。
152.可选的,上述第一对应关系中不同节点地址所对应的调度域名不同,上述处理器601在用于基于上述第二对应关系确定与上述目标域名以及上述目标业务类型相关联的关联调度域名时,具体用于:
153.基于上述第二对应关系,确定与上述目标域名以及上述目标业务类型相关联的一个或多个候选调度域名;
154.基于上述第一对应关系,确定与各个上述候选调度域名相关联的关联节点地址;
155.获取各个上述关联节点地址所对应边缘节点与上述客户端之间的数据交互评估参数;
156.根据上述数据交互评估参数从上述一个或多个候选调度域名中确定关联调度域名。
157.可选的,上述第一对应关系中对应相同业务类型的边缘节点的节点地址与同一调度域名关联,且对应不同业务类型的边缘节点所关联的调度域名不同,上述处理器601在用于基于上述第一对应关系确定与上述关联调度域名相匹配的匹配节点地址时,具体用于:
158.基于上述第一对应关系确定与上述关联调度域名相匹配的一个或多个候选节点地址;
159.获取各个上述候选节点地址所对应边缘节点与上述客户端之间的数据交互评估参数;
160.根据上述数据交互评估参数从上述一个或多个候选节点地址中确定匹配节点地址。
161.可选的,上述内容分发网络还包括一个或多个中间节点,以及一个或多个源节点,边缘节点通过中间节点与源节点连接,上述处理器601在用于从上述匹配节点地址对应的目标边缘节点中获取上述请求数据时,具体用于:
162.向上述匹配节点地址对应的目标边缘节点发送关于上述请求数据的数据标识信息;
163.接收上述目标边缘节点发送的基于上述数据标识信息获取到的上述请求数据;
164.其中,当上述目标边缘节点存储有上述请求数据时,接收到的上述请求数据为存储在上述目标边缘节点中的数据;当上述目标边缘节点未存储上述请求数据时,接收到的上述请求数据为上述目标边缘节点从上述一个或多个中间节点中的目标中间节点获取到的。
165.可选的,上述管理节点还记录有各个调度域名与回源域名之间的第三对应关系,上述回源域名与中间节点和源节点相关联,上述处理器601还用于:
166.基于上述第三对应关系确定上述关联调度域名对应的关联回源域名;
167.向上述目标边缘节点发送上述关联回源域名,以使得上述目标边缘节点在未存储上述请求数据时,基于上述关联回源域名从上述一个或多个中间节点中确定目标中间节点,并从上述目标中间节点中获取上述请求数据。
168.可选的,当上述目标中间节点存储有上述请求数据时,上述目标中间节点从存储的数据中获取上述请求数据,并发送给上述目标边缘节点;当上述目标中间节点未存储上
述请求数据时,上述目标中间节点基于上述关联回源域名从上述一个或多个源节点中确定目标源节点,并从上述目标源节点中获取上述请求数据,并发送给上述目标边缘节点。
169.可选的,上述调度域名是基于上述目标域名以及第一补充字符确定的,上述第一补充字符是基于调度域名对应的业务类型确定的;
170.上述回源域名是基于上述目标域名以及第二补充字符确定的,上述第二补充字符是基于调度域名对应的业务类型确定的,且与上述第一补充字符不同。
171.具体实现中,本技术实施例中所描述的处理器601、存储装置602以及通信接口603可执行本技术实施例图2或图4提供的数据处理方法的相关实施例中所描述的实现方式,也可执行本技术实施例图5提供的数据处理装置的相关实施例中所描述的实现方式,在此不再赘述。
172.在本技术所提供的几个实施例中,应该理解到,所揭露的方法、装置和系统,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的;例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式;例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
173.此外,这里需要指出的是:本技术实施例还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的数据处理装置所执行的计算机程序,且该计算机程序包括程序指令,当处理器执行上述程序指令时,能够执行前文图2、图3所对应实施例中的方法,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本技术方法实施例的描述。作为示例,程序指令可以被部署在一个计算机设备上,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
174.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备可以执行前文图2、图3所对应实施例中的方法,因此,这里将不再进行赘述。
175.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)或随机存储记忆体(random access memory,ram)等。
176.以上所揭露的仅为本技术的部分实施例而已,当然不能以此来限定本技术之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本技术权利要求所作的等同变化,仍属于发明所涵盖的范围。
技术特征:
1.一种数据处理方法,应用于内容分发网络,其特征在于,所述内容分发网络包括管理节点和多个边缘节点,每一个边缘节点存储一种业务类型的业务数据,所述多个边缘节点存储多种业务类型的业务数据;所述管理节点记录有边缘节点的节点地址与调度域名之间的第一对应关系,所述调度域名与目标域名相关联;所述管理节点还记录有各个调度域名与业务类型之间的第二对应关系,不同业务类型所对应的调度域名不同,各个调度域名对应的业务类型为调度域名所对应边缘节点存储的业务数据的业务类型;所述方法包括:接收客户端基于所述目标域名发起的数据获取请求,所述数据获取请求携带请求数据的目标业务类型,所述请求数据为所述数据获取请求所请求的数据;响应于所述数据获取请求,基于所述第二对应关系确定与所述目标域名以及所述目标业务类型相关联的关联调度域名;基于所述第一对应关系确定与所述关联调度域名相匹配的匹配节点地址;从所述匹配节点地址对应的目标边缘节点中获取所述请求数据,并向所述客户端返回所述请求数据。2.根据权利要求1所述的方法,其特征在于,所述第一对应关系中不同节点地址所对应的调度域名不同;所述基于所述第二对应关系确定与所述目标域名以及所述目标业务类型相关联的关联调度域名,包括:基于所述第二对应关系,确定与所述目标域名以及所述目标业务类型相关联的一个或多个候选调度域名;基于所述第一对应关系,确定与各个所述候选调度域名相关联的关联节点地址;获取各个所述关联节点地址所对应边缘节点与所述客户端之间的数据交互评估参数;根据所述数据交互评估参数从所述一个或多个候选调度域名中确定关联调度域名。3.根据权利要求1所述的方法,其特征在于,所述第一对应关系中对应相同业务类型的边缘节点的节点地址与同一调度域名关联,且对应不同业务类型的边缘节点所关联的调度域名不同;所述基于所述第一对应关系确定与所述关联调度域名相匹配的匹配节点地址,包括:基于所述第一对应关系确定与所述关联调度域名相匹配的一个或多个候选节点地址;获取各个所述候选节点地址所对应边缘节点与所述客户端之间的数据交互评估参数;根据所述数据交互评估参数从所述一个或多个候选节点地址中确定匹配节点地址。4.根据权利要求1~3中任一项所述的方法,其特征在于,所述内容分发网络还包括一个或多个中间节点,以及一个或多个源节点,边缘节点通过中间节点与源节点连接;所述从所述匹配节点地址对应的目标边缘节点中获取所述请求数据,包括:向所述匹配节点地址对应的目标边缘节点发送关于所述请求数据的数据标识信息;接收所述目标边缘节点发送的基于所述数据标识信息获取到的所述请求数据;其中,当所述目标边缘节点存储有所述请求数据时,接收到的所述请求数据为存储在所述目标边缘节点中的数据;当所述目标边缘节点未存储所述请求数据时,接收到的所述请求数据为所述目标边缘节点从所述一个或多个中间节点中的目标中间节点获取到的。5.根据权利要求4所述的方法,其特征在于,所述管理节点还记录有各个调度域名与回源域名之间的第三对应关系,所述回源域名与中间节点和源节点相关联;所述方法还包括:
基于所述第三对应关系确定所述关联调度域名对应的关联回源域名;向所述目标边缘节点发送所述关联回源域名,以使得所述目标边缘节点在未存储所述请求数据时,基于所述关联回源域名从所述一个或多个中间节点中确定目标中间节点,并从所述目标中间节点中获取所述请求数据。6.根据权利要求5所述的方法,其特征在于,当所述目标中间节点存储有所述请求数据时,所述目标中间节点从存储的数据中获取所述请求数据,并发送给所述目标边缘节点;当所述目标中间节点未存储所述请求数据时,所述目标中间节点基于所述关联回源域名从所述一个或多个源节点中确定目标源节点,并从所述目标源节点中获取所述请求数据,并发送给所述目标边缘节点。7.根据权利要求5所述的方法,其特征在于,所述调度域名是基于所述目标域名以及第一补充字符确定的,所述第一补充字符是基于调度域名对应的业务类型确定的;所述回源域名是基于所述目标域名以及第二补充字符确定的,所述第二补充字符是基于调度域名对应的业务类型确定的,且与所述第一补充字符不同。8.一种数据处理装置,包含于内容分发网络,其特征在于,所述内容分发网络还包括多个边缘节点,每一个边缘节点存储一种业务类型的业务数据,所述多个边缘节点存储多种业务类型的业务数据;所述数据处理装置记录有边缘节点的节点地址与调度域名之间的第一对应关系,所述调度域名与目标域名相关联;所述数据处理装置还记录有各个调度域名与业务类型之间的第二对应关系,不同业务类型所对应的调度域名不同,各个调度域名对应的业务类型为调度域名所对应边缘节点存储的业务数据的业务类型;所述装置包括:获取模块,用于接收客户端基于所述目标域名发起的数据获取请求,所述数据获取请求携带请求数据的目标业务类型,所述请求数据为所述数据获取请求所请求的数据;处理模块,用于响应于所述数据获取请求,基于所述第二对应关系确定与所述目标域名以及所述目标业务类型相关联的关联调度域名;所述处理模块,还用于基于所述第一对应关系确定与所述关联调度域名相匹配的匹配节点地址;发送模块,用于从所述匹配节点地址对应的目标边缘节点中获取所述请求数据,并向所述客户端返回所述请求数据。9.一种计算机设备,其特征在于,包括:处理器、存储装置和通信接口,所述处理器、所述通信接口和所述存储装置相互连接,其中,所述存储装置存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,用以实现如权利要求1~7中任一项所述的数据处理方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行,用以实现如权利要求1~7中任一项所述的数据处理方法。11.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或计算机指令被处理器执行时,用以实现如权利要求1~7中任一项所述的数据处理方法。
技术总结
本申请实施例提出了一种数据处理方法、装置、设备、可读存储介质及程序产品,可应用于云技术、人工智能、智慧平台、内容分发、网络加速等领域或场景,该方法包括:接收客户端基于目标域名发起的数据获取请求,数据获取请求携带请求数据的目标业务类型;响应于数据获取请求,基于第二对应关系确定与目标域名和目标业务类型相关联的关联调度域名;基于第一对应关系确定与关联调度域名匹配的匹配节点地址,从匹配节点地址对应的目标边缘节点中获取请求数据;向客户端返回请求数据,请求数据为数据获取请求所请求的数据。通过本申请实施例,可以基于请求数据的业务类型从最匹配的节点获取请求数据,从而提高数据的获取效率。从而提高数据的获取效率。从而提高数据的获取效率。
技术研发人员:江炜隆
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2022.03.15
技术公布日:2023/9/23
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:多效蒸馏水机及多效蒸馏系统的制作方法 下一篇:丙酮酸羧化酶突变体及其应用的制作方法