一种基于传输热点的存储节点自适应调整方法及装置与流程
未命名
10-21
阅读:51
评论:0
1.本技术涉及区块链领域,可以用于金融领域,具体是一种基于传输热点的存储节点自适应调整方法及装置。
背景技术:
2.随着共享经济的蓬勃发展,互联网上的文件信息传递已呈现信息膨胀的态势,其可伸缩性差、存储资源浪费等问题愈发突出,严重影响业务应用的拓展。为降低网络带宽、数据传递时延的影响,业界不断探索互联网环境下文件数据稳定传递的办法,如:将文件数据分片传递,设置缓冲池,优化路由策略等,但网络环境风云万变,用户偏好说变就变。要提升去中心化环境下传递文件的效率,首先必须搞清楚哪些文件是最受欢迎的,附近的节点有没有存储,这一时刻用户喜好下载什么等,只有抢先一步准备,才能更好地满足用户的需求,调度有序。
技术实现要素:
3.针对现有技术中的问题,本技术提供一种基于传输热点的存储节点自适应调整方法及装置,能够基于数据传输热点对各数据文件分片对应的存储节点进行自适应调整,以使用户在下载数据文件时更加便捷高效。
4.为解决上述技术问题,本技术提供以下技术方案:
5.第一方面,本技术提供一种基于传输热点的存储节点自适应调整方法,包括:
6.基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描述;
7.根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点;其中,所述数据传输热点存在于所述去中心化数据传输网络中;
8.根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。
9.进一步地,所述基于接收的数据下载请求生成多链区块信息描述,包括:
10.当接收到所述数据下载请求时,执行获取多链区块信息函数,得到各区块的数据路由信息;
11.根据预先生成的数据文件分片与所述数据路由信息生成所述多链区块信息描述;其中,每个数据文件分片对应一个区块。
12.进一步地,所述根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点,包括:
13.根据所述多链区块信息描述确定各数据文件分片的权重;
14.根据各数据文件分片的内容标识、所述权重及所述数据路由信息生成各数据文件分片的区块形式化表示;
15.根据所述区块形式化表示对所述去中心化数据传输网络中的各传输节点进行计算,以确定所述数据传输热点。
16.进一步地,所述的基于传输热点的存储节点自适应调整方法,还包括:
17.根据所述多链区块信息描述确定所述去中心化数据传输网络中各数据存储节点的所在位置;
18.根据所述各数据存储节点的所在位置确定所述数据下载请求对应的数据下载地址;
19.从所述数据下载地址处获取所述数据下载请求对应的数据文件分片;其中,每个数据文件分片对应一个数据存储节点。
20.进一步地,所述根据所述区块形式化表示对所述去中心化数据传输网络中的各传输节点进行计算,以确定所述数据传输热点,包括:
21.根据所述区块形式化表示分别计算各数据存储节点至当前所在节点之间的路由距离以及所述数据下载请求对应的数据文件分片的权重;
22.根据各数据存储节点至当前所在节点之间的路由距离与所述权重确定所述数据传输热点。
23.进一步地,所述根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点,包括:
24.若所述权重超过预设的数据重要性阈值,根据各数据存储节点至当前所在节点之间的路由距离与所述数据传输热点,确定所述数据文件分片的最佳存储节点;
25.将所述数据文件分片存储至所述最佳存储节点处,并更新所述数据文件分片的区块形式化表示。
26.第二方面,本技术提供一种基于传输热点的存储节点自适应调整装置,包括:
27.区块信息描述生成单元,用于基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描述;
28.传输热点确定单元,用于根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点;其中,所述数据传输热点存在于所述去中心化数据传输网络中;
29.存储节点调整单元,用于根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。
30.进一步地,所述区块信息描述生成单元,包括:
31.路由信息生成模块,用于当接收到所述数据下载请求时,执行获取多链区块信息函数,得到各区块的数据路由信息;
32.区块信息生成模块,用于根据预先生成的数据文件分片与所述数据路由信息生成所述多链区块信息描述;其中,每个数据文件分片对应一个区块。
33.进一步地,所述传输热点确定单元,包括:
34.分片权重计算模块,用于根据所述多链区块信息描述确定各数据文件分片的权重;
35.区块表示生成模块,用于根据各数据文件分片的内容标识、所述权重及所述数据路由信息生成各数据文件分片的区块形式化表示;
36.传输热点确定模块,用于根据所述区块形式化表示对所述去中心化数据传输网络中的各传输节点进行计算,以确定所述数据传输热点。
37.进一步地,所述的基于传输热点的存储节点自适应调整装置,还包括:
38.存储位置确定单元,用于根据所述多链区块信息描述确定所述去中心化数据传输网络中各数据存储节点的所在位置;
39.下载地址确定单元,用于根据所述各数据存储节点的所在位置确定所述数据下载请求对应的数据下载地址;
40.文件分片获取单元,用于从所述数据下载地址处获取所述数据下载请求对应的数据文件分片;其中,每个数据文件分片对应一个数据存储节点。
41.进一步地,所述传输热点确定模块,包括:
42.距离权重计算子模块,用于根据所述区块形式化表示分别计算各数据存储节点至当前所在节点之间的路由距离以及所述数据下载请求对应的数据文件分片的权重;
43.传输热点确定子模块,用于根据各数据存储节点至当前所在节点之间的路由距离与所述权重确定所述数据传输热点。
44.进一步地,所述存储节点调整单元,包括:
45.最佳节点确定模块,用于若所述权重超过预设的数据重要性阈值,根据各数据存储节点至当前所在节点之间的路由距离与所述数据传输热点,确定所述数据文件分片的最佳存储节点;
46.存储更新模块,用于将所述数据文件分片存储至所述最佳存储节点处,并更新所述数据文件分片的区块形式化表示。
47.第三方面,本技术提供一种电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述基于传输热点的存储节点自适应调整方法的步骤。
48.第四方面,本技术提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述基于传输热点的存储节点自适应调整方法的步骤。
49.第五方面,本技术提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现所述基于传输热点的存储节点自适应调整方法的步骤。
50.针对现有技术中的问题,本技术提供的基于传输热点的存储节点自适应调整方法及装置,能够在有向无环图多链结构的基础上,构建一种基于文件分片的数据内容链接结构,用于提供内容链接与访问路由的信息,然后根据最近访问的文件分片与路由信息确定当前的传输热点,并据此提供存储节点的自适应调整策略,实现数据分片的跨地跨机构管理,较好地解决了互联网环境下文件传递的稳定性与效率问题,适用于在去中心化环境下执行大文件传输与存储,有效地解决了大文件存储的效率低、真实性证明难及扩展性差等缺点,具有较好的推广价值。
附图说明
51.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
52.图1为本技术实施例中基于传输热点的存储节点自适应调整的场景结构图;
53.图2为本技术实施例中基于传输热点的存储节点自适应调整分层结构图;
54.图3为本技术实施例中服务网关节点的结构图;
55.图4为本技术实施例中区块链节点的结构图;
56.图5为本技术实施例中数据存储节点的结构图;
57.图6为本技术实施例中的业务流程图;
58.图7为本技术实施例中基于传输热点的存储节点自适应调整方法的流程图之一;
59.图8为本技术实施例中生成多链区块信息描述的流程图;
60.图9为本技术实施例中确定数据传输热点的流程图;
61.图10为本技术实施例中基于传输热点的存储节点自适应调整方法的流程图之二;
62.图11为本技术实施例中确定所述数据传输热点的流程图;
63.图12为本技术实施例中调整数据存储节点的流程图;
64.图13为本技术实施例中基于传输热点的存储节点自适应调整装置的结构图之一;
65.图14为本技术实施例中区块信息描述生成单元的结构图;
66.图15为本技术实施例中传输热点确定单元的结构图;
67.图16为本技术实施例中基于传输热点的存储节点自适应调整装置的结构图之二;
68.图17为本技术实施例中传输热点确定模块的结构图;
69.图18为本技术实施例中存储节点调整单元的结构图;
70.图19为本技术实施例中的电子设备的结构示意图。
具体实施方式
71.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
72.需要说明的是,本技术提供的基于传输热点的存储节点自适应调整方法及装置,可用于金融领域,也可用于除金融领域之外的任意领域,本技术提供的基于传输热点的存储节点自适应调整方法及装置的应用领域不做限定。
73.本技术技术方案中对数据的获取、存储、使用及处理等均符合法律法规的相关规定。
74.一实施例中,参见图7,为了能够基于数据传输热点对各数据文件分片对应的存储节点进行自适应调整,以使用户在下载数据文件时更加便捷高效,一种基于传输热点的存储节点自适应调整方法,包括:
75.s101:基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描述;
76.s102:根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点;其中,所述数据传输热点存在于所述去中心化数据传输网络中;
77.s103:根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。
78.可以理解的是,链上链下协同技术被越来越多地应用到降低链上存储的场景中,该技术主要将链上数据转移至链下进行存储,从而降低链上的存储压力。但实施该技术的
目的主要是为了卸载链上数据的存储压力,而没有正在解决链下互联网环境下文件的传输效率问题。
79.此外,虽然利用缓存技术能够提前存取一定数量的文件数据,利用文件分片技术通过对大文件进行数据分片也能实现多数据源并发传输,提高文件传输的效率,但上述技术在应用中也存在如下问题:一是网络环境不稳定影响文件数据传输的稳定性,特别是集中式文件内容分发存在单点风险,且路由相对固定,受网络环境影响较深;二是数据分布不均衡,尤其是附近节点没有文件副本时,需要从远程节点调取,耗时费力;三是评估的手段不充分,对于哪些文件是用户喜好的,哪些文件是比较冷门的,没有作出合理的评估。有鉴于此,亟待提供基于传输热点的存储节点自适应调整系统与方法,提供较好的评估文件传输热点的模型,通过链上区块分析当前的热门数据,既充分评估链下传输数据的内容,又提高数据文件传输效率。
80.下面首先阐述本技术实施例所涉及的术语:
81.①
文件分片:一个将文件内容分成一定长度的数据切片,每个切片的摘要作为文件分片的内容链接,其内容链接长度与存储内容的大小无关。文件分片的实际存储地址可能在链下,也可能在链上。
82.②
网络热点模型:一种基于有向无环图(directed acyclic graph,简称dag)的网络热点计算模型。该模型根据文件分片的路由信息以及产生的时间,判断出最近一个时间点,某个文件分片的下载热点。
83.③
链上链下协同技术:一种新的区块链架构范式,其通过在链下存储计算、链上共识验证的模式,将参与交易的双方或多方进行链上的状态锁定,然后在链下开辟通道进行通道内的交易,从而可以在链下进行低成本与迅速的交易。
84.④
区块链(blockchain):一种利用密码学保证访问安全、利用p2p通讯技术实现对等通信、利用共识机制实现记账合法性,利用链式结构存储数据实现不可篡改的共同记账解决方案。
85.基于上述基本情况,本发明提出一种基于传输热点的存储节点自适应调整的系统与方法。在该系统中,传输热点基于dag多链结构确定,相关定义如下:
86.定义1:dag模型:有向无环图g形式化表示为g=(v,e),v表示定点集合,e表示边的集合,g可达性可以用其顶点的偏序关系<来表示,设(u,v)∈e,如果存在一条路径从顶点u指向顶点v,它们的偏序关系可以被写作u<v。也被称作v是从u可达的。
87.定义2:基于dag的多链结构:设无环图g=(v,e),对于任意u,v∈v,且u和v不具备偏序关系,则总存在一个节点r∈v,u是从r可达的,v是从r可达的,称r为dag的根,u,v则构成dag的多链结构。
88.具体地,一种基于传输热点的存储节点自适应调整的系统结构图,参见图1所示。其主要技术结构包括:用户1、客户端2、服务网关节点3、区块链节点4及去中心化存储(ds)节点5。
89.用户1:发起用户数据上传或接收来自区块链网络的数据信息,用户希望用户偏好数据的敏感信息不被泄露。
90.客户端2:主要负责发起智能合约部署请求、去中心化存储交易请求、去中心化存储查询请求等。
91.服务网关节点3:主要负责提供智能合约api,实现限流熔断,安全检测,文件存储与访问,身份验证与安全参数设置等。
92.区块链节点4:完成交易广播、交易执行、交易验证、共识和存储等功能的节点。具有区块链的一般特性。通过客户端发起文件读取指令,同时经过文件读写存证的智能合约执行后的交易记录也会保存在区块链上。
93.去中心化存储节点5:提供merkle-dag的存储机制,负责接收服务网关节点3的文件读写请求,进行去中心化文件分片,分片信息路由以及将交易信息存证到区块链节点。本技术实施例中的客户端a与客户端b分别通过服务网关节点3接入区块链节点,实现发布智能合约,读取文件及存储文件。
94.进一步地,一种基于传输热点的存储节点自适应调整分层结构图,参见图2所示,包括:客户访问层20、服务网关层21、区块链网络22及去中心化文件存储网络23。
95.客户端访问层20:负责提供运营商访问的客户端软件,便于发起去中心化存储请求,接收去中心化存储结果。客户端可在区块链平台上发布链码,客户产生上传或下载的行为数据后,可调用链码发起交易请求,将行为数据上链,根据客户使用场景,提交到各个场景对应的通道上(客户端可以直接上送客户行为数据,无需加工处理,具体数据处理逻辑可交由场景提供商执行)。供应商也可以发布链码,可以查询属于自己通道的数据,可以对自己通道的数据进行处理分析。
96.网关服务层21:负责面向客户端提供区块链智能合约服务api,实现交易的限流熔断、ds节点的文件上传、下载,内容链接(cid)生成,实现数字身份(did)注册、校验、目录查询更新等智能合约功能调用。
97.区块链网络22:负责接收和解密文件去中心化存储报文,触发预设的智能合约逻辑,形成去中心化存储的日志结果。区块链网络可提供托管节点,对于有能力的提供商也可提供本地节点部署。每个场景提供商在区块链上有各自的通道,场景提供商无法获取其它通道也即其它提供商的数据信息。
98.去中心化文件存储网络23:负责根据客户端提交的上传(下载)、查询等请求,通过去中心化存储逻辑配置参数、数据、业务逻辑等,同时加密形成文件分块数据,其哈希值广播给区块链网络22。场景提供商还可以发布联合运营链码,通过链码调用ds节点服务,每个区块链节点都有对应的ds节点服务,链码可以指定需要哪些ds服务进行联合计算。场景提供商通过链码发起联合计算请求,原本其它通道的提供商数据相互之间是无法访问的,通过ds可以在不泄漏各自数据的情况进行分散式数据存储。
99.进一步地,一种基于传输热点的存储节点自适应调整服务网关节点结构图,参见图3所示。其主要技术结构包括:通讯模块31、限流熔断模块32、安全认证模块33及api服务接口34。
100.通讯模块31:负责为服务网关节点建立安全通道,实现去中心化文件存储请求、初始化安全参数等报文收发。
101.限流熔断模块32:负责根据交易吞吐量配置进行交易限流和熔断控制。
102.安全认证模块33:负责保管用户的私钥和对称密钥,管理用户的数字身份;负责调用区块链网络提供的安全接口api,实现用户数据存储、用户数据加密,以及密态文件解密等。
103.api服务接口34:负责提供区块链智能合约api调用,如:数据存证,信息查询,安全设置等一系列智能合约api接口服务。
104.进一步地,对于区块链节点4与去中心化存储节点5,将结合下文记载的具体实施步骤进行阐述。
105.从上述描述可知,本技术提供的基于传输热点的存储节点自适应调整方法,能够在有向无环图多链结构的基础上,构建一种基于文件分片的数据内容链接结构,用于提供内容链接与访问路由的信息,然后根据最近访问的文件分片与路由信息确定当前的传输热点,并据此提供存储节点的自适应调整策略,实现数据分片的跨地跨机构管理,较好地解决了互联网环境下文件传递的稳定性与效率问题,适用于在去中心化环境下执行大文件传输与存储,有效地解决了大文件存储的效率低、真实性证明难及扩展性差等缺点,具有较好的推广价值。
106.下面对步骤s101至步骤s103分别进行详细说明。
107.步骤s101:基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描述。
108.图2为本技术实施例实现基于传输热点的存储节点自适应调整方法的一具体实施例。
109.一实施例中,参见图8,所述基于接收的数据下载请求生成多链区块信息描述,包括:
110.s201:当接收到所述数据下载请求时,执行获取多链区块信息函数,得到各区块的数据路由信息;
111.s202:根据预先生成的数据文件分片与所述数据路由信息生成所述多链区块信息描述;其中,每个数据文件分片对应一个区块。
112.可以理解的是,图6示出了一种基于传输热点的存储节点自适应调整的业务流程图。
113.步骤s601:用户提交文件下载请求;
114.步骤s602:客户端接收请求后,获取安全参数,比如:主密钥mk和用户密钥sk;
115.步骤s603:服务网关接收文件下载请求,并调用文件下载请求api;
116.步骤s604:执行获取dag多链区块信息函数getdagofblock,生成dag多链区块信息描述如下:
117.routing,cid(chunk)=getdagofblock(infoapply)
118.其中,infoapply表示信息下载请求申请,chunk表示文件分片,routing表示路由信息,cid(chunk)表示文件分片chunk的内容id。
119.从上述描述可知,本技术提供的基于传输热点的存储节点自适应调整方法,能够基于接收的数据下载请求生成多链区块信息描述。
120.一实施例中,参见图9,所述根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点,包括:
121.s301:根据所述多链区块信息描述确定各数据文件分片的权重;
122.s302:根据各数据文件分片的内容标识、所述权重及所述数据路由信息生成各数据文件分片的区块形式化表示;
123.s303:根据所述区块形式化表示对所述去中心化数据传输网络中的各传输节点进行计算,以确定所述数据传输热点。具体地,参见图11,所述根据所述区块形式化表示对所述去中心化数据传输网络中的各传输节点进行计算,以确定所述数据传输热点,包括:根据所述区块形式化表示分别计算各数据存储节点至当前所在节点之间的路由距离以及所述数据下载请求对应的数据文件分片的权重(s501);根据各数据存储节点至当前所在节点之间的路由距离与所述权重确定所述数据传输热点(s502)。
124.可以理解的是,为了实现步骤s301至步骤s303以及步骤s501至步骤s502。本技术实施例提供区块链节点4与去中心化存储节点5。
125.具体地,一种基于传输热点的存储节点自适应调整的区块链节点结构图,参见图4所示。区块链节点4技术结构包括:通讯模块41、智能合约模块42、共识验证模块43及区块生成模块44。
126.通讯模块41:负责各节点间的通信交互,完成一般区块链节点通讯信息,包括交易信息广播、共识相关信息、区块同步信息及网络状态信息等。
127.智能合约模块42:负责接收交易请求,生成交易唯一标识,将交易唯一标识、合约唯一标识以及调用参数组装成交易,广播到区块链的其它节点;同时通过内置编译器编译智能合约,实现交易请求的执行。本发明智能合约模块提供数据存证服务,将智能合约执行结果以文件形式存储在区块链存储网络5。
128.共识验证模块43:负责对接收到交易请求进行共识处理,如达成共识,调用智能合约模块43,执行智能合约,并最终形成记录在案,可供日后审计追溯或验证。本发明采用节点权重分配共识,该共识算法为每个共识节点分配节点权重w(w>0),w可以与文件的引用数正相关,在共识过程中,不存在领导节点对账本状态进行更新,而是允许所有参与者进行投票以及参与共识验证,投票的权重等比例于节点的权重。
129.区块生成模块44:用于生成基于dag的多链形式,区块x形式化表示为:
130.x=(header,cid(chunk(m)),routings,weight,issuer)
131.其中,header表示区块头,包含上一个区块的哈希信息;cid(chunk(m))中,chunk(m)表示文件m的一个分片,cid表示内容标识;routing表示文件分片传输经过的路由表;weight表示文件分片的权重;issuer表示实施区块签名的节点。形式上:
[0132][0133]
其中li表示dag树型结构的第i层权重参数,wi表示第i层权重值,δ表示平滑参数,避免出现weight为0的稀疏场景。
[0134]
具体地,一种基于传输热点的存储节点自适应调整的ds节点结构图,参见图5所示。其主要技术结构包括:传输热点评估和通信模块51、dag生成模块52、内容生成模块53及chunk模块54。
[0135]
传输热点评估与通信模块51:负责根据dag多链结构的数据结果进行传输热点评估,并根据评估结果进行自适应路由调整,从而将文件下载请求转发到就近的节点。
[0136]
实现传输热点评估evalhotpot函数,即:hot,nexthop=evalhotpot(cid(chunk))。
[0137]
算法的思路是通过输入文件分片的内容id,返回该文件分片的传输热度hot,下一
条的节点nexthop。
[0138]
传输热点评估算法如下:
[0139]
算法:传输热点评估evalhotpot
[0140]
输入:文件分片的内容id,即:cid(chunk)
[0141]
输出:传输热点hot,下一跳的路由节点nexthop
[0142]
算法步骤:
[0143][0144]
其中,nesrestroute表示根据数据传输热点计算的最近路由;route=getnextroute(cid(chunk))表示获取cid(chunk)的下一跳路由信息,route.getnexthop()路由表route中的下一跳节点。getnextroute(cid(chunk))为路由表routing中的下一个路由,hot表示最近路由的数据传输热度,形式上表示为路由目标节点的响应时间,即:
[0145]
route.hot()=respond_time
[0146]
利用上述算法,至少可以得到下一跳路由信息、下一跳节点的所在位置、数据传输热点以及各数据存储节点的权重。
[0147]
dag生成模块52:负责从区块链查询获取基于dag的多链信息。主要执行获取dag多链区块信息函数getdagofblock,生成dag多链区块信息描述如下:
[0148]
routing,cid(chunk)=getdagofblock(infoapply)
[0149]
其中,infoapply表示信息下载请求申请,chunk表示文件分片,routing表示路由信息,cid(chunk)表示文件分片chunk的内容id。
[0150]
内容生成模块53:负责对去中心化文件内容生成内容标识(cid)处理。
[0151]
chunk模块54:对文件对象数据内容进行分片,同时确保分片后的数据彼此连接,形成文件对象树。
[0152]
参见图6,从步骤执行角度讲,接续前例中的步骤s604。
[0153]
步骤s605:区块链智能合约,查询获取dag多链数据信息;区块x形式化表示为:
[0154]
x=(header,cid(chunk(m)),routings,weight,issuer)
[0155]
其中,header表示区块头,包含上一个区块的哈希信息;cid(chunk(m))中,chunk(m)表示文件m的一个分片,cid表示内容标识;routing表示文件分片传输经过的路由表;weight表示文件分片的权重;issuer表示实施区块签名的节点。形式上:
[0156][0157]
其中li表示dag树型结构的第i层权重参数,wi表示第i层权重值,δ表示平滑参数,避免出现weight为0的稀疏场景。
[0158]
步骤s606:去中心化存储节点接收上链查询的区块信息,计算文件传输热点。该步骤根据dag多链结构的数据结果进行传输热点评估,并根据评估结果进行自适应路由调整,从而将文件下载请求转发到就近的节点。
[0159]
从上述描述可知,本技术提供的基于传输热点的存储节点自适应调整方法,能够根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点。
[0160]
一实施例中,参见图10,所述的基于传输热点的存储节点自适应调整方法,还包括:
[0161]
s401:根据所述多链区块信息描述确定所述去中心化数据传输网络中各数据存储节点的所在位置;
[0162]
s402:根据所述各数据存储节点的所在位置确定所述数据下载请求对应的数据下载地址;
[0163]
s403:从所述数据下载地址处获取所述数据下载请求对应的数据文件分片;其中,每个数据文件分片对应一个数据存储节点。
[0164]
可以理解的是,根据多链区块信息描述可以确定去中心化数据传输网络中各数据存储节点的所在位置,同时,利用传输热点评估算法可以得到当前所在节点对应的下一跳节点的所在位置,直至到达数据下载请求对应的数据下载地址。因此,最终根据各数据存储节点的所在位置可以确定数据下载请求对应的数据下载地址,并从数据下载地址处获取数据下载请求对应的数据文件分片。
[0165]
参见图6,接续上例。
[0166]
步骤s607:根据文件热点计算结果,获取下一跳路由地址(参考s606),从最近的节点获取文件信息;
[0167]
步骤s608:产生基于dag的多链区块,上链更新区块。区块x形式化表示为:
[0168]
x=(header,cid(chunk(m)),routings,weight,issuer)
[0169]
其中,header表示区块头,包含上一个区块的哈希信息;cid(chunk(m))中,chunk(m)表示文件m的一个分片,cid表示内容标识;routing表示文件分片传输经过的路由表;weight表示文件分片的权重;issuer表示实施区块签名的节点。形式上:
[0170][0171]
其中li表示dag树型结构的第i层权重参数,wi表示第i层权重值,δ表示平滑参数,避免出现weight为0的稀疏场景;
[0172]
步骤s609:文件分片解密,进行文件拼接;
[0173]
步骤s610:返回初始化安全参数成功消息。
[0174]
从上述描述可知,本技术提供的基于传输热点的存储节点自适应调整方法,能够从所述数据下载地址处获取所述数据下载请求对应的数据文件分片。
[0175]
一实施例中,参见图12,所述根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点,包括:
[0176]
s701:若所述权重超过预设的数据重要性阈值,根据各数据存储节点至当前所在节点之间的路由距离与所述数据传输热点,确定所述数据文件分片的最佳存储节点;
[0177]
s702:将所述数据文件分片存储至所述最佳存储节点处,并更新所述数据文件分片的区块形式化表示。
[0178]
可以理解的是,在步骤s701中,判断数据文件分片的权重是否超过预设的数据重要性阈值,其目的在于判断该数据文件分片是否足够重要。如果足够重要,则需让其存储位置避开数据传输热点,以免当用户发起数据下载请求时,因网络拥塞而影响数据下载效率。其中,数据文件分片的权重在执行传输热点评估算法时已经计算得到。
[0179]
具体地,在执行传输热点评估算法时,已经计算出了各数据存储节点至当前所在节点之间的路由距离与数据传输热点。因此,在步骤s701至步骤s702中,需要在避开数据传输热点的前提下,选取距离当前所在节点最近的节点,作为适合数据文件分片存储的最佳存储节点。
[0180]
在确定最佳存储节点后,应更新数据文件分片的区块形式化表示,以利在未来用户发起数据下载请求时有效响应。具体的更新步骤请见前述步骤s608的阐述。
[0181]
从上述描述可知,本技术提供的基于传输热点的存储节点自适应调整方法,能够根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。
[0182]
综上所述,本发明提出了一种基于传输热点的存储节点自适应调整方法,该方法在dag多链结构的基础上,构建了一种基于文件分片的数据内容链接结构,用于提供内容链接与访问路由的信息。该方法可以根据最近访问的文件分片与路由信息评估当前的传输热点,并据此提供存储节点的自适应调整策略,实现数据分片的跨地跨机构管理,较好地解决了互联网环境下文件传递的稳定性与效率问题。该方法适用于去中心化环境下执行大文件传输与存储,有效解决了大文件存储的效率低、真实性证明难、扩展性差等缺点,具有较好的推广价值。
[0183]
本发明的创新点至少包括:
[0184]
第一,提出基于传输热点的存储节点自适应调整系统框架,该框架基于dag的多链结构,实现文件分片的权重和路由,为传输热点的评估提供依据。
[0185]
第二,提出一种基于dag多链结构的热点评估方法,基于文件分片的权重,苹果下一条路由,为文件分片的自适应获取提供了优化方法。
[0186]
基于同一发明构思,本技术实施例还提供了一种基于传输热点的存储节点自适应调整装置,可以用于实现上述实施例所描述的方法,如下面的实施例所述。由于基于传输热点的存储节点自适应调整装置解决问题的原理与基于传输热点的存储节点自适应调整方法相似,因此基于传输热点的存储节点自适应调整装置的实施可以参见基于软件性能基准
确定方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
[0187]
一实施例中,参见图13,为了能够基于数据传输热点对各数据文件分片对应的存储节点进行自适应调整,以使用户在下载数据文件时更加便捷高效,本技术提供一种基于传输热点的存储节点自适应调整装置,包括:区块信息描述生成单元1301、传输热点确定单元1302及存储节点调整单元1303。
[0188]
区块信息描述生成单元1301,用于基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描述;
[0189]
传输热点确定单元1302,用于根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点;其中,所述数据传输热点存在于所述去中心化数据传输网络中;
[0190]
存储节点调整单元1303,用于根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。
[0191]
一实施例中,参见图14,所述区块信息描述生成单元1301,包括:路由信息生成模块1401及区块信息生成模块1402。
[0192]
路由信息生成模块1401,用于当接收到所述数据下载请求时,执行获取多链区块信息函数,得到各区块的数据路由信息;
[0193]
区块信息生成模块1402,用于根据预先生成的数据文件分片与所述数据路由信息生成所述多链区块信息描述;其中,每个数据文件分片对应一个区块。
[0194]
一实施例中,参见图15,所述传输热点确定单元1302,包括:分片权重计算模块1501、区块表示生成模块1502及传输热点确定模块1503。
[0195]
分片权重计算模块1501,用于根据所述多链区块信息描述确定各数据文件分片的权重;
[0196]
区块表示生成模块1502,用于根据各数据文件分片的内容标识、所述权重及所述数据路由信息生成各数据文件分片的区块形式化表示;
[0197]
传输热点确定模块1503,用于根据所述区块形式化表示对所述去中心化数据传输网络中的各传输节点进行计算,以确定所述数据传输热点。
[0198]
一实施例中,参见图16,所述的基于传输热点的存储节点自适应调整装置,还包括:存储位置确定单元1601、下载地址确定单元1602及文件分片获取单元1603。
[0199]
存储位置确定单元1601,用于根据所述多链区块信息描述确定所述去中心化数据传输网络中各数据存储节点的所在位置;
[0200]
下载地址确定单元1602,用于根据所述各数据存储节点的所在位置确定所述数据下载请求对应的数据下载地址;
[0201]
文件分片获取单元1603,用于从所述数据下载地址处获取所述数据下载请求对应的数据文件分片;其中,每个数据文件分片对应一个数据存储节点。
[0202]
一实施例中,参见图17,所述传输热点确定模块1503,包括:距离权重计算子模块1701及传输热点确定子模块1702。
[0203]
距离权重计算子模块1701,用于根据所述区块形式化表示分别计算各数据存储节点至当前所在节点之间的路由距离以及所述数据下载请求对应的数据文件分片的权重;
[0204]
传输热点确定子模块1702,用于根据各数据存储节点至当前所在节点之间的路由距离与所述权重确定所述数据传输热点。
[0205]
一实施例中,参见图18,所述存储节点调整单元1303,包括:最佳节点确定模块1801及存储更新模块1802。
[0206]
最佳节点确定模块1801,用于若所述权重超过预设的数据重要性阈值,根据各数据存储节点至当前所在节点之间的路由距离与所述数据传输热点,确定所述数据文件分片的最佳存储节点;
[0207]
存储更新模块1802,用于将所述数据文件分片存储至所述最佳存储节点处,并更新所述数据文件分片的区块形式化表示。
[0208]
从硬件层面来说,为了能够基于数据传输热点对各数据文件分片对应的存储节点进行自适应调整,以使用户在下载数据文件时更加便捷高效,本技术提供一种用于实现所述基于传输热点的存储节点自适应调整方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
[0209]
处理器(processor)、存储器(memory)、通讯接口(communications interface)和总线;其中,所述处理器、存储器、通讯接口通过所述总线完成相互间的通讯;所述通讯接口用于实现所述基于传输热点的存储节点自适应调整装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输;该逻辑控制器可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该逻辑控制器可以参照实施例中的基于传输热点的存储节点自适应调整方法的实施例,以及基于传输热点的存储节点自适应调整装置的实施例进行实施,其内容被合并于此,重复之处不再赘述。
[0210]
可以理解的是,所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(pda)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
[0211]
在实际应用中,基于传输热点的存储节点自适应调整方法的部分可以在如上述内容所述的电子设备侧执行,也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本技术对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器。
[0212]
上述的客户端设备可以具有通讯模块(即通讯单元),可以与远程的服务器进行通讯连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通讯链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
[0213]
图19为本技术实施例的电子设备9600的系统构成的示意框图。如图19所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图19是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
[0214]
一实施例中,基于传输热点的存储节点自适应调整方法功能可以被集成到中央处理器9100中。其中,中央处理器9100可以被配置为进行如下控制:
[0215]
s101:基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描
述;
[0216]
s102:根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点;其中,所述数据传输热点存在于所述去中心化数据传输网络中;
[0217]
s103:根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。
[0218]
从上述描述可知,本技术提供的基于传输热点的存储节点自适应调整方法,能够在有向无环图多链结构的基础上,构建一种基于文件分片的数据内容链接结构,用于提供内容链接与访问路由的信息,然后根据最近访问的文件分片与路由信息确定当前的传输热点,并据此提供存储节点的自适应调整策略,实现数据分片的跨地跨机构管理,较好地解决了互联网环境下文件传递的稳定性与效率问题,适用于在去中心化环境下执行大文件传输与存储,有效地解决了大文件存储的效率低、真实性证明难及扩展性差等缺点,具有较好的推广价值。
[0219]
在另一个实施方式中,基于传输热点的存储节点自适应调整装置可以与中央处理器9100分开配置,例如可以将数据复合传输装置基于传输热点的存储节点自适应调整装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现基于传输热点的存储节点自适应调整方法的功能。
[0220]
如图19所示,该电子设备9600还可以包括:通讯模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图19中所示的所有部件;此外,电子设备9600还可以包括图19中没有示出的部件,可以参考现有技术。
[0221]
如图19所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
[0222]
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
[0223]
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为lcd显示器,但并不限于此。
[0224]
该存储器9140可以是固态存储器,例如,只读存储器(rom)、随机存取存储器(ram)、sim卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为eprom等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
[0225]
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通讯功能和/或用于执行电子设备的其他功能(如
消息传送应用、通讯录应用等)的各种驱动程序。
[0226]
通讯模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通讯模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通讯终端的情况相同。
[0227]
基于不同的通讯技术,在同一电子设备中,可以设置有多个通讯模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通讯模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
[0228]
本技术的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的基于传输热点的存储节点自适应调整方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的基于传输热点的存储节点自适应调整方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
[0229]
s101:基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描述;
[0230]
s102:根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点;其中,所述数据传输热点存在于所述去中心化数据传输网络中;
[0231]
s103:根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。
[0232]
从上述描述可知,本技术提供的基于传输热点的存储节点自适应调整方法,能够在有向无环图多链结构的基础上,构建一种基于文件分片的数据内容链接结构,用于提供内容链接与访问路由的信息,然后根据最近访问的文件分片与路由信息确定当前的传输热点,并据此提供存储节点的自适应调整策略,实现数据分片的跨地跨机构管理,较好地解决了互联网环境下文件传递的稳定性与效率问题,适用于在去中心化环境下执行大文件传输与存储,有效地解决了大文件存储的效率低、真实性证明难及扩展性差等缺点,具有较好的推广价值。
[0233]
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0234]
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0235]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0236]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0237]
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
技术特征:
1.一种基于传输热点的存储节点自适应调整方法,其特征在于,包括:基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描述;根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点;其中,所述数据传输热点存在于所述去中心化数据传输网络中;根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。2.根据权利要求1所述的基于传输热点的存储节点自适应调整方法,其特征在于,所述基于接收的数据下载请求生成多链区块信息描述,包括:当接收到所述数据下载请求时,执行获取多链区块信息函数,得到各区块的数据路由信息;根据预先生成的数据文件分片与所述数据路由信息生成所述多链区块信息描述;其中,每个数据文件分片对应一个区块。3.根据权利要求2所述的基于传输热点的存储节点自适应调整方法,其特征在于,所述根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点,包括:根据所述多链区块信息描述确定各数据文件分片的权重;根据各数据文件分片的内容标识、所述权重及所述数据路由信息生成各数据文件分片的区块形式化表示;根据所述区块形式化表示对所述去中心化数据传输网络中的各传输节点进行计算,以确定所述数据传输热点。4.根据权利要求1所述的基于传输热点的存储节点自适应调整方法,其特征在于,还包括:根据所述多链区块信息描述确定所述去中心化数据传输网络中各数据存储节点的所在位置;根据所述各数据存储节点的所在位置确定所述数据下载请求对应的数据下载地址;从所述数据下载地址处获取所述数据下载请求对应的数据文件分片;其中,每个数据文件分片对应一个数据存储节点。5.根据权利要求3所述的基于传输热点的存储节点自适应调整方法,其特征在于,所述根据所述区块形式化表示对所述去中心化数据传输网络中的各传输节点进行计算,以确定所述数据传输热点,包括:根据所述区块形式化表示分别计算各数据存储节点至当前所在节点之间的路由距离以及所述数据下载请求对应的数据文件分片的权重;根据各数据存储节点至当前所在节点之间的路由距离与所述权重确定所述数据传输热点。6.根据权利要求5所述的基于传输热点的存储节点自适应调整方法,其特征在于,所述根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点,包括:若所述权重超过预设的数据重要性阈值,根据各数据存储节点至当前所在节点之间的路由距离与所述数据传输热点,确定所述数据文件分片的最佳存储节点;将所述数据文件分片存储至所述最佳存储节点处,并更新所述数据文件分片的区块形
式化表示。7.一种基于传输热点的存储节点自适应调整装置,其特征在于,包括:区块信息描述生成单元,用于基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描述;传输热点确定单元,用于根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点;其中,所述数据传输热点存在于所述去中心化数据传输网络中;存储节点调整单元,用于根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述的基于传输热点的存储节点自适应调整方法的步骤。9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述的基于传输热点的存储节点自适应调整方法的步骤。10.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至6任一项所述的基于传输热点的存储节点自适应调整方法的步骤。
技术总结
本申请提供一种基于传输热点的存储节点自适应调整方法及装置,涉及区块链领域,也可用于金融领域,包括:基于接收的数据下载请求生成去中心化数据传输网络的多链区块信息描述;根据所述多链区块信息描述与预先生成的数据文件分片确定数据传输热点;其中,所述数据传输热点存在于所述去中心化数据传输网络中;根据所述数据传输热点自适应调整所述数据文件分片在所述去中心化数据传输网络中的数据存储节点。本申请能够基于数据传输热点对各数据文件分片对应的存储节点进行自适应调整,以使用户在下载数据文件时更加便捷高效。使用户在下载数据文件时更加便捷高效。使用户在下载数据文件时更加便捷高效。
技术研发人员:罗强 刘朝伟 李旻瀚 潘诗琪
受保护的技术使用者:中国工商银行股份有限公司
技术研发日:2023.08.04
技术公布日:2023/10/15
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种大米颗粒分级用提纯分离设备 下一篇:一种辣椒脱果去杂机的制作方法