一种独立冗余磁盘阵列卡控制方法和装置与流程

未命名 08-02 阅读:83 评论:0


1.本发明涉及计算机系统及存储技术领域,特别是涉及一种独立冗余磁盘阵列卡控制方法、一种独立冗余磁盘阵列卡控制装置,一种电子设备和一种存储介质。


背景技术:

2.近些年随着科技的高速发展,越来越多的用户数据需要安全高效的存储在数据中心,面对与日俱增的大数据计算业务量,用户不仅对数据可靠性和数据安全性的要求越来越高,而且对读写i/o(input/output,输入输出)数据效率的要求呈指数级增长。因此当今存储领域的专有技术人员一直在两个方面寻求突破:提高存储i/o性能和增加数据安全性。在提高i/o性能方面,业界在软raid(redundant array of independent disks,独立冗余磁盘阵列)存储技术的基础上提出了硬raid存储技术,硬raid存储技术的最重要构成单元是raid卡。而目前raid卡的写性能,将极大的增加raid阵列中条带的不一致风险概率。


技术实现要素:

3.鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种独立冗余磁盘阵列卡控制方法、一种独立冗余磁盘阵列卡控制装置,一种电子设备和一种存储介质。
4.在本发明的第一个方面,本发明实施例公开了一种独立冗余磁盘阵列卡控制方法,独立冗余磁盘阵列卡配置有形成树和落盘树;所述形成树用于所述独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,所述落盘树用于按所述地址顺序进行数据落盘,所述方法包括:接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;判断所述新申请缓存节点是否满足预设缓存超限条件;响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。
5.可选地,所述独立冗余磁盘阵列卡对应有哈希表,所述读写数据包括主机输入输出值,所述依据所述读写数据确定新申请缓存节点的步骤包括:在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项;依据所述未命中哈希项确定所述新申请缓存节点。
6.可选地,在所述依据所述读写数据确定新申请缓存节点的步骤之后,所述方法还包括:锁定所述未命中哈希项。
7.可选地,所述方法还包括:判断所述未命中哈希项是否锁定成功;
响应于所述未命中哈希项锁定成功,执行所述判断所述新申请缓存节点是否满足预设缓存超限条件的步骤;响应于所述未命中哈希项未锁定成功,等待所述独立冗余磁盘阵列卡的锁定冲突解除后执行所述锁定所述未命中哈希项的步骤。
8.可选地,所述依据所述未命中哈希项确定所述新申请缓存节点的包括:对所述未命中哈希项分配缓存节点,得到所述新申请缓存节点;向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数。
9.可选地,所述预设独立冗余磁盘阵列卡参数包括独立冗余磁盘阵列卡参数真实逻辑地址和独立冗余磁盘阵列卡参数身份标识;所述向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数的步骤包括:向所述新申请缓存节点填充所述独立冗余磁盘阵列卡参数真实逻辑地址和所述独立冗余磁盘阵列卡参数身份标识。
10.可选地,所述方法还包括:将所述新申请缓存节点挂入所述哈希表。
11.可选地,在所述将所述新申请缓存节点挂入所述哈希表的步骤之后,所述方法还包括:解锁所述未命中哈希项。
12.可选地,所述方法还包括:响应于所述未命中哈希项发生冲突,将所述新申请缓存节点挂在预设哈希冲突链表中。
13.可选地,所述将所述新申请缓存节点挂入所述形成树的步骤包括:在所述形成树中申请新的树节点;将所述新申请缓存节点挂入所述新的树节点。
14.可选地,所述在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项的步骤包括:在所述哈希表中,查找所述主机输入输出值命中的哈希项为命中哈希项;将所述哈希表中所述命中哈希项之外的哈希项确定为所述未命中哈希项。
15.可选地,所述依据所述落盘树进行数据落盘的步骤包括:判断是否存在所述落盘树;响应于存在所述落盘树,执行所述落盘树进行数据落盘;响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘。
16.可选地,所述响应于存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:阻塞所述落盘树,执行所述落盘树进行落盘,直至落盘完成;并继续处理所述读写数据。
17.可选地,所述响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:响应于不存在所述落盘树,将所述形成树转化为所述落盘树,执行所述落盘树,进
行数据落盘。
18.可选地,所述将所述形成树转化为所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:将所述形成树转化为所述落盘树,阻塞所述落盘树,执行所述落盘树进行落盘的步骤,直至落盘完成;并继续处理所述读写数据。
19.可选地,所述预设缓存超限条件为在所述独立冗余磁盘阵列卡的当前缓存节点上增加所述新申请缓存节点超过预设缓存占有率。
20.可选地,所述形成树与所述落盘树均为红黑树。
21.在本发明的第二个方面,本发明实施例公开了一种独立冗余磁盘阵列卡控制装置,独立冗余磁盘阵列卡配置有形成树和落盘树;所述形成树用于所述独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,所述落盘树用于按所述地址顺序进行数据落盘,所述装置包括:申请模块,用于接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;第一判断模块,用于判断所述新申请缓存节点是否满足预设缓存超限条件;挂入模块,用于响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;落盘模块,用于响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。
22.在本发明的第三个方面,本发明实施例还公开了一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的独立冗余磁盘阵列卡控制方法的步骤。
23.在本发明的第四个方面,本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的独立冗余磁盘阵列卡控制方法的步骤。
24.本发明实施例包括以下优点:本发明实施例通过接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;判断所述新申请缓存节点是否满足预设缓存超限条件;响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。通过在确定缓存节点后,形成树将主机下发的随机读写数据做真实物理地址排序,供落盘树在真实物理地址顺序进行落盘,以提高磁盘写性能。
附图说明
25.图1是本发明的一种独立冗余磁盘阵列卡控制方法实施例的步骤流程图;图2是本发明的另一种独立冗余磁盘阵列卡控制方法实施例的步骤流程图;图3是本发明的另一种独立冗余磁盘阵列卡控制方法实施例的红黑树结构示意图;图4是本发明的另一种独立冗余磁盘阵列卡控制方法实施例的形成树和落盘树结
构示意图;图5是本发明的另一种独立冗余磁盘阵列卡控制方法实施例的哈希冲突示意图;图6是本发明的一种独立冗余磁盘阵列卡控制方法示例的步骤流程图;图7是本发明的一种独立冗余磁盘阵列卡控制装置实施例的结构框图;图8是本发明实施例提供的一种电子设备的结构框图;图9是本发明实施例提供的一种存储介质的结构框图。
具体实施方式
26.为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
27.在存储领域,目前业界有软raid存储技术和硬raid存储技术,软raid存储技术顾名思义就是对raid阵列中条带和分块的管理都使用软件实现,而硬raid存储技术(即raid卡)对数据的管理是通过硬件实现。在raid卡中增加raid卡控制器,raid卡控制器是一颗芯片,由i/o处理器、磁盘控制器、磁盘连接器和缓存等一系列组件组成。显而易见,raid卡将软raid存储技术中的一些算法和功能都交给了硬件实现,因此raid卡的i/o性能会强过软raid存储技术的i/o性能。缓存作为raid卡控制器的重要组件,可以极大提高存储性能,加速读写响应。当写i/o数据的策略为wb策略(write back,指写回模式)时,主机请求的写i/o数据会暂存在raid卡的缓存中,i/o数据写入缓存后raid卡立即向主机发送数据写入完成信号(即立即响应主机),这样极大的降低了给主机的响应延迟。目前业界设计的raid卡控制器在创建raid阵列时,会生成管理缓存的缓存节点(cache)。因为目前业界raid卡没有一种将多个缓存节点维护的随机读写数据按照连续pba地址落盘的技术手段,所以当主机下发的随机读写数据在磁盘上的pba是不连续的情况出现时,不连续的pba地址会导致极低的落盘效率。如果将多个缓存节点维护的随机读写数据按照连续pba地址落盘的话,那么可以大大提升磁盘的落盘速度,因此如何将随机pba地址按照连续pba地址下盘已成为本技术领域专业技术人员亟待解决的问题。
28.综上可以观察到,不论是软raid存储技术还是硬raid存储技术(raid卡)的技术核心都是raid阵列,提升raid阵列的缓存性能就能够提升raid卡的缓存性能。在raid卡需要处理大量的主机i/o请求时,由于raid卡较低的缓存性能,最终将极大的增加raid阵列中条带stripe的不一致风险概率。
29.参照图1,示出了本发明的一种独立冗余磁盘阵列卡控制方法实施例的步骤流程图,独立冗余磁盘阵列卡配置有形成树和落盘树;所述形成树用于所述独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,所述落盘树用于按所述地址顺序进行数据落盘。
30.在本发明实施例中,独立冗余磁盘阵列卡配置有形成树和落盘树两种树形数据结构。形成树是对独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,落盘树用于按地址顺序进行数据落盘,从而通过形成树和落盘树对数据缓存进行落盘控制。
31.所述独立冗余磁盘阵列卡控制方法具体可以包括如下步骤:步骤101,接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点。
32.接收来自主机的读写数据,可以为读写数据确定对应新申请缓存节点,通过该新
申请缓存节点确定对应的缓存处理流程。
33.其中,该读写数据是为主机的随机读写数据,该随机读写数据是指地址随机的数据。
34.步骤102,判断所述新申请缓存节点是否满足预设缓存超限条件。
35.在本发明实施例中,需要判断新增加的新申请缓存节点,是否满足预设缓存超限条件;以此判断独立冗余磁盘阵列卡在当前的缓存节点基础上,增加新申请缓存节点是否会导致缓存超限。
36.步骤103,响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树。
37.当新申请缓存节点不满足预设缓存超限条件时,说明增加该新申请缓存节点不会导致缓存超限,此时可以响应于新申请缓存节点不满足预设缓存超限条件,将新申请缓存节点挂入到形成树,通过挂入形成树中,对新申请缓存节点的真实物理地址进行排序。
38.步骤104,响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。
39.当新申请缓存节点满足预设缓存超限条件时,说明增加该新申请缓存节点会导致缓存超限,此时,可以响应于新申请缓存节点满足预设缓存超限条件,先控制落盘树进行数据落盘,以释放出缓存资源供该新申请缓存节点进行使用。
40.本发明实施例通过接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;判断所述新申请缓存节点是否满足预设缓存超限条件;响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。通过在确定缓存节点后,形成树将主机下发的随机读写数据做真实物理地址排序,供落盘树在真实物理地址顺序进行落盘,以提高磁盘写性能。
41.参照图2,示出了本发明的另一种独立冗余磁盘阵列卡控制方法实施例的步骤流程图,独立冗余磁盘阵列卡配置有形成树和落盘树;所述形成树用于所述独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,所述落盘树用于按所述地址顺序进行数据落盘。
42.在本发明实施例中,形成树和落盘树可以均为红黑树。红黑树的结构可以参照图3,红黑树的节点用来维护pba(physical block address,真实物理地址)先后顺序,缓存节点用来保存真正的主机下发的读写数据以及互斥访问标志等。当插入的缓存节点存在前续连续的缓存节点时,则不需要插入红黑树节点,直接将新的缓存节点挂入连续节点链表中,以减少红黑树操作。
43.形成树用来做新写入数据的插入操作,落盘棵树用来做老写入数据的落盘操作。考虑到红黑树删除逻辑复杂,且需要频繁进行再平衡调整,而落盘需要将整个树上的节点遍历删除,所以不需要对落盘树进行再平衡,将落盘的数据直接从落盘树中删除即可。落盘pba排序需要先从小到大落盘,再从大到小删除。所以可以参照图4,形成树和落盘树的插入顺序也不相同,红黑树排序相反,但连续的缓存节点数据链表排序相同。
44.此外,独立冗余磁盘阵列卡对应有哈希表,主机的读写数据包括主机输入输出值即主机io。
45.所述独立冗余磁盘阵列卡控制方法具体可以包括如下步骤:步骤201,接收来自主机的读写数据,在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项。
46.接收来自主机的读写数据,可以在哈希表中,依据所述主机输入输出值,确定出未命中哈希项,其中未命中哈希项在哈希表中未被读写数据命中的哈希项。
47.在本发明的一可选实施例中,所述在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项的步骤包括:子步骤s2011,在所述哈希表中,查找所述主机输入输出值命中的哈希项为命中哈希项。
48.子步骤s2012,将所述哈希表中所述命中哈希项之外的哈希项确定为所述未命中哈希项。
49.在本发明实施例中,可以才使用哈希表数据结构来快速查找缓存是否命中,具体hash(哈希)函数可以根据不同的需求进行设置本发明实施例不作具体限定。
50.为此,可以在哈希表中,依据哈希函数查找主机输入输出值命中的哈希项为命中哈希项,命中哈希项即为已经具有对应的真实物理地址的哈希项,并不需要对其进行排序;然后再将哈希表中命中哈希项之外的哈希项确定为未命中哈希项,通过在未命中哈希项中进行数据处理。
51.步骤202,锁定所述未命中哈希项。
52.在确定未命中哈希项后,可以对未命中哈希项进行锁定,避免其他操作对未命中哈希项进行处理导致出现错误。
53.在本发明的一可选实施例中,为了保证所述未命中哈希项,可以对锁定进行判断。所述方法还包括:步骤s1,判断所述未命中哈希项是否锁定成功;在锁定后,可以判断对未命中哈希项是否真正的锁定成功,以此进行不同的操作。
54.步骤s2,响应于所述未命中哈希项锁定成功,执行所述判断所述新申请缓存节点是否满足预设缓存超限条件的步骤;当未命中哈希项锁定成功时,响应于未命中哈希项锁定成功,执行所述判断所述新申请缓存节点是否满足预设缓存超限条件的步骤,对未命中哈希项挂入红黑树前进行负载的判断。
55.步骤s3,响应于所述未命中哈希项未锁定成功,等待所述独立冗余磁盘阵列卡的锁定冲突解除后执行所述锁定所述未命中哈希项的步骤。
56.当未命中哈希项未锁定成功时,即独立冗余磁盘阵列卡有其他操作对哈希表中的项目进行处理,此时,响应于未命中哈希项未锁定成功,等待独立冗余磁盘阵列卡的锁定冲突解除后,再次执行锁定所述未命中哈希项的步骤,直至将未命中哈希项锁定成功。
57.步骤203,判断所述新申请缓存节点是否满足预设缓存超限条件。
58.在锁定成功后,对新申缓存节点进行判断,确定其是否满足预设缓存超限条件。
59.具体地,所述预设缓存超限条件为在所述独立冗余磁盘阵列卡的当前缓存节点上增加所述新申请缓存节点超过预设缓存占有率。
60.即在可以判断新申缓存节点增加到独立冗余磁盘阵列卡的当前缓存节点上是否
会导致超过预设缓存占有率。其中预设缓存占有率可以根据实际情况进行设置,本发明实施例对此不作限定。
61.步骤204,依据所述未命中哈希项确定所述新申请缓存节点。
62.在本发明实施例中,可以依据未命中哈希项确定对应的新申请缓存节点。以新增到红黑树中。
63.在本发明的一可选实施例中,所述依据所述未命中哈希项确定所述新申请缓存节点的包括:子步骤s2041,对所述未命中哈希项分配缓存节点,得到所述新申请缓存节点;可以在缓存中向未命中哈希项分配缓存节点分配缓存节点,将该缓存确定为新申请缓存节点。
64.子步骤s2042,向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数。
65.在对新申请缓存节点填充对应的预设独立冗余磁盘阵列卡参数。
66.具体地,所述预设独立冗余磁盘阵列卡参数包括独立冗余磁盘阵列卡参数真实逻辑地址和独立冗余磁盘阵列卡参数身份标识;所述向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数的步骤包括:向所述新申请缓存节点填充所述独立冗余磁盘阵列卡参数真实逻辑地址和所述独立冗余磁盘阵列卡参数身份标识。
67.在实际应用中,可以向新申请缓存节点填充所述独立冗余磁盘阵列卡参数真实逻辑地址和所述独立冗余磁盘阵列卡参数身份标识,以使新申请缓存节点具备对应的地址信息和标识。
68.步骤205,将所述新申请缓存节点挂入所述哈希表。
69.对于填充预设独立冗余磁盘阵列卡参数的新申请缓存节点挂入到哈希表中,令该新申请缓存节点可以在哈希表中具备对应的值。
70.在本发明的一可选实施例中,所述方法还包括:步骤s1,响应于所述未命中哈希项发生冲突,将所述新申请缓存节点挂在预设哈希冲突链表中。
71.此外,有由于当前确定未命中哈希项可能存在与其他操作的未命中哈希项可能会存在冲突,在未命中哈希项发生冲突时,可以将新申请缓存节点挂在预设哈希冲突链表中。可以如图5,将缓存节点挂在哈希冲突链表中。
72.步骤206,解锁所述未命中哈希项。
73.在将新申请缓存节点挂入所述哈希表后,可以对未命中哈希项进行解锁,释放哈希表供其他操作使用。
74.步骤207,响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树。
75.在新申请缓存节点不满足预设缓存超限条件时,则可以将新申请缓存节点挂入到形成树中,对其进行排序。
76.在本发明的一可选实施例中,所述将所述新申请缓存节点挂入所述形成树的步骤包括:子步骤s2071,在所述形成树中申请新的树节点;子步骤s2072,将所述新申请缓存节点挂入所述新的树节点。
77.在形成树中申请新的树节点,并将新申请缓存节点挂入该新的树节点中,通过新的树节点在形成树中进行排序。
78.步骤208,响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。
79.当新申请缓存节点满足预设缓存超限条件时,则需要进行数据落盘,以释放出缓存资源。
80.在本发明的一可选实施例中,所述依据所述落盘树进行数据落盘的步骤包括:子步骤s2081,判断是否存在所述落盘树;可以判断当前是否存在落盘树,以确定是否可以直接进行数据落盘。
81.子步骤s2082,响应于存在所述落盘树,执行所述依据所述落盘树进行数据落盘的步骤;当存在落盘树时,可以直接执行落盘树各个树节点的操作进行数据落盘。
82.具体地,所述响应于存在所述落盘树,执行所述依据所述落盘树进行数据落盘的步骤包括:阻塞所述落盘树,执行所述依据所述落盘树进行数据落盘的步骤,直至落盘完成;并继续处理所述读写数据。
83.当存在落盘树,可以新的输入输出操作阻塞到落盘树,直到有落盘操作完成缓存资源被释放时,继续执行被阻塞的新的输入输出操作。
84.子步骤s2083,响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述依据所述落盘树进行数据落盘的步骤。
85.当不存在落盘树时,则依据形成树生成所述落盘树,在执行落盘树中的各个树节点,进行数据落盘。
86.具体地,所述将所述形成树转化为所述落盘树,执行所述依据所述落盘树进行数据落盘的步骤包括:将所述形成树转化为所述落盘树,阻塞所述落盘树,执行所述依据所述落盘树进行数据落盘的步骤,直至落盘完成;并继续处理所述读写数据。
87.当不存在落盘树时,将形成树转为落盘树,且新输入输出操作阻塞到落盘树,落盘树进行落盘操作后有新缓存资源时,继续执行被阻塞的新的输入输出操作。
88.本发明实施例中,通过形成树将主机下发的随机读写数据做独立冗余磁盘阵列卡内物理地址排序,供落盘树在落盘时按物理地址顺序进行落盘操作,以提高磁盘写性能;并且对形成树和落盘树行乒乓算法,形成树用来做新io插入,落盘树用来做老io数据落盘操作;减少插入和删除的耦合;并且落盘pba排序需要先从小到大落盘,再从大到小删除,所以形成树和落盘树的插入顺序也不相同,红黑树排序相反,但连续的缓存节点数据链表排序相同;并且冷热数据可通过形成树和落盘树进行天然支持。当访问的热数据位于正在落盘树中时,将其挪到形成树中,可避免本轮落盘,让热数据继续留在缓存中,可以很好的将热数据继续留在缓存中,提高缓存效率。
89.为了使本领域技术人员能够更好地理解本发明实施例,下面通过一个例子对本发明实施例加以说明:参照图6,示出了本发明的一种独立冗余磁盘阵列卡控制方法示例的步骤流程图,所述独立冗余磁盘阵列卡控制方法如下:1、根据主机io查找哈希表命中的缓存节点,锁定未命中数据的hash项。
90.2、判断是否锁定成功,未成功则等待锁定冲突解除,重新进行操作;锁定成功则继续判断新申请缓存节点是否会导致raid阵列的缓存占有率超过预设值。
91.3、超过预设值则继续判断是否存在落盘树,如果此时存在落盘树,则新i/o阻塞到落盘树,直到有落盘操作完成缓存资源被释放时,继续执行被阻塞的新i/o。如果不存在落盘树,则将形成树转为落盘树,且新i/o阻塞到落盘树,落盘树进行落盘操作后有新缓存资源时,继续执行被阻塞的新i/o。
92.4、未超过预设值则为未命中数据分配缓存节点,向缓存节点填充raid阵列的lba和raid阵列的id。
93.5、将缓存节点挂入哈希表,并解锁hash项。
94.6、申请新的红黑树(形成树)节点,进行红黑树节点插入。
95.7、将缓存节点挂入红黑树节点下。
96.需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
97.参照图7,示出了本发明的一种独立冗余磁盘阵列卡控制装置实施例的结构框图,独立冗余磁盘阵列卡配置有形成树和落盘树;所述形成树用于所述独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,所述落盘树用于按所述地址顺序进行数据落盘,所述独立冗余磁盘阵列卡控制装置具体可以包括如下模块:申请模块701,用于接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;第一判断模块702,用于判断所述新申请缓存节点是否满足预设缓存超限条件;挂入模块703,用于响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;落盘模块704,用于响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。
98.在本发明的一可选实施例中,所述独立冗余磁盘阵列卡对应有哈希表,所述申请模块701包括:未命中哈希项确定子模块,用于在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项;新申请缓存节点确定子模块,用于依据所述未命中哈希项确定所述新申请缓存节点。
99.在本发明的一可选实施例中,所述装置还包括:锁定模块,用于锁定所述未命中哈希项。
100.在本发明的一可选实施例中,所述装置还包括:第二判断模块,用于判断所述未命中哈希项是否锁定成功;第一执行模块,用于响应于所述未命中哈希项锁定成功,执行所述判断所述新申请缓存节点是否满足预设缓存超限条件的步骤;
第二执行模块,用于响应于所述未命中哈希项未锁定成功,等待所述独立冗余磁盘阵列卡的锁定冲突解除后执行所述锁定所述未命中哈希项的步骤。
101.在本发明的一可选实施例中,所述新申请缓存节点确定子模块包括:分配单元,用于对所述未命中哈希项分配缓存节点,得到所述新申请缓存节点;填充单元,用于向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数。
102.在本发明的一可选实施例中,所述预设独立冗余磁盘阵列卡参数包括独立冗余磁盘阵列卡参数真实逻辑地址和独立冗余磁盘阵列卡参数身份标识;所述填充单元包括:填充子单元,用于向所述新申请缓存节点填充所述独立冗余磁盘阵列卡参数真实逻辑地址和所述独立冗余磁盘阵列卡参数身份标识。
103.在本发明的一可选实施例中,所述装置还包括:挂表模块,用于将所述新申请缓存节点挂入所述哈希表。
104.在本发明的一可选实施例中,所述装置还包括:解锁模块,用于解锁所述未命中哈希项。
105.在本发明的一可选实施例中,所述装置还包括:冲突模块,用于响应于所述未命中哈希项发生冲突,将所述新申请缓存节点挂在预设哈希冲突链表中。
106.在本发明的一可选实施例中,所述挂入模块703包括:树节点申请子模块,用于在所述形成树中申请新的树节点;节点挂入子模块,用于将所述新申请缓存节点挂入所述新的树节点。
107.在本发明的一可选实施例中,所述未命中哈希项确定子模块包括:命中单元,用于在所述哈希表中,查找所述主机输入输出值命中的哈希项为命中哈希项;未命中哈希项确定单元,用于将所述哈希表中所述命中哈希项之外的哈希项确定为所述未命中哈希项。
108.在本发明的一可选实施例中,所述落盘模块704包括:落盘判断子模块,用于判断是否存在所述落盘树;第一落盘子模块,用于响应于存在所述落盘树,执行所述落盘树,进行数据落盘;第二落盘子模块,用响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘。
109.在本发明的一可选实施例中,所述第一落盘子模块包括:第一落盘执行单元,用于阻塞所述落盘树,执行所述落盘树进行落盘,直至落盘完成;并继续处理所述读写数据。
110.在本发明的一可选实施例中,所述第二落盘子模块包括:第二落盘执行单元,用于响应于不存在所述落盘树,将所述形成树转化为所述落盘树,执行所述落盘树,进行数据落盘。
111.在本发明的一可选实施例中,所述第二落盘执行单元包括:转化子单元,用于将所述形成树转化为所述落盘树,阻塞所述落盘树,执行所述落盘树进行落盘,直至落盘完成;并继续处理所述读写数据。
112.在本发明的一可选实施例中,所述预设缓存超限条件为在所述独立冗余磁盘阵列
卡的当前缓存节点上增加所述新申请缓存节点超过预设缓存占有率。
113.在本发明的一可选实施例中,所述形成树与所述落盘树均为红黑树。
114.对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
115.参照图8,本发明实施例还提供了一种电子设备,包括:处理器801和存储介质802,所述存储介质802存储有所述处理器801可执行的计算机程序,当电子设备运行时,所述处理器801执行所述计算机程序,以执行如本发明实施例任一项所述的独立冗余磁盘阵列卡控制方法。所述独立冗余磁盘阵列卡控制方法包括:独立冗余磁盘阵列卡配置有形成树和落盘树;所述形成树用于所述独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,所述落盘树用于按所述地址顺序进行数据落盘,所述方法包括:接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;判断所述新申请缓存节点是否满足预设缓存超限条件;响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。
116.可选地,所述独立冗余磁盘阵列卡对应有哈希表,所述读写数据包括主机输入输出值,所述依据所述读写数据确定新申请缓存节点的步骤包括:在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项;依据所述未命中哈希项确定所述新申请缓存节点。
117.可选地,在所述依据所述读写数据确定新申请缓存节点的步骤之后,所述方法还包括:锁定所述未命中哈希项。
118.可选地,所述方法还包括:判断所述未命中哈希项是否锁定成功;响应于所述未命中哈希项锁定成功,执行所述判断所述新申请缓存节点是否满足预设缓存超限条件的步骤;响应于所述未命中哈希项未锁定成功,等待所述独立冗余磁盘阵列卡的锁定冲突解除后执行所述锁定所述未命中哈希项的步骤。
119.可选地,所述依据所述未命中哈希项确定所述新申请缓存节点的包括:对所述未命中哈希项分配缓存节点,得到所述新申请缓存节点;向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数。
120.可选地,所述预设独立冗余磁盘阵列卡参数包括独立冗余磁盘阵列卡参数真实逻辑地址和独立冗余磁盘阵列卡参数身份标识;所述向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数的步骤包括:向所述新申请缓存节点填充所述独立冗余磁盘阵列卡参数真实逻辑地址和所述独立冗余磁盘阵列卡参数身份标识。
121.可选地,所述方法还包括:
将所述新申请缓存节点挂入所述哈希表。
122.可选地,在所述将所述新申请缓存节点挂入所述哈希表的步骤之后,所述方法还包括:解锁所述未命中哈希项。
123.可选地,所述方法还包括:响应于所述未命中哈希项发生冲突,将所述新申请缓存节点挂在预设哈希冲突链表中。
124.可选地,所述将所述新申请缓存节点挂入所述形成树的步骤包括:在所述形成树中申请新的树节点;将所述新申请缓存节点挂入所述新的树节点。
125.可选地,所述在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项的步骤包括:在所述哈希表中,查找所述主机输入输出值命中的哈希项为命中哈希项;将所述哈希表中所述命中哈希项之外的哈希项确定为所述未命中哈希项。
126.可选地,所述依据所述落盘树进行数据落盘的步骤包括:判断是否存在所述落盘树;响应于存在所述落盘树,执行所述落盘树进行数据落盘;响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘。
127.可选地,所述响应于存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:阻塞所述落盘树,执行所述落盘树进行落盘,直至落盘完成;并继续处理所述读写数据。
128.可选地,所述响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:响应于不存在所述落盘树,将所述形成树转化为所述落盘树,执行所述落盘树,进行数据落盘。
129.可选地,所述将所述形成树转化为所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:将所述形成树转化为所述落盘树,阻塞所述落盘树,执行所述落盘树进行落盘的步骤,直至落盘完成;并继续处理所述读写数据。
130.可选地,所述预设缓存超限条件为在所述独立冗余磁盘阵列卡的当前缓存节点上增加所述新申请缓存节点超过预设缓存占有率。
131.可选地,所述形成树与所述落盘树均为红黑树。
132.其中,存储器可以包括随机存取存储器(random access memory,简称ram),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
133.上述的处理器可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器
(digital signal processing,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(field-programmable gate array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
134.参照图9,本发明实施例还提供了一种计算机可读存储介质901,所述存储介质901上存储有计算机程序,所述计算机程序被处理器运行时执行如本发明实施例任一项所述的独立冗余磁盘阵列卡控制方法。所述独立冗余磁盘阵列卡控制方法包括:独立冗余磁盘阵列卡配置有形成树和落盘树;所述形成树用于所述独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,所述落盘树用于按所述地址顺序进行数据落盘,所述方法包括:接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;判断所述新申请缓存节点是否满足预设缓存超限条件;响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。
135.可选地,所述独立冗余磁盘阵列卡对应有哈希表,所述读写数据包括主机输入输出值,所述依据所述读写数据确定新申请缓存节点的步骤包括:在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项;依据所述未命中哈希项确定所述新申请缓存节点。
136.可选地,在所述依据所述读写数据确定新申请缓存节点的步骤之后,所述方法还包括:锁定所述未命中哈希项。
137.可选地,所述方法还包括:判断所述未命中哈希项是否锁定成功;响应于所述未命中哈希项锁定成功,执行所述判断所述新申请缓存节点是否满足预设缓存超限条件的步骤;响应于所述未命中哈希项未锁定成功,等待所述独立冗余磁盘阵列卡的锁定冲突解除后执行所述锁定所述未命中哈希项的步骤。
138.可选地,所述依据所述未命中哈希项确定所述新申请缓存节点的包括:对所述未命中哈希项分配缓存节点,得到所述新申请缓存节点;向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数。
139.可选地,所述预设独立冗余磁盘阵列卡参数包括独立冗余磁盘阵列卡参数真实逻辑地址和独立冗余磁盘阵列卡参数身份标识;所述向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数的步骤包括:向所述新申请缓存节点填充所述独立冗余磁盘阵列卡参数真实逻辑地址和所述独立冗余磁盘阵列卡参数身份标识。
140.可选地,所述方法还包括:将所述新申请缓存节点挂入所述哈希表。
141.可选地,在所述将所述新申请缓存节点挂入所述哈希表的步骤之后,所述方法还包括:
解锁所述未命中哈希项。
142.可选地,所述方法还包括:响应于所述未命中哈希项发生冲突,将所述新申请缓存节点挂在预设哈希冲突链表中。
143.可选地,所述将所述新申请缓存节点挂入所述形成树的步骤包括:在所述形成树中申请新的树节点;将所述新申请缓存节点挂入所述新的树节点。
144.可选地,所述在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项的步骤包括:在所述哈希表中,查找所述主机输入输出值命中的哈希项为命中哈希项;将所述哈希表中所述命中哈希项之外的哈希项确定为所述未命中哈希项。
145.可选地,所述依据所述落盘树进行数据落盘的步骤包括:判断是否存在所述落盘树;响应于存在所述落盘树,执行所述落盘树进行数据落盘;响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘。
146.可选地,所述响应于存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:阻塞所述落盘树,执行所述落盘树进行落盘,直至落盘完成;并继续处理所述读写数据。
147.可选地,所述响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:响应于不存在所述落盘树,将所述形成树转化为所述落盘树,执行所述落盘树,进行数据落盘。
148.可选地,所述将所述形成树转化为所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:将所述形成树转化为所述落盘树,阻塞所述落盘树,执行所述落盘树进行落盘的步骤,直至落盘完成;并继续处理所述读写数据。
149.可选地,所述预设缓存超限条件为在所述独立冗余磁盘阵列卡的当前缓存节点上增加所述新申请缓存节点超过预设缓存占有率。
150.可选地,所述形成树与所述落盘树均为红黑树。
151.本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
152.本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
153.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序
产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
154.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
155.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
156.尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
157.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
158.以上对本发明所提供的一种独立冗余磁盘阵列卡控制方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

技术特征:
1.一种独立冗余磁盘阵列卡控制方法,其特征在于,独立冗余磁盘阵列卡配置有形成树和落盘树;所述形成树用于所述独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,所述落盘树用于按所述地址顺序进行数据落盘,所述方法包括:接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;判断所述新申请缓存节点是否满足预设缓存超限条件;响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。2.根据权利要求1所述的方法,其特征在于,所述独立冗余磁盘阵列卡对应有哈希表,所述读写数据包括主机输入输出值,所述依据所述读写数据确定新申请缓存节点的步骤包括:在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项;依据所述未命中哈希项确定所述新申请缓存节点。3.根据权利要求2所述的方法,其特征在于,在所述依据所述读写数据确定新申请缓存节点的步骤之后,所述方法还包括:锁定所述未命中哈希项。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:判断所述未命中哈希项是否锁定成功;响应于所述未命中哈希项锁定成功,执行所述判断所述新申请缓存节点是否满足预设缓存超限条件的步骤;响应于所述未命中哈希项未锁定成功,等待所述独立冗余磁盘阵列卡的锁定冲突解除后执行所述锁定所述未命中哈希项的步骤。5.根据权利要求2所述的方法,其特征在于,所述依据所述未命中哈希项确定所述新申请缓存节点的包括:对所述未命中哈希项分配缓存节点,得到所述新申请缓存节点;向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数。6.根据权利要求5所述的方法,其特征在于,所述预设独立冗余磁盘阵列卡参数包括独立冗余磁盘阵列卡参数真实逻辑地址和独立冗余磁盘阵列卡参数身份标识;所述向所述新申请缓存节点填充预设独立冗余磁盘阵列卡参数的步骤包括:向所述新申请缓存节点填充所述独立冗余磁盘阵列卡参数真实逻辑地址和所述独立冗余磁盘阵列卡参数身份标识。7.根据权利要求5所述的方法,其特征在于,所述方法还包括:将所述新申请缓存节点挂入所述哈希表。8.根据权利要求7所述的方法,其特征在于,在所述将所述新申请缓存节点挂入所述哈希表的步骤之后,所述方法还包括:解锁所述未命中哈希项。9.根据权利要求7所述的方法,其特征在于,所述方法还包括:响应于所述未命中哈希项发生冲突,将所述新申请缓存节点挂在预设哈希冲突链表中。
10.根据权利要求1所述的方法,其特征在于,所述将所述新申请缓存节点挂入所述形成树的步骤包括:在所述形成树中申请新的树节点;将所述新申请缓存节点挂入所述新的树节点。11.根据权利要求2所述的方法,其特征在于,所述在所述哈希表中,依据所述主机输入输出值,确定未命中哈希项的步骤包括:在所述哈希表中,查找所述主机输入输出值命中的哈希项为命中哈希项;将所述哈希表中所述命中哈希项之外的哈希项确定为所述未命中哈希项。12.根据权利要求1所述的方法,其特征在于,所述依据所述落盘树进行数据落盘的步骤包括:判断是否存在所述落盘树;响应于存在所述落盘树,执行所述落盘树进行数据落盘的步骤;响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘。13.根据权利要求12所述的方法,其特征在于,所述响应于存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:阻塞所述落盘树,执行所述落盘树进行落盘,直至落盘完成;并继续处理所述读写数据。14.根据权利要求12所述的方法,其特征在于,所述响应于不存在所述落盘树,依据所述形成树生成所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:响应于不存在所述落盘树,将所述形成树转化为所述落盘树,执行所述落盘树,进行数据落盘。15.根据权利要求14所述的方法,其特征在于,所述将所述形成树转化为所述落盘树,执行所述落盘树,进行数据落盘的步骤包括:将所述形成树转化为所述落盘树,阻塞所述落盘树,执行所述落盘树进行落盘,直至落盘完成;并继续处理所述读写数据。16.根据权利要求1所述的方法,其特征在于,所述预设缓存超限条件为在所述独立冗余磁盘阵列卡的当前缓存节点上增加所述新申请缓存节点超过预设缓存占有率。17.根据权利要求1所述的方法,其特征在于,所述形成树与所述落盘树均为红黑树。18.一种独立冗余磁盘阵列卡控制装置,其特征在于,独立冗余磁盘阵列卡配置有形成树和落盘树;所述形成树用于所述独立冗余磁盘阵列卡内的真实物理地址进行排序生成地址顺序,所述落盘树用于按所述地址顺序进行数据落盘,所述装置包括:申请模块,用于接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;第一判断模块,用于判断所述新申请缓存节点是否满足预设缓存超限条件;挂入模块,用于响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;落盘模块,用于响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。19.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在
所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至17中任一项所述的独立冗余磁盘阵列卡控制方法的步骤。20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至17中任一项所述的独立冗余磁盘阵列卡控制方法的步骤。

技术总结
本发明实施例提供了一种独立冗余磁盘阵列卡控制方法和装置;涉及计算机系统及存储技术领域;包括接收来自主机的读写数据,依据所述读写数据确定新申请缓存节点;判断所述新申请缓存节点是否满足预设缓存超限条件;响应于所述新申请缓存节点不满足预设缓存超限条件,将所述新申请缓存节点挂入所述形成树;响应于所述新申请缓存节点满足预设缓存超限条件,依据所述落盘树进行数据落盘。本发明实施例可以提高独立冗余磁盘阵列卡的写性能。提高独立冗余磁盘阵列卡的写性能。提高独立冗余磁盘阵列卡的写性能。


技术研发人员:李飞龙 王见 孙明刚
受保护的技术使用者:苏州浪潮智能科技有限公司
技术研发日:2023.06.27
技术公布日:2023/8/1
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐