联机服务集群迁移方法、装置、设备及存储介质与流程
未命名
09-29
阅读:78
评论:0

1.本说明书涉及大数据技术领域,尤其是涉及一种联机服务集群迁移方法、装置、设备及存储介质。
背景技术:
2.基于开源数据库构建的联机服务集群,可以提供不间断(7*24小时)联机服务,例如联机查询类服务等,且具有低时延,毫秒级响应速度等特点。有时因某些原因,联机服务集群需要进行迁移。但是,在进行联机服务集群迁移时,容易引发服务中断等风险,从而影响了联机服务集群运行的稳定性和可靠性。因此,如何降低或避免联机服务集群在迁移时的服务中断风险,已成为目前亟待解决的技术问题。
技术实现要素:
3.本说明书实施例的目的在于提供一种联机服务集群迁移方法、装置、设备及存储介质,以降低或避免联机服务集群在迁移时的服务中断风险。
4.为达到上述目的,一方面,本说明书实施例提供了一种联机服务集群迁移方法,包括:
5.使第一集群的全量业务切换至与其实时同步的第二集群;所述第一集群为备用集群,所述第二集群为主用集群;
6.下线所述第一集群的原备用管理节点,并将其ip置换至所述第一集群的新备用管理节点;
7.将所述第一集群的新备用管理节点倒换为所述第一集群的新主用管理节点;
8.下线所述第一集群的原主用管理节点,并将其ip置换至所述第一集群的倒换后的新备用管理节点;
9.将所述第一集群的所有数据节点在迁移后重新上线;
10.使所述第二集群的全量业务切换至所述第一集群;
11.下线所述第二集群的原备用管理节点,并将其ip置换至所述第二集群的新备用管理节点;
12.将所述第二集群的新备用管理节点倒换为所述第二集群的新主用管理节点;
13.下线所述第二集群的原主用管理节点,并将其ip置换至所述第二集群的倒换后的新备用管理节点;
14.将所述第二集群的所有数据节点在迁移后重新上线。
15.本说明书实施例的联机服务集群迁移方法中,在使第一集群的全量业务切换至与其实时同步的第二集群之前,还包括:
16.获取所述第一集群及所述第二集群的原主、备用管理节点的安装及配置信息;
17.根据所述安装及配置信息生成对应的安装包,并将所述安装包对应传输至所述第一集群及所述第二集群的新主、备用管理节点;
18.根据所述安装包调用预安装脚本,以对所述第一集群及所述第二集群的新主、备用管理节点的操作系统进行预安装配置和系统分区挂载。
19.本说明书实施例的联机服务集群迁移方法中,还包括:
20.在下线每个原管理节点前,对应检查该原管理节点与其对应的新管理节点是否数据配置一致;
21.若不一致,则以该原管理节点为基准对二者执行数据配置同步。
22.本说明书实施例的联机服务集群迁移方法中,还包括:
23.在完成每次ip置换后,对应检查该次ip置换后的新管理节点是否服务正常;
24.若服务不正常,则中断集群迁移并抛出错误。
25.本说明书实施例的联机服务集群迁移方法中,还包括:
26.在迁移过程中禁用所述第一集群和所述第二集群之间的主备业务自动切换。
27.本说明书实施例的联机服务集群迁移方法中,还包括:
28.在重新上线每个数据节点后,对应检查该重新上线的数据节点是否存在数据损失;
29.若该重新上线的数据节点存在数据损失,则利用对应管理节点管理的元数据进行数据恢复。
30.本说明书实施例的联机服务集群迁移方法中,在下线所述第一集群的原主用管理节点,并将其ip置换至所述第一集群的倒换后的新备用管理节点之后,还包括:对所述第一集群的新备用管理节点和新主用管理节点进行主备倒换,以恢复至迁移前的主备状态;
31.在下线所述第二集群的原主用管理节点,并将其ip置换至所述第二集群的倒换后的新备用管理节点之后,还包括:对所述第二集群的新备用管理节点和新主用管理节点进行主备倒换,以恢复至迁移前的主备状态。
32.另一方面,本说明书实施例还提供了一种联机服务集群迁移装置,包括:
33.第一切换模块,用于使第一集群的全量业务切换至与其实时同步的第二集群;所述第一集群为备用集群,所述第二集群为主用集群;
34.第一置换模块,用于下线所述第一集群的原备用管理节点,并将其ip置换至所述第一集群的新备用管理节点;
35.第一倒换模块,用于将所述第一集群的新备用管理节点倒换为所述第一集群的新主用管理节点;
36.第二置换模块,用于下线所述第一集群的原主用管理节点,并将其ip置换至所述第一集群的倒换后的新备用管理节点;
37.第一上线模块,用于将所述第一集群的所有数据节点在迁移后重新上线;
38.第二切换模块,用于使所述第二集群的全量业务切换至所述第一集群;
39.第三置换模块,用于下线所述第二集群的原备用管理节点,并将其ip置换至所述第二集群的新备用管理节点;
40.第二倒换模块,用于将所述第二集群的新备用管理节点倒换为所述第二集群的新主用管理节点;
41.第四置换模块,用于下线所述第二集群的原主用管理节点,并将其ip置换至所述第二集群的倒换后的新备用管理节点;
42.第二上线模块,用于将所述第二集群的所有数据节点在迁移后重新上线。
43.另一方面,本说明书实施例还提供了一种计算机设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,所述计算机程序被所述处理器运行时,执行上述方法的指令。
44.另一方面,本说明书实施例还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被计算机设备的处理器运行时,执行上述方法的指令。
45.由以上本说明书实施例提供的技术方案可见,本说明书实施例中,在进行联机服务集群迁移时,先迁移备用集群再迁移主用集群;且在迁移备用集群和主用集群时,均先迁移备用管理节点,再迁移主用管理节点,最后迁移数据节点;如此可以大幅降低联机服务集群迁移时对大数据联机服务的影响,从而大幅降低了或避免了联机服务集群在迁移时的服务中断风险。
附图说明
46.为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
47.图1示出了本说明书一些实施例中大数据联机服务集群迁移的应用场景示意图;
48.图2示出了本说明书一些实施例中大数据联机服务集群迁移方法的流程图;
49.图3示出了本说明书一些实施例中大数据联机服务集群迁移示意图;
50.图4示出了本说明书一些实施例中大数据联机服务集群迁移装置的结构框图;
51.图5示出了本说明书一些实施例中计算机设备的结构框图。
52.【附图标记说明】
53.10、大数据联机服务集群;
54.11、第一集群;
55.12、第二集群;
56.20、迁移控制端;
57.401、第一切换模块;
58.402、第一置换模块;
59.403、第一倒换模块;
60.404、第二置换模块;
61.405、第一上线模块;
62.406、第二切换模块;
63.407、第三置换模块;
64.408、第二倒换模块;
65.409、第四置换模块;
66.410、第二上线模块;
67.502、计算机设备;
68.504、处理器;
69.506、存储器;
70.508、驱动机构;
71.510、输入/输出接口;
72.512、输入设备;
73.514、输出设备;
74.516、呈现设备;
75.518、图形用户接口;
76.520、网络接口;
77.522、通信链路;
78.524、通信总线。
具体实施方式
79.为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
80.图1中示出了本说明书一些实施例中大数据联机服务集群迁移的应用场景示意图,该应用场景中包含大数据联机服务集群10和迁移控制端20;大数据联机服务集群10可以对外提供大数据联机服务;在图1所示的实施例中大数据联机服务集群10可以包括第一集群11和第二集群12(这里以双集群为例,在其他实施例中,根据需要还可以设置更多的集群),第一集群11和第二集群12一个作为主用一个作为备用(例如第一集群11作为备用,第二集群12作为主用),且二者之间可以实时数据同步。迁移控制端20可以对大数据联机服务集群10的迁移过程进行控制和管理,以降低或避免大数据联机服务集群10在迁移时的服务中断风险。需要指出的是,本说明书实施例中的迁移一般是指:跨机房的物理迁移。
81.在本说明书一些实施例中,大数据联机服务集群10可以基于开源数据库(例如hbase数据库等)构建;大数据联机服务集群10的第一集群11和第二集群12中,均可以包括多个大数据联机服务端,这些大数据联机服务端可以并行提供大数据联机服务。其中,所述大数据联机服务端可以为具有运算和网络交互功能的电子设备;也可以为运行于该电子设备中,为数据处理和网络交互提供业务逻辑的软件。所述迁移控制端20可以为具有运算和网络交互功能的电子设备;也可以为运行于该电子设备中,为数据处理和网络交互提供业务逻辑的软件。在本说明书一些实施例中,上述的电子设备可以为计算机设备,例如台式电脑、笔记本电脑、工作站或服务器等。
82.本说明书实施例提供了一种大数据联机服务集群迁移方法,可以应用于上述的迁移控制端侧,参考图2和图3所示,在一些实施例中,大数据联机服务集群迁移方法可以包括以下步骤:
83.步骤201、使第一集群的全量业务切换至与其实时同步的第二集群;所述第一集群为备用集群,所述第二集群为主用集群。
84.步骤202、下线所述第一集群的原备用管理节点,并将其ip置换至所述第一集群的
新备用管理节点。
85.步骤203、将所述第一集群的新备用管理节点倒换为所述第一集群的新主用管理节点。
86.步骤204、下线所述第一集群的原主用管理节点,并将其ip置换至所述第一集群的倒换后的新备用管理节点。
87.步骤205、将所述第一集群的所有数据节点在迁移后重新上线。
88.步骤206、使所述第二集群的全量业务切换至所述第一集群。
89.步骤207、下线所述第二集群的原备用管理节点,并将其ip置换至所述第二集群的新备用管理节点。
90.步骤208、将所述第二集群的新备用管理节点倒换为所述第二集群的新主用管理节点。
91.步骤209、下线所述第二集群的原主用管理节点,并将其ip置换至所述第二集群的倒换后的新备用管理节点。
92.步骤210、将所述第二集群的所有数据节点在迁移后重新上线。
93.本说明书的实施例中,在进行大数据联机服务集群迁移时,先迁移备用集群再迁移主用集群;且在迁移备用集群和主用集群时,均先迁移备用管理节点,再迁移主用管理节点,最后迁移数据节点;如此可以大幅降低大数据联机服务集群迁移时对大数据联机服务的影响,从而大幅降低了或避免了大数据联机服务集群在迁移时的服务中断风险。
94.本说明书的实施例中,切换是指第一集群和第二集群之间的业务主备切换;倒换是指主、备用管理节点之间的主备切换;为了便于与集群之间业务上的主备切换作区分,称之为倒换。
95.当需要对第一集群进行迁移时,通过使第一集群的全量业务切换至与其实时同步的第二集群,可以保证整个大数据联机服务集群的大数据联机服务可以正常进行。在本说明书的实施例中,依据应用场景不同,大数据联机服务也不同。例如,以银行大数据联机服务集群为例,大数据联机服务可以为查询处理服务、交易处理服务等。
96.本说明书的实施例中,第一集群和第二集群中均设有主用管理节点和备用管理节点;每个主用管理节点和每个备用管理节点均分别部署在两个独立的物理机服务器上,其中主管理节点将作为管控服务管理hbase(这里以hbase数据库构建的集群为例)的读写服务,备管理节点将作为备服务随时准备接管集群的管控服务;例如当检测出主管理节点宕机后,备管理节点服务将直接接管集群的管控服务。
97.集群迁移的设备要求可以包括:新节点安装与被替换节点具有相同版本的操作系统,且新节点配置的网卡名、网关、ip地址、主机名、时间时区信息需要与被替换节点保持一致。因此,对于每个新管理节点(包括新主用管理节点和新备用管理节点),均需要进行对应的安装配置和系统分区挂载。因此,在本说明书一些实施例中,在使第一集群的全量业务切换至与其实时同步的第二集群之前,还可以包括如下步骤:
98.(1)获取所述第一集群及所述第二集群的原主、备用管理节点的安装及配置信息。
99.在一些实施例中,可以通过软件安装管理工具自动检查:第一集群的原主用管理节点的安装及配置信息,第一集群的原备用管理节点的安装及配置信息,第二集群的原主用管理节点的安装及配置信息,以及第二集群的原备用管理节点的安装及配置信息。
100.(2)根据所述安装及配置信息生成对应的安装包,并将所述安装包对应传输至所述第一集群及所述第二集群的新主、备用管理节点。
101.在一些实施例中,可以通过打包工具将第一集群的原主用管理节点的安装及配置信息,第一集群的原备用管理节点的安装及配置信息,第二集群的原主用管理节点的安装及配置信息,以及第二集群的原备用管理节点的安装及配置信息,分别打成对应的安装包,并对应提供给的第一集群的新主用管理节点、第一集群的新备用管理节点、第二集群的新主用管理节点和第二集群的新备用管理节点。其中,安装及配置信息包括管理节点安装了哪些软件(包括系统软件和应用软件)、软件对应的存储路径、软件及设备对应的配置文件等信息。
102.(3)根据所述安装包调用预安装脚本(preinstall),以对所述第一集群及所述第二集群的新主、备用管理节点的操作系统进行预安装配置和系统分区挂载(即管理节点的磁盘分区挂载)。其中,预安装脚本也可以是软件安装管理工具的功能模块。当然,在安装之前,还可以自动登录新管理节点。如此,通过这种自动化的安装配置部署,可以提高集群迁移效率。
103.本说明书的实施例中,在迁移过程中需要适时禁用所述第一集群和所述第二集群之间的主备业务自动切换,以防止正处于迁移过程中的节点承接了集群服务,从而导致服务中断或处理失败。
104.由于第一集群的新备用管理节点的已完成预安装配置,当下线所述第一集群的原备用管理节点后,可以将其ip(即网络ip地址)置换至所述第一集群的新备用管理节点,以此保证置换前后集群管理的ip不变。而且,在下线第一集群的原备用管理节点的过程中,由于第一集群的原主用管理节点在线,仍可以正常负责第一集群的管控服务。为符合先有主用管理节点再有备用管理节点的相关要求,可以将所述第一集群的新备用管理节点倒换为所述第一集群的新主用管理节点。在此基础上,再下线所述第一集群的原主用管理节点,并将其ip置换至所述第一集群的倒换后的新备用管理节点(即第一集群的倒换前的新主用管理节点),以此保证置换前后集群管理的ip不变。而且,在下线第一集群的原主用管理节点的过程中,由于第一集群的原备用管理节点已完成迁移,且当前作为第一集群的新主用管理节点在线,仍可以正常负责第一集群的管控服务。其中,ip置换是指为新管理节点配置与原管理节点相同的网络ip地址信息。例如,当下线第一集群的原备用管理节点后,可以为第一集群的新备用管理节点配置与第一集群的原备用管理节点相同的ip地址信息。
105.在另一些实施例中,在此基础上,还可以对第一集群的新主用管理节点和新备用管理节点进行主备倒换,以在迁移后恢复至迁移前的主备状态。
106.在本说明书的实施例中,在完成第一集群的管理节点迁移的基础上,可以将所述第一集群的所有数据节点分别进行下线、迁移和重新上线的操作,即将所述第一集群的所有数据节点在迁移后重新上线,从而完成第一集群的迁移。由于管理节点负责第一集群的整体服务运行与元数据管理,先进行第一集群的管理节点迁移,再进行第一集群的数据节点迁移不仅可以有利于维护集群的运行稳定性,还有利于避免数据节点迁移时的数据损坏或丢失风险。
107.在完成第一集群的迁移后,可以将所述第二集群的全量业务切换至所述第一集群,对所述第二集群进行迁移,并由迁移后的第一集群负责提供大数据联机服务。由于第二
集群的迁移,与上述第一集群的迁移过程类似,不再对第二集群的迁移进行详细说明,具体可以参见上述有关于第一集群的迁移过程描述。
108.在本说明书另一些实施例中,大数据联机服务集群迁移方法还可以包括:在下线每个原管理节点前,对应检查该原管理节点与其对应的新管理节点是否数据配置一致;若不一致,则以该原管理节点为基准对二者执行数据配置同步;若一致,则可以继续后续的迁移操作。其中,数据配置一致是指数据库数据一致且配置文件一致。
109.例如,以第一集群的备用管理节点为例,在下线第一集群的原备用管理节点之前,先检查第一集群的原备用管理节点与第一集群的新备用管理节点的数据配置是否一致;若一致,则可以下线所述第一集群的原备用管理节点,并将其ip置换至所述第一集群的新备用管理节点;若不一致,则以所述第一集群的原备用管理节点为基准进行数据同步,即由所述第一集群的新备用管理节点向所述第一集群的原备用管理节点获取数据,以使二者数据同步;如此,可以有利于降低迁移后数据丢失或不能正常提供服务的风险。
110.在本说明书另一些实施例中,大数据联机服务集群迁移方法还可以包括:在完成每次ip置换后,对应检查该次ip置换后的新管理节点是否服务正常;若服务不正常,则可以中断集群迁移并抛出错误(即向相关人员发出错误报警信息,以提示相关人员及时应对处理);若服务正常,则继续后续迁移操作。如此,可以有利于降低迁移后集群不能正常提供服务的风险。其中,判断服务正常的指标可以包括但不限于:每秒处理的事务数(tps)及其响应时间(rt)等。
111.在本说明书另一些实施例中,大数据联机服务集群迁移方法还可以包括:在重新上线每个数据节点后,对应检查该重新上线的数据节点是否存在数据损失;若该重新上线的数据节点存在数据损失,则利用对应管理节点管理的元数据进行数据恢复;如果不存在数据损失,则继续后续迁移操作。从而进一步降低了迁移后数据丢失的风险。
112.在本说明书的实施例中,下线可以是指:使节点停止工作(即停止为集群服务),断开与外部连接,并关闭其电源;对应的,上线是指:使节点电源导通,建立与外部连接,并启动工作(即开始为集群服务)。
113.虽然上文描述的过程流程包括以特定顺序出现的多个操作,但是,应当清楚了解,这些过程可以包括更多或更少的操作,这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。
114.与上述的大数据联机服务集群迁移方法对应,本说明书实施例还提供了一种大数据联机服务集群迁移装置,其可以配置于上述的迁移控制端上,参考图4所示,在一些实施例中,大数据联机服务集群迁移装置可以包括:
115.第一切换模块401,用于使第一集群的全量业务切换至与其实时同步的第二集群;所述第一集群为备用集群,所述第二集群为主用集群;
116.第一置换模块402,用于下线所述第一集群的原备用管理节点,并将其ip置换至所述第一集群的新备用管理节点;
117.第一倒换模块403,用于将所述第一集群的新备用管理节点倒换为所述第一集群的新主用管理节点;
118.第二置换模块404,用于下线所述第一集群的原主用管理节点,并将其ip置换至所述第一集群的倒换后的新备用管理节点;
119.第一上线模块405,用于将所述第一集群的所有数据节点在迁移后重新上线;
120.第二切换模块406,用于使所述第二集群的全量业务切换至所述第一集群;
121.第三置换模块407,用于下线所述第二集群的原备用管理节点,并将其ip置换至所述第二集群的新备用管理节点;
122.第二倒换模块408,用于将所述第二集群的新备用管理节点倒换为所述第二集群的新主用管理节点;
123.第四置换模块409,用于下线所述第二集群的原主用管理节点,并将其ip置换至所述第二集群的倒换后的新备用管理节点;
124.第二上线模块410,用于将所述第二集群的所有数据节点在迁移后重新上线。
125.为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
126.需要说明的是,本说明书的实施例中,所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权同意且经过各方充分授权的信息和数据。
127.本说明书的实施例还提供一种计算机设备。如图5所示,在本说明书一些实施例中,所述计算机设备502可以包括一个或多个处理器504,诸如一个或多个中央处理单元(cpu)或图形处理器(gpu),每个处理单元可以实现一个或多个硬件线程。计算机设备502还可以包括任何存储器506,其用于存储诸如代码、设置、数据等之类的任何种类的信息,一具体实施例中,存储器506上并可在处理器504上运行的计算机程序,所述计算机程序被所述处理器504运行时,可以执行上述任一实施例所述的大数据联机服务集群迁移方法的指令。非限制性的,比如,存储器506可以包括以下任一项或多种组合:任何类型的ram,任何类型的rom,闪存设备,硬盘,光盘等。更一般地,任何存储器都可以使用任何技术来存储信息。进一步地,任何存储器可以提供信息的易失性或非易失性保留。进一步地,任何存储器可以表示计算机设备502的固定或可移除部件。在一种情况下,当处理器504执行被存储在任何存储器或存储器的组合中的相关联的指令时,计算机设备502可以执行相关联指令的任一操作。计算机设备502还包括用于与任何存储器交互的一个或多个驱动机构508,诸如硬盘驱动机构、光盘驱动机构等。
128.计算机设备502还可以包括输入/输出接口510(i/o),其用于接收各种输入(经由输入设备512)和用于提供各种输出(经由输出设备514)。一个具体输出机构可以包括呈现设备516和相关联的图形用户接口518(gui)。在其他实施例中,还可以不包括输入/输出接口510(i/o)、输入设备512以及输出设备514,仅作为网络中的一台计算机设备。计算机设备502还可以包括一个或多个网络接口520,其用于经由一个或多个通信链路522与其他设备交换数据。一个或多个通信总线524将上文所描述的部件耦合在一起。
129.通信链路522可以以任何方式实现,例如,通过局域网、广域网(例如,因特网)、点对点连接等、或其任何组合。通信链路522可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务端等的任何组合。
130.本技术是参照本说明书一些实施例的方法、设备(系统)、计算机可读存储介质和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结
合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理器的处理器以产生一个机器,使得通过计算机或其他可编程数据处理器的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
131.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理器以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
132.这些计算机程序指令也可装载到计算机或其他可编程数据处理器上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
133.在一个典型的配置中,计算机设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
134.内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
135.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算机设备访问的信息。按照本说明书中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
136.本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
137.本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理器来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
138.还应理解,在本说明书实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
139.本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部
分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
140.在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
141.以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
技术特征:
1.一种联机服务集群迁移方法,其特征在于,包括:使第一集群的全量业务切换至与其实时同步的第二集群;所述第一集群为备用集群,所述第二集群为主用集群;下线所述第一集群的原备用管理节点,并将其ip置换至所述第一集群的新备用管理节点;将所述第一集群的新备用管理节点倒换为所述第一集群的新主用管理节点;下线所述第一集群的原主用管理节点,并将其ip置换至所述第一集群的倒换后的新备用管理节点;将所述第一集群的所有数据节点在迁移后重新上线;使所述第二集群的全量业务切换至所述第一集群;下线所述第二集群的原备用管理节点,并将其ip置换至所述第二集群的新备用管理节点;将所述第二集群的新备用管理节点倒换为所述第二集群的新主用管理节点;下线所述第二集群的原主用管理节点,并将其ip置换至所述第二集群的倒换后的新备用管理节点;将所述第二集群的所有数据节点在迁移后重新上线。2.如权利要求1所述的联机服务集群迁移方法,其特征在于,在使第一集群的全量业务切换至与其实时同步的第二集群之前,还包括:获取所述第一集群及所述第二集群的原主、备用管理节点的安装及配置信息;根据所述安装及配置信息生成对应的安装包,并将所述安装包对应传输至所述第一集群及所述第二集群的新主、备用管理节点;根据所述安装包调用预安装脚本,以对所述第一集群及所述第二集群的新主、备用管理节点的操作系统进行预安装配置和系统分区挂载。3.如权利要求1所述的联机服务集群迁移方法,其特征在于,还包括:在下线每个原管理节点前,对应检查该原管理节点与其对应的新管理节点是否数据配置一致;若不一致,则以该原管理节点为基准对二者执行数据配置同步。4.如权利要求1所述的联机服务集群迁移方法,其特征在于,还包括:在完成每次ip置换后,对应检查该次ip置换后的新管理节点是否服务正常;若服务不正常,则中断集群迁移并抛出错误。5.如权利要求1所述的联机服务集群迁移方法,其特征在于,还包括:在迁移过程中禁用所述第一集群和所述第二集群之间的主备业务自动切换。6.如权利要求1所述的联机服务集群迁移方法,其特征在于,还包括:在重新上线每个数据节点后,对应检查该重新上线的数据节点是否存在数据损失;若该重新上线的数据节点存在数据损失,则利用对应管理节点管理的元数据进行数据恢复。7.如权利要求1所述的联机服务集群迁移方法,其特征在于,在下线所述第一集群的原主用管理节点,并将其ip置换至所述第一集群的倒换后的新备用管理节点之后,还包括:对所述第一集群的新备用管理节点和新主用管理节点进行主备倒换,以恢复至迁移前的主备
状态;在下线所述第二集群的原主用管理节点,并将其ip置换至所述第二集群的倒换后的新备用管理节点之后,还包括:对所述第二集群的新备用管理节点和新主用管理节点进行主备倒换,以恢复至迁移前的主备状态。8.一种联机服务集群迁移装置,其特征在于,包括:第一切换模块,用于使第一集群的全量业务切换至与其实时同步的第二集群;所述第一集群为备用集群,所述第二集群为主用集群;第一置换模块,用于下线所述第一集群的原备用管理节点,并将其ip置换至所述第一集群的新备用管理节点;第一倒换模块,用于将所述第一集群的新备用管理节点倒换为所述第一集群的新主用管理节点;第二置换模块,用于下线所述第一集群的原主用管理节点,并将其ip置换至所述第一集群的倒换后的新备用管理节点;第一上线模块,用于将所述第一集群的所有数据节点在迁移后重新上线;第二切换模块,用于使所述第二集群的全量业务切换至所述第一集群;第三置换模块,用于下线所述第二集群的原备用管理节点,并将其ip置换至所述第二集群的新备用管理节点;第二倒换模块,用于将所述第二集群的新备用管理节点倒换为所述第二集群的新主用管理节点;第四置换模块,用于下线所述第二集群的原主用管理节点,并将其ip置换至所述第二集群的倒换后的新备用管理节点;第二上线模块,用于将所述第二集群的所有数据节点在迁移后重新上线。9.一种计算机设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,其特征在于,所述计算机程序被所述处理器运行时,执行根据权利要求1-7任意一项所述方法的指令。10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被计算机设备的处理器运行时,执行根据权利要求1-7任意一项所述方法的指令。
技术总结
本说明书涉及大数据技术领域,提供了一种联机服务集群迁移方法、装置、设备及存储介质,该方法包括:在进行联机服务集群迁移时,先迁移备用集群再迁移主用集群;且在迁移备用集群和主用集群时,均先迁移备用管理节点,再迁移主用管理节点,最后迁移数据节点。本说明书实施例可以大幅降低或避免联机服务集群在迁移时的服务中断风险。时的服务中断风险。时的服务中断风险。
技术研发人员:杨嘉欣 赵同 梁晔华 胡玉杰
受保护的技术使用者:中国工商银行股份有限公司
技术研发日:2023.06.26
技术公布日:2023/9/23
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/