一种数据处理方法、装置、计算机设备及存储介质与流程
未命名
09-15
阅读:86
评论:0

1.本公开涉及计算机技术领域,具体而言,涉及一种数据处理方法、装置、计算机设备及存储介质。
背景技术:
2.随着数据量的越来越大,在数据查询领域,为了提升数据查询的高可用性,一般的会对数据查询系统进行备份,即会部署一套主数据系统,一套备份数据系统,当主数据系统出现故障时,启动备份数据系统进行数据处理和查询。然而这种方法中,可能会由于启动备份数据处理系统耗费较多时间,从而导致无法及时进行数据查询。
技术实现要素:
3.本公开实施例至少提供一种数据处理方法、装置、计算机设备及存储介质。
4.第一方面,本公开实施例提供了一种数据处理方法,包括:
5.获取待处理的用户交互数据;
6.将所述用户交互数据输入至第一主处理系统和第二备份处理系统,以通过所述第一主处理系统和所述第二备份处理系统同时对所述用户交互数据进行处理,其中,所述第一主处理系统的第一逻辑代码包括所述第二备份处理系统的第二逻辑代码;
7.在接收到数据查询请求之后,在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。
8.一种可能的实施方式中,所述检查到所述第一主处理系统出现故障包括:
9.无法从第一主处理系统获取数据,或者,从所述第一主处理系统获取数据的时长超过预设时长,或者,接收到针对从所述第一主处理系统获取的数据的报错指令。
10.一种可能的实施方式中,所述方法还包括:
11.在检测到所述第一主处理系统的逻辑代码进行更新之后,在满足预设更新条件的情况下,基于所述第一主处理系统更新后的逻辑代码,对所述第二备份处理系统内的逻辑代码进行更新。
12.一种可能的实施方式中,所述预设更新条件包括:
13.所述第一主处理系统更新后的逻辑代码运行时间超过预设时间,且未检测到所述第一主处理系统出现故障。
14.一种可能的实施方式中,所述第一主处理系统和所述第二备份处理系统通过以下方法对所述用户交互数据进行处理:
15.按照各数据指标对应的数据处理方法对所述用户交互数据进行处理,得到初始数据;
16.分别按照各预设聚合粒度对所述初始数据进行聚合,得到各预设聚合粒度下的聚合数据。
17.一种可能的实施方式中,所述第二备份处理系统的预设聚合粒度包括至少一个第
一聚合粒度,所述第一主处理系统的预设聚合粒度包括所述至少一个第一聚合粒度和至少一个第二聚合粒度,所述第一聚合粒度的重要度高于所述第二聚合粒度。
18.一种可能的实施方式中,所述在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据,包括:
19.在检测到所述第一主处理系统出现故障,且所述数据查询请求的查询字段为所述第一聚合粒度下的字段的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。
20.第二方面,本公开实施例还提供一种数据处理装置,包括:
21.获取模块,用于获取待处理的用户交互数据;
22.输入模块,用于将所述用户交互数据输入至第一主处理系统和第二备份处理系统,以通过所述第一主处理系统和所述第二备份处理系统同时对所述用户交互数据进行处理,其中,所述第一主处理系统的第一逻辑代码包括所述第二备份处理系统的第二逻辑代码;
23.查询模块,用于在接收到数据查询请求之后,在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。
24.第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
25.第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
26.本公开实施例提供的数据处理方法、装置、计算机设备及存储介质中,在获取到待处理的用户交互数据之后,第一主处理系统和第二备份处理系统同时运行,同时对接收到的用户交互数据进行处理,这样在接收到数据查询请求之后,在检测到第一主处理系统出现故障的情况下,由于第二备份处理系统也是在同步运行,且同步进行用户交互数据的处理的,因此第二备份处理系统可以快速的响应数据查询请求,从而解决进行数据查询时的数据延迟问题,提升处理系统的可用性。
27.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
28.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
29.图1示出了本公开实施例所提供的一种数据处理方法的流程图;
30.图2示出了本公开实施例所提供的一种数据处理方法的整体流程图;
31.图3示出了本公开实施例所提供的一种数据处理装置的架构示意图;
32.图4示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
33.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
34.经研究发现,相关技术中,在对系统进行备份之后,一般时在主数据系统出现故障时,才会启动备份数据系统,备份数据系统一方面启动需要耗费一定的时间,另一方面在启动之后需要进行数据处理才能获取到数据查询结果,数据处理的过程又会耗费一定的时间,因此,这种方法在主数据系统出现故障的情况下,数据延迟较长。
35.基于上述研究,本公开提供了一种数据处理方法、装置、计算机设备及存储介质,在获取到待处理的用户交互数据之后,第一主处理系统和第二备份处理系统同时运行,同时对接收到的用户交互数据进行处理,这样在接收到数据查询请求之后,在检测到第一主处理系统出现故障的情况下,由于第二备份处理系统也是在同步运行,且同步进行用户交互数据的处理的,因此第二备份处理系统可以快速的响应数据查询请求,从而解决进行数据查询时的数据延迟问题,提升处理系统的可用性。
36.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
37.本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
38.可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
39.例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
40.作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
41.可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现
方式构成限定,其它满足相关法律法规的方式也可应用于本公开的实现方式中。
42.为便于对本实施例进行理解,首先对本公开实施例所公开的一种数据处理方法进行详细介绍,本公开实施例所提供的数据处理方法的执行主体一般为服务器。
43.参见图1所示,为本公开实施例提供的一种数据处理方法的流程图,所述方法包括步骤101~步骤103,其中:
44.步骤101、获取待处理的用户交互数据.
45.步骤102、将所述用户交互数据输入至第一主处理系统和第二备份处理系统,以通过所述第一主处理系统和所述第二备份处理系统同时对所述用户交互数据进行处理,其中,所述第一主处理系统的第一逻辑代码包括所述第二备份处理系统的第二逻辑代码。
46.步骤103、在接收到数据查询请求之后,在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。
47.以下是针对上述步骤的详细说明。
48.针对步骤101、
49.所述待处理的用户交互数据可以是某应用程序或某平台的多个在线用户产生的交互数据,可以是特定时间区间产生的交互数据,例如可以是当前时刻之前的预设时间范围内的交互数据。
50.所述用户交互数据可以是指用于进行数据分析的特定的交互数据,例如可以是用户的观看数据、点击数据、下载数据等。不同的数据处理系统获取的用户交互数据可以不同,具体的获取何种用户交互数据可以根据实际情况进行设定。
51.针对步骤102、
52.一种可能的实施方式中,所述第一主处理系统和所述第二备份处理系统可以是部署在不同设备上的处理系统,例如所述第一主处理系统可以部署在机房a,所述第二备份处理系统可以部署在机房b,所述第一主处理系统和第二备份处理系统在进行数据处理时,二者互不影响,互不打扰。
53.所述逻辑代码可以是指处理系统在进行数据处理时所需要运行的代码,所述第一主处理系统的第一逻辑代码包括所述第二备份处理系统的第二逻辑代码。可选地,所述第一主处理系统的第一主逻辑代码可以是与所述第二备份处理系统的第二逻辑代码完全相同;又或者,所述第二备份处理系统的第二逻辑代码可以是所述第一主处理系统的第一逻辑代码中的部分代码。
54.一种可选的实施方式中,在所述第二备份处理系统的第二逻辑代码是,所述第一主处理系统的第一逻辑代码中的部分代码的情况下,所述第二逻辑代码可以是从所述第一逻辑代码中自动同步过去的,具体的将所述第一逻辑代码中的哪些代码作为所述第二逻辑代码同步至第二备份处理系统,可以是与具体的处理任务相关。
55.具体的,在将所述待处理的用户交互数据分别输入至所述第一主处理系统和所述第二备份处理系统之后,所述第一主处理系统和所述第二备份处理系统可以根据以下方法对所述用户交互数据进行处理:
56.步骤a1、按照各数据指标对应的数据处理方法对所述用户交互数据进行处理,得到初始数据。
57.步骤a2、分别按照各预设聚合维度对所述初始数据进行聚合,得到各预设聚合维
度下的聚合数据。
58.所述数据指标可以是指用于衡量业务或产品表现的度量标准,例如可以包括点击次数、完播次数、分享次数等。不同数据指标对应的数据处理方法可以不同。
59.例如,针对“播放次数”这一数据指标,其对应的数据处理方法可以是:播放时间超过3秒视为一次播放。因此,针对播放次数这一数据指标,在对所述用户交互数据进行预处理时,可以确定各条用户交互数据中的播放时长,在播放时长超过3秒的情况下,可以将该条用户交互数据的播放次数标记为1,否则,可以将该条用户交互数据的播放次数标记为0。
60.一种可能的实施方式中,为了提高处理系统的稳定性,在所述第一主处理系统中,可以通过多个任务队列来执行上述各个数据指标的加工过程(即按照对应的数据处理方法处理用户交互数据的过程)。
61.示例性的,所述多个任务队列可以包括队列1和队列2,队列1可以用于加工重要度高于第一预设值的数据指标,队列2可以用于加工重要度小于等于所述第一预设值的数据指标。其中,各个数据指标的重要度可以是预先设置好的。
62.一种可能的实施方式中,每个预设聚合粒度可以包括多个高频查询字段,所述按照各预设聚合粒度对所述初始数据进行聚合,可以是指按照各预设聚合粒度下的高频查询字段对所述初始数据进行聚合。
63.其中,查询字段包括查询维度和查询指标,所述查询指标可以某一项数据指标,所述查询维度可以是用于限定所述查询字段的维度,例如可以包括待筛选的数据对应的用户的属性信息,或者可以包括待筛选的数据的属性信息(如数据产生时间等)。
64.需要说明的是,上述用户的属性信息时经过用户合法授权后获取的,例如可以用户在注册时注册的。
65.一种可能的实施方式中,所述第二备份处理系统的预设聚合粒度包括至少一个第一聚合粒度,所述第一主处理系统的预设聚合粒度包括所述至少一个第一聚合粒度和至少一个第二聚合粒度,所述第一聚合粒度的重要度高于所述第二聚合粒度。
66.这里,各个聚合粒度的重要度可以是预先设置的,或者,各个聚合粒度的重要度可以是基于用户的搜索频率设置的,搜索频率高的字段所在的聚合粒度的重要度较高,搜索频率较低的字段所在的聚合粒度的重要度较低。
67.相应的,对照上述逻辑代码同步,在将所述第一逻辑代码同步至所述第二备份处理系统时,可以将所述第二聚合粒度对应的逻辑代码作为所述第二逻辑代码,并同步至所述第二备份处理系统。
68.实际应用中,各个聚合粒度的重要度可以跟随用户的搜索频率而改变,因此,所述第二备份处理系统的逻辑代码也可以不是一成不变的,即所述第二备份处理系统的第二逻辑代码也可以跟随各个聚合粒度的字段的搜索频率的改变而改变。例如可以将重要度排在前n位的聚合粒度对应的逻辑代码作为所述第二逻辑代码同步至所述第二备份处理系统,随着用户的搜索频率,若重要度排在前n位的聚合粒度发生了改变,则相应的可以基于更新后的前n位的聚合粒度的逻辑代码,对所述第二备份系统的逻辑代码进行更新。
69.在另外一种可能的实施方式中,为了提高各个聚合粒度的聚合效率,可以在按照各数据指标对应的数据处理方法对所述用户交互数据进行处理,得到初始数据之后,可以先按照最小预设聚合粒度对所述初始数据进行预聚合,然后再分别按照各预设聚合粒度,
在预聚合的初始数据的基础上进行再聚合,得到各预设聚合粒度下的聚合数据。
70.其中,所述最小预设聚合粒度示例性的可以是小于所述预设聚合粒度的任一粒度。
71.需要说明的是,上述第一主处理系统和所述第二备份处理系统由于是部署在不同位置的,因此,所述第一主处理系统和所述第二备份处理系统的参数配置文件是不同的。
72.一种可能的场景中,所述处理系统的功能可能会有所更新,但是更新的功能在部署至处理系统之后,可能会与处理系统的其他组件有所冲突,或新功能的逻辑代码本身就具有问题,因此在将更新的功能的逻辑代码部署至处理系统之后,可能会导致处理系统出现故障。若同时对所述第一主处理系统和所述第二备份处理系统都部署更新的功能的逻辑代码,则可能导致第一主处理系统和第二备份处理系统同时出现故障,进而导致无法进行数据查询。
73.由于所述第二备份处理系统的逻辑代码是自动从所述第一主处理系统的第一逻辑代码同步过去的,因此,本公开提供一种可选地实施方案,在检测到所述第一主处理系统的逻辑代码进行更新之后,在满足预设更新条件的情况下,再基于所述第一主处理系统更新后的逻辑代码,对所述第二备份处理系统内的逻辑代码进行更新。
74.这里,所述预设更新条件可以包括所述第一主处理系统更新后的逻辑代码运行时间超过预设时间,且未检测到所述第一主处理系统出现故障。
75.这样设置更新条件的目的在于,保证更新后的逻辑代码在所述第一主处理系统运行一段时间之后能够正常运行,因此,在这种情况下在将更新后的逻辑代码更新至所述第二备份处理系统,可以降低第二备份处理系统出现故障的概率,进而保证处理系统的高可用性。
76.针对步骤103、
77.一种可能的实施方式中,所述检测到所述第一主处理系统出现故障可以包括:无法从第一主处理系统获取数据,或者,从所述第一主处理系统获取数据的时长超过预设时长,或者,接收到针对从所述第一主处理系统获取的数据的报错指令。
78.这里,所述无法从第一主处理系统获取数据可以是指,从所述第一主处理系统获取的数据为空;所述从所述第一主处理系统获取数据的时长超过预设时长可以是指,向所述第一主处理系统发送数据获取请求的时刻,与接收到所述第一主处理系统返回的数据的时刻之间的时间间隔长度超过所述预设时长。
79.所述接收到数据报错指令,可以是指接收到用户端反馈的报错指令。实际应用中,单个用户的报错指令可能不准确,因此,所述接收到针对从所述第一主处理系统获取的数据的报错指令,可以是指在预设时间段内接收到超过k条,针对从所述第一主处理系统获取的数据的报错指令,其中,k为预设正整数。
80.通过这种方式,在对所述第一主处理系统的运行情况进行监控时,结合了用户端的反馈情况,防止第一主处理系统的处理逻辑出现故障,便于及时在所述第一主处理系统出现故障时,切换至所述第二备份处理系统,提升了数据的可靠性。
81.延续步骤102中所述,在所述第一主处理系统的预设聚合粒度包括,所述第二备份处理系统包括的至少一个第一聚合粒度和,所述第二备份处理系统不包括的至少一个第二聚合粒度的情况下,在所述第一主处理系统出现故障的情况下,切换至所述第二备份处理
系统的目的在于从所述第二备份处理系统获取数据,若所述第二备份处理系统本身并不包含数据查询请求所包含的数据,此刻即使进行了系统切换也无法获取到数据。
82.因此,在检测到所述第一主处理系统出现故障的情况下,在从所述第二备份处理系统获取与所述数据查询请求对应的目标数据时,可以是在检测到所述第一主处理系统出现故障,且所述数据查询请求的查询字段为所述第一聚合粒度下的字段的情况下,再从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。
83.若所述数据查询请求的查询字段不为所述第一聚合粒度下的字段,则可以直接反馈用于指示系统故障的指示信息,以提示用户稍后查询。例如可以向用户发送“系统故障,请稍后查询”的指示信息。
84.可选地,可以预先设置所述第一主处理系统和所述第二备份处理系统的查询优先级,在所述第一主处理系统未出现故障的情况下,所述第一主处理系统的查询优先级高于所述第二备份处理系统,在接收到任一数据查询请求之后,可以从查询优先级较高的第一主处理系统中进行数据查询。在检测到所述第一主处理系统出现故障的情况下,可以调整所述第一主处理系统的查询优先级,所述第一主处理系统的查询优先级低于所述第二备份处理系统,在接收到任一数据查询请求之后,可以直接从查询优先级较高的所述第二备份处理系统进行数据查询。
85.一种可能的实施方式中,在检测到所述第一主处理系统出现故障的情况下,可以向目标用户端发送故障信息,以提示尽快对所述第一主处理系统进行维护。其中,所述目标用户端例如可以是指运维用户端。
86.下面结合具体的流程图,对上述数据处理方法的整体流程进行介绍。参见图2所示,为本公开实施例提供的一种数据处理方法的整体流程图,包括:
87.在获取到用户交互数据之后,用户交互数据分别输入至第一主处理系统和第二备份处理系统。
88.所述第一主处理系统和所述第二备份处理系统,可以先按照各数据指标对应的数据处理方法对所述用户交互数据进行处理(即图中所述数据指标加工),得到初始数据,然后将初始数据按照最小聚合粒度进行预聚合后输入至各个聚合模块中。
89.每个聚合模块用于执行对应的聚合任务,所述第一主处理系统包括粒度1聚合任务、粒度2聚合任务、粒度3聚合任务、粒度4聚合任务;所述第二备份处理系统包括粒度1聚合任务、粒度2聚合任务、粒度3聚合任务,每个聚合任务在聚合完成后,可以有单独的存储模块进行数据存储。
90.多个查询平台(即图中平台1、平台2、平台3、平台4)可以通过统一查询服务,从所述存储模块中查询数据,并且可以通过判断模块来判断从第一主处理系统还是从第二备份处理系统获取数据。
91.关于上述步骤的详细描述参照图1的具体介绍,在此不再赘述。
92.需要说明的是,上述处理系统可以是实时性要求较高的系统,例如可以是广告数据处理系统,用户需要根据实时数据对广告投放计划进行调整,因此,第二备份处理系统需要与第一主处理系统一起同步运行,以确保处理系统的高可用,以及低延迟。对于其他应用的实时性要求较高的系统,上述方法也同样适用,本公开并不限制。
93.本公开提供的上述数据处理方法中,在获取到待处理的用户交互数据之后,第一
主处理系统和第二备份处理系统同时运行,同时对接收到的用户交互数据进行处理,这样在接收到数据查询请求之后,在检测到第一主处理系统出现故障的情况下,由于第二备份处理系统也是在同步运行,且同步进行用户交互数据的处理的,因此第二备份处理系统可以快速的响应数据查询请求,从而解决进行数据查询时的数据延迟问题,提升处理系统的可用性。
94.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
95.基于同一发明构思,本公开实施例中还提供了与数据处理方法对应的数据处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
96.参照图3所示,为本公开实施例提供的一种数据处理装置的架构示意图,所述装置包括:获取模块301、输入模块302、查询模块303;其中,
97.获取模块301,用于获取待处理的用户交互数据;
98.输入模块302,用于将所述用户交互数据输入至第一主处理系统和第二备份处理系统,以通过所述第一主处理系统和所述第二备份处理系统同时对所述用户交互数据进行处理,其中,所述第一主处理系统的第一逻辑代码包括所述第二备份处理系统的第二逻辑代码;
99.查询模块303,用于在接收到数据查询请求之后,在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。
100.一种可能的实施方式中,所述检查到所述第一主处理系统出现故障包括:
101.无法从第一主处理系统获取数据,或者,从所述第一主处理系统获取数据的时长超过预设时长,或者,接收到针对从所述第一主处理系统获取的数据的报错指令。
102.一种可能的实施方式中,所述装置还包括更新模块304,用于:
103.在检测到所述第一主处理系统的逻辑代码进行更新之后,在满足预设更新条件的情况下,基于所述第一主处理系统更新后的逻辑代码,对所述第二备份处理系统内的逻辑代码进行更新。
104.一种可能的实施方式中,所述预设更新条件包括:
105.所述第一主处理系统更新后的逻辑代码运行时间超过预设时间,且未检测到所述第一主处理系统出现故障。
106.一种可能的实施方式中,所述第一主处理系统和所述第二备份处理系统通过以下方法对所述用户交互数据进行处理:
107.按照各数据指标对应的数据处理方法对所述用户交互数据进行处理,得到初始数据;
108.分别按照各预设聚合粒度对所述初始数据进行聚合,得到各预设聚合粒度下的聚合数据。
109.一种可能的实施方式中,所述第二备份处理系统的预设聚合粒度包括至少一个第一聚合粒度,所述第一主处理系统的预设聚合粒度包括所述至少一个第一聚合粒度和至少一个第二聚合粒度,所述第一聚合粒度的重要度高于所述第二聚合粒度。
110.一种可能的实施方式中,所述在检测到所述第一主处理系统出现故障的情况下,所述查询模块303,在从所述第二备份处理系统获取与所述数据查询请求对应的目标数据时,用于:
111.在检测到所述第一主处理系统出现故障,且所述数据查询请求的查询字段为所述第一聚合粒度下的字段的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。
112.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
113.基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图4所示,为本公开实施例提供的计算机设备400的结构示意图,包括处理器401、存储器402、和总线403。其中,存储器402用于存储执行指令,包括内存4021和外部存储器4022;这里的内存4021也称内存储器,用于暂时存放处理器401中的运算数据,以及与硬盘等外部存储器4022交换的数据,处理器401通过内存4021与外部存储器4022进行数据交换,当计算机设备400运行时,处理器401与存储器402之间通过总线403通信,使得处理器401在执行以下指令:
114.获取待处理的用户交互数据;
115.将所述用户交互数据输入至第一主处理系统和第二备份处理系统,以通过所述第一主处理系统和所述第二备份处理系统同时对所述用户交互数据进行处理,其中,所述第一主处理系统的第一逻辑代码包括所述第二备份处理系统的第二逻辑代码;
116.在接收到数据查询请求之后,在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。
117.一种可能的实施方式中,处理器401执行的指令中,所述检查到所述第一主处理系统出现故障包括:
118.无法从第一主处理系统获取数据,或者,从所述第一主处理系统获取数据的时长超过预设时长,或者,接收到针对从所述第一主处理系统获取的数据的报错指令。
119.一种可能的实施方式中,处理器401执行的指令中,所述方法还包括:
120.在检测到所述第一主处理系统的逻辑代码进行更新之后,在满足预设更新条件的情况下,基于所述第一主处理系统更新后的逻辑代码,对所述第二备份处理系统内的逻辑代码进行更新。
121.一种可能的实施方式中,处理器401执行的指令中,所述预设更新条件包括:
122.所述第一主处理系统更新后的逻辑代码运行时间超过预设时间,且未检测到所述第一主处理系统出现故障。
123.一种可能的实施方式中,处理器401执行的指令中,所述第一主处理系统和所述第二备份处理系统通过以下方法对所述用户交互数据进行处理:
124.按照各数据指标对应的数据处理方法对所述用户交互数据进行处理,得到初始数据;
125.分别按照各预设聚合粒度对所述初始数据进行聚合,得到各预设聚合粒度下的聚合数据。
126.一种可能的实施方式中,处理器401执行的指令中,所述第二备份处理系统的预设聚合粒度包括至少一个第一聚合粒度,所述第一主处理系统的预设聚合粒度包括所述至少
一个第一聚合粒度和至少一个第二聚合粒度,所述第一聚合粒度的重要度高于所述第二聚合粒度。
127.一种可能的实施方式中,处理器401执行的指令中,所述在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据,包括:
128.在检测到所述第一主处理系统出现故障,且所述数据查询请求的查询字段为所述第一聚合粒度下的字段的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。
129.本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的数据处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
130.本公开实施例还提供一种计算机程序产品,该计算机产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的数据处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
131.其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
132.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
133.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
134.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
135.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存
储程序代码的介质。
136.最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
技术特征:
1.一种数据处理方法,其特征在于,包括:获取待处理的用户交互数据;将所述用户交互数据输入至第一主处理系统和第二备份处理系统,以通过所述第一主处理系统和所述第二备份处理系统同时对所述用户交互数据进行处理,其中,所述第一主处理系统的第一逻辑代码包括所述第二备份处理系统的第二逻辑代码;在接收到数据查询请求之后,在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。2.根据权利要求1所述的方法,其特征在于,所述检查到所述第一主处理系统出现故障包括:无法从第一主处理系统获取数据,或者,从所述第一主处理系统获取数据的时长超过预设时长,或者,接收到针对从所述第一主处理系统获取的数据的报错指令。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:在检测到所述第一主处理系统的逻辑代码进行更新之后,在满足预设更新条件的情况下,基于所述第一主处理系统更新后的逻辑代码,对所述第二备份处理系统内的逻辑代码进行更新。4.根据权利要求3所述的方法,其特征在于,所述预设更新条件包括:所述第一主处理系统更新后的逻辑代码运行时间超过预设时间,且未检测到所述第一主处理系统出现故障。5.根据权利要求1所述的方法,其特征在于,所述第一主处理系统和所述第二备份处理系统通过以下方法对所述用户交互数据进行处理:按照各数据指标对应的数据处理方法对所述用户交互数据进行处理,得到初始数据;分别按照各预设聚合粒度对所述初始数据进行聚合,得到各预设聚合粒度下的聚合数据。6.根据权利要求5所述的方法,其特征在于,所述第二备份处理系统的预设聚合粒度包括至少一个第一聚合粒度,所述第一主处理系统的预设聚合粒度包括所述至少一个第一聚合粒度和至少一个第二聚合粒度,所述第一聚合粒度的重要度高于所述第二聚合粒度。7.根据权利要求6所述的方法,其特征在于,所述在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据,包括:在检测到所述第一主处理系统出现故障,且所述数据查询请求的查询字段为所述第一聚合粒度下的字段的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。8.一种数据处理装置,其特征在于,包括:获取模块,用于获取待处理的用户交互数据;输入模块,用于将所述用户交互数据输入至第一主处理系统和第二备份处理系统,以通过所述第一主处理系统和所述第二备份处理系统同时对所述用户交互数据进行处理,其中,所述第一主处理系统的第一逻辑代码包括所述第二备份处理系统的第二逻辑代码;查询模块,用于在接收到数据查询请求之后,在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述
处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的数据处理方法的步骤。10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一项所述的数据处理方法的步骤。
技术总结
本公开提供了一种数据处理方法、装置、计算机设备及存储介质,包括:获取待处理的用户交互数据;将所述用户交互数据输入至第一主处理系统和第二备份处理系统,以通过所述第一主处理系统和所述第二备份处理系统同时对所述用户交互数据进行处理,其中,所述第一主处理系统的第一逻辑代码包括所述第二备份处理系统的第二逻辑代码;在接收到数据查询请求之后,在检测到所述第一主处理系统出现故障的情况下,从所述第二备份处理系统获取与所述数据查询请求对应的目标数据。查询请求对应的目标数据。查询请求对应的目标数据。
技术研发人员:马永福 刘雪峰 葛凯文
受保护的技术使用者:北京有竹居网络技术有限公司
技术研发日:2023.06.20
技术公布日:2023/9/13
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/