清理数据获取方法、装置、电子设备及存储介质与流程
未命名
10-08
阅读:71
评论:0

1.本技术涉及数据处理技术领域,更具体的说,是涉及一种清理数据获取方法、装置、电子设备及存储介质。
背景技术:
2.在金融行业中,对于不再授信的客户,其相关的客户信息会被清理,其中,客户信息存在于数据主表和关联数据表中,就需要对数据主表和关联数据表中需要清理的数据进行清理。对于数据主表,工作人员会设置需要清理的数据,对于关联数据表,则需要先确定与数据主表之间的关联关系,进而根据关联关系和数据主表中需要清理的数据,确定关联数据表中需要清理的数据。
3.由于关联数据表与数据主表最初可能不存在关联关系,此时就需要通过一个与数据主表和关联数据表均存在关联关系的数据表,来建立数据主表与关联数据表的关联关系。
4.但是,建立关联关系的过程复杂度较高,这就导致数据清理的过程复杂度更高,使得数据清理消耗时间长,进而导致数据清理效率低。
技术实现要素:
5.鉴于上述问题,提出了本技术以便提供一种清理数据获取方法、装置及电子设备,以实现对阅读理解任务的处理。具体方案如下:
6.一种清理数据获取方法,所述方法包括:
7.获取第一数据表、第二数据表和第三数据表;
8.其中,所述第一数据表与所述第二数据表之间对应有表征关联关系的第一关联字段,所述第二数据表和所述第三数据表之间对应有表征关联关系的第二关联字段,所述第一数据表和所述第三数据表之间没有表征关联关系的关联字段;
9.根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据;
10.根据所述第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,所述第三清理数据用于对所述第三数据表进行清理。
11.可选的,获取第一数据表、第二数据表和第三数据表,包括:
12.获取第一数据表;
13.根据所述第一数据表的名称在配置信息集合中进行查找,以得到第一信息,所述配置信息集合包含多个数据表对应的配置信息,所述第一数据表的名称与所述第一信息相对应;
14.获取所述第一信息对应的数据表,以得到所述第二数据表;
15.根据所述第二数据表的名称在所述配置信息集合中进行查找,以得到第二信息,所述第二数据表的名称与所述第二信息相对应;
16.获取所述第二信息对应的数据表,以得到所述第三数据表。
17.可选的,根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据,包括:
18.在所述第一数据表对应的第一清理数据中,查找与所述第一关联字段对应的第一关联数据;
19.将所述第一关联数据作为关键词,在所述第二数据表中进行查找,以得到所述第二清理数据。
20.可选的,根据所述第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,包括:
21.在所述第二清理数据中,查找与所述第二关联字段对应的第二关联数据;
22.将所述第二关联数据作为关键词,在所述第三数据表中进行查找,以得到所述第三清理数据。
23.可选的,还包括:
24.根据所述第三数据表的名称在配置信息集合中进行查找,以得到查找结果,所述配置信息集合包含多个数据表对应的配置信息;
25.在所述查找结果表征不存在与所述第三数据表的名称相对应的配置信息的情况下,对所述第三数据表中,与所述第三清理数据一致的数据进行清理。
26.可选的,还包括:
27.记录所述第三数据表的清理日志,所述清理日志为针对所述第三数据表执行的数据清理操作相对应的数据。
28.可选的,还包括:
29.获取所述第三数据表的清理结果,所述清理结果表征所述第三数据表是否被清理成功。
30.一种清理数据获取装置,包括:
31.数据表获取单元,用于获取第一数据表、第二数据表和第三数据表;
32.其中,所述第一数据表与所述第二数据表之间对应有表征关联关系的第一关联字段,所述第二数据表和所述第三数据表之间对应有表征关联关系的第二关联字段,所述第一数据表和所述第三数据表之间没有表征关联关系的关联字段;
33.第一数据获取单元,用于根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据;
34.第二数据获取单元,用于根据所述第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,所述第三清理数据用于对所述第三数据表进行清理。
35.一种电子设备,包括:存储器和处理器;
36.所述存储器,用于存储程序;
37.所述处理器,用于执行所述程序,以实现:获取第一数据表、第二数据表和第三数据表;其中,所述第一数据表与所述第二数据表之间对应有表征关联关系的第一关联字段,所述第二数据表和所述第三数据表之间对应有表征关联关系的第二关联字段,所述第一数据表和所述第三数据表之间没有表征关联关系的关联字段;根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据;根据所述
第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,所述第三清理数据用于对所述第三数据表进行清理。
38.一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,以实现:获取第一数据表、第二数据表和第三数据表;其中,所述第一数据表与所述第二数据表之间对应有表征关联关系的第一关联字段,所述第二数据表和所述第三数据表之间对应有表征关联关系的第二关联字段,所述第一数据表和所述第三数据表之间没有表征关联关系的关联字段;根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据;根据所述第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,所述第三清理数据用于对所述第三数据表进行清理。
39.借由上述技术方案,本技术首先获取第一数据表、第二数据表和第三数据表,其中,第一数据表与第二数据表之间对应有表征关联关系的第一关联字段,第二数据表和第三数据表之间对应有表征关联关系的第二关联字段,第一数据表和第三数据表之间没有表征关联关系的关联字段,根据第一数据表对应的第一清理数据以及第一关联字段,获取第二数据表对应的第二清理数据,进而根据第二清理数据以及第二关联字段,获取第三数据表对应的第三清理数据,第三清理数据用于对第三数据表进行清理。由此可见,本技术通过预设的第一数据表的清理数据,以及已知的第一数据表和第二数据表之间表征关联关系的关联字段,可以获得第二数据表的清理数据,进而根据第二数据表的清理数据,以及已知的第二数据表和第三数据表之间表征关联关系的关联字段,就可以得到第三数据表的清理数据,由此,不需要通过第二数据表,确定第一数据表和第三数据表之间的关联关系,降低数据清理的复杂度,减少数据清理过程中消耗的时间,提高数据清理的效率。
附图说明
40.通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本技术的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
41.图1为本技术实施例一提供的清理数据获取方法的一流程示意图;
42.图2为本技术实施例一提供的数据表获取方法的一流程示意图;
43.图3为本技术实施例一提供的第二清理数据获取方法的一流程示意图;
44.图4为本技术实施例一提供的第三清理数据获取方法的一流程示意图;
45.图5为本技术实施例一提供的清理数据获取方法的另一流程示意图;
46.图6为本技术实施例一提供的清理数据获取方法的又一流程示意图;
47.图7为本技术实施例一提供的清理数据获取方法的又一流程示意图之一;
48.图8为本技术实施例二提供的一种清理数据获取装置结构示意图;
49.图9为本技术实施例二提供的另一种清理数据获取装置结构示意图;
50.图10为本技术实施例二提供的又一种清理数据获取装置结构示意图;
51.图11为本技术实施例二提供的又一种清理数据获取装置结构示意图之一;
52.图12为本技术实施例三提供的一种电子设备的结构示意图;
53.图13为本技术提供的一种数据表关联关系示意图;
54.图14为本技术提供的数据表关联关系的另一示意图;
55.图15为本技术提供的清理数据获取方法的一流程示意图;
56.图16为本技术提供的一种数据表关联关系的另一示意图。
具体实施方式
57.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
58.本技术提供了一种清理数据获取方案,本技术通过预设的第一数据表的清理数据,以及已知的第一数据表和第二数据表之间表征关联关系的关联字段,可以获得第二数据表的清理数据,进而根据第二数据表的清理数据,以及已知的第二数据表和第三数据表之间表征关联关系的关联字段,就可以得到第三数据表的清理数据,由此,不需要通过第二数据表,确定第一数据表和第三数据表之间的关联关系,降低数据清理的复杂度,减少数据清理过程中消耗的时间,提高数据清理的效率。
59.本发明提供的清理数据获取方法、装置、电子设备及存储介质可用于金融领域或其他领域,例如,可用于金融领域中的对于失效客户信息的删除。其他领域为除金融领域之外的任意领域,例如,数据计算技术领域。上述仅为示例,并不对本发明提供的清理数据获取方法、装置、电子设备及存储介质的应用领域进行限定。
60.本技术方案可以基于具备数据处理能力的电子设备实现,该电子设备可以是电脑、本地服务器、云端服务器等。
61.接下来,结合图1所示,本技术实施例一提供的清理数据获取方法可以包括如下步骤:
62.步骤101、获取第一数据表、第二数据表和第三数据表。
63.其中,第一数据表与第二数据表之间对应有表征关联关系的第一关联字段,第二数据表和第三数据表之间对应有表征关联关系的第二关联字段,第一数据表和第三数据表之间没有表征关联关系的关联字段。
64.也就是说,第一数据表与第二数据表之间预先配置有第一关联字段,第二数据表与第三数据表之间预先配置有第二关联字段,但是第一数据表与第三数据表之间不存在关联字段。
65.例如,第一数据表可以包含客户的客户号,第二数据表可以包含客户的客户号和客户号对应的合同号,第三数据表可以包含合同号对应的账号,此时,第一关联字段为客户号,第二关联字段为合同号。
66.步骤102、根据第一数据表对应的第一清理数据以及第一关联字段,获取第二数据表对应的第二清理数据。
67.其中,第一清理数据为预先配置的,例如,清除数据可以是第一数据表中某一日期以前的客户对应的客户号,也可以是指定名单中客户对应的客户号。
68.例如,第一数据表包含客户的客户号,第二数据表包含客户的客户号和客户号对应的合同号,第一关联字段为客户号,此时,可以根据第一数据表中第一清理数据中的客户号,获取第二数据表中与第一清理数据中客户号对应的合同号,毕竟其作为第二清理数据。
69.步骤103、根据第二清理数据以及第二关联字段,获取第三数据表对应的第三清理数据。
70.其中,第三清理数据用于对第三数据表进行清理。
71.例如,第二数据表包含客户的客户号和客户号对应的合同号,第三数据表包含合同号对应的账号,且第二关联字段为合同号,第二清理数据已经确定,为第二数据表中的客户号,以及客户号对应的合同号,此时,根据第一清理数据中的合同号,获取第三数据表中与第二清理数据中合同号对应的账号,并将其作为第三清理数据。
72.由上述的方案可知,本技术实施例一提供的清理数据获取方法中,本技术通过预设的第一数据表的清理数据,以及已知的第一数据表和第二数据表之间表征关联关系的关联字段,可以获得第二数据表的清理数据,进而根据第二数据表的清理数据,以及已知的第二数据表和第三数据表之间表征关联关系的关联字段,就可以得到第三数据表的清理数据,由此,不需要通过第二数据表,确定第一数据表和第三数据表之间的关联关系,降低数据清理的复杂度,减少数据清理过程中消耗的时间,提高数据清理的效率。
73.在一种实现方式中,步骤101在获取第一数据表、第二数据表和第三数据表时,结合图2,具体包含如下步骤:
74.步骤201、获取第一数据表。
75.具体地,第一数据表可以是根据另一数据表的名称在配置信息集合中查找,得到配置信息,并根据配置信息得到的,第一数据表也可以是从数据库中获取。
76.步骤202、根据第一数据表的名称在配置信息集合中进行查找,以得到第一信息。
77.其中,配置信息集合包含多个数据表对应的配置信息,也就是说,本技术预先获取了与本次清理相关的所有数据表,所有数据表都预先配置有一个配置信息,配置信息至少包含有数据表的清理方式,该数据表的上层数据表的名称和上层数据表与该数据表之间表征关联关系的关联字段。其中,上层数据表可以理解为数据表a作为数据主表,获取与数据表a有关联关系的数据表时,得到了数据表b,这时数据表a为数据表b的上层数据表,查找与数据表b有关联关系的数据表时,可能得到数据表a和数据表c,此时只获取数据表c,此时数据表b为数据表c的上层数据表,相应的数据表c为数据表b的下层数据表。
78.其中,第一数据表的名称与第一信息相对应,也就是说第一信息中包含有第一数据表的名称。
79.步骤203、获取第一信息对应的数据表,以得到第二数据表。
80.具体地,在得到第一信息之后,就可以得到根据第一信息,查找第一信息对应的数据表。
81.步骤204、根据第二数据表的名称在配置信息集合中进行查找,以得到第二信息。
82.其中,第二数据表的名称与第二信息相对应,也就是说第二信息包含第二数据表的名称,由此,可以根据第二数据表的名称,在配置信息集合中,获取第二数据表对应的配置信息。
83.步骤205、获取第二信息对应的数据表,以得到第三数据表。
84.也就是说,在得到第二信息之后,就可以根据第二信息,查找到第二信息对应的数据表。
85.本技术实施例中,可以根据第一数据表的名称在配置信息结合中进行查找,并根
据得到的配置信息,获取与该配置信息相对应的数据表,就可以得到第二数据表,进而根据第二数据表的名称在配置信息集合中进行查找,并根据得到的配置信息,获取与该配置信息相对应的数据表,就得到了第三数据表。
86.在一种实现方式中,步骤102在获取第二数据表对应的第二清理数据时,结合图3,具体包含如下步骤:
87.步骤301、在第一数据表对应的第一清理数据中,查找与第一关联字段对应的第一关联数据。
88.以第一关联字段为客户号为例,根据客户号在第一清理数据中进行查找,得到客户号对应具体数据,例如,12345678、23456789等客户号,也就是第一关联数据。
89.步骤302、将第一关联数据作为关键词,在第二数据表中进行查找,以得到第二清理数据。
90.以得到的第一关联数据为12345678为例,将12345678作为关键词在第二数据表中进行查找,可以得到包含12345678的数据,例如,一条数据可以包含客户的客户号:12345678,也包含客户的合同号:234,该数据就会被获取,作为第二清理数据。
91.本技术实施例中,根据第一关联字段在第一清理数据中进行查找,可以得到第一关联字段对应的关联数据,进而根据关联数据在第二数据表中进行查找,就可以得到第二数据表中需要清理的数据。
92.在一种实现方式中,步骤103在获取第三数据表对应的第三清理数据,结合图4,具体包含如下步骤:
93.步骤401、在第二清理数据中,查找与第二关联字段对应的第二关联数据。
94.以第二关联字段为合同号为例,根据合同号在第二清理数据中进行查找,得到合同号对应具体数据,例如,123、789等合同号,也就是第二关联数据。
95.步骤402、将第二关联数据作为关键词,在第三数据表中进行查找,以得到第三清理数据。
96.以得到的第二关联数据为123为例,将123作为关键词在第三数据表中进行查找,可以得到包含123的数据,例如,一条数据可以包含客户的合同号:123,也包含客户的账号:1198,该数据就会被获取,作为第三清理数据。
97.本技术实施例中,根据第二关联字段在第二清理数据中进行查找,可以得到第二关联字段对应的关联数据,进而根据关联数据在第三数据表中进行查找,就可以得到第三数据表中需要清理的数据。
98.在一种实现方式中,在步骤103获取第三数据表对应的第三清理数据之后,结合图5,本实施例中的技术方案还可以包括如下步骤:
99.步骤104、根据第三数据表的名称在配置信息集合中进行查找,以得到查找结果。
100.其中,配置信息集合包含多个数据表对应的配置信息,查找结果表征是否存在与第三数据表的名称相对应的配置信息。
101.需要说明的是,在查找结果表征不存在与第三数据表的名称相对应的配置信息时,表征第三数据表不存在下层数据表。
102.步骤105、判断配置信息集合中是否存在与第三数据表的名称相对应的配置信息,在不存在与第三数据表的名称相对应的配置信息的情况下,执行步骤106,在存在与第三数
据表的名称相对应的配置信息的情况下,执行步骤107。
103.步骤106、对第三数据表中,与第三清理数据一致的数据进行清理。
104.具体地,可以按照第三数据表对应的配置信息中的清理方式进行清理,其中清理方式可以是整表删除、数据表中的记录删除或数据表中分区删除。
105.需要说明的是,在第三清理数据包含第三数据表中的全部数据时,可以将第三数据表删除。
106.步骤107、获取第三数据表对应的数据表。
107.具体地,获取第三数据表对应的配置信息,并根据配置信息获取第三数据表对应的下层数据表,并根据第三数据表和下层数据表之间表征关联关系的关联字段,以及第三清理数据确定第三数据表对应的下层数据表中的需要被清理的数据,之后再根据第三数据表的名称在配置信息集合中进行查找,判断是否存在下层数据表,直到不存在下层数据表,然后对数据表进行清理。
108.需要说明的是,本技术中在进行数据清理时,均需要判断该数据表是否存在下层数据表,在不存在的情况下,才可以删除,避免下层数据表还没有确定,就把上层数据表删除,导致数据删除不完全的情况。
109.本技术实施例中,在查找结果表征不存在与第三数据表的名称相对应的配置信息的情况下,对第三数据表中与第三清理数据一致的数据进行清理,确定了数据表执行清理操作的情况,以便对数据表进行清理。
110.在一种实现方式中,在步骤106对第三数据表中,与第三清理数据一致的数据进行清理之后,结合图6,本实施例中的技术方案还可以包括如下步骤:
111.步骤108、记录第三数据表的清理日志。
112.其中,清理日志为针对第三数据表执行的数据清理操作相对应的数据,例如,对第三数据表执行数据清理操作的时间,第三数据表删除的数据。
113.本技术实施例中,记录了针对第三数据表执行的数据清理操作相对应的数据,以便用户在错误删除的情况下找回数据,以及清理失败后分析出现错误的原因。
114.在一种实现方式中,在步骤106对第三数据表中,与第三清理数据一致的数据进行清理之后,结合图7,本实施例中的技术方案还可以包括如下步骤:
115.步骤109、获取第三数据表的清理结果。
116.其中,清理结果表征第三数据表是否被清理成功,清理结果可以包含清理成功和清理失败,对于清理失败还可以详细获取失败的原因,例如,第三数据表与第二数据表之间的第二关联字段缺失,此时,第三数据表不做清理,并输出清理失败的信息。
117.本技术实施例中,在对第三数据表及逆行清理结束之后,还获取了清理结果,以便提示用户第三数据表中的数据是否被清理成功。
118.下面对本技术实施例二提供的清理数据获取装置进行描述,下文描述的清理数据获取装置与上文描述的清理数据获取方法可相互对应参照。
119.参考图8,图8为本技术实施例公开的一种清理数据获取装置结构示意图。
120.如图8所示,该装置可以包括:
121.数据表获取单元801,用于获取第一数据表、第二数据表和第三数据表;
122.其中,第一数据表与第二数据表之间对应有表征关联关系的第一关联字段,第二
数据表和第三数据表之间对应有表征关联关系的第二关联字段,第一数据表和第三数据表之间没有表征关联关系的关联字段;
123.第一数据获取单元802,用于根据第一数据表对应的第一清理数据以及第一关联字段,获取第二数据表对应的第二清理数据;
124.第二数据获取单元803,用于根据第二清理数据以及第二关联字段,获取第三数据表对应的第三清理数据,第三清理数据用于对第三数据表进行清理。
125.由上述方案可知,本技术实施例二提供的一种清理数据获取装置,本技术通过预设的第一数据表的清理数据,以及已知的第一数据表和第二数据表之间表征关联关系的关联字段,可以获得第二数据表的清理数据,进而根据第二数据表的清理数据,以及已知的第二数据表和第三数据表之间表征关联关系的关联字段,就可以得到第三数据表的清理数据,由此,不需要通过第二数据表,确定第一数据表和第三数据表之间的关联关系,降低数据清理的复杂度,减少数据清理过程中消耗的时间,提高数据清理的效率
126.在一种实现方式中数据表获取单元801还用于获取第一数据表;根据第一数据表的名称在配置信息集合中进行查找,以得到第一信息,配置信息集合包含多个数据表对应的配置信息,第一数据表的名称与第一信息相对应;获取第一信息对应的数据表,以得到第二数据表;根据第二数据表的名称在配置信息集合中进行查找,以得到第二信息,第二数据表的名称与第二信息相对应;获取第二信息对应的数据表,以得到第三数据表。
127.在一种实现方式中,第一数据获取单元802还用于在第一清理数据中,查找与第一关联字段对应的第一关联数据;将第一关联数据作为关键词,在第二数据表中进行查找,以得到第二清理数据。
128.在一种实现方式中,第二数据获取单元803还用于在第二清理数据中,查找与第二关联字段对应的第二关联数据;将第二关联数据作为关键词,在第三数据表中进行查找,以得到第三清理数据。
129.在一种实现方式中,如图9所示的装置结构示意图,该装置还包括:
130.查找结果获取单元804,用于根据第三数据表的名称在配置信息集合中进行查找,以得到查找结果,配置信息集合包含多个数据表对应的配置信息。
131.清理单元805,用于在查找结果表征不存在与第三数据表的名称相对应的配置信息的情况下,对第三数据表中,与第三清理数据一致的数据进行清理。
132.在一种实现方式中,如图10所示的装置结构示意图,该装置还包括:
133.日志记录单元806,用于记录第三数据表的清理日志,清理日志为针对第三数据表执行的数据清理操作相对应的数据。
134.在一种实现方式中,如图11所示的装置结构示意图,该装置还包括:
135.结果记录单元807,用于获取第三数据表的清理结果,清理结果表征第三数据表是否被清理成功。
136.本技术实施例提供的清理数据获取装置可应用于电子设备,如:电脑、本地服务器、云端服务器等。可选的,图12示出了本技术实施例三提供的一种电子设备的硬件结构框图,参照图12,电子设备的硬件结构可以包括:至少一个处理器1201,至少一个通信接口1202,至少一个存储器1203和至少一个通信总线1204;
137.在本技术实施例中,处理器1201、通信接口1202、存储器1203、通信总线1204的数
量为至少一个,且处理器1201、通信接口1202、存储器1203通过通信总线1204完成相互间的通信;
138.处理器1201可能是一个中央处理器cpu,或者是特定集成电路asic(application specific integrated circuit),或者是被配置成实施本技术实施例的一个或多个集成电路等;
139.存储器1203可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatile memory)等,例如至少一个磁盘存储器;
140.其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
141.获取第一数据表、第二数据表和第三数据表;
142.其中,第一数据表与第二数据表之间对应有表征关联关系的第一关联字段,第二数据表和第三数据表之间对应有表征关联关系的第二关联字段,第一数据表和第三数据表之间没有表征关联关系的关联字段;
143.根据第一数据表对应的第一清理数据以及第一关联字段,获取第二数据表对应的第二清理数据;
144.根据第二清理数据以及第二关联字段,获取第三数据表对应的第三清理数据,第三清理数据用于对第三数据表进行清理。
145.可选的,所述程序的细化功能和扩展功能可参照上文描述。
146.本技术实施例四还提供一种存储介质,该存储介质可存储有适于处理器执行的程序,程序用于:
147.获取第一数据表、第二数据表和第三数据表;
148.其中,第一数据表与第二数据表之间对应有表征关联关系的第一关联字段,第二数据表和第三数据表之间对应有表征关联关系的第二关联字段,第一数据表和第三数据表之间没有表征关联关系的关联字段;
149.根据第一数据表对应的第一清理数据以及第一关联字段,获取第二数据表对应的第二清理数据;
150.根据第二清理数据以及第二关联字段,获取第三数据表对应的第三清理数据,第三清理数据用于对第三数据表进行清理。
151.可选的,所述程序的细化功能和扩展功能可参照上文描述。
152.结合以上本技术中提出的方案,以下对数据进行详细的举例说明。
153.银行的全球额度管控系统,管理着客户,金融客户,个人客户的授信额度,包括额度批复和额度使用。链接了我行上游授信额度审批系统和下游核心,商业汇票,贸易融资等用额系统。作为全球额度统一管理系统,为了适应部分国家监管需要,对于已经不再有授信或其他业务的客户,需要在指定失效时间后将这些客户信息及其业务信息进行数据清理。已有的实现方案中,各个数据表清理都是各自清理。如果涉及关联表清理,清理主表数据,会获取该表所有关联表的数据表,在清理规则中配置清理该关联表同主表的关联条件对该表进行清理。如果表有多个层级关联,结合图13,假如表关联关系是a表-》b表-》c表-》d表,其中,a表同c表,d表没直接关联关系,根据现有方案仍与要需要根据b表明确表a同c表之间的关联关系,根据c表明确a表同d表之间的关联关系,进而根据a表的清理条件,以及a表和b表之间的关联关系,获取b表的清理条件,根据a表的清理条件,以及a表和c表之间的关联关
系,获取c表的清理条件,进而根据a表的清理条件,以及a表和d表之间的关联关系,获取d表的清理条件,在清理顺序上需要给每个表设置编号表示删除顺序,从编号大的开始进行清理,也就是按d表-》c表-》b表-》a表的清理顺序进行清理,由此,主表需要明确知道所有同关联表的关联关系,由于主表和关联表之间建立关联关系的过程复杂,导致数据清理的过程复杂度更高,使得数据清理消耗时间长,进而导致数据清理效率低。其中,数据表中满足清理条件的数据为前文中的清理数据。
154.结合图14,本技术在已知表a的清理条件、表a与表b的关联关系、表b与表c的关联关系以及表c与表d的关联关系的情况下,根据表a的清理条件以及表a与表b的关联关系,就可以得到表b的清理条件,进而根据表b的清理条件以及表b与表c的关联关系,就可以得到表c的清理条件,根据表c的清理条件以及表c与表d的关联关系,就可以得到表d的清理条件,由此根据已知数据就可以得到c表的清理条件和d表的清理条件,不需要额外建立a表与c表的关联关系,降低数据清理的复杂度,减少数据清理过程中消耗的时间,提高数据清理的效率。
155.具体实现中,本技术提供的清理数据获取方法,可以通过如下几个部分组成:
156.一、设置配置信息
157.获取数据主表,并按照关联关系获取与数据主表存在关联关系的关联表,以及与关联表存在关联关系的关联表,进而为每个数据表设置配置信息,配置信息可以包含数据表的清理方式,例如,整表清理、表记录删除、分区清理,配置信息还可以包含数据表的清理条件,例如,将小于某个日期的删除,配置信息还可以包含关联字段,以及关联紧上层表的表名。其中,前文中的第一数据表可以是数据主表,由此,第二数据表为与第一数据表存在关联关系的关联表,第三数据表为与第二数据表存在关联关系的关联表;第一数据表也可以是关联表,由此,第二数据表为与第一数据表存在关联关系的关联表,第三数据表为与第二数据表存在关联关系的关联表。其中,第一数据表中满足第一数据表的清理条件的数据为前文中的第一清理数据,第二数据表中满足第二数据表的清理条件的数据为前文中的第二清理数据,第二数据表对应的配置信息中包含的关联字段为第一数据表与第二数据表之间的关联字段,也就是前文中的第一关联字段,第三数据表中满足第三数据表的清理条件的数据为前文中的第三清理数据,第三数据表对应的配置信息中包含的关联字段为第二数据表与第三数据表之间的关联字段,也就是前文中的第二关联字段。
158.需要说明的是,数据主表不需要配置关联紧上层表的表名,且每个数据表的清理条件可以在本部分配置,也可以不在本部分配置。
159.二、数据清理
160.结合图15,为数据清理执行流程示意图,具体包含如下几部分内容:
161.(1)获取待清理主表
162.(2)获取待清理主表配置信息中的清理条件
163.需要说明的是,根据数据表的清理条件就可以得到数据表中需要执行清理操作的数据。由此,根据待清理主表的清理条件就可以得到待清理主表中需要执行清理操作的数据。
164.(3)判断是否存在紧下层关联表,若不存在执行(4),若存在执行(5)。
165.具体地,根据数据主表的表名,在多个关联表对应的配置信息中进行查找,若能查
找到数据主表的紧下层关联表的配置信息,则表征存在紧下层关联表,若不能查找到数据主表的紧下层关联表的配置信息,则表征不存在紧下层关联表。其中,紧上层关联表同前文中的上层关联表,相应的紧下层关联表同前文中的下层关联表。
166.需要说明的是,若在执行(3)之前,得到了某个关联表的清理条件,则判断该关联表是否存在紧下层关联表。
167.(4)清理数据表
168.需要说明的是,若不存在紧下层数据表的数据表为数据主表,则对数据主表进行清理,若不存在紧下层数据表的数据表为关联表,则对关联表进行清理。
169.假设存在如图16的表关联关系,a为主表,采用该级联数据清理方法,数据表清理顺序为a11、a121、a12、a1、a2、a31、a3、a。
170.(5)根据数据主表的清理条件,以及紧下层数据表对应的配置信息中的关联字段,获取紧下层关联表的清理条件,返回执行(3),也就是判断数据表的紧下层数据表是否存在紧下层数据表。
171.三、设计清理状态关系信息
172.清理状态(即前文中的清理结果)至少需包括成功状态,失败状态,关联失败状态,并记录清理日志。
173.清理状态为清理失败的情况下,则紧上层数据表不清理并更新状态为关联失败状态。
174.基于上述的方法,本技术提供的清理数据获取方法可以包含数据清理配置器和数据清理执行器,具体执行内容如下:
175.数据清理配置器:主要是配置数据主表的配置信息和关联表的配置信息,配置信息包括但不限于数据清理方式,清理条件,关联表,字段关联关系。
176.数据清理执行器:主要功能是根据配置器配置信息,以主表为起始,按表关联关系依次从下往上执行数据表清理。
177.综上,本技术提供的清理数据获取方案可通过灵活配置方式完成级联数据表清理功能。开发人员只需要明确清理数据表的清理条件及同该表下级关联表的关系,配置后即可完成数据表级联清理工作,无需明确清理表同下下级关联表的关联关系。
178.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
179.本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间可以根据需要进行组合,且相同相似部分互相参见即可。
180.对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理
可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
技术特征:
1.一种清理数据获取方法,其特征在于,所述方法包括:获取第一数据表、第二数据表和第三数据表;其中,所述第一数据表与所述第二数据表之间对应有表征关联关系的第一关联字段,所述第二数据表和所述第三数据表之间对应有表征关联关系的第二关联字段,所述第一数据表和所述第三数据表之间没有表征关联关系的关联字段;根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据;根据所述第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,所述第三清理数据用于对所述第三数据表进行清理。2.根据权利要求1所述的方法,其特征在于,获取第一数据表、第二数据表和第三数据表,包括:获取第一数据表;根据所述第一数据表的名称在配置信息集合中进行查找,以得到第一信息,所述配置信息集合包含多个数据表对应的配置信息,所述第一数据表的名称与所述第一信息相对应;获取所述第一信息对应的数据表,以得到所述第二数据表;根据所述第二数据表的名称在所述配置信息集合中进行查找,以得到第二信息,所述第二数据表的名称与所述第二信息相对应;获取所述第二信息对应的数据表,以得到所述第三数据表。3.根据权利要求1所述的方法,其特征在于,根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据,包括:在所述第一数据表对应的第一清理数据中,查找与所述第一关联字段对应的第一关联数据;将所述第一关联数据作为关键词,在所述第二数据表中进行查找,以得到所述第二清理数据。4.根据权利要求1所述的方法,其特征在于,根据所述第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,包括:在所述第二清理数据中,查找与所述第二关联字段对应的第二关联数据;将所述第二关联数据作为关键词,在所述第三数据表中进行查找,以得到所述第三清理数据。5.根据权利要求1所述的方法,其特征在于,还包括:根据所述第三数据表的名称在配置信息集合中进行查找,以得到查找结果,所述配置信息集合包含多个数据表对应的配置信息;在所述查找结果表征不存在与所述第三数据表的名称相对应的配置信息的情况下,对所述第三数据表中,与所述第三清理数据一致的数据进行清理。6.根据权利要求5所述的方法,其特征在于,还包括:记录所述第三数据表的清理日志,所述清理日志为针对所述第三数据表执行的数据清理操作相对应的数据。7.根据权利要求5所述的方法,其特征在于,还包括:
获取所述第三数据表的清理结果,所述清理结果表征所述第三数据表是否被清理成功。8.一种清理数据获取装置,其特征在于,包括:数据表获取单元,用于获取第一数据表、第二数据表和第三数据表;其中,所述第一数据表与所述第二数据表之间对应有表征关联关系的第一关联字段,所述第二数据表和所述第三数据表之间对应有表征关联关系的第二关联字段,所述第一数据表和所述第三数据表之间没有表征关联关系的关联字段;第一数据获取单元,用于根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据;第二数据获取单元,用于根据所述第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,所述第三清理数据用于对所述第三数据表进行清理。9.一种电子设备,其特征在于,包括:存储器和处理器;所述存储器,用于存储程序;所述处理器,用于执行所述程序,以实现:获取第一数据表、第二数据表和第三数据表;其中,所述第一数据表与所述第二数据表之间对应有表征关联关系的第一关联字段,所述第二数据表和所述第三数据表之间对应有表征关联关系的第二关联字段,所述第一数据表和所述第三数据表之间没有表征关联关系的关联字段;根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据;根据所述第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,所述第三清理数据用于对所述第三数据表进行清理。10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,以实现:获取第一数据表、第二数据表和第三数据表;其中,所述第一数据表与所述第二数据表之间对应有表征关联关系的第一关联字段,所述第二数据表和所述第三数据表之间对应有表征关联关系的第二关联字段,所述第一数据表和所述第三数据表之间没有表征关联关系的关联字段;根据所述第一数据表对应的第一清理数据以及所述第一关联字段,获取所述第二数据表对应的第二清理数据;根据所述第二清理数据以及所述第二关联字段,获取所述第三数据表对应的第三清理数据,所述第三清理数据用于对所述第三数据表进行清理。
技术总结
本申请公开了一种清理数据获取方法、装置、电子设备及存储介质,可应用于金融领域或其他领域,本申请通过预设的第一数据表的清理数据,以及已知的第一数据表和第二数据表之间表征关联关系的关联字段,可以获得第二数据表的清理数据,进而根据第二数据表的清理数据,以及已知的第二数据表和第三数据表之间表征关联关系的关联字段,就可以得到第三数据表的清理数据,由此,不需要通过第二数据表,确定第一数据表和第三数据表之间的关联关系,降低数据清理的复杂度,减少数据清理过程中消耗的时间,提高数据清理的效率。提高数据清理的效率。提高数据清理的效率。
技术研发人员:林楷坤 沈玉琴 谢小兵 林灿发 谢昭杰
受保护的技术使用者:中国银行股份有限公司
技术研发日:2023.06.06
技术公布日:2023/10/6
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/