一种数据查询方法、装置及设备与流程

1.本技术涉及互联网技术领域，更具体地说，涉及一种数据查询方法、装置及设备。


背景技术：

2.数据库是一个长期存储在计算机内的、有组织的、统一管理的大量数据的集合，在实际使用数据的过程中，对数据库进行查询操作时，最容易出现过量调用数据的问题。而目前为解决数据库的过量调用问题，通常采用增加数据缓存单元或数据存储单元数量的方式。
3.基于此，在数据库接收到过量调用数据的查询任务时，可以将查询任务同时分担给多个数据缓存单元或数据存储单元进行查询，以减少数据库的数据调用量。但是在上述的查询过程中，容易出现多个数据缓存单元或数据存储单元高并发、性能损耗等问题。


技术实现要素：

4.有鉴于此，本技术提供了一种数据查询方法、装置及设备，用于解决现有数据查询方式，多级缓存高并发等问题。
5.为了实现上述目的，现提出的方案如下：
6.一种数据查询方法，应用于分布式数据库系统中，所述分布式数据库系统包括目标数据库和多个数据缓存单元，多个所述数据缓存单元被划分为不同等级，其中，不同等级之间存在预设的优先级，该方法包括：
7.获取用户端的数据查询请求，所述数据查询请求中包括至少一个待查询标识符；
8.对每一个所述待查询标识符分别执行如下操作：
9.基于所述预设的优先级，逐级在多个所述数据缓存单元对所述待查询标识符进行查询，确定是否存在与所述待查询标识符对应的缓存数据信息；
10.如果存在与所述待查询标识符对应的缓存数据信息，将所述缓存数据信息确定为与所述待查询标识符相匹配的目标查询结果，并将所述目标查询结果发送至所述用户端；
11.如果不存在与所述待查询标识符对应的缓存数据信息，将所述待查询标识符确定为目标待查询标识符，在所述目标数据库中查询所述目标待查询标识符，得到与所述目标待查询标识符对应的数据库查询结果；基于所述数据库查询结果确定为所述目标待查询标识符对应的所述目标查询结果，并将所述目标查询结果发送至所述用户端。
12.可选的，所述基于所述预设的优先级，逐级在多个所述数据缓存单元对所述待查询标识符进行查询，确定是否存在与所述待查询标识符对应的缓存数据信息，包括：
13.获取当前用于查询的所述数据缓存单元和当前待查询标识符，所述当前待查询标识符为所述当前用于查询的所述数据缓存单元的上一级所述数据缓存单元确定的下一级待查询标识符；
14.在所述当前用于查询的所述数据缓存单元中查询是否存在与所述当前待查询标识符相匹配的元数据；
15.如果是，将全部与所述当前待查询标识符相匹配的所述元数据进行组合，得到与所述当前待查询标识符对应的缓存数据信息；
16.如果否，将所述当前待查询标识符确定为所述下一级待查询标识符或目标查询标识符。
17.可选的，所述将所述当前待查询标识符确定为所述下一级待查询标识符或目标查询标识符，包括：
18.获取当前用于查询的所述数据缓存单元的等级作为当前等级；
19.基于所述预设的优先级，确定所述当前等级是否为最低等级；
20.如果否，将所述当前待查询标识符确定为下一级待查询标识符；
21.如果是，将所述当前待查询标识符确定为目标待查询标识符。
22.可选的，在所述如果是，将全部与所述当前待查询标识符相匹配的所述元数据进行组合，得到与所述当前待查询标识符对应的缓存数据信息之后，还包括：
23.基于所述预设的优先级，获取所述当前用于查询的所述数据缓存单元的上一级数据缓存单元；
24.基于所述当前待查询标识符，将所述缓存数据信息存储至所述上一级数据缓存单元。
25.可选的，所述在所述目标数据库中查询所述目标待查询标识符，得到与所述目标待查询标识符对应的数据库查询结果，包括：
26.基于预设查询时长，在所述目标数据库中查询是否存在与所述目标待查询标识符相匹配的元数据；
27.如果是，将全部与所述目标待查询标识符匹配的所述元数据进行组合得到数据库数据信息，并将所述数据库数据信息确定为数据库查询结果；
28.如果否，将与所述目标待查询标识符对应的所述数据库查询结果设定为空对象。
29.可选的，还包括：
30.当所述目标数据库进行数据更新时，获取所述目标数据库中进行所述数据更新的更新标识符以及所述更新标识符对应的更新数据信息；
31.将每一个所述数据缓存单元中与所述更新标识符相同的标识符以及所述标识符对应的数据信息进行删除；
32.将所述更新标识符以及与所述更新标识符对应的所述更新数据信息存储至每一个所述数据缓存单元。
33.可选的，所述将所述更新标识符以及与所述更新标识符对应的所述更新数据信息存储至每一个所述数据缓存单元，包括：
34.将所述更新数据信息转换成预设元数据格式，得到目标更新数据；
35.将所述更新标识符与所述目标更新数据存储至每一个所述数据缓存单元。
36.可选的，还包括：
37.对每一个所述数据缓存单元中存储的每一个元数据随机设定一个逻辑过期时间，使得同时逻辑过期的所述元数据的数量不超过预设阈值；
38.基于每一个所述元数据对应的所述逻辑过期时间，确定已过期的所述元数据，并请求获取与所述已过期的所述源数据对应的标识信息；
39.当得到与所述已过期的所述源数据对应的标识信息时，在所述目标数据库中对每一个所述过期标识符进行查询，得到与每一个所述过期标识符对应的数据信息；
40.基于与每一个所述过期标识符对应的所述数据信息对所述数据缓存单元进行数据更新。
41.一种数据查询装置，应用于分布式数据库系统中，所述分布式应用系统包括目标数据库和多个数据缓存单元，所述数据缓存单元被划分为不同等级，其中，不同等级之间存在预设的优先级，包括：
42.请求获取单元，用于获取用户端的数据查询请求，所述数据查询请求中包括至少一个待查询标识符；
43.对所述数据查询请求中每一个所述待查询标识符分别基于如下单元进行处理：
44.缓存查询单元，用于基于所述预设的优先级，逐级在多个所述数据缓存单元对所述待查询标识符进行查询，确定是否存在与所述待查询标识符对应的缓存数据信息；
45.查询结果第一返回单元，用于当所述缓存查询单元的查询结果为是时，将所述缓存数据信息确定为与所述待查询标识符相匹配的目标查询结果，并将所述目标查询结果发送至所述用户端；
46.查询结果返回第二单元，用于当所述缓存查询单元的查询结果为否时，将所述待查询标识符确定为目标查询标识符，在所述目标数据库中查询所述目标待查询标识符，得到与所述目标待查询标识符对应的数据库查询结果；基于所述数据库查询结果确定为所述目标待查询标识符对应的所述目标查询结果，并将所述目标查询结果发送至所述用户端。
47.一种数据查询设备，包括存储器和处理器；
48.所述存储器，用于存储程序；
49.所述处理器，用于执行所述程序，实现任一项所述的数据查询方法的各个步骤
50.从上述的技术方案可以看出，本技术实施例提供的数据查询方法，应用与分布式数据库系统，其中包括目标数据库和多个数据缓存单元。在本技术实施例中，每一个数据缓存单元被划分为不同的等级，不同的等级之间存在预设的优先级，在对多个待查询标识符进行查询时，需要先按照预设的优先级设定的等级顺序，逐级在所述缓存数据单元对待查询标识符进行查询。每次查询时只会有一个缓存数据单元调度数据进行查询，尽量避免多个缓存单元同时查询产生的高并发情况。
51.并且，在本方案中，如果在数据缓存单元中未查询到与待查询标识符对应的缓存数据信息，则继续在目标数据库中进行查询，确定最终的查询结果，降低查询过程中遗漏数据的可能性。
附图说明
52.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
53.图1为本技术实施例提供的实现数据查询方法的一种可选的系统架构图；
54.图2为本技术实施例提供的实现数据查询方法的一种流程示意图；
55.图3为本技术实施例提供的一种缓存结构设计示意图；
56.图4为本技术实施例提供的一种数据查询方法的应用示例图；
57.图5为本技术实施例提供的一种数据查询装置的结构示意图；
58.图6为本技术实施例提供的一种数据查询设备的结构示意图。
具体实施方式
59.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
60.本技术可以应用在分布式数据库系统中，用于针对用户端发送的查询请求进行查询的过程中。所述分布式数据库系统中通常包括多个数据缓存单元和数据库(database或db)，在针对一个或多个查询请求时，通常多个数据缓存单元和数据库会同时查询，将各个数据缓存单元和数据库查询到的结果组合得到目标查询结果。但是上述方法，多级数据缓存单元及数据库同时查询，同时调用数据量大，容易出现多级缓存单元之间的高并发情况，损耗数据库或数据缓存单元的性能，如果处理不慎还可能会在高并发情况造成系统服务的瘫痪，另外在使用所述数据缓存单元的进行查询的过程中也容易出缓存穿透、缓存击穿、缓存雪崩等问题。
61.基于此，本技术实施例提出的数据查询方法引入了一种逐级查询的逻辑，结合图1进行理解。图1示出的本技术实施例提供的实现数据查询的一种系统架构图，可以包括客户端和分布式数据库系统，其中所述分布式数据库系统中包括缓存层/缓存单元和存储层/数据库，所述缓存单元中存储有与数据库相同或相似的数据。
62.按照上述的逐级查询的逻辑，在客户端发起查询请求时，现在所述缓存层/缓存单元中查询与查询请求相对应的缓存数据信息，如果能够查询到缓存数据信息，则可以直接将缓存数据信息作为查询结果返回至客户端，结束本次查询。而当在缓存层/缓存单元中无法查询到与所述查询请求相对应的缓存数据信息时，再将所述查询请求发送到存储层/数据库中进行查询，在数据库中查询得到对应的数据信息，如果没有查询到对应的数据信息，可以生成空对象返回存储到缓存层/缓存单元中，避免缓存击穿，并将所述数据信息或空对象作为查询结果返回至客户端。
63.图1中的缓存层/缓存单元至少对应一个数据缓存单元，在缓存层中也可以按照上述的逐级查询的逻辑进行对上述查询请求的查询。在本技术实施例中，可以将每一个数据缓存单元划分成不同的等级，不同等级之间存在优先级，在查询过程中，优先使用优先级较高的数据缓存单元，如果在当前等级的数据缓存单元无法查询到与查询请求相匹配的缓存数据信息，则到当前等级的下一级数据缓存单元进行查询，以此类推，直至查询到与查询请求对应的缓存数据信息或数据库数据信息。
64.因此，本技术通过上述的逐级查询的逻辑，可以尽量减少同时执行查询任务的数据缓存单元和数据库的数量，降低高并发情况产生的概率。具体地可以参照图2所示的本技术实施例提供的实现数据查询方法的流程示意图，其中流程可以包括：
65.步骤s110，获取用户端的数据查询请求，所述数据查询请求中至少包括一个待查
询标识符。
66.其中所述待查标识符可以是数据库id、关键字符、数据表名等标识信息，在本技术实施例中，以数据库id为例，接收到用户端输入的至少一个待查询的id。
67.为便于理解，以下步骤s120～s160均是分别对每一个待查询的标识符执行的操作。
68.步骤s120，基于所述预设的优先级，逐级在多个数据缓存单元对所述待查询标识符进行查询。
69.步骤s130，确定是否存在与所述待查询标识符对应的缓存数据信息，如果判断结果为是，执行步骤s141；如果判断结果为否，执行步骤s140。
70.步骤s141，将所述缓存数据信息确定为所述待查询标识符对应的目标查询结果，并发送至所述用户端。
71.可以理解的是，本技术应用在分布式数据库系统中，所述分布式数据库系统包括目标数据库和多个数据缓存单元，多个数据缓存单元被划分成不同的等级，不同等级之间存在预设的优先级。在本技术实施例中，逐级即为根据所述预设的优先级对不同等级排布的顺序，按照先后顺序逐个对数据缓存单元进行查询。
72.如果在能够在任一个数据缓存单元中查询到与所述待查询标识符对应的缓存数据信息，则可以将所述缓存数据信息作为目标查询结果，与所述待查询标识符一起返回至用户端，无需等待所有的待查询id均查询完毕或者遍历完所有的数据缓存单元，节省数据查询的时间。但是如果每一个数据缓存单元均无法查询出与所述待查询标识符对应的缓存数据信息，则可以将所述待查询标识符确定为目标待查询标识符输入至目标数据库中进行查询。
73.而逐级在多个数据缓存单元中进行查询的过程，可以包括：获取当前用于查询的所述数据缓存单元和当前待查询标识符，所述当前待查询标识符为所述当前用于查询的所述数据缓存单元的上一级所述数据缓存单元确定的下一级待查询标识符；在所述当前用于查询的所述数据缓存单元中查询是否存在与所述当前待查询标识符相匹配的元数据；如果是，将全部与所述当前待查询标识符相匹配的所述元数据进行组合，得到与所述当前待查询标识符对应的缓存数据信息；如果否，将所述当前待查询标识符确定为所述下一级待查询标识符或目标查询标识符。
74.在本技术实施例中，多个数据缓存单元之间存在不同的等级，假设目前数据缓存单元包括本地缓存单元和redis缓存单元，本地缓存单元的优先级高于redis缓存单元。
75.因此基于用户端发送的待查询id，首先从分布式数据库系统的缓存层进行查询，查询时，优先从所述本地缓存单元中查询待查询id，当所述本地缓存单元中存在与所述待查询id对应的本地缓存数据，则此时就可以结束查询过程执行步骤s141，将与所述待查询id对应的本地缓存数据作为目标查询结果返回至用户端。当所述本地缓存单元中不存在与所述待查询id对应的本地缓存数据，则将所述待查询id确定为下一级待查询标识符，顺延至下一等级的数据缓存单元，作为下一等级的数据缓存单元的当前待查询的标识符进行查询，即在所述redis缓存单元进行查询，确定是否存在对应的缓存数据信息。
76.而如果redis缓存单元并不存在与所述待查询id对应的缓存数据信息，则将所述待查询id顺延至下一等级缓存数据单元或目标数据库进行查询，可以理解的是，在上述过
程中需要一个等级识别的过程，确定当前等级的缓存数据单元的下一级是缓存数据单元还是目标数据库，则该过程具体可以包括：
77.获取当前用于查询的所述数据缓存单元的等级作为当前等级；基于所述预设的优先级，确定所述当前等级是否为最低等级；如果否，将所述当前待查询标识符确定为下一级待查询标识符；如果是，将所述当前待查询标识符确定为目标待查询标识符。
78.每一个缓存数据单元的查询优先级高于目标数据库，每一个缓存数据单元之间存在预设的优先级，在识别优先级时，先确定当前查询的数据缓存单元的等级，进一步确定在当前等级之后是否还存在下一等级的缓存数据单元，如果不存在，则证明缓存层的数据已查询完毕，可以将仍未查出相关数据信息的待查询id确定为目标待查询标识符，顺延至目标数据库进行查询。
79.基于上述的逐级查询可以避免在查询时出现多个数据缓存单元或多个数据库同时查询出与同一待查询id相关或相同的数据信息，造成查询结果重复，影响用户查看效率。而逐级查询时是按照优先级逐级在缓存数据单元和数据库中查询，在任一单元查询到相关的数据信息则停止对该待查询id的查询流程，避免后续继续查询得到重复的数据信息。并且逐级查询能够避免在查询过程中遗漏某一个数据缓存单元或数据库，导致数据查询结果不准确的情况发生。又因为不同数据缓存单元或数据库查询的时间差，避免多个数据缓存单元或数据库同时查询导致的高并发问题，影响数据库或数据缓存单元的性能。
80.步骤s140，将所述待查询标识符确定为目标待查询标识符。
81.步骤s150，在目标数据库中查询所述目标待查询标识符，得到与所述目标待查询标识符对应的数据库查询结果。
82.步骤s160，将所述数据库查询结果确定为所述目标待查询标识符对应的目标查询结果并发送至所述用户端。
83.目标查询数据库接收经最低等级缓存数据单元进行查询，仍未查询出相关缓存数据信息的待查询标识符作为目标待查询标识符。在所述目标数据库中查询每一个所述目标待查询标识符对应的数据信息，直至查询到每一个所述目标待查询标识符对应的数据库数据信息。
84.但是目标数据库中并非存储有所有标识符对应的数据信息，因此并不是每一个所述目标待查询标识符都能够查询到对应的数据库数据信息，为避免在目标数据库中不存在相关数据信息的情况下，无限期地执行查询指令，甚至出现缓存击穿的情况，本技术实施例提供了一个可选的解决思路。具体可以参考下方流程：
85.基于预设查询时长，在所述目标数据库中查询是否存在与所述目标待查询标识符相匹配的元数据；如果是，将全部与所述目标待查询标识符匹配的所述元数据进行组合得到数据库数据信息，并将所述数据库数据信息确定为数据库查询结果；如果否，将与所述目标待查询标识符对应的所述数据库查询结果设定为空对象。
86.首先限定目标待查询标识符在目标数据库中的查询时间，在查询时间内未查询到与所述目标待查询标识符对应的数据库数据信息，则确定所述目标数据库中不存在与所述目标待查询标识符对应的数据库数据信息。进一步，在返回用户端查询结果时，将所述目标待查询标识对应的数据库数据信息确定为空对象，并以所述空对象作为所述目标待查询标识符的目标查询结果发送至用户端。
87.另外，对于数据缓存单元中不存在对应缓存数据信息的待查询标识符，如果进行批量查询，大量不存在对应缓存数据信息的待查询标识符对应的查询指令会传输至目标数据库中，导致数据库压力剧增，出现缓存击穿的情况，因此还可以将目标数据库中也同样不存在相关数据库数据信息的待查询标识符设置对应的空对象，并将空对象返回至每一个数据缓存单元进行存储，避免后续再出现缓存击穿的情况。
88.同理，也可以将数据缓存单元中不存在对应缓存数据信息，但是目标数据库中存在对应的数据库数据信息的待查询标识符对应的数据库数据信息返回至上一级的数据缓存单元或存储至每一级数据缓存单元，基于此可以减轻目标数据库的查询任务。
89.可以理解的是，在缓存层的数据缓存单元中也可以采用上述的方式提高查询的速率，具体可以参照以下流程：基于所述预设的优先级，获取所述当前用于查询的所述数据缓存单元的上一级数据缓存单元；基于所述当前待查询标识符，将所述缓存数据信息存储至所述上一级数据缓存单元。
90.假设多个缓存数据单元包括一级数据缓存单元、二级数据缓存单元、
……
、n级数据缓存单元，在第一次查询待查询标识符a的过程中，在n级数据缓存单元中查询到相关的缓存数据信息，在第一次查询过程中经历了n-1次查询失败的过程。如果在第一次查询完成后，将所述待查询标识符a的缓存数据信息存储至(n-1)级数据缓存单元或者每一级缓存数据单元，如果后续再次接收到查询待查询标识符1的查询任务，则可以在(n-1)级数据缓存单元或者一级数据缓存单元中查询到相关的缓存数据信息，节省多次查询失败的时间，提升数据查询的速率。
91.综上所述，在本技术实施例中，每一个数据缓存单元被划分为不同的等级，不同的等级之间存在预设的优先级，在对多个待查询标识符进行查询时，需要先按照预设的优先级设定的等级顺序，逐级在所述缓存数据单元对待查询标识符进行查询。每次查询时只会有一个缓存数据单元调度数据进行查询，尽量避免多个缓存单元同时查询产生的高并发情况。
92.并且，在本方案中，如果在数据缓存单元中未查询到与待查询标识符对应的缓存数据信息，则继续在目标数据库中进行查询，确定最终的查询结果，降低查询过程中遗漏数据的可能性。
93.接下来，对本技术实施例做进一步地说明。
94.在本技术实施例中，分布式数据库系统中目标数据库作为底层查询单元，存储有与缓存数据单元相同甚至更多的数据信息，尽量保证在数据缓存单元查询不到的数据信息，可以在目标数据库中查询到。另外，缓存数据单元为分担目标数据库的查询任务，会定期或者响应目标数据库的更新指令对缓存数据库中的数据信息进行更新，提升缓存数据信息的实时性。
95.当所述目标数据库中的数据信息进行添加、修改、删除等更新操作时，数据缓存单元同样需要进行数据更新，保证分布式数据库系统数据的统一性，具体数据更新过程可以参照以下过程：
96.当所述目标数据库进行数据更新时，获取所述目标数据库中进行所述数据更新的更新标识符以及所述更新标识符对应的更新数据信息；将每一个所述数据缓存单元中与所述更新标识符相同的标识符以及所述标识符对应的数据信息进行删除；将所述更新标识符
以及与所述更新标识符对应的所述更新数据信息存储至每一个所述数据缓存单元。
97.在本技术实施例中，更新某一标识符对应的数据信息或者添加特定标识符以及对应的数据信息时，可以直接从目标数据库进行更新操作，目标数据库会将更新情况反馈到各个数据缓存单元，使得每一个数据缓存单元进行相应的数据更新。
98.具体地，目标数据库中的数据变更需要管理人员手动调用、传入要更新的数据和数据id，对所述数据和数据id以预设的形式返回至各级数据缓存单元进行更新。
99.假设当前多个数据缓存单元包括本地缓存单元和redis缓存单元，进行同步更新。其中，二级缓存是集中是缓存，可以直接操作redis缓存单元根据数据id删除redis缓存单元中已存储的相同的数据id以及对应的数据信息。而本地缓存由于在业务服务器内存中，可能是多台服务器或机器联合存储，因此需要广播通知每一台服务器或机器，广播的消息内容包括要更新的数据id、数据类型、数据内容等等，每台机器在消费消息内容时，根据数据id和数据类型找到本地缓存单元中对应存储的数据信息或数据内容进行清除。
100.在清除过程中就可以将更新的数据信息存储到各级缓存数据单元中，又或者清除完全后，向所述分布式数据库系统发起查询更新的数据id的查询指令，由于各级数据缓存单元中相应的数据信息均被清除，就会直接从目标数据库中查询，得到更新数据id对应的更新数据信息。基于上文步骤s160对应的描述内容，目标数据库会向各级数据缓存单元反馈所述更新数据信息并进行存储，基于此完成更新缓存的效果。
101.在对目标数据库或数据缓存单元进行数据更新时，本技术实施例为避免由于大key的出现，导致查询过程中读取困难造成查询阻塞的情况发生，通过合理的缓存结构设计来防止数据缓存单元中出现大key。在更新数据时，同样需要将待更新的数据转换成符合缓存结构设计的数据格式进行存储，具体地，可以参照下方的描述进行理解：将所述更新数据信息转换成预设元数据格式，得到目标更新数据；将所述更新标识符与所述目标更新数据存储至每一个所述数据缓存单元。
102.如图3示出的本技术实施例提供的一种缓存结构设计示意图，如图示例，将所述基础缓存即为更新数据信息，将基础缓存的粒度细化，基于预设的缓存元数据的大小将基础缓存分解成多个元数据，如源数据缓存a、源数据缓存a extera、元数据缓存b等多个不同元数据，保证每一个元数据业务单一，进一步地在数据缓存单元中与对应的数据id进行配对存储。
103.而在查询时获取到的缓存数据信息也是由一个或多个元数据组合得到的，当查询到在缓存数据单元中与数据id对应的元数据后，将读取所有相对应的元数据，并在compose层对元数据进行低成本的数据组合，并将组合得到的数据信息发送至service层以供用户端调用，满足用户端复杂的业务场景。
104.在数据缓存单元中每一个元数据或者数据id对应的缓存数据信息都有对应的逻辑过期时间，来保证缓存数据信息的时效性，但是如果在一个或多个缓存数据单元中，多个缓存数据累计达到逻辑过期时间，则会出现大规模的缓存时效的情况，极大可能导致大量的数据请求直接反馈至目标数据库上，导致目标数据库的数据处理压力大，如果在高并发的情况下，很可能瞬间导致目标数据库宕机，即使重新启动目标数据库，也会有新的缓存失效信息反馈至目标数据库，再次宕机。
105.为解决上述情况，本技术实施例提供了一个可选的解决方法，具体可以包括：对每
一个所述数据缓存单元中存储的每一个元数据随机设定一个逻辑过期时间，使得同时逻辑过期的所述元数据的数量不超过预设阈值；基于每一个所述元数据对应的所述逻辑过期时间，确定已过期的所述元数据，并请求获取与所述已过期的所述源数据对应的标识信息；当得到与所述已过期的所述源数据对应的标识信息时，在所述目标数据库中对每一个所述过期标识符进行查询，得到与每一个所述过期标识符对应的数据信息；基于与每一个所述过期标识符对应的所述数据信息对所述数据缓存单元进行数据更新。
106.本技术实施例通过增加小范围的随机数到逻辑过期时间中，限制同时失效的缓存数据信息的数量，避免大规模数据失效，降低同时向目标数据库反馈缓存失效的数量。
107.在本技术实施例中，所述标识信息可以为分布式锁、互斥锁等，在缓存失效的情况下，之后获取所述标识信息才可以查询目标数据库获取与所述过期标识符对应的数据信息。基于此，可以在缓存失效到请求目标数据库获取信息的过程中添加一个时间缓冲，降低了同一时刻反馈到目标数据库上的请求，防止目标数据库数据访问压力过大，降低目标数据库宕机的风险。
108.另外，本技术并不只是用于对一个待查询标识符的查询过程，可以应用于批量查询，基于图4示出的本技术实施例提供的一种数据查询方法的应用示例图进行应用实例描述，便于对本技术的理解。
109.示例中的分布式数据库系统包括本地缓存、redis缓存和数据库(db)，基于本技术的查询逻辑，需要现在缓存层即本地缓存和redis缓存中进行逐级查询，随后再在db中进行查询。
110.首先从请求端获取批量查询的请求，请求中包括若干个待查询id，本地缓存优先于redis缓存，在本地缓存中根据待查询id遍历已存储的所有数据信息，获取与待查询id的id相同的已存储id对应的缓存数据。假设待查询id包括a、b、c、d、e五个id，在本地缓存中查询得到a和b对应的缓存数据，则可以直接将与a和b对应的缓存数据返回至请求端，又或者可以等到所有的id查询完毕后，将所有查询结果一齐返回至请求端。
111.本地缓存查询完毕后，将本地缓存未查询到的id即c、d、e传输至redis缓存中进行查询，redis缓存中的缓存数据存在逻辑过期时间，则需要查询的数据需要id相同并且数据未过期，基于此得到与c、d、d对应的数据信息。假设在redis缓存中查询到c对应的数据，则可以利用c对应数据重建本地缓存，所述重建即为更新，用c和c对应的数据更新本地缓存，使得本地缓存中也存储有c对应的数据。而如果在查询redis缓存的过程中，查询到逻辑过期的数据，则还需要重建redis缓存。
112.基于此数据缓存单元已查询完毕，还存在未查询到的id，为d和e，重建redis缓存和查询数据库的过程具有一定的相似性，均是为了避免数据库出现缓存雪崩、缓存击穿等情况。
113.首先获取锁，在获取到锁后才可以访问或查询数据库，如果没有获取到锁，则需要返回与d和e对应的空对象(如null或空list)至redis缓存、本地缓存以及请求端。
114.在数据库中进行查询的过程中，查询到对应的数据信息后，可通过所述数据信息重建redis缓存和本地缓存。如果在预设时间内，数据库未查询到与d和e对应的数据信息，则设置与d和e对应的空对象。基于上述过程，完成对鼻梁待查询id的查询。
115.下面对本技术实施例提供的数据查询装置进行描述，下文描述的数据查询装置与
上文描述的数据查询方法可相互对应参照。
116.首先，结合图5，对数据查询装置进行介绍，如图5所示，该数据查询装置可以包括：
117.请求获取单元100，用于获取用户端的数据查询请求，所述数据查询请求中包括至少一个待查询标识符；
118.对所述数据查询请求中每一个所述待查询标识符分别基于如下单元进行处理：
119.缓存查询单元200，用于基于所述预设的优先级，逐级在多个所述数据缓存单元对所述待查询标识符进行查询，确定是否存在与所述待查询标识符对应的缓存数据信息；
120.查询结果第一返回单元300，用于当所述缓存查询单元的查询结果为是时，将所述缓存数据信息确定为与所述待查询标识符相匹配的目标查询结果，并将所述目标查询结果发送至所述用户端；
121.查询结果返回第二单元400，用于当所述缓存查询单元的查询结果为否时，将所述待查询标识符确定为目标查询标识符，在所述目标数据库中查询所述目标待查询标识符，得到与所述目标待查询标识符对应的数据库查询结果；基于所述数据库查询结果确定为所述目标待查询标识符对应的所述目标查询结果，并将所述目标查询结果发送至所述用户端。
122.本技术实施例提供的数据查询方法，应用与分布式数据库系统，其中包括目标数据库和多个数据缓存单元。在本技术实施例中，每一个数据缓存单元被划分为不同的等级，不同的等级之间存在预设的优先级，在对多个待查询标识符进行查询时，需要先按照预设的优先级设定的等级顺序，逐级在所述缓存数据单元对待查询标识符进行查询。每次查询时只会有一个缓存数据单元调度数据进行查询，尽量避免多个缓存单元同时查询产生的高并发情况。
123.并且，在本方案中，如果在数据缓存单元中未查询到与待查询标识符对应的缓存数据信息，则继续在目标数据库中进行查询，确定最终的查询结果，降低查询过程中遗漏数据的可能性。
124.可选的，所述缓存查询单元200，包括：
125.标识符获取子单元，用于获取当前用于查询的所述数据缓存单元和当前待查询标识符，所述当前待查询标识符为所述当前用于查询的所述数据缓存单元的上一级所述数据缓存单元确定的下一级待查询标识符；
126.标识符查询子单元，用于在所述当前用于查询的所述数据缓存单元中查询是否存在与所述当前待查询标识符相匹配的元数据；
127.数据组合子单元，用于当所述标识符查询子单元的查询结果为是时，将全部与所述当前待查询标识符相匹配的所述元数据进行组合，得到与所述当前待查询标识符对应的缓存数据信息；
128.标识符延续子单元，用于当所述标识符查询子单元的查询结果为否，将所述当前待查询标识符确定为所述下一级待查询标识符或目标查询标识符。
129.可选的，所述标识符延续子单元，包括：
130.等级获取子单元，用于获取当前用于查询的所述数据缓存单元的等级作为当前等级；
131.优先级对比子单元，用于基于所述预设的优先级，确定所述当前等级是否为最低
等级；
132.下一级标识符确定子单元，用于当所述优先级对比子单元的结果为否时，将所述当前待查询标识符确定为下一级待查询标识符；
133.目标标识符确定子单元，用于当所述优先级对比子单元的结果为是时，将所述当前待查询标识符确定为目标待查询标识符。
134.可选的，还包括：
135.缓存单元获取子单元，用于在所述数据组合子单元将全部与所述当前待查询标识符相匹配的所述元数据进行组合，得到与所述当前待查询标识符对应的缓存数据信息之后，基于所述预设的优先级，获取所述当前用于查询的所述数据缓存单元的上一级数据缓存单元；
136.数据存储子单元，用于基于所述当前待查询标识符，将所述缓存数据信息存储至所述上一级数据缓存单元。
137.可选的，所述查询结果第二返回单元400，包括：
138.数据匹配子单元，用于基于预设查询时长，在所述目标数据库中查询是否存在与所述目标待查询标识符相匹配的元数据；
139.元数据组合子单元，用于当所述数据匹配子单元的结果为是时，将全部与所述目标待查询标识符匹配的所述元数据进行组合得到数据库数据信息，并将所述数据库数据信息确定为数据库查询结果；
140.空对象设定子单元，用于当所述数据匹配子单元的结果为否时，将与所述目标待查询标识符对应的所述数据库查询结果设定为空对象。
141.可选的，还包括：
142.更新数据获取单元，用于当所述目标数据库进行数据更新时，获取所述目标数据库中进行所述数据更新的更新标识符以及所述更新标识符对应的更新数据信息；
143.数据删除单元，用于将每一个所述数据缓存单元中与所述更新标识符相同的标识符以及所述标识符对应的数据信息进行删除；
144.数据存储单元，用于将所述更新标识符以及与所述更新标识符对应的所述更新数据信息存储至每一个所述数据缓存单元。
145.可选的，所述数据存储单元，包括：
146.格式转换子单元，用于将所述更新数据信息转换成预设元数据格式，得到目标更新数据；
147.元数据存储子单元，用于将所述更新标识符与所述目标更新数据存储至每一个所述数据缓存单元。
148.可选的，还包括：
149.随机设定单元，用于对每一个所述数据缓存单元中存储的每一个元数据随机设定一个逻辑过期时间，使得同时逻辑过期的所述元数据的数量不超过预设阈值；
150.标识获取单元，用于基于每一个所述元数据对应的所述逻辑过期时间，确定已过期的所述元数据，并请求获取与所述已过期的所述源数据对应的标识信息；
151.标识符查询单元，用于当得到与所述已过期的所述源数据对应的标识信息时，在所述目标数据库中对每一个所述过期标识符进行查询，得到与每一个所述过期标识符对应
的数据信息；
152.数据更新单元，用于基于与每一个所述过期标识符对应的所述数据信息对所述数据缓存单元进行数据更新。
153.本技术实施例提供的数据查询装置可应用于数据查询设备。
154.图6示出了数据查询设备的结构示意图，参照图6，数据查询设备的结构可以包括：至少一个处理器10，至少一个存储器20，和至少一个通信总线30至少一个通信接口40；
155.在本技术实施例中，处理器10、存储器20、通信总线30、通信接口40的数量为至少一个，且处理器10、存储器20、通信接口40通过通信总线30完成相互间的通信；
156.处理器10可能是一个中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
157.存储器20可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
158.其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于实现前述数据查询方案中的各个处理流程。
159.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
160.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
161.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种数据查询方法，其特征在于，应用于分布式数据库系统中，所述分布式数据库系统包括目标数据库和多个数据缓存单元，多个所述数据缓存单元被划分为不同等级，其中，不同等级之间存在预设的优先级，该方法包括：获取用户端的数据查询请求，所述数据查询请求中包括至少一个待查询标识符；对每一个所述待查询标识符分别执行如下操作：基于所述预设的优先级，逐级在多个所述数据缓存单元对所述待查询标识符进行查询，确定是否存在与所述待查询标识符对应的缓存数据信息；如果存在与所述待查询标识符对应的缓存数据信息，将所述缓存数据信息确定为与所述待查询标识符相匹配的目标查询结果，并将所述目标查询结果发送至所述用户端；如果不存在与所述待查询标识符对应的缓存数据信息，将所述待查询标识符确定为目标待查询标识符，在所述目标数据库中查询所述目标待查询标识符，得到与所述目标待查询标识符对应的数据库查询结果；基于所述数据库查询结果确定为所述目标待查询标识符对应的所述目标查询结果，并将所述目标查询结果发送至所述用户端。2.根据权利要求1所述的方法，其特征在于，所述基于所述预设的优先级，逐级在多个所述数据缓存单元对所述待查询标识符进行查询，确定是否存在与所述待查询标识符对应的缓存数据信息，包括：获取当前用于查询的所述数据缓存单元和当前待查询标识符，所述当前待查询标识符为所述当前用于查询的所述数据缓存单元的上一级所述数据缓存单元确定的下一级待查询标识符；在所述当前用于查询的所述数据缓存单元中查询是否存在与所述当前待查询标识符相匹配的元数据；如果是，将全部与所述当前待查询标识符相匹配的所述元数据进行组合，得到与所述当前待查询标识符对应的缓存数据信息；如果否，将所述当前待查询标识符确定为所述下一级待查询标识符或目标查询标识符。3.根据权利要求2所述的方法，其特征在于，所述将所述当前待查询标识符确定为所述下一级待查询标识符或目标查询标识符，包括：获取当前用于查询的所述数据缓存单元的等级作为当前等级；基于所述预设的优先级，确定所述当前等级是否为最低等级；如果否，将所述当前待查询标识符确定为下一级待查询标识符；如果是，将所述当前待查询标识符确定为目标待查询标识符。4.根据权利要求2所述的方法，其特征在于，在所述如果是，将全部与所述当前待查询标识符相匹配的所述元数据进行组合，得到与所述当前待查询标识符对应的缓存数据信息之后，还包括：基于所述预设的优先级，获取所述当前用于查询的所述数据缓存单元的上一级数据缓存单元；基于所述当前待查询标识符，将所述缓存数据信息存储至所述上一级数据缓存单元。5.根据权利要求1所述的方法，其特征在于，所述在所述目标数据库中查询所述目标待查询标识符，得到与所述目标待查询标识符对应的数据库查询结果，包括：
基于预设查询时长，在所述目标数据库中查询是否存在与所述目标待查询标识符相匹配的元数据；如果是，将全部与所述目标待查询标识符匹配的所述元数据进行组合得到数据库数据信息，并将所述数据库数据信息确定为数据库查询结果；如果否，将与所述目标待查询标识符对应的所述数据库查询结果设定为空对象。6.根据权利要求1所述的方法，其特征在于，还包括：当所述目标数据库进行数据更新时，获取所述目标数据库中进行所述数据更新的更新标识符以及所述更新标识符对应的更新数据信息；将每一个所述数据缓存单元中与所述更新标识符相同的标识符以及所述标识符对应的数据信息进行删除；将所述更新标识符以及与所述更新标识符对应的所述更新数据信息存储至每一个所述数据缓存单元。7.根据权利要求6所述的方法，其特征在于，所述将所述更新标识符以及与所述更新标识符对应的所述更新数据信息存储至每一个所述数据缓存单元，包括：将所述更新数据信息转换成预设元数据格式，得到目标更新数据；将所述更新标识符与所述目标更新数据存储至每一个所述数据缓存单元。8.根据权利要求1所述的方法，其特征在于，还包括：对每一个所述数据缓存单元中存储的每一个元数据随机设定一个逻辑过期时间，使得同时逻辑过期的所述元数据的数量不超过预设阈值；基于每一个所述元数据对应的所述逻辑过期时间，确定已过期的所述元数据，并请求获取与所述已过期的所述源数据对应的标识信息；当得到与所述已过期的所述源数据对应的标识信息时，在所述目标数据库中对每一个所述过期标识符进行查询，得到与每一个所述过期标识符对应的数据信息；基于与每一个所述过期标识符对应的所述数据信息对所述数据缓存单元进行数据更新。9.一种数据查询装置，其特征在于，应用于分布式数据库系统中，所述分布式应用系统包括目标数据库和多个数据缓存单元，所述数据缓存单元被划分为不同等级，其中，不同等级之间存在预设的优先级，包括：请求获取单元，用于获取用户端的数据查询请求，所述数据查询请求中包括至少一个待查询标识符；对所述数据查询请求中每一个所述待查询标识符分别基于如下单元进行处理：缓存查询单元，用于基于所述预设的优先级，逐级在多个所述数据缓存单元对所述待查询标识符进行查询，确定是否存在与所述待查询标识符对应的缓存数据信息；查询结果第一返回单元，用于当所述缓存查询单元的查询结果为是时，将所述缓存数据信息确定为与所述待查询标识符相匹配的目标查询结果，并将所述目标查询结果发送至所述用户端；查询结果返回第二单元，用于当所述缓存查询单元的查询结果为否时，将所述待查询标识符确定为目标查询标识符，在所述目标数据库中查询所述目标待查询标识符，得到与所述目标待查询标识符对应的数据库查询结果；基于所述数据库查询结果确定为所述目标
待查询标识符对应的所述目标查询结果，并将所述目标查询结果发送至所述用户端。10.一种数据查询设备，其特征在于，包括存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现如权利要求1-8任一项所述的数据查询方法的各个步骤。

技术总结
本申请公开了一种数据查询方法、装置及设备，应用与分布式数据库系统，其中包括目标数据库和多个数据缓存单元。在本申请实施例中，每一个数据缓存单元被划分为不同的等级，不同的等级之间存在预设的优先级，在对多个待查询标识符进行查询时，需要先按照预设的优先级设定的等级顺序，逐级在所述缓存数据单元对待查询标识符进行查询。每次查询时会有一个缓存数据单元调度数据进行查询，尽量避免多个缓存单元同时查询产生的高并发情况。并且，在本方案中，如果在数据缓存单元中未查询到与待查询标识符对应的缓存数据信息，则继续在目标数据库中进行查询，确定最终的查询结果，降低查询过程中遗漏数据的可能性。程中遗漏数据的可能性。程中遗漏数据的可能性。


技术研发人员：蔡昊 郑小兵
受保护的技术使用者：湖南快乐阳光互动娱乐传媒有限公司
技术研发日：2023.08.09
技术公布日：2023/10/15