数据查询处理方法、设备及存储介质与流程

1.本技术涉及大数据技术领域，尤其涉及一种数据查询处理方法、设备及存储介质。


背景技术：

2.关系型数据库管理系统的数据库在执行用户的交易数据查询功能时，如遇到数据重复、数据字段异常、数据分类错误等大量非目标查询数据时，会被非目标查询数据占用较大的查询系统吞吐量，导致用户的数据查询处理速度较慢，甚至无法正常查询。
3.现有关系型数据库管理系统在遇到上述应用场景的交易数据查询时，通常采用停止插入新交易数据，并删除表内历史数据、重复数据或异常数据的方式，从而降低查询的系统吞吐量。
4.而对于数据量较大的数据库管理来说，现有删除表内数据的方式并不能解决用户的数据查询处理速度较慢的问题。


技术实现要素：

5.本技术提供一种数据查询处理方法、设备及存储介质，用以解决对于数据量较大的数据库管理来说，现有删除表内数据的方式并不能解决用户的数据查询处理速度较慢的问题。
6.第一方面，本技术提供一种数据查询处理方法，包括：
7.在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表；
8.根据所述待迁移数据表中的表结构，在所述目标迁移地址新建空白数据表，并根据所述源迁移地址和目标迁移地址，将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表；
9.其中，所述目标数据为所述待迁移数据表中除历史数据和/或异常数据以外的其他数据；
10.将所述待迁移数据表中的表名称更改为备份数据表，将所述目标数据表中的表名称命名为所述待迁移数据表中的表名称，以使在获取携带有所述待迁移数据表的数据查询请求时，根据所述查询请求，切换至所述目标数据表进行数据查询处理。
11.在一种可能的设计中，所述根据所述待迁移数据表中的表结构，在所述目标迁移地址新建空白数据表，包括：
12.复制所述待迁移数据表中的表结构得到表结构副本，并将所述表结构副本的属性设置为不记录日志和并行数据操作方式；
13.将所述表结构副本从所述源迁移地址迁移至所述目标迁移地址；
14.根据所述目标迁移地址的表结构副本，新建与所述表结构副本的属性相同的空白数据表。
15.在一种可能的设计中，还包括：
16.将所述待迁移数据表中的目标数据复制到所述空白数据表之后，将所述目标数据表的属性更改为非并行数据操作方式。
17.在一种可能的设计中，所述将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表之后，所述方法还包括：
18.复制所述待迁移数据表中的索引得到索引副本，并将所述索引副本从所述源迁移地址迁移至所述目标迁移地址对应的目标数据表中；
19.将所述目标数据表中的目标数据逐个关联至所述索引副本上，得到带有关联数据的目标索引；
20.将所述目标索引插入到所述目标数据表中。
21.在一种可能的设计中，还包括：
22.若所述索引副本中存在未关联的索引项目，则删除所述未关联的索引项目。
23.在一种可能的设计中，所述将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表之后，所述方法还包括：
24.复制所述待迁移数据表中的统计信息得到统计副本，并将所述统计副本从所述源迁移地址迁移至所述目标迁移地址对应的目标数据表中；
25.若所述目标数据表中的目标数据与所述统计副本相匹配，则将所述统计副本作为目标统计信息；
26.若所述目标数据表中的目标数据与所述统计副本不匹配，则删除所述统计副本，并重新统计以获取所述目标数据表的目标统计信息；
27.将所述目标统计信息插入到所述目标数据表中。
28.在一种可能的设计中，所述将所述目标统计信息插入到所述目标数据表中之后，所述方法还包括：
29.获取目标数据表的目标统计信息，并根据所述待迁移数据表中的统计信息，对所述目标数据表进行数据量校验。
30.第二方面，本技术提供一种数据查询处理装置，包括：
31.监测模块，用于在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表；
32.迁移模块，用于根据所述待迁移数据表中的表结构，在所述目标迁移地址新建空白数据表，并根据所述源迁移地址和目标迁移地址，将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表；其中，所述目标数据为所述待迁移数据表中除历史数据和/或异常数据以外的其他数据；
33.处理模块，用于将所述待迁移数据表中的表名称更改为备份数据表，将所述目标数据表中的表名称命名为所述待迁移数据表中的表名称，以使在获取携带有所述待迁移数据表的数据查询请求时，根据所述查询请求，切换至所述目标数据表进行数据查询处理。
34.在一种可能的设计中，所述迁移模块具体用于：
35.根据所述待迁移数据表中的表结构，在所述目标迁移地址新建空白数据表，包括：
36.复制所述待迁移数据表中的表结构得到表结构副本；
37.将所述表结构副本的属性设置为不记录日志和并行数据操作方式；
38.将所述表结构副本从所述源迁移地址迁移至所述目标迁移地址；
39.根据所述目标迁移地址的表结构副本，新建与所述表结构副本的属性相同的空白数据表。
40.在一种可能的设计中，所述迁移模块还可以用于：
41.将所述待迁移数据表中的目标数据复制到所述空白数据表之后，将所述目标数据表的属性更改为非并行数据操作方式。
42.在一种可能的设计中，所述迁移模块还可以用于：
43.将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表之后，复制所述待迁移数据表中的索引得到索引副本；
44.将所述索引副本从所述源迁移地址迁移至所述目标迁移地址对应的目标数据表中；
45.将所述目标数据表中的目标数据逐个关联至所述索引副本上，得到带有关联数据的目标索引；
46.将所述目标索引插入到所述目标数据表中。
47.在一种可能的设计中，所述迁移模块还可以用于：
48.若所述索引副本中存在未关联的索引项目，则删除所述未关联的索引项目。
49.在一种可能的设计中，所述迁移模块还可以用于：
50.将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表之后，所述方法还包括：
51.复制所述待迁移数据表中的统计信息得到统计副本；
52.将所述统计副本从所述源迁移地址迁移至所述目标迁移地址对应的目标数据表中；
53.若所述目标数据表中的目标数据与所述统计副本相匹配，则将所述统计副本作为目标统计信息；
54.若所述目标数据表中的目标数据与所述统计副本不匹配，则删除所述统计副本，并重新统计以获取所述目标数据表的目标统计信息；
55.将所述目标统计信息插入到所述目标数据表中。
56.在一种可能的设计中，所述处理模块403还可以用于：
57.将所述目标统计信息插入到所述目标数据表中之后，获取目标数据表的目标统计信息，并根据所述待迁移数据表中的统计信息，对所述目标数据表进行数据量校验。
58.第三方面，本技术提供一种服务器，包括：处理器，以及与所述处理器通信连接的存储器；
59.所述存储器存储计算机执行指令；
60.所述处理器执行所述存储器存储的计算机执行指令，以实现数据查询处理方法。
61.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现数据查询处理方法。
62.第五方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现数据查询处理方法。
63.第六方面，本技术提供一种关系型数据库管理系统，包括：处理器，以及与所述处理器通信连接的存储器；
64.所述存储器存储计算机执行指令；
65.所述处理器执行所述存储器存储的计算机执行指令，以实现数据查询处理方法。
66.本技术提供的数据查询处理方法、设备及存储介质，通过在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表；根据该待迁移数据表中的表结构，在该目标迁移地址新建空白数据表，并根据该源迁移地址和目标迁移地址，将该待迁移数据表中的目标数据复制到该空白数据表内，得到目标数据表；将该待迁移数据表中的表名称更改为备份数据表，将该目标数据表中的表名称命名为该待迁移数据表中的表名称，以使在获取携带有该待迁移数据表的数据查询请求时，根据该查询请求，切换至该目标数据表进行数据查询处理。相较于现有技术中的对于数据量较大的数据库管理来说，现有删除表内数据的方式并不能解决用户的数据查询处理速度较慢的缺陷，本技术通过复制方式实现迁移与查询的同步进行，从而避免迁移过程中数据占用导致查询暂停的情况，并在复制迁移时删除非目标数据，且在迁移后通过更改表名称快速切换至新建的目标数据表进行数据查询，进而避免原有待迁移数据表查询时因数据量较大导致的查询速度较慢的问题。
附图说明
67.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
68.图1为本技术实施例提供的数据查询处理的应用场景示意图；
69.图2为本技术实施例提供的数据查询处理方法的流程示意图一；
70.图3为本技术实施例提供的数据查询处理方法的流程示意图二；
71.图4为本技术实施例提供的数据查询处理装置的结构示意图；
72.图5为本技术实施例提供的服务器的硬件结构示意图。
73.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
74.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
75.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
76.需要说明的是，本技术提供的数据查询处理方法、设备及存储介质可用于大数据领域，也可用于除大数据领域之外的任意领域，本技术对数据查询处理方法、设备及存储介质的应用领域不做限定。
77.首先对本技术所涉及的相关概念或名词进行解释：
78.关系型数据库管理系统(relational database management system，rdbms)：是指包括相互联系的逻辑组织和存取这些数据的一套程序(数据库管理系统软件)。关系数据库管理系统就是管理关系数据库，并将数据逻辑组织的系统。常用的关系数据库管理系统产品是oracle、ibm的db2和微软的sql server。
79.现有关系型数据库管理系统通常采用删除表内数据的方式，从而在一定程度上提高数据查询效率，但当表内数据量较大时，删除操作并不会降低表的水位，而高水位同样会影响表的数据查询效率，导致用户的数据查询处理速度较慢。
80.基于上述技术问题，本技术的发明构思在于：通过重建表的方式来避免高水位问题，从而提高查询处理效率，并且在数据迁移后再更改表名称，从而避免迁移操打断数据的正常查询，进一步提升查询效率，旨在解决现有技术的如上技术问题。
81.本技术具体的应用场景如下：
82.图1为本技术实施例提供的数据查询处理方法应用场景示意图。如图1所示，用户通过终端101向服务器102发送交易数据查询请求，服务器102接收该交易数据查询请求后，根据交易查询请求中的查询内容匹配对应的查询数据库，执行查询操作，并将查询结果发送至终端101展示以供用户获取查询结果。
83.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
84.图2为本技术实施例提供的数据查询处理方法流程示意图一。如图2所示，该方法包括：
85.s201、在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表。
86.具体来说，服务器在用户查询交易数据时实时监测用户的交易数据查询请求和查询结果的查询时长，通过计算查询请求中查询量与查询时长的比值，获取用户当前数据查询效率，判断当前数据查询效率与服务器预设查询效率阈值的大小。
87.若当前数据查询效率小于预设查询效率阈值，表明此时查询量与查询时长不匹配，从侧面反映出当前数据库内冗余数据量较大，需要进行清理以提高查询系统的吞吐量。
88.在判断出需要对数据库进行清理的结论后，触发数据库的表迁移操作，而表迁移操作需要确定待迁移数据表、待迁移数据表所在的源迁移地址以及待迁移数据表迁移目的地的目标迁移地址。
89.若当前数据查询效率不小于预设查询效率阈值，说明此时查询量与查询时长相匹配，即使数据库中存在数据重复、数据字段异常、数据分类错误等非目标查询数据，但由于这些非目标查询数据并没有对用户的查询效率造成严重影响，因此可以采取现有删除非目标查询数据或者不处理的方式。
90.s202、根据该待迁移数据表中的表结构，在该目标迁移地址新建空白数据表。
91.具体来说，由于数据库内的数据是存放在数据表中的，而数据表会根据存储数据内容或性质设置为不同的表结构，为了避免迁移后的数据表无法正常使用，迁移后的数据表应与待迁移的数据表的表结构相同，因此，在数据迁移前，需要在目标迁移地址新建与待
迁移数据表的表结构相同的空白数据表。
92.优选的，对待迁移数据表的表结构执行复制操作得到表结构副本，然后将表结构副本从源迁移地址移动至目标迁移地址，再根据移动后的表结构副本新建空白数据表，从而确保新建的空白数据表与待迁移数据表的表结构相同。
93.s203、根据该源迁移地址和目标迁移地址，将该待迁移数据表中的目标数据复制到该空白数据表内，得到目标数据表。
94.其中，该目标数据为该待迁移数据表中除历史数据和/或异常数据以外的其他数据。
95.由于待迁移数据表中存在数据重复、数据字段异常、数据分类错误等异常数据，或者存在大量已经脱离查询范围的历史数据，这些异常数据和/或历史数据会导致数据查询时被反复扫描，降低数据查询效率，因此这些异常数据和/或历史数据属于数据查询的非目标数据，相对的，除了这些异常数据和/或历史数据以外的数据即为数据查询的目标数据，因此，在数据迁移时排除这些非目标数据，可以有效提高迁移效率以及迁移后目标数据表的查询效率。
96.具体来说，复制待迁移数据表中的目标数据得到目标数据副本，然后将目标数据副本从源迁移地址发送至目标迁移地址，并填充至空白数据表中，得到目标数据表。
97.优选的，目标数据表在用于数据查询时，还需要具备目标索引。通常情况下，目标索引是根据目标数据表中的目标数据进行逐一识别后建立，逐一识别需要耗费大量的时长，为了提高目标数据表新建索引的效率，可以利用待迁移数据表中的索引进行复制后关联，即在源迁移地址中复制待迁移数据表的索引得到索引副本，然后将源迁移地址的索引副本移动至目标迁移地址中，由于目标迁移地址中已存在目标数据表，因此只需将索引副本与目标数据表内的数据进行关联即可，关联后的索引副本即为目标索引。相对于重新识别并建立索引来说，复制后并关联的方式能够极大节省索引构建时间。
98.进一步的，由于目标数据表中的数据相对于待迁移数据表中的数据来说是删减后的数据，因此索引副本中会存在与目标数据表中的数据无法关联的索引项目，为了避免查询时对目标索引中索引项目的无用遍历，因此需要删除未关联的索引项目，以提高查询效率。
99.s204、将该待迁移数据表中的表名称更改为备份数据表，将该目标数据表中的表名称命名为该待迁移数据表中的表名称，以使在获取携带有该待迁移数据表的数据查询请求时，根据该查询请求，切换至该目标数据表进行数据查询处理。
100.具体来说，针对数据查询来说，通常是将查询拆分成多个查询任务，每一查询任务对应一个或多个查询结果，查询任务完成后输出查询结果，每个查询任务需要等待上一查询任务完成后再开始，这就使得相邻查询任务之间可以暂停处理。现有的数据迁移操作就是利用相邻查询任务之间的间隙进行数据迁移，对于数据表内数据量较少的迁移来说，由于迁移速度较快，该方式不会对数据查询整体造成较大的速度影响，但对于数据量较大的迁移来说，迁移速度较慢，使得查询任务暂停时间较长，用户对查询结果的获取时间也会延长，导致用户使用体验感较差，因此相对于未迁移数据的查询没有太大的提速优势。
101.由于数据查询是根据数据表的表名称进行定位后再遍历比对，因此，在目标数据迁移完成后，通过更改待迁移数据表的表名称为备份数据表，可以在相邻两个查询任务的
间隙暂停数据在待迁移数据表内的查询操作，而将迁移完成后的目标数据表的表名称更改为待迁移数据表中的表名称，可以快速重启数据的查询任务操作，实现在查询过程中两个表的快速切换，使得在数据的迁移过程中查询可以在源迁移地址中的数据表中继续执行，而在迁移完成后就切换到目标迁移地址的数据表中执行，以便尽可能的降低查询等待时间，从而提高查询效率。
102.本实施例提供的方法，通过在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表；根据该待迁移数据表中的表结构，在该目标迁移地址新建空白数据表，并根据该源迁移地址和目标迁移地址，将该待迁移数据表中的目标数据复制到该空白数据表内，得到目标数据表；将该待迁移数据表中的表名称更改为备份数据表，将该目标数据表中的表名称命名为该待迁移数据表中的表名称，以使在获取携带有该待迁移数据表的数据查询请求时，根据该查询请求，切换至该目标数据表进行数据查询处理的手段，采用复制方式实现迁移与查询的同步进行，避免迁移过程中数据占用导致查询暂停的情况，并在复制迁移时删除非目标数据，且在迁移后通过更改表名称快速切换至新建的目标数据表进行数据查询，从而避免原有待迁移数据表查询时因数据量较大导致的查询速度较慢的问题。
103.下面结合一个具体的实施例，对本技术的数据查询处理方法进行详细说明。
104.图3为本技术实施例提供的数据查询处理方法流程示意图二。如图3所示，该方法包括：
105.s301、在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表。
106.具体来说，在用户查询交易数据时，服务器实时监测用户的当前数据查询效率，直至当前数据查询效率小于预设查询效率阈值，表明此时查询量与查询时长不匹配，从侧面反映出当前数据库内冗余数据量较大，需要进行清理以提高查询系统的吞吐量，触发数据库的表迁移操作，而表迁移操作需要确定待迁移数据表、待迁移数据表所在的源迁移地址以及待迁移数据表迁移目的地的目标迁移地址。
107.s302、复制该待迁移数据表中的表结构得到表结构副本，并将该表结构副本的属性设置为不记录日志和并行数据操作方式。
108.具体来说，为了避免迁移后的数据表无法正常使用，迁移后的数据表应与待迁移的数据表的表结构相同，因此，在数据迁移前，需要在目标迁移地址新建与待迁移数据表的表结构相同的空白数据表。
109.关系型数据库管理系统中数据库内表结构的正常运行属性为记录日志和非并行数据的操作方式。
110.其中，记录日志的操作方式会占用系统的计算资源，并会降低数据迁移的速度，但可以确保系统的正常运行，便于后期的维护；非并行数据的操作方式使得数据只能单线传输，使得传输速度较慢，但可以提高数据传输的准确性和可靠性。
111.由于表结构副本是对待迁移数据表中表结构的复制，而要存储到表结构副本中的数据也是源待迁移数据表中的数据，复制后迁移的过程不涉及数据的转换和查询，无需记录日志并且使用非并行数据操作方式，因此，将表结构副本的属性设置为不记录日志和并行数据操作方式，可以提高数据迁移过程的迁移速度，而迁移速度加快是为后期查询速度
加快做准备的，因而该操作同样提高了数据的查询效率。
112.s303、将该表结构副本从该源迁移地址迁移至该目标迁移地址。
113.具体来说，表结构副本复制后先是存储在源迁移地址中，然后再根据目标迁移地址进行副本的移动，而待迁移数据表始终在源迁移地址内不做改变，因此，移动不会影响到源迁移地址内待迁移数据表正在执行的查询操作。
114.进一步的，源迁移地址和目标迁移地址可以是同一数据库，也可以是不同数据库。
115.优选的，源迁移地址和目标迁移地址是同一数据库，同库迁移有利于提高数据迁移效率。
116.s304、根据该目标迁移地址的表结构副本，新建与该表结构副本的属性相同的空白数据表。
117.具体来说，在目标迁移地址内，根据表结构副本的格式新建空白数据表，以为目标数据提供存放位置。
118.s305、根据该源迁移地址和目标迁移地址，将该待迁移数据表中的目标数据复制到该空白数据表内，得到目标数据表。
119.具体来说，同表结构的迁移过程类似，目标数据也是先在源迁移地址内经过复制得到目标数据副本，然后再将目标数据副本移动至目标迁移地址，最后根据空白数据表的表结构进行目标数据副本的填充，得到目标数据表。
120.其中，该目标数据为该待迁移数据表中除历史数据和/或异常数据以外的其他数据。
121.具体来说，由于待迁移数据表中存在数据重复、数据字段异常、数据分类错误等异常数据，或者存在大量已经脱离查询范围的历史数据，这些异常数据和/或历史数据会导致数据查询时被反复扫描，会降低数据的查询效率，因此，这些异常数据和/或历史数据属于数据查询的非目标数据，相对的，除了这些异常数据和/或历史数据以外的数据即为数据查询的目标数据。
122.s306、将该待迁移数据表中的目标数据复制到该空白数据表之后，将该目标数据表的属性更改为非并行数据操作方式。
123.具体来说，由于关系型数据库管理系统只能对非并行数据操作方式的数据表进行查询，为了避免后期切换查询时报错，需要在迁移完成后，将目标数据表的属性改为非并行数据操作方式。
124.优选的，在迁移完成后，将目标数据表的属性改为关系型数据库管理系统默认的记录日志操作方式，以便后期维护。
125.s307、复制该待迁移数据表中的索引得到索引副本，并将该索引副本从该源迁移地址迁移至该目标迁移地址对应的目标数据表中。
126.具体来说，由于查询需要基于索引进行，因此填充完数据的数据表还需要建立对应的索引。为了提高目标数据表新建索引的效率，可以利用待迁移数据表中的索引进行复制后关联，即在源迁移地址中复制待迁移数据表的索引得到索引副本，然后将源迁移地址的索引副本移动至目标迁移地址中。
127.s308、将该目标数据表中的目标数据逐个关联至该索引副本上，得到带有关联数据的目标索引。
128.具体来说，由于目标迁移地址中已存在目标数据表，因此只需将索引副本与目标数据表内的数据进行关联即可，关联后的索引副本即为目标索引。相对于重新识别并建立索引来说，复制后并关联的方式能够极大节省索引构建时间。
129.s309、若该索引副本中存在未关联的索引项目，则删除该未关联的索引项目。
130.具体来说，由于目标数据表中的数据相对于待迁移数据表中的数据来说是删减后的数据，因此索引副本中会存在与目标数据表中的数据无法关联的索引项目，为了避免查询时对目标索引中索引项目的无用遍历，因此需要删除未关联的索引项目，以提高查询效率。
131.s310、将该目标索引插入到该目标数据表中。
132.具体来说，在目标索引构建完成后，将其插入目标数据表中，以便后期查询和维护。
133.s311、复制该待迁移数据表中的统计信息得到统计副本，并将该统计副本从源迁移地址迁移至该目标迁移地址对应的目标数据表中。
134.具体来说，同目标索引的构建类似，统计信息的构建也是先遵循复制原有统计信息后再看是否匹配的方式，即在源迁移地址中复制待迁移数据表的统计信息得到统计信息副本，然后将源迁移地址的统计信息副本移动至目标迁移地址中。
135.s312、判断目标数据表中的目标数据是否与该统计副本相匹配，若是，则执行s313，若否，则执行s314。
136.具体来说，由于目标迁移地址中已存在目标数据表，因此只需判断统计信息副本与目标数据表内的目标数据是否匹配，即可快速确定该统计副本是否可直接作为目标统计信息，避免重新构建目标统计信息时耗费的时长。
137.s313、将该统计副本作为目标统计信息。
138.具体来说，当迁移的统计副本与目标数据表的目标数据相匹配，可以直接将统计副本作为目标统计信息。这里匹配并非指的是完全相同，通常来说，统计信息是统计数据表的行数、列数以及数据量等情况，这些数据量在相差几行、几列或者几个数据时，对查询并不会产生影响，因此，只要统计副本与目标数据表的数据量差距不大，就认为统计副本与目标数据表相匹配。
139.s314、删除该统计副本，并重新统计以获取该目标数据表的目标统计信息。
140.具体来说，当统计副本与目标数据表的数据量差距较大时，例如数据量有数量级的差距，此时会对查询产生影响，即统计副本已无法使用，需要重新对目标数据表内的数据进行统计，得到目标统计信息。
141.s315、将该目标统计信息插入到该目标数据表中。
142.具体来说，在目标统计信息构建完成后，将其插入目标数据表中，以便后期查询和维护。
143.s316、获取目标数据表的目标统计信息，并根据该待迁移数据表中的统计信息，对该目标数据表进行数据量校验。
144.具体来说，在目标数据表构建完成后，需要对目标数据表进行数据校验，为了降低校验时长以提高迁移效率，采用数据量校验的方式可以快速验证目标数据表中的数据是否齐全，这里采用待迁移数据表的统计信息作为参考，校验目标统计信息是否与待迁移数据
表的统计信息相匹配，避免数据表迁移错误。
145.s317、将该待迁移数据表中的表名称更改为备份数据表，将该目标数据表中的表名称命名为该待迁移数据表中的表名称。
146.具体来说，由于查询过程是依据数据表的地址索引进行查找的，通过将目标数据表中的表名称命名为待迁移数据表中的表名称，以使在获取携带有该待迁移数据表的数据查询请求时，根据该查询请求，切换至该目标数据表进行数据查询处理。因此在迁移完成后的最后一步更改表名称，可以实现查询地址的快速切换，从而避免迁移时长对查询造成的停滞，提高查询效率。
147.本实施例提供的方法，通过在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表；复制该待迁移数据表中的表结构得到表结构副本，并将该表结构副本的属性设置为不记录日志和并行数据操作方式；将该表结构副本从该源迁移地址迁移至该目标迁移地址；根据该目标迁移地址的表结构副本，新建与该表结构副本的属性相同的空白数据表；根据该源迁移地址和目标迁移地址，将该待迁移数据表中的目标数据复制到该空白数据表内，得到目标数据表；将该待迁移数据表中的目标数据复制到该空白数据表之后，将该目标数据表的属性更改为非并行数据操作方式的手段，利用副本进行迁移，避免迁移对待迁移数据表正在执行的查询造成影响，也避免直接迁移待迁移数据表时为了防止数据丢失必须暂停查询的弊端。
148.通过复制该待迁移数据表中的索引得到索引副本，并将该索引副本从该源迁移地址迁移至该目标迁移地址对应的目标数据表中；将该目标数据表中的目标数据逐个关联至该索引副本上，得到带有关联数据的目标索引；若该索引副本中存在未关联的索引项目，则删除该未关联的索引项目；将该目标索引插入到该目标数据表中的手段，为目标数据表快速建立目标索引，节省目标数据表的构建时长，从而提高数据迁移效率，进而提高数据查询效率。
149.通过复制该待迁移数据表中的统计信息得到统计副本，并将该统计副本从该源迁移地址迁移至该目标迁移地址对应的目标数据表中；若该目标数据表中的目标数据与该统计副本相匹配，则将该统计副本作为目标统计信息；若该目标数据表中的目标数据与该统计副本不匹配，则删除该统计副本，并重新统计以获取该目标数据表的目标统计信息；将该目标统计信息插入到该目标数据表中的手段，为目标数据表快速建立目标统计信息，节省目标数据表的构建时长，从而提高数据迁移效率，进而提高数据查询效率。
150.通过获取目标数据表的目标统计信息，并根据该待迁移数据表中的统计信息，对该目标数据表进行数据量校验；将该待迁移数据表中的表名称更改为备份数据表，将该目标数据表中的表名称命名为该待迁移数据表中的表名称，以使在获取携带有该待迁移数据表的数据查询请求时，根据该查询请求，切换至该目标数据表进行数据查询处理的手段，快速校验目标数据表是否为待迁移数据表的替代表，并通过更换表名称实现查询地址的快速切换，从而避免迁移时长对查询造成的停滞，进而提高查询效率，同时，利用原有的待迁移数据表作为备份数据表，还便于后期数据表的数据溯源和恢复。
151.综上，本实施例中目标数据表的构建中同时采用表结构复制、属性更改为不记录日志和并行数据操作方式、索引复制以及统计信息复制的方式，多种方式相互配合可以极大的提升迁移效率，进而降低数据查询在待迁移数据表内的等待时长，以使数据查询快速
切换至目标数据表，进而提升数据查询的整体效率。
152.图4为本技术实施例提供的数据查询处理装置的结构示意图。如图4所示，该设备40包括：
153.监测模块401，用于在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表。
154.迁移模块402，用于根据该待迁移数据表中的表结构，在该目标迁移地址新建空白数据表，并根据该源迁移地址和目标迁移地址，将该待迁移数据表中的目标数据复制到该空白数据表内，得到目标数据表；其中，该目标数据为该待迁移数据表中除历史数据和/或异常数据以外的其他数据。
155.处理模块403，用于将该待迁移数据表中的表名称更改为备份数据表，将该目标数据表中的表名称命名为该待迁移数据表中的表名称，以使在获取携带有该待迁移数据表的数据查询请求时，根据该查询请求，切换至该目标数据表进行数据查询处理。
156.可选的，该迁移模块402具体用于：
157.根据该待迁移数据表中的表结构，在该目标迁移地址新建空白数据表，包括：
158.复制该待迁移数据表中的表结构得到表结构副本；
159.将该表结构副本的属性设置为不记录日志和并行数据操作方式；
160.将该表结构副本从该源迁移地址迁移至该目标迁移地址；
161.根据该目标迁移地址的表结构副本，新建与该表结构副本的属性相同的空白数据表。
162.进一步的，在上述实施例的基础上，该迁移模块402还可以用于：
163.将该待迁移数据表中的目标数据复制到该空白数据表之后，将该目标数据表的属性更改为非并行数据操作方式。
164.进一步的，在上述实施例的基础上，该迁移模块402还可以用于：
165.将该待迁移数据表中的目标数据复制到该空白数据表内，得到目标数据表之后，复制该待迁移数据表中的索引得到索引副本；
166.将该索引副本从该源迁移地址迁移至该目标迁移地址对应的目标数据表中；
167.将该目标数据表中的目标数据逐个关联至该索引副本上，得到带有关联数据的目标索引；
168.将该目标索引插入到该目标数据表中。
169.进一步的，在上述实施例的基础上，该迁移模块402还可以用于：
170.若该索引副本中存在未关联的索引项目，则删除该未关联的索引项目。
171.进一步的，在上述实施例的基础上，该迁移模块402还可以用于：
172.将该待迁移数据表中的目标数据复制到该空白数据表内，得到目标数据表之后，该方法还包括：
173.复制该待迁移数据表中的统计信息得到统计副本；
174.将该统计副本从该源迁移地址迁移至该目标迁移地址对应的目标数据表中；
175.若该目标数据表中的目标数据与该统计副本相匹配，则将该统计副本作为目标统计信息；
176.若该目标数据表中的目标数据与该统计副本不匹配，则删除该统计副本，并重新
统计以获取该目标数据表的目标统计信息；
177.将该目标统计信息插入到该目标数据表中。
178.进一步的，在上述实施例的基础上，该处理模块403还可以用于：
179.将该目标统计信息插入到该目标数据表中之后，获取目标数据表的目标统计信息，并根据该待迁移数据表中的统计信息，对该目标数据表进行数据量校验。
180.本实施例提供的数据查询处理装置，可执行上述实施例的数据查询处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。
181.本发明实施例可以根据上述方法示例对服务器或主控设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理单元中。
182.上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
183.需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
184.在前述的数据查询处理装置的具体实现中，各模块可以被实现为处理器，处理器可以执行存储器中存储的计算机执行指令，使得处理器执行上述的数据查询处理方法。
185.图5为本技术实施例提供的服务器的硬件结构示意图。如图5所示，该服务器50包括：至少一个处理器501和存储器502。
186.该服务器50还包括通信部件503。
187.其中，处理器501、存储器502以及通信部件503通过总线504连接。
188.在具体实现过程中，至少一个处理器501执行该存储器502存储的计算机执行指令，使得至少一个处理器501执行如上服务器侧所执行的数据查询处理方法。
189.处理器501的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
190.在上述实施例中，应理解，处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
191.存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器。
192.总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。
193.为便于表示，本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
194.上述针对服务器以及主控设备所实现的功能，对本发明实施例提供的方案进行了介绍。可以理解的是，服务器或主控设备为了实现上述功能，其包含了执行各个功能相应的
硬件结构和/或软件模块。
195.结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的技术方案的范围。
196.本技术还提供一种关系型数据库管理系统，包括：处理器，以及与该处理器通信连接的存储器；
197.该存储器存储计算机执行指令；
198.该处理器执行该存储器存储的计算机执行指令，以实现数据查询处理方法。
199.本实施例提供的关系型数据库管理系统，可执行上述实施例的数据查询处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。
200.本技术还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现客户关系管理系统的项目代码管理方法。
201.本实施例提供的计算机程序产品，可执行上述实施例的数据查询处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。
202.本技术还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行该计算机执行指令时，实现如上数据查询处理方法。
203.本实施例提供的计算机可读存储介质，可执行上述实施例的数据查询处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。
204.上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
205.一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中。当然，处理器和可读存储介质也可以作为分立组件存在于服务器或主控设备中。
206.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
207.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
208.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽
管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种数据查询处理方法，其特征在于，包括：在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表；根据所述待迁移数据表中的表结构，在所述目标迁移地址新建空白数据表，并根据所述源迁移地址和目标迁移地址，将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表；其中，所述目标数据为所述待迁移数据表中除历史数据和/或异常数据以外的其他数据；将所述待迁移数据表中的表名称更改为备份数据表，将所述目标数据表中的表名称命名为所述待迁移数据表中的表名称，以使在获取携带有所述待迁移数据表的数据查询请求时，根据所述查询请求，切换至所述目标数据表进行数据查询处理。2.根据权利要求1所述的方法，其特征在于，所述根据所述待迁移数据表中的表结构，在所述目标迁移地址新建空白数据表，包括：复制所述待迁移数据表中的表结构得到表结构副本，并将所述表结构副本的属性设置为不记录日志和并行数据操作方式；将所述表结构副本从所述源迁移地址迁移至所述目标迁移地址；根据所述目标迁移地址的表结构副本，新建与所述表结构副本的属性相同的空白数据表。3.根据权利要求2所述的方法，其特征在于，还包括：将所述待迁移数据表中的目标数据复制到所述空白数据表之后，将所述目标数据表的属性更改为非并行数据操作方式。4.根据权利要求1至3任一所述的方法，其特征在于，所述将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表之后，所述方法还包括：复制所述待迁移数据表中的索引得到索引副本，并将所述索引副本从所述源迁移地址迁移至所述目标迁移地址对应的目标数据表中；将所述目标数据表中的目标数据逐个关联至所述索引副本上，得到带有关联数据的目标索引；将所述目标索引插入到所述目标数据表中。5.根据权利要求4所述的方法，其特征在于，还包括：若所述索引副本中存在未关联的索引项目，则删除所述未关联的索引项目。6.根据权利要求1至3任一所述的方法，其特征在于，所述将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表之后，所述方法还包括：复制所述待迁移数据表中的统计信息得到统计副本，并将所述统计副本从所述源迁移地址迁移至所述目标迁移地址对应的目标数据表中；若所述目标数据表中的目标数据与所述统计副本相匹配，则将所述统计副本作为目标统计信息；若所述目标数据表中的目标数据与所述统计副本不匹配，则删除所述统计副本，并重新统计以获取所述目标数据表的目标统计信息；将所述目标统计信息插入到所述目标数据表中。7.根据权利要求6所述的方法，其特征在于，所述将所述目标统计信息插入到所述目标
数据表中之后，所述方法还包括：获取目标数据表的目标统计信息，并根据所述待迁移数据表中的统计信息，对所述目标数据表进行数据量校验。8.一种数据查询处理装置，其特征在于，包括：监测模块，用于在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表；迁移模块，用于根据所述待迁移数据表中的表结构，在所述目标迁移地址新建空白数据表，并根据所述源迁移地址和目标迁移地址，将所述待迁移数据表中的目标数据复制到所述空白数据表内，得到目标数据表；其中，所述目标数据为所述待迁移数据表中除历史数据和/或异常数据以外的其他数据；处理模块，用于将所述待迁移数据表中的表名称更改为备份数据表，将所述目标数据表中的表名称命名为所述待迁移数据表中的表名称，以使在获取携带有所述待迁移数据表的数据查询请求时，根据所述查询请求，切换至所述目标数据表进行数据查询处理。9.一种服务器，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。

技术总结
本申请提供一种数据查询处理方法、设备及存储介质，可用于大数据领域。该方法包括：在监测到数据查询效率低于预设查询效率阈值时，确定源迁移地址、目标迁移地址以及待迁移数据表；根据该待迁移数据表中的表结构，在该目标迁移地址新建空白数据表，并根据该源迁移地址和目标迁移地址，将该待迁移数据表中的目标数据复制到该空白数据表内，得到目标数据表；将该待迁移数据表中的表名称更改为备份数据表，将该目标数据表中的表名称命名为该待迁移数据表中的表名称。本申请的方法，在迁移过程中不会占用数据表导致查询暂停，在迁移后能够快速切换查询，并且避免原有待迁移数据表查询时因数据量较大导致的查询速度较慢的问题。因数据量较大导致的查询速度较慢的问题。因数据量较大导致的查询速度较慢的问题。


技术研发人员：汤立伟
受保护的技术使用者：中国银行股份有限公司
技术研发日：2023.05.26
技术公布日：2023/8/28