一种混合分布式数据湖仓系统及其运行方法与流程

1.本发明涉及数据处理技术领域，特别涉及一种混合分布式数据湖仓系统及其运行方法。


背景技术：

2.多源异构数据架构(heterogeneous data architecture)是一种数据处理架构，它可以让企业整合来自不同来源和不同格式的数据，以便更好地进行数据分析和决策。在这种架构中，数据通常存储在不同的数据库或数据仓库中，并且使用不同的数据结构和标准。
3.大数据时代下，对多源异构数据架构的需求十分突出，海量的不同类型、不同数据源数据均需要进行集中采集和管理。
4.湖仓一体技术是大数据时代下应运而生的新兴技术体系，数据湖仓融合了数据仓库和数据湖两套体系：
5.数据仓库：适合存储结构化的、信息密度高的、经过处理后的数据。例如我们通过大数据分析得到的关联信息、画像信息等，都可以放在数据仓库中；
6.数据湖：适合存储非结构化的、信息密度低的、未经清洗的数据。例如生产中我们获取到的日志信息、长文本信息、物联网原始报文信息等都可以直接放到数据湖中。
7.湖仓一体技术的优势在于它继承了数据湖的灵活性和可扩展性，同时还具有数据仓库的数据质量和安全性等特点。这种架构可以将处理数据的速度提高到与数据仓库相当的水平，同时还能够处理各种类型的数据，包括结构化、半结构化和非结构化的数据。此外，湖仓一体技术还支持实时数据处理和机器学习等新兴的数据处理技术。
8.但是，在大数据平台中微服务架构下数据去中心化和分布式存储下的数据中心化相互矛盾。
9.缩略语和关键术语定义
10.dbms：database management system，数据库管理系统；
11.dlw：data lake warehouse，数据湖仓；
12.dm：data model，数据模型；
13.bi：business intelligence，商业智能；
14.ml：machine learning，机器学习；
15.nlp：natural language processing，自然语言处理；
16.jdbc：java data base connectivityjava，数据库连接器；
17.sdk：software development kit，软件开发工具包；
18.api：application programming interface，应用编程接口；
19.xml：extensible markup language，可扩展标记语言；
20.json：javascript object notation javascript，对象简谱。


技术实现要素：

21.本发明针对现有技术的缺陷，提供了一种混合分布式数据湖仓系统及其运行方法。
22.为了实现以上发明目的，本发明采取的技术方案如下：
23.一种混合分布式数据湖仓系统，包括：底层数据湖仓、数据引擎、语义解释引擎、多源数据目标分发模组和数据模型引擎；
24.底层数据湖仓：包括数据仓库和数据湖，底层支持多种数据类型并存，且实现数据间的相互共享。
25.所述数据仓库包括mysql和redis,数据湖包括：hdfs、clickhouse、elastisearch、hbase。
26.数据引擎由多源数据管理引擎、数据产品引擎、数据计算引擎组成。
27.多源数据管理引擎负责解析输入的参数，参数包括：sql、连接方式、数据库代号等,使用原生jdbc或原生连接器直接与底层数据湖仓进行交互，得到或操作数据湖仓中的数据。
28.数据计算引擎融合了大数据基础计算功能，其负责两个系统业务：
①
负责将数据湖仓中的原始数据进行整理，并输送给数据产品引擎进行加工。
②
负责配合数据产品引擎，为其提供算力支持。
29.所述数据计算引擎集成了包括：bi模块、ml模块、nlp模块和scriptlanguage模块；
30.数据产品引擎负责将数据湖仓中的数据进行二次加工，运算并分析，最终为上层应用提供数据支撑。
31.所述数据产品引擎集成了数据库配置模块、数据库驱动模块、dbsession、数据库连接池；
32.所述数据库配置模块存储着数据模型引擎中用户配置好的数据库配置，在需要与数据库交互的时候会先从此模块获取对应的数据库配置，配置中包含数据库连接信息和数据库驱动信息。
33.所述数据库驱动模块的作用是为每次数据库请求分配不同的驱动版本，用于连接数据库。从数据库配置模块中取出的数据库驱动信息会被传入此模块中，此模块再去调用dbsession建立对应数据库的连接。
34.所述dbsession用于创建程序和数据库之间的连接和会话，并管理其中的数据库事务。所有数据库请求都需要通过dbsession进行管理。
35.数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。
36.语义解释引擎，其功能是将数据模型引擎中存储的类sql模板、xml模板和json参数模板的规范化的模板解析为数据仓库的sql语句、数据湖的操作或执行命令。
37.数据模型引擎是面向用户可视化操作的。数据模型引擎提供了一个web端入口，方便用户管理数据库信息和sql模板。支持可视化编辑窗口，用户可依照标准sql规范或模板配置规范编写sql语句或配置sql模板。
38.多源数据目标分发模组是混合分布式数据湖仓系统中的中间件，起到承上启下的
作用，用于连接底层数据湖仓、数据引擎、语义解释引擎和数据模型引擎。
39.进一步地，所述语义解释引擎集成了包括：xml解析器、json解析器、script解析器、dbsession反射器、动态参数解译器、类sql映射器、语义结点管理器、hybrid混合查询器、语义封装器、语义执行器；
40.xml解析器用于把xml转换为xml dom对象；
41.json解析器用于把json格式的数据按照语义模板解析。
42.script解析器用于把脚本语言解析为可执行语句。
43.dbsession反射器用于创建程序与数据库之间的会话。
44.动态参数解译器用于根据预编辑好的参数模板，解析动态参数。
45.类sql映射器用于根据具体的数据库特性解析与转换通用的sql语言。
46.语义结点管理器的作用是配合各类解析器，对解析好的sql语句进行节点管理，管理的内容包括sql语句中的查询条件、排序条件、链接条件等。
47.hybrid混合查询器用于统一事务中的多次请求的混合查询，使h2dlw服务支持一个事务多个数据库连接。具体来说，就是将多次不同类型的数据库请求合并为一个事务，在进行事务回滚的时候，可以做到不同数据库一次回滚。
48.语义封装器用于预先配置并存储的数据语义模板，生成语义匹配模板，供各种解析器解析时快速匹配使用。
49.语义执行器用于执行解析完成的数据语义模板，例如正常解析好的xml模板，执行该sql语句。
50.进一步地，数据模型引擎中用户可在数据库操作界面中配置自己想要链接的数据库信息，包括：数据库连接地址、数据库类型、登录数据库的账号密码信息。其中,数据源管理模块存储了h2dlw服务可以连接的数据库类型的信息，这些信息不允许用户进行配置，用户只可以在配置数据库连接信息的时候进行选择对应的数据源类型。
51.用户还可以在可视化操作界面中配置sql语句、sql模板、xml模板，在配置前，用户需要先手动选择sql类型，配置完成后，系统会根据选择的sql类型将用户配置的模板添加头部修饰标签，最终生成标准xml模板。
52.在配置模板的过程中，用户可以在可视化界面中进行调试，查看模板对应生成的sql语句及该sql执行后的结果。
53.配置完成后，该条模板会生成一条唯一的id，用户只需要在自己的程序中使用这条id即可，不需要重启h2dlw服务。即数据模型的热部署功能。
54.用户也可以在可视化界面中对已经配置好的模板进行修改，修改完成后，该条模板的唯一id不会发生变化，即数据模型的热更新功能。
55.进一步地，数据模型引擎还包括了一套javasdk工具包，javasdk工具包中包含了一个小型的数据模型引擎和网络请求模块。用户可使用maven引入工具包并调用其中的api方法生成临时的json模板用于数据库交互。在生成好json模板后，用户需要调用请求模块的api方法向h2dlw服务发起请求。之后请求模块会通过java的反射机制将得到的结果数据包装成用户需要的java对象。
56.本发明还公开了一种混合分布式数据湖仓系统的运行方法，包括：多源数据目标分发模组接受用户发起的请求后，在数据模型引擎中获取模板，在语义解释引擎中解析模
板和参数，返回sql或命令，在将sql或命令发送至数据模型引擎，数据模型引擎像底层数据湖仓发起请求，底层数据湖仓返回结果或数据至多源数据目标分发模组，多源数据目标分发模组呈现给用户。
57.与现有技术相比，本发明的优点在于：
58.解决大数据平台中微服务架构下数据去中心化和分布式存储下的数据中心化矛盾。
59.bi、ml、nlp可快速直接应用混合分布式数据湖仓系统处理好的数据产品，也可无缝调用整个混合分布式数据湖仓系统数据湖仓中的海量元数据，高效率、低消耗的进行按需模型运算。
60.混合分布式数据湖仓系统内部实现多源异构数据底层管理，减少其他微服务模块搭建和管理数据底层；一处配置管理，多服务收益，提高系统的高可用和稳定性。
附图说明
61.图1是本发明实施例混合分布式数据湖仓系统结构示意图。
62.图2是本发明实施例多源数据目标分发模组运行流程图。
具体实施方式
63.为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
64.h2dlw全称：hybrid distributed data lake warehouse(混合分布式数据湖仓)，h2dlw设计融合了微服务的分布式服务设计、hdfs分布式文件系统、多源异构数据分布式存储系统，形成混合分布式应用模型。在h2dlw中，由统一的微服务模块对关系型数据库、列式数据库、内存数据库、文件系统库等进行动态管理。
65.h2dlw对其他微服务模块或外部应用提供统一的数据切片管理、数据目录管理、数据权限分层管理,以api、sql、语言脚本等方式提供数据访问能力。支持对新数据源、新数据访问需求以不停机高可用模式进行动态更新装载。
66.h2dlw内部集成bi、ml、nlp等模型能力，bi、ml、nlp可快速直接应用h2dlw处理好的数据产品，也可无缝调用整个h2dlw数据湖仓中的海量元数据，高效率、低消耗的进行按需模型运算。
67.h2dlw内部实现多源异构数据底层管理，其他微服务模块不再需要自行搭建数据驱动，不必管理数据存储过程中的线程调度，不用担心连接池溢出，产生公共服务数据需求在h2dlw中一次配置，多服务共享，不再在各个微服务模块中产生冗余配置信息，精简配置提高安全性，在数据源或数据集合发生变更时，所有相关应用方微服务模块不再需要全部调整配置并重启，极大提高整个系统的高可用能力和可靠性。
68.如图1所示，本发明提供一种混合分布式数据湖仓系统及其运行方法，包括：底层数据湖仓、数据引擎、语义解释引擎、多源数据目标分发模组和数据模型引擎；
69.底层数据湖仓：打通数据仓库和数据湖，并融合了两种架构的优势。其底层支持多种数据类型并存，且实现数据间的相互共享。
70.所述数据仓库包括mysql和redis,数据湖包括：hdfs、clickhouse、elastisearch、
hbase。
71.数据引擎由多源数据管理引擎、数据产品引擎、数据计算引擎组成。
72.多源数据管理引擎负责解析输入的参数，参数包括：sql、连接方式、数据库代号等,使用原生jdbc或原生连接器直接与底层数据湖仓进行交互，得到或操作数据湖仓中的数据。
73.数据计算引擎融合了大数据基础计算功能，其主要负责两个系统业务：
①
负责将数据湖仓中的原始数据进行整理，并输送给数据产品引擎进行加工。
②
负责配合数据产品引擎，为其提供算力支持。
74.所述数据计算引擎集成了包括：bi模块、ml模块、nlp模块和scriptlanguage模块；
75.bi模块用于为商业智能(bi)提供商业分析、数据挖掘的计算引擎。
76.ml模块用于为机器学习(ml)建模提供计算引擎。
77.nlp模块用于为自然语言处理(nlp)提供底层计算引擎。
78.scriptlanguage模块用于脚本语言的自动化执行提供基础引擎支持。
79.数据产品引擎主要负责将数据湖仓中的数据进行二次加工，运算并分析，最终为上层应用提供数据支撑。
80.所述数据产品引擎集成了数据库配置模块、数据库驱动模块、dbsession、数据库连接池；
81.所述数据库配置模块存储着数据模型引擎中用户配置好的数据库配置，在需要与数据库交互的时候会先从此模块获取对应的数据库配置，配置中主要包含数据库连接信息，数据库驱动信息。
82.所述数据库驱动模块的作用是为每次数据库请求分配不同的驱动版本，用于连接数据库。从数据库配置模块中取出的数据库驱动信息会被传入此模块中，此模块再去调用dbsession建立对应数据库的连接。
83.所述dbsession用于创建程序和数据库之间的连接和会话，并管理其中的数据库事务。所有数据库请求都需要通过dbsession进行管理。
84.数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。
85.语义解释引擎，其主要功能是将数据模型引擎中存储的类sql模板、xml模板、json参数模板等规范化的模板解析为数据仓库的sql语句、数据湖的操作或执行命令。
86.语义解释引擎集成了包括：xml解析器、json解析器、script解析器、dbsession反射器、动态参数解译器、类sql映射器、语义结点管理器、hybrid混合查询器、语义封装器、语义执行器；
87.xml解析器用于把xml转换为xml dom对象；
88.json解析器用于把json格式的数据按照语义模板解析。
89.script解析器用于把脚本语言解析为可执行语句。
90.dbsession反射器用于创建程序与数据库之间的会话。
91.动态参数解译器用于根据预编辑好的参数模板，解析动态参数。
92.类sql映射器用于根据具体的数据库特性解析与转换通用的sql语言。
93.语义结点管理器的主要作用是配合各类解析器，对解析好的sql语句进行节点管理，管理的内容包括sql语句中的查询条件、排序条件、链接条件等。
94.hybrid混合查询器用于统一事务中的多次请求的混合查询，使h2dlw服务支持一个事务多个数据库连接。具体来说，就是将多次不同类型的数据库请求合并为一个事务，在进行事务回滚的时候，可以做到不同数据库一次回滚。
95.语义封装器用于预先配置并存储的数据语义模板，生成语义匹配模板，供各种解析器解析时快速匹配使用。
96.语义执行器用于执行解析完成的数据语义模板，例如正常解析好的xml模板，执行该sql语句。
97.数据模型引擎是面向用户可视化操作的。数据模型引擎提供了一个web端入口，方便用户管理数据库信息和sql模板。支持可视化编辑窗口，用户可依照标准sql规范或模板配置规范编写sql语句或配置sql模板。
98.数据模型引擎的主要作用是为用户提供对h2dlw的操作空间，其中包括可视化操作界面和javasdk工具包。
99.数据模型引擎的功能模块包括：数据源管理模块、数据库管理模块、数据模型修饰模块、数据模型生成模块、可视化语句配置模块、可视化语句调试模块、数据模型热部署模块、数据模型热更新模块；
100.数据模型引擎为用户提供了一个可视化操作界面。
101.用户可在数据库操作界面中配置自己想要链接的数据库信息，如数据库连接地址、数据库类型、登录数据库的账号密码等信息。其中,数据源管理模块存储了h2dlw服务可以连接的数据库类型的信息，这些信息不允许用户进行配置，用户只可以在配置数据库连接信息的时候进行选择对应的数据源类型。
102.用户还可以在可视化操作界面中配置sql语句、sql模板、xml模板，在配置前，用户需要先手动选择sql类型，配置完成后，系统会根据选择的sql类型将用户配置的模板添加头部修饰标签，最终生成标准xml模板。
103.在配置模板的过程中，用户可以在可视化界面中进行调试，查看模板对应生成的sql语句及该sql执行后的结果。
104.配置完成后，该条模板会生成一条唯一的id，用户只需要在自己的程序中使用这条id即可，不需要重启h2dlw服务。即数据模型的热部署功能。
105.用户也可以在可视化界面中对已经配置好的模板进行修改，修改完成后，该条模板的唯一id不会发生变化，即数据模型的热更新功能。
106.多源数据目标分发模组是混合分布式数据湖仓系统中的中间件，起到承上启下的作用，用于连接底层数据湖仓、数据引擎、语义解释引擎和数据模型引擎；
107.如图2所示，多源数据目标分发模组接受用户发起的请求后，在数据模型引擎中获取模板，在语义解释引擎中解析模板和参数，返回sql或命令，在将sql或命令发送至数据模型引擎，数据模型引擎像底层数据湖仓发起请求，底层数据湖仓返回结果或数据至多源数据目标分发模组，多源数据目标分发模组呈现给用户。
108.混合分布式数据湖仓系统还提供了一套javasdk工具包，其中包含了一个小型的数据模型引擎和网络请求模块。用户可使用maven引入工具包并调用其中的api方法生成临
时的json模板用于数据库交互。在生成好json模板后，用户需要调用请求模块的api方法向h2dlw服务发起请求。之后请求模块会通过java的反射机制将得到的结果数据包装成用户需要的java对象。
109.本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

技术特征：
1.一种混合分布式数据湖仓系统，包括：底层数据湖仓、数据引擎、语义解释引擎、多源数据目标分发模组和数据模型引擎；底层数据湖仓：包括数据仓库和数据湖，底层支持多种数据类型并存，且实现数据间的相互共享；所述数据仓库包括mysql和redis,数据湖包括：hdfs、clickhouse、elastisearch、hbase；数据引擎由多源数据管理引擎、数据产品引擎、数据计算引擎组成；多源数据管理引擎负责解析输入的参数，参数包括：sql、连接方式、数据库代号等,使用原生jdbc或原生连接器直接与底层数据湖仓进行交互，得到或操作数据湖仓中的数据；数据计算引擎融合了大数据基础计算功能，其负责两个系统业务：
①
负责将数据湖仓中的原始数据进行整理，并输送给数据产品引擎进行加工；
②
负责配合数据产品引擎，为其提供算力支持；所述数据计算引擎集成了包括：bi模块、ml模块、nlp模块和scriptlanguage模块；bi模块用于为商业智能提供商业分析、数据挖掘的计算引擎；ml模块用于为机器学习建模提供计算引擎；nlp模块用于为自然语言处理提供底层计算引擎；scriptlanguage模块用于脚本语言的自动化执行提供基础引擎支持；数据产品引擎负责将数据湖仓中的数据进行二次加工，运算并分析，最终为上层应用提供数据支撑；所述数据产品引擎集成了数据库配置模块、数据库驱动模块、dbsession、数据库连接池；所述数据库配置模块存储着数据模型引擎中用户配置好的数据库配置，在需要与数据库交互的时候会先从此模块获取对应的数据库配置，配置中包含数据库连接信息和数据库驱动信息；所述数据库驱动模块的作用是为每次数据库请求分配不同的驱动版本，用于连接数据库；从数据库配置模块中取出的数据库驱动信息会被传入此模块中，此模块再去调用dbsession建立对应数据库的连接；所述dbsession用于创建程序和数据库之间的连接和会话，并管理其中的数据库事务；所有数据库请求都需要通过dbsession进行管理；数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏；语义解释引擎，其功能是将数据模型引擎中存储的类sql模板、xml模板和json参数模板的规范化的模板解析为数据仓库的sql语句、数据湖的操作或执行命令；所述数据模型引擎是面向用户可视化操作的；数据模型引擎提供了一个web端入口，方便用户管理数据库信息和sql模板；支持可视化编辑窗口，用户可依照标准sql规范或模板配置规范编写sql语句或配置sql模板。2.根据权利要求1所述的一种混合分布式数据湖仓系统，其特征在于：所述语义解释引擎集成了包括：xml解析器、json解析器、script解析器、dbsession反射器、动态参数解译
器、类sql映射器、语义结点管理器、hybrid混合查询器、语义封装器、语义执行器；xml解析器用于把xml转换为xml dom对象；json解析器用于把json格式的数据按照语义模板解析；script解析器用于把脚本语言解析为可执行语句；dbsession反射器用于创建程序与数据库之间的会话；动态参数解译器用于根据预编辑好的参数模板，解析动态参数；类sql映射器用于根据具体的数据库特性解析与转换通用的sql语言；语义结点管理器的作用是配合各类解析器，对解析好的sql语句进行节点管理，管理的内容包括sql语句中的查询条件、排序条件、链接条件等；hybrid混合查询器用于统一事务中的多次请求的混合查询，使h2dlw服务支持一个事务多个数据库连接；具体来说，就是将多次不同类型的数据库请求合并为一个事务，在进行事务回滚的时候，可以做到不同数据库一次回滚；语义封装器用于预先配置并存储的数据语义模板，生成语义匹配模板，供各种解析器解析时快速匹配使用；语义执行器用于执行解析完成的数据语义模板，例如正常解析好的xml模板，执行该sql语句。3.根据权利要求1所述的一种混合分布式数据湖仓系统，其特征在于：数据模型引擎中用户可在数据库操作界面中配置自己想要链接的数据库信息，包括：数据库连接地址、数据库类型、登录数据库的账号密码信息；其中,数据源管理模块存储了h2dlw服务可以连接的数据库类型的信息，这些信息不允许用户进行配置，用户只可以在配置数据库连接信息的时候进行选择对应的数据源类型；用户还可以在可视化操作界面中配置sql语句、sql模板、xml模板，在配置前，用户需要先手动选择sql类型，配置完成后，系统会根据选择的sql类型将用户配置的模板添加头部修饰标签，最终生成标准xml模板；在配置模板的过程中，用户可以在可视化界面中进行调试，查看模板对应生成的sql语句及该sql执行后的结果；配置完成后，该条模板会生成一条唯一的id，用户只需要在自己的程序中使用这条id即可，不需要重启h2dlw服务；即数据模型的热部署功能；用户也可以在可视化界面中对已经配置好的模板进行修改，修改完成后，该条模板的唯一id不会发生变化，即数据模型的热更新功能。4.根据权利要求3所述的一种混合分布式数据湖仓系统，其特征在于：数据模型引擎还包括了一套javasdk工具包，javasdk工具包中包含了一个小型的数据模型引擎和网络请求模块；用户可使用maven引入工具包并调用其中的api方法生成临时的json模板用于数据库交互；在生成好json模板后，用户需要调用请求模块的api方法向h2dlw服务发起请求；之后请求模块会通过java的反射机制将得到的结果数据包装成用户需要的java对象。5.根据权利要求1至4其中一项所述混合分布式数据湖仓系统的运行方法，其特征在于：多源数据目标分发模组接受用户发起的请求后，在数据模型引擎中获取模板，在语义解释引擎中解析模板和参数，返回sql或命令，在将sql或命令发送至数据模型引擎，数据模型引擎像底层数据湖仓发起请求，底层数据湖仓返回结果或数据至多源数据目标分发模组，
多源数据目标分发模组呈现给用户。

技术总结
本发明公开了一种混合分布式数据湖仓系统及其运行方法，包括：底层数据湖仓支持多种数据类型并存，且实现数据间的相互共享。数据引擎输入的参数得到或操作数据湖仓中的数据，数据引擎负责原始数据整理和配合数据产品引擎，语义解释引擎。数据产品引擎负责将数据湖仓中的数据进行二次加工，运算并分析，最终为上层应用提供数据支撑。语义解释引擎存储的规范化的模板解析为数据仓库执行命令。所述数据模型引擎是面向用户可视化操作的。多源数据目标分发模组是混合分布式数据湖仓系统中的中间件。本发明的优点是：可处理多种数据形式，可无缝调用海量元数据，高效率、低消耗的进行按需模型运算，提高系统的高可用和稳定性。提高系统的高可用和稳定性。提高系统的高可用和稳定性。


技术研发人员：廖瀚卿 赵贤璇
受保护的技术使用者：云南全言科技信息有限公司
技术研发日：2023.07.06
技术公布日：2023/10/8