基于DCMM体系的数据管理系统的制作方法

基于dcmm体系的数据管理系统
技术领域
1.本技术涉及数据处理技术领域，尤其涉及一种基于dcmm体系的数据管理系统。


背景技术：

2.目前银行对于自身拥有的海量数据无法做到合理且有效的管理，缺乏统一且完备的数据管理系统，存在大量数据不可用、不好用等问题，且数据管理水平的不足导致数据管理成本高，也会影响数据价值的发挥。随着银行数据的越积越多，银行的大数据管理部门面临的压力和经营的成本也将越来越大。
3.在现有技术中，银行采用的数据管理技术较为传统，架构革新更是注重稳中求进，因此存在数据标准混乱、数据质量及安全难以保证等问题，造成银行的数据管理成本较高的问题。


技术实现要素：

4.有鉴于此，本技术提供了一种基于dcmm体系的数据管理系统，以解决现有技术中存在数据标准混乱、数据质量及安全难以保证等问题，造成银行的数据管理成本较高的问题。
5.为实现上述目的，本技术提供如下技术方案：
6.本技术第一方面公开了一种基于dcmm体系的数据管理系统，包括:
7.数据治理体系模块，所述数据治理体系模块包括：数据采集子模块、数据存储子模块、数据计算子模块、数据使用子模块；其中，所述数据采集子模块用于将结构化、半结构化和非结构化数据进行统一采集；所述数据存储子模块用于存储数据；所述数据计算子模块用于对数据进行实时计算处理和离线计算处理；所述数据使用子模块用于对外提供数据服务；
8.数据资产管理模块，所述数据资产管理模块包括：数据标准管理子模块、元数据管理子模块、数据安全子模块、数据质量管理子模块；其中，所述数据标准管理子模块用于按照dcmm体系制定数据标准以及实现数据标准落标；所述元数据管理子模块用于对技术元数据、业务元数据和管理元数据进行数据管理；所述数据安全子模块用于保障数据的安全与隐私；所述数据质量管理子模块用于通过建立数据质量评估标准和管理流程，对数据的质量进行把控管理。
9.可选的，上述的系统，还可以包括：
10.数据模型管理子模块，用于根据业务模型设计数据模型，并建立数据模型管理工具实现对数据模型的标准管理和统一管控。
11.可选的，上述的系统，还可以包括：
12.主数据管理子模块，用于对主数据进行管理，统一规范主数据信息。
13.可选的，上述的系统，还可以包括：
14.数据价值管理子模块，用于从数据成本和应用价值两方面评估数据资产价值。
15.可选的，上述的系统，还可以包括：
16.数据共享管理子模块，用于对数据进行共享。
17.从上述技术方案可以看出，本技术提供的基于dcmm体系的数据管理系统中，包括：数据治理体系模块，所述数据治理体系模块包括：数据采集子模块、数据存储子模块、数据计算子模块、数据使用子模块；其中，所述数据采集子模块用于将结构化、半结构化和非结构化数据进行统一采集；所述数据存储子模块用于存储数据；所述数据计算子模块用于对数据进行实时计算处理和离线计算处理；所述数据使用子模块用于对外提供数据服务；数据资产管理模块，所述数据资产管理模块包括：数据标准管理子模块、元数据管理子模块、数据安全子模块、数据质量管理子模块；其中，所述数据标准管理子模块用于制定数据标准以及数据标准落标；所述元数据管理子模块用于对技术元数据、业务元数据和管理元数据进行数据管理；所述数据安全子模块用于保障数据的安全与隐私；所述数据质量管理子模块用于通过建立数据质量评估标准和管理流程，对数据的质量进行把控管理。由此可知，利用本技术的系统，通过数据治理体系模块的构建保障数据资产的质量，促进数据资产的价值创造。通过数据资产管理模块解决企业在数据管理方面面临的数据基础薄弱、数据应用不足、数据价值难估、数据视图不统一、数据环境不安全和数据管理难落地等问题，实现企业数据资产的统一管理，保障数据资产的可见、可懂、可用和可运营。解决了现有技术中存在数据标准混乱、数据质量及安全难以保证等问题，造成银行的数据管理成本较高的问题。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
19.图1为本技术实施例公开的一种基于dcmm体系的数据管理系统的示意图。
具体实施方式
20.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
22.并且，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
23.由背景技术可知，在现有技术中，银行采用的数据管理技术较为传统，架构革新更
是注重稳中求进，因此存在数据标准混乱、数据质量及安全难以保证等问题，造成银行的数据管理成本较高的问题。
24.鉴于此，本技术提供了一种基于dcmm体系的数据管理系统，以解决现有技术中存在数据标准混乱、数据质量及安全难以保证等问题，造成银行的数据管理成本较高的问题。
25.本技术实施例提供了一种基于dcmm体系的数据管理系统，如图1所示，具体包括：
26.数据治理体系模块101，所述数据治理体系模块包括：数据采集子模块1011、数据存储子模块1012、数据计算子模块1013、数据使用子模块1014；其中，所述数据采集子模块1011用于将结构化、半结构化和非结构化数据进行统一采集；所述数据存储子模块1012用于存储数据；所述数据计算子模块1013用于对数据进行实时计算处理和离线计算处理；所述数据使用子模块1014用于对外提供数据服务。
27.数据资产管理模块102，所述数据资产管理模块包括：数据标准管理子模块1021、元数据管理子模块1022、数据安全子模块1023、数据质量管理子模块1024；其中，所述数据标准管理子模块1021用于制定数据标准以及数据标准落标；所述元数据管理子模块1022用于对技术元数据、业务元数据和管理元数据进行数据管理；所述数据安全子模块1023用于保障数据的安全与隐私；所述数据质量管理子模块1024用于通过建立数据质量评估标准和管理流程，对数据的质量进行把控管理。
28.需要说明的是，搭建数据治理体系是为了保障数据资产的质量，只有建立了符合银行现状场景的数据治理体系，从多个维度上保证了数据质量，才能促进数据资产的价值创造。所述数据治理体系模块从数据采集、存储、计算和使用四个方面入手，覆盖了数据在大数据平台内的全生命周期，包括：数据采集子模块1011、数据存储子模块1012、数据计算子模块1013、数据使用子模块1014。
29.其中，数据采集子模块1011指将海量的结构化、半结构化和非结构化数据统一采集至大数据平台，数据源通常是传统的关系型数据库、新型nosql数据库和文本文件信息等。
30.数据存储子模块1012指利用分布式文件系统(如hdfs)统一存储海量文本数据，利用关系型数据库(如tdsql)存储结构化数据，利用nosql数据库(如hbase)存储半结构化或非结构化数据，利用消息中间件(如kafka)存储流式数据，利用缓存数据库存储热数据等。
31.数据计算子模块1013指利用离线计算引擎(如hive、spark、tez等)搭建离线计算框架实现对数据的离线处理；利用流式计算引擎(如flink)搭建实时计算框架实现对数据的实时处理。
32.数据使用子模块1014指统一大数据平台数据的对外提供服务的形式，通过api、bi报表、仪表盘等让数据用起来，且且达到好用，活用的程度。
33.还需要说明的是，创建数据资产管理模块，一方面可以有效提升数据资产的质量和可信度，另一方面可以为各类角色的用户提供数据资产的全景视图，持续输出数据资产的服务能力，赋能业务场景。同时利用数据资产管理完善数据治理体系模块，两个模块协同作用，共同助力数据管理水平的提升。所述数据资产管理模块包括：数据标准管理子模块1021、元数据管理子模块1022、数据安全子模块1023、数据质量管理子模块1024。
34.其中，数据标准管理子模块1021首先要理清数据标准的定义，按照dcmm体系进行数据标准分类，根据数据标准分类制定合适的数据标准，通过源系统改造、数据中心落地和
数据接口标准化等形式实现数据标准落地，解决数据标准化难题。
35.元数据管理子模块1022是指对技术元数据、业务元数据和管理元数据进行管理，包含对元数据的增删改查、变更管理、对比分析和统计分析等。一般需要银行构建全行级的数据字典平台，实现对企业级元数据的统一管控。通过元数据管理结合图数据库还能展现全行级的数据血缘情况，利用数据血缘分析，对数据影响性进行分析，并快速定位问题数据的来源和加工流程，有效减少分析的时间和难度。
36.数据安全子模块1023指在数据的全生命周期中利用安全认证和权限管理、资源隔离、数据加密、数据脱敏、数字水印和容灾备份等技术保障数据的安全与隐私。安全认证和权限管理通常利用kerberos和ldap技术配合使用，并在数据传输过程中选择合适的ssl证书对部分敏感数据进行加密。资源隔离采用多租户技术，在独立数据库、共享数据库，隔离数据架构、共享数据库，共享数据架构三种隔离程度进行资源隔离。数据加密通常根据密钥类型的不同，选择对应的对称加密算法和非对称加密算法实现，当需要加密大量数据时建议选择对称加密算法，当数据量很小时，建议选择非对称加密算法。数据脱敏通常会建立相应的数据脱敏组件实现敏感数据识别及脱敏过程，脱敏形式包括替换、截断、隐藏、随机化和偏移等。数字水印通常也建立相应的数字水印组件，将标识信息暗中嵌入数据载体内部，且不影响数据正常使用。容灾备份通常采用存储数据双活、定时备份等方式实现。
37.数据质量管理子模块1024需通过建立一套科学可行的数据质量评估标准和管理流程，在事前预防、事中监控和事后改善三个方面改善数据质量问题。针对数据质量问题除了规范数据质量管理流程从根本上提升数据质量外，还需建立相关的技术组件(如数据质量采集与报送组件)，从过程中改善数据质量问题。
38.本技术提供的基于dcmm体系的数据管理系统中，包括：数据治理体系模块，所述数据治理体系模块包括：数据采集子模块1011、数据存储子模块1012、数据计算子模块1013、数据使用子模块1014；其中，所述数据采集子模块1011用于将结构化、半结构化和非结构化数据进行统一采集；所述数据存储子模块1012用于存储数据；所述数据计算子模块1013用于对数据进行实时计算处理和离线计算处理；所述数据使用子模块1014用于对外提供数据服务；数据资产管理模块，所述数据资产管理模块包括：数据标准管理子模块1021、元数据管理子模块1022、数据安全子模块1023、数据质量管理子模块1024；其中，所述数据标准管理子模块1021用于制定数据标准以及数据标准落标；所述元数据管理子模块1022用于对技术元数据、业务元数据和管理元数据进行数据管理；所述数据安全子模块1023用于保障数据的安全与隐私；所述数据质量管理子模块1024用于通过建立数据质量评估标准和管理流程，对数据的质量进行把控管理。由此可知，利用本技术的系统，通过数据治理体系模块的构建保障数据资产的质量，促进数据资产的价值创造。通过数据资产管理模块解决企业在数据管理方面面临的数据基础薄弱、数据应用不足、数据价值难估、数据视图不统一、数据环境不安全和数据管理难落地等问题，实现企业数据资产的统一管理，保障数据资产的可见、可懂、可用和可运营。解决了现有技术中存在数据标准混乱、数据质量及安全难以保证等问题，造成银行的数据管理成本较高的问题。
39.可选的，在本技术的另一实施例中，上述基于dcmm体系的数据管理系统，还可以包括：
40.数据模型管理子模块，用于根据业务模型设计数据模型，并建立数据模型管理工
具实现对数据模型的标准管理和统一管控。
41.需要说明的是，数据模型管理子模块需要根据业务模型设计数据模型，并建立数据模型管理工具实现对数据模型的标准管理和统一管控。
42.可选的，在本技术的另一实施例中，上述基于dcmm体系的数据管理系统，还可以包括：
43.主数据管理子模块，用于对主数据进行管理，统一规范主数据信息。
44.需要说明的是，主数据管理子模块指对银行的主数据，即核心业务实体的数据，具备高价值的，需要共享和重复使用的数据进行管理，需建设专门的主数据管理模块，统一规范银行的主数据信息。
45.可选的，在本技术的另一实施例中，上述基于dcmm体系的数据管理系统，还可以包括：
46.数据价值管理子模块，用于从数据成本和应用价值两方面评估数据资产价值。
47.需要说明的是，数据价值管理子模块从数据成本和应用价值两方面评估数据资产价值。
48.可选的，在本技术的另一实施例中，上述基于dcmm体系的数据管理系统，还可以包括：
49.数据共享管理子模块，用于对数据进行共享。
50.需要说明的是，数据共享管理子模块指利用数据共享和交换，发挥数据价值，带来经济效益。但是在数据共享活动中需对数据api服务制定相应的管控措施，满足安全和监管需要。
51.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
52.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
53.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于dcmm体系的数据管理系统，其特征在于，包括：数据治理体系模块，所述数据治理体系模块包括：数据采集子模块、数据存储子模块、数据计算子模块、数据使用子模块；其中，所述数据采集子模块用于将结构化、半结构化和非结构化数据进行统一采集；所述数据存储子模块用于存储数据；所述数据计算子模块用于对数据进行实时计算处理和离线计算处理；所述数据使用子模块用于对外提供数据服务；数据资产管理模块，所述数据资产管理模块包括：数据标准管理子模块、元数据管理子模块、数据安全子模块、数据质量管理子模块；其中，所述数据标准管理子模块用于按照dcmm体系制定数据标准以及实现数据标准落标；所述元数据管理用于对技术元数据、业务元数据和管理元数据进行数据管理；所述数据安全子模块用于保障数据的安全与隐私；所述数据质量管理子模块用于通过建立数据质量评估标准和管理流程，对数据的质量进行把控管理。2.根据权利要求1所述的系统，其特征在于，还可以包括：数据模型管理子模块，用于根据业务模型设计数据模型，并建立数据模型管理工具实现对数据模型的标准管理和统一管控。3.根据权利要求1所述的系统，其特征在于，还可以包括：主数据管理子模块，用于对主数据进行管理，统一规范主数据信息。4.根据权利要求1所述的系统，其特征在于，还可以包括：数据价值管理子模块，用于从数据成本和应用价值两方面评估数据资产价值。5.根据权利要求1所述的系统，其特征在于，还可以包括：数据共享管理子模块，用于对数据进行共享。

技术总结
本申请提供了一种基于DCMM体系的数据管理系统，包括：数据治理体系模块，所述数据治理体系模块包括：数据采集子模块、数据存储子模块、数据计算子模块、数据使用子模块；数据资产管理模块，所述数据资产管理模块包括：数据标准管理子模块、元数据管理子模块、数据安全子模块、数据质量管理子模块。利用本申请的系统，通过数据治理体系模块的构建保障数据资产的质量，促进数据资产的价值创造。通过数据资产管理模块解决企业在数据管理方面面临的数据基础薄弱、数据应用不足、数据价值难估、数据视图不统一、数据环境不安全和数据管理难落地等问题，实现企业数据资产的统一管理，保障数据资产的可见、可懂、可用和可运营。可用和可运营。可用和可运营。


技术研发人员：张家星 金鸣 丁一斐 贾畅 黄雅男
受保护的技术使用者：中国银行股份有限公司
技术研发日：2023.05.29
技术公布日：2023/8/28