数据清洗方法、装置、设备及计算机可读存储介质与流程

1.本发明涉及金融科技数据处理领域，尤其涉及一种数据清洗方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着金融业务领域的横向和纵向的持续发展，金融业务领域涵盖的服务范围越来越广、服务粒度也越来越细，相应地，金融业务数据也呈现几何增长的趋势，由于业务规则的差异、数据源的差异等原因，导致金融业务数据形式多样、数据质量参差不齐。
3.针对上述情况，数据清洗技术是保障数据质量的关键环节。当前常规的数据清洗方法包括规则过滤、模式匹配、分类聚合等，这些常规方法在金融领域进行企业级大数据量的高并发的数据清洗的过程中，数据清洗效率和响应速度提升不明显，且服务器资源消耗也非常大。因此，提升数据清洗效率亟待解决。


技术实现要素：

4.本发明提供一种数据清洗方法、装置、电子设备及计算机可读存储介质，其主要目的在于提升金融业务数据的清洗效率。
5.为实现上述目的，本发明提供的一种基于数据清洗方法，包括：
6.获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；
7.根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的清洗任务依次组成任务队列；
8.利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。
9.可选地，所述提取所述待清洗数据的数据特征，包括：
10.从所述待清洗数据中随机抽取预设数量的数据作为样本数据集；
11.将所述样本数据集中的每个数据样本转换为向量数据；
12.将每个所述样本数据的向量数据进行拼接，得到所述待清洗数据的数据特征。
13.可选地，所述调用与所述数据特征相匹配的预设的清洗规则，包括：
14.提取每个所述预设的清洗规则的文本特征；
15.依次计算所述数据特征与每个所述文本特征之间的距离；
16.选择距离小于预设距离阈值的文本特征对应的清洗规则作为所述待清洗数据的清洗规则。
17.可选地，所述根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，包括：
18.获取所述待清洗数据的地址，对所述地址进行归一化编码，得到目标对象地址；
19.根据预设的清洗规则与清洗方法函数的映射关系表，得到所述清洗规则对应的清洗方法函数作为目标清洗函数；
20.将所述目标对象地址和所述目标清洗函数作为所述清洗任务对象；
21.根据预设的清洗规则与结果回调函数的映射关系表，得到所述清洗规则对应的结果回调函数作为目标结果处理对象。
22.可选地，所述利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作之前，所述方法还包括：
23.启动实时监测所述预构建的线程池负载压力的监测任务。
24.可选地，所述根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果之后，所述方法还包括：
25.将所述数据清洗结果数据与所述待清洗数据进行一致性比对，得到差异数据；
26.利用所述差异数据对应的数据清洗结果数据替换相应的待清洗数据中的差异数据。
27.为了解决上述问题，本发明还提供一种数据清洗装置，所述装置包括：
28.数据特征分析模块，用于获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；
29.清洗任务生成模块，用于根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的清洗任务依次组成任务队列；
30.清洗异步执行模块，用于利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。
31.可选地，所述清洗任务生成模块通过下述方法构建清洗任务对象及结果处理对象：
32.获取所述待清洗数据的地址，对所述地址进行归一化编码，得到目标对象地址；
33.根据预设的清洗规则与清洗方法函数的映射关系表，得到所述清洗规则对应的清洗方法函数作为目标清洗函数；
34.将所述目标对象地址和所述目标清洗函数作为所述清洗任务对象；
35.根据预设的清洗规则与结果回调函数的映射关系表，得到所述清洗规则对应的结果回调函数作为目标结果处理对象。
36.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
37.存储器，存储至少一个计算机程序；及
38.处理器，执行所述存储器中存储的程序以实现上述所述的数据清洗方法。
39.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据清洗方法。
40.本发明实施例根据待清洗的金融业务数据的数据特征匹配相应的清洗规则，实现了对待清洗数据的差异化清洗，从而促进数据清洗效率的提升，进一步地，根据该清洗规则
构建所述待清洗数据的清洗任务，并将所有待清洗数据的清洗任务依次组成任务队列，再利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，通过异步操作方式，进一步提升了金融业务数据清洗的效率。
附图说明
41.图1为本发明一实施例提供的数据清洗方法的流程示意图；
42.图2为本发明一实施例提供的数据清洗方法其中一个步骤的详细实施流程示意图；
43.图3为本发明一实施例提供的数据清洗装置的功能模块图；
44.图4为本发明一实施例提供的实现所述数据清洗方法的电子设备的结构示意图。
45.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
46.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
47.本技术实施例提供一种数据清洗方法。所述数据清洗方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述数据清洗方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
48.参照图1所示，为本发明一实施例提供的数据清洗方法的流程示意图。
49.在本实施例中，所述一种数据清洗方法，包括：
50.s1、获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；
51.本发明实施例中，以保险业务数据为例说明所述一种数据清洗方法。所述目标数据源是指保险企业业务系统预先构建的存储业务数据的数据存储区域，所述存储区域包括但不限于数据库、区块链、网络缓存。通常保险企业的业务系统会根据保险业务分类及每类业务的活跃度和数据量，将业务数据进行多种形式的分布式存储，因此，需要说明的是，本发明实施例中，所述目标数据源可以对应多个数据存储区域。
52.可以理解的是，所述待清洗数据可以是文字数据，例如，主险种、附加险种、投保用户基本信息等相关业务描述字段，也可以是数值数据，例如，用户投保金额、用户理赔金额、用户投保收益、投保时间、用户id等，还可以是图片、视频等富媒体数据，例如，理赔对象现场取证图片或视频、用户医疗检测报告等。
53.每种类型的数据在进行数据清洗中的侧重点不同，例如，针对数值数据，通常会涉及缺失值填充或删除、数据归一化处理或者数据转换，针对富媒体数据，通常会涉及数据平滑去除噪声、提高数据质量的清洗操作。因此，本发明实施例通过提取所述待清洗数据的数据特征，并根据提取到的数据特征匹配相应的清洗规则，可以提升数据清洗的效率和准确性。
54.详细地，所述提取所述待清洗数据的数据特征，包括：
55.从所述待清洗数据中随机抽取预设数量的数据作为样本数据集；
56.将所述样本数据集中的每个数据样本转换为向量数据；
57.将每个所述样本数据的向量数据进行拼接，得到所述待清洗数据的数据特征。
58.本发明实施例中，所述预设数量的数据可以根据所述待清洗数据的大小进行设置，例如，所述预设数量可以是10条、30条或100条。
59.本发明实施例中，可利用预先训练好的可处理文本或图像信息的卷积神经网络对每个所述数据样本进行向量转换。
60.进一步地，根据所述数据特征匹配相应的预设的清洗规则，所述预设的清洗规则包括但不限于缺失值清洗规则、异常值清洗规则、重复值清洗规则、数据平滑规则、数据集成及数据转换清洗规则。
61.详细地，所述根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则，包括：
62.提取每个所述预设的清洗规则的文本特征；
63.依次计算所述数据特征与每个所述文本特征之间的距离；
64.选择距离小于预设距离阈值的文本特征对应的清洗规则作为所述待清洗数据的清洗规则。
65.本发明实施例中，可采用glove(global vectors for word representation，全局词向量)、embedding layer等方法将每个所述预设的清洗规则转换为文本向量矩阵，再利用预先训练的lstm(long short-term memory，长短期记忆网络)模型对所述文本向量矩阵进行特征提取，以获取所述预设的清洗规则的文本特征。所述文本特征包括但不限于清洗关键词、清洗方法、清洗场景等。
66.本发明实施例中，可以利用欧式距离算法、马氏距离算法计算所述数据特征与每个所述文本特征之间的距离，其中，所述预设距离阈值可根据实际业务情况进行设置。
67.本发明另一实施例中，可利用预先训练好的激活函数计算所述数据特征与每个所述文本特征之间相对概率值，根据所述相对概率值确定所述待清洗数据对应的预设的清洗规则。
68.s2、根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的清洗任务依次组成任务队列；
69.本发明实施例中，所述清洗任务对象是指计算机可执行的数据清洗程序、事务或进程，包括但不限于定义了待清洗数据范围及数据清洗逻辑的进程。所述结果处理对象是用来定义完成对所述清洗任务对象的清洗操作之后所产生的清洗结果的处理方式，包括但不限于清洗后数据的发送和保存方式。
70.详细地，参阅图2所示，所述根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，包括：
71.s21、获取所述待清洗数据的地址，对所述地址进行归一化编码，得到目标对象地址；
72.s22、根据预设的清洗规则与清洗方法函数的映射关系表，得到所述清洗规则对应
的清洗方法函数作为目标清洗函数；
73.s23、将所述目标对象地址和所述目标清洗函数作为所述清洗任务对象；
74.s24、根据预设的清洗规则与结果回调函数的映射关系表，得到所述清洗规则对应的结果回调函数作为目标结果处理对象。
75.本发明实施例中，每个所述待清洗数据相对于所在的目标数据源，都具有一个相对地址，但是来自不同目标数据源的待清洗数据的地址之间不具有直接可比性，因此，需要对每个所述待清洗数据的地址进行归一化编码。
76.本发明实施例中，所述归一化编码可以根据预设的地址编码规则，为不同的目标数据源及待清洗数据分配基于统一编码规则的编码，例如，a至k每个大写字母代表一个目标数据源，a至z每个小写字母代表同一个目标数据源中不同的数据分片，再使用数字字符记录每个数据分片中的数据的起始行数和结束行数，利用该规则生成待清洗数据的目标对象地址。
77.本发明实施例中，所述预设的清洗规则与清洗方法函数的映射关系表是用来存储每种清洗规则与预先构建的清洗方法函数的关联关系的表单。其中，所述清洗方法函数是指用来定义具体的清洗逻辑的函数。
78.本发明实施例中，所述预设的清洗规则与结果回调函数的映射关系表是用来存储每种清洗规则与预先构建的结果回调函数的关联关系的表单。其中，所述结果回调函数是指用来定义具体的结果保存方法及结果发送方法等结果处理方式。
79.本发明实施例中，将将所有待清洗数据的清洗任务组成任务队列，以便于后续使用预构建的线程迟对所述任务队列进行异步处理。
80.s3、利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。
81.本发明实施例中，每个所述预构建的线程池可以包括多个线程，线程池的数量和线程数量可根据该保险企业的业务系统对应的实际计算资源进行设置。
82.本发明实施例中，可通过预先构建的异步任务函数所述任务队列的清洗任务执行异步数据清洗操作，通过异步操作，可实现高效率的数据清洗任务处理。较佳地，所述利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作之前，可通过启动实时监测所述预构建的线程池负载压力的监测任务，实时记录当前线程池的可用连接和已用连接数量，维护合理的连接数并控制所述预构建的线程池的负载压力。
83.本发明实施例中，可通过下述方法根据所述数据清洗结果数据替换所述待清洗数据。
84.将所述数据清洗结果数据与所述待清洗数据进行一致性比对，得到差异数据；
85.将所述差异数据对应的数据清洗结果数据替换相应的待清洗数据中的差异数据。
86.本发明实施例中，通过仅进行差异数据的替换的方式可以降低大批量数据写入及写出的压力。
87.本发明实施例根据待清洗的金融业务数据的数据特征匹配相应的清洗规则，实现了对待清洗数据的差异化清洗，从而促进数据清洗效率的提升，进一步地，根据该清洗规则构建所述待清洗数据的清洗任务，并将所有待清洗数据的清洗任务依次组成任务队列，再利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，通过异步操作方
式，进一步提升了金融业务数据清洗的效率。
88.如图3所示，是本发明一实施例提供的数据清洗装置的功能模块图。
89.本发明所述数据清洗装置100可以安装于电子设备中。根据实现的功能，所述数据清洗装置100包括数据特征分析模块101、清洗任务生成模块102及清洗异步执行模块103：本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
90.在本实施例中，关于各模块/单元的功能如下：
91.所述数据特征分析模块101，用于获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；
92.所述清洗任务生成模块102，用于根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的清洗任务依次组成任务队列；
93.所述清洗异步执行模块103，用于利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。
94.详细地，所述数据清洗装置100各模块的具体实施方式如下：
95.步骤一、获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；
96.本发明实施例中，以保险业务数据为例说明所述一种数据清洗方法。所述目标数据源是指保险企业业务系统预先构建的存储业务数据的数据存储区域，所述存储区域包括但不限于数据库、区块链、网络缓存。通常保险企业的业务系统会根据保险业务分类及每类业务的活跃度和数据量，将业务数据进行多种形式的分布式存储，因此，需要说明的是，本发明实施例中，所述目标数据源可以对应多个数据存储区域。
97.可以理解的是，所述待清洗数据可以是文字数据，例如，主险种、附加险种、投保用户基本信息等相关业务描述字段，也可以是数值数据，例如，用户投保金额、用户理赔金额、用户投保收益、投保时间、用户id等，还可以是图片、视频等富媒体数据，例如，理赔对象现场取证图片或视频、用户医疗检测报告等。
98.每种类型的数据在进行数据清洗中的侧重点不同，例如，针对数值数据，通常会涉及缺失值填充或删除、数据归一化处理或者数据转换，针对富媒体数据，通常会涉及数据平滑去除噪声、提高数据质量的清洗操作。因此，本发明实施例通过提取所述待清洗数据的数据特征，并根据提取到的数据特征匹配相应的清洗规则，可以提升数据清洗的效率和准确性。
99.详细地，所述提取所述待清洗数据的数据特征，包括：
100.从所述待清洗数据中随机抽取预设数量的数据作为样本数据集；
101.将所述样本数据集中的每个数据样本转换为向量数据；
102.将每个所述样本数据的向量数据进行拼接，得到所述待清洗数据的数据特征。
103.本发明实施例中，所述预设数量的数据可以根据所述待清洗数据的大小进行设置，例如，所述预设数量可以是10条、30条或100条。
104.本发明实施例中，可利用预先训练好的可处理文本或图像信息的卷积神经网络对每个所述数据样本进行向量转换。
105.进一步地，根据所述数据特征匹配相应的预设的清洗规则，所述预设的清洗规则包括但不限于缺失值清洗规则、异常值清洗规则、重复值清洗规则、数据平滑规则、数据集成及数据转换清洗规则。
106.详细地，所述根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则，包括：
107.提取每个所述预设的清洗规则的文本特征；
108.依次计算所述数据特征与每个所述文本特征之间的距离；
109.选择距离小于预设距离阈值的文本特征对应的清洗规则作为所述待清洗数据的清洗规则。
110.本发明实施例中，可采用glove(global vectors for word representation，全局词向量)、embedding layer等方法将每个所述预设的清洗规则转换为文本向量矩阵，再利用预先训练的lstm(long short-term memory，长短期记忆网络)模型对所述文本向量矩阵进行特征提取，以获取所述预设的清洗规则的文本特征。所述文本特征包括但不限于清洗关键词、清洗方法、清洗场景等。
111.本发明实施例中，可以利用欧式距离算法、马氏距离算法计算所述数据特征与每个所述文本特征之间的距离，其中，所述预设距离阈值可根据实际业务情况进行设置。
112.本发明另一实施例中，可利用预先训练好的激活函数计算所述数据特征与每个所述文本特征之间相对概率值，根据所述相对概率值确定所述待清洗数据对应的预设的清洗规则。
113.步骤二、根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的清洗任务依次组成任务队列；
114.本发明实施例中，所述清洗任务对象是指计算机可执行的数据清洗程序、事务或进程，包括但不限于定义了待清洗数据范围及数据清洗逻辑的进程。所述结果处理对象是用来定义完成对所述清洗任务对象的清洗操作之后所产生的清洗结果的处理方式，包括但不限于清洗后数据的发送和保存方式。
115.详细地，所述根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，包括：
116.获取所述待清洗数据的地址，对所述地址进行归一化编码，得到目标对象地址；
117.根据预设的清洗规则与清洗方法函数的映射关系表，得到所述清洗规则对应的清洗方法函数作为目标清洗函数；
118.将所述目标对象地址和所述目标清洗函数作为所述清洗任务对象；
119.根据预设的清洗规则与结果回调函数的映射关系表，得到所述清洗规则对应的结果回调函数作为目标结果处理对象。
120.本发明实施例中，每个所述待清洗数据相对于所在的目标数据源，都具有一个相对地址，但是来自不同目标数据源的待清洗数据的地址之间不具有直接可比性，因此，需要对每个所述待清洗数据的地址进行归一化编码。
121.本发明实施例中，所述归一化编码可以根据预设的地址编码规则，为不同的目标数据源及待清洗数据分配基于统一编码规则的编码，例如，a至k每个大写字母代表一个目标数据源，a至z每个小写字母代表同一个目标数据源中不同的数据分片，再使用数字字符记录每个数据分片中的数据的起始行数和结束行数，利用该规则生成待清洗数据的目标对象地址。
122.本发明实施例中，所述预设的清洗规则与清洗方法函数的映射关系表是用来存储每种清洗规则与预先构建的清洗方法函数的关联关系的表单。其中，所述清洗方法函数是指用来定义具体的清洗逻辑的函数。
123.本发明实施例中，所述预设的清洗规则与结果回调函数的映射关系表是用来存储每种清洗规则与预先构建的结果回调函数的关联关系的表单。其中，所述结果回调函数是指用来定义具体的结果保存方法及结果发送方法等结果处理方式。
124.本发明实施例中，将将所有待清洗数据的清洗任务组成任务队列，以便于后续使用预构建的线程迟对所述任务队列进行异步处理。
125.步骤三、利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。
126.本发明实施例中，每个所述预构建的线程池可以包括多个线程，线程池的数量和线程数量可根据该保险企业的业务系统对应的实际计算资源进行设置。
127.本发明实施例中，可通过预先构建的异步任务函数所述任务队列的清洗任务执行异步数据清洗操作，通过异步操作，可实现高效率的数据清洗任务处理。较佳地，所述利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作之前，可通过启动实时监测所述预构建的线程池负载压力的监测任务，实时记录当前线程池的可用连接和已用连接数量，维护合理的连接数并控制所述预构建的线程池的负载压力。
128.本发明实施例中，可通过下述方法根据所述数据清洗结果数据替换所述待清洗数据。
129.将所述数据清洗结果数据与所述待清洗数据进行一致性比对，得到差异数据；
130.将所述差异数据对应的数据清洗结果数据替换相应的待清洗数据中的差异数据。
131.本发明实施例中，通过仅进行差异数据的替换的方式可以降低大批量数据写入及写出的压力。
132.本发明实施例根据待清洗的金融业务数据的数据特征匹配相应的清洗规则，实现了对待清洗数据的差异化清洗，从而促进数据清洗效率的提升，进一步地，根据该清洗规则构建所述待清洗数据的清洗任务，并将所有待清洗数据的清洗任务依次组成任务队列，再利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，通过异步操作方式，进一步提升了金融业务数据清洗的效率。
133.如图4所示，是本发明一实施例提供的实现数据清洗方法的电子设备的结构示意图。
134.所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如数据清洗。
135.其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括
闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如数据清洗的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
136.所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如数据清洗等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
137.所述总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
138.图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
139.例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
140.进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
141.可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
142.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
143.所述电子设备1中的所述存储器11存储的数据清洗是多个指令的组合，在所述处
理器10中运行时，可以实现：
144.获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；
145.根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的清洗任务依次组成任务队列；
146.利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。
147.进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
148.本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
149.获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；
150.根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的清洗任务依次组成任务队列；
151.利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。
152.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
153.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
154.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
155.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
156.本技术实施例可以基于全息投影技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及
应用系统。
157.此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
158.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

技术特征：
1.一种数据清洗方法，其特征在于，所述方法包括：获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的清洗任务依次组成任务队列；利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。2.如权利要求1所述的数据清洗方法，其特征在于，所述提取所述待清洗数据的数据特征，包括：从所述待清洗数据中随机抽取预设数量的数据作为样本数据集；将所述样本数据集中的每个数据样本转换为向量数据；将每个所述样本数据的向量数据进行拼接，得到所述待清洗数据的数据特征。3.如权利要求1所述的数据清洗方法，其特征在于，所述调用与所述数据特征相匹配的预设的清洗规则，包括：提取每个所述预设的清洗规则的文本特征；依次计算所述数据特征与每个所述文本特征之间的距离；选择距离小于预设距离阈值的文本特征对应的清洗规则作为所述待清洗数据的清洗规则。4.如权利要求1所述的数据清洗方法，其特征在于，所述根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，包括：获取所述待清洗数据的地址，对所述地址进行归一化编码，得到目标对象地址；根据预设的清洗规则与清洗方法函数的映射关系表，得到所述清洗规则对应的清洗方法函数作为目标清洗函数；将所述目标对象地址和所述目标清洗函数作为所述清洗任务对象；根据预设的清洗规则与结果回调函数的映射关系表，得到所述清洗规则对应的结果回调函数作为目标结果处理对象。5.如权利要求1所述的数据清洗方法，其特征在于，所述利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作之前，所述方法还包括：启动实时监测所述预构建的线程池负载压力的监测任务。6.如权利要求1所述的数据清洗方法，其特征在于，所述根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果之后，所述方法还包括：将所述数据清洗结果数据与所述待清洗数据进行一致性比对，得到差异数据；利用所述差异数据对应的数据清洗结果数据替换相应的待清洗数据中的差异数据。7.一种数据清洗装置，其特征在于，所述装置包括：数据特征分析模块，用于获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；清洗任务生成模块，用于根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的
清洗任务依次组成任务队列；清洗异步执行模块，用于利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。8.如权利要求7所述的数据清洗装置，其特征在于，所述清洗任务生成模块通过下述方法构建清洗任务对象及结果处理对象：获取所述待清洗数据的地址，对所述地址进行归一化编码，得到目标对象地址；根据预设的清洗规则与清洗方法函数的映射关系表，得到所述清洗规则对应的清洗方法函数作为目标清洗函数；将所述目标对象地址和所述目标清洗函数作为所述清洗任务对象；根据预设的清洗规则与结果回调函数的映射关系表，得到所述清洗规则对应的结果回调函数作为目标结果处理对象。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任意一项所述的数据清洗方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的数据清洗方法。

技术总结
本发明涉及金融科技数据处理领域，揭露一种数据清洗方法，包括：获取目标数据源的待清洗数据，提取所述待清洗数据的数据特征，根据所述待清洗数据的数据特征，为所述待清洗数据分配相应的预设的清洗规则；根据所述待清洗数据及所述待清洗数据对应的清洗规则，构建清洗任务对象及结果处理对象，得到所述待清洗数据的清洗任务，将所有待清洗数据的清洗任务依次组成任务队列；利用预构建的线程池对所述任务队列的清洗任务执行异步数据清洗操作，得到数据清洗结果，并根据所述清洗任务对象对应的结果处理对象收集所述数据清洗结果。本发明还提出一种数据清洗装置、电子设备及计算机可读存储介质。本发明可以提升金融业务数据的清洗效率。率。率。


技术研发人员：张盛荣
受保护的技术使用者：中国平安财产保险股份有限公司
技术研发日：2023.06.28
技术公布日：2023/10/6