基于告警通知的异常数据处理方法、装置、设备及介质与流程

1.本发明涉及数据处理领域，特别涉及一种基于告警通知的异常数据处理方法、装置、设备及介质。


背景技术：

2.在区域医学影像云系统中，系统间进行交互的数据通常会由于超出约定或预期的格式而导致数据处理出现异常，由于不同厂家之间存在不同技术规格的设备及软件系统，数据的形态也千差万别，存在较大可能出现预期之外的情况。比如字段数据超长，数据字段中包含特殊字符等，如果超出云端预期设计的库表结构将触发异常导致数据无法正常写入，这种情况下即使程序设计了容错仍然无法将数据写入目标库表，为保障程序能正常处理其他的数据，则通常会舍弃这部分无法正常写入的数据，也即舍弃无法写入的异常数据，这时候就会造成云端的数据总量与院端的数据出现差异，导致云端数据缺失。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于告警通知的异常数据处理方法、装置、设备及介质，可以对数据实时入库失败且重试超限但又不能丢弃的重要数据进行处理，通过对数据进行暂存以及修复，来保障程序可靠性、数据完整性，并支持数据可追溯的功能。其具体方案如下：
4.第一方面，本技术公开了一种基于告警通知的异常数据处理方法，包括：
5.对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库；
6.若接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型；
7.基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库；
8.接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。
9.可选的，所述对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库，包括：
10.对消息队列中的医学影像检查数据进行数据解析操作以及清洗加工操作，以对所述医学影像检查数据的数据类型进行识别、日期格式进行转换、异常字符进行剔除，得到处理后数据；
11.获取预设数据库的数据库连接配置，并基于所述数据库连接配置对所述处理后数据进行数据入库操作，将所述处理后数据发送至所述预设数据库。
12.可选的，所述若接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈
信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型，包括：
13.判断是否接收到所述预设数据库发送的异常反馈信息，若接收到所述异常反馈信息，则对所述异常反馈信息进行分类判断处理，并生成分类判断结果；
14.基于所述分类判断结果确定所述处理后数据的入库异常类型为网络连接异常或数据入库格式异常。
15.可选的，所述基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库，包括：
16.若所述异常类型为数据入库格式异常，则根据预设的告警信息模板以及所述异常类型生成告警信息；
17.通过预设告警通道将所述告警信息发送至客户端，并将所述处理后数据保存至预设异常数据库，以便基于所述异常数据库对所述处理后数据进行持久保存。
18.可选的，所述基于告警通知的异常数据处理方法，还包括：
19.若所述处理后数据的入库异常类型为网络连接异常，则在预设时间间隔后对所述处理后数据再次发起所述数据入库操作。
20.可选的，所述基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库之前，还包括：
21.构建无数据长度限制的数据库作为所述预设异常数据库，以便基于所述预设异常数据库对所述处理后数据进行持久化保存。
22.可选的，所述接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作，包括：
23.接收所述客户端发送的针对所述告警信息的异常数据处理指令，以便基于所述异常数据处理指令对所述异常数据进行数据废弃操作或数据修复操作；
24.若对所述处理后数据进行数据修复操作，则对得到的修复后数据再次发起所述数据入库操作，以将所述修复后数据发送至所述预设数据库。
25.第二方面，本技术公开了一种基于告警通知的异常数据处理装置，包括：
26.数据入库模块，用于对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库；
27.异常判断模块，用于如果接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型；
28.数据告警模块，用于基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息；
29.异常数据保存模块，用于将所述处理后数据保存至预设异常数据库；
30.数据修复模块，用于接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。
31.第三方面，本技术公开了一种电子设备，包括：
32.存储器，用于保存计算机程序；
33.处理器，用于执行所述计算机程序以实现如前述的基于告警通知的异常数据处理
方法。
34.第四方面，本技术公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现如前述的基于告警通知的异常数据处理方法。
35.本技术中，首先对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库，如果接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型，然后基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库，最后接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。由此可见，通过本技术中所述基于告警通知的异常数据处理方法，可以在对医学影像检查数据入库失败后将入库失败的数据发送至异常数据库，并通过预设数据库返回的异常反馈信息确定数据入库异常的类型，基于数据入库异常的类型生成相应的告警信息，并将所述告警信息发送至客户端，通过接收客户端的处理指令进行数据修复，并对修复后的数据再次发起入库操作。这样一来，可以对数据实时入库失败且重试超限但又不能丢弃的重要数据进行处理，通过对数据进行暂存以及修复，来保障程序可靠性、数据完整性，并支持数据可追溯的功能。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
37.图1为本技术提供的一种基于告警通知的异常数据处理方法流程图；
38.图2为本技术提供的一种具体的基于告警通知的异常数据处理方法流程图；
39.图3为本技术提供的一种基于告警通知的异常数据处理方法时序图；
40.图4为本技术提供的一种基于告警通知的异常数据处理装置结构示意图；
41.图5为本技术提供的一种电子设备结构图。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.现有技术中，由于不同厂家之间存在不同技术规格的设备及软件系统，数据的形态也千差万别，存在较大可能出现预期之外的情况。比如字段数据超长，数据字段中包含特殊字符等，如果超出云端预期设计的库表结构将触发异常导致数据无法正常写入，这种情况下即使程序设计了容错仍然无法将数据写入目标库表，为保障程序能正常处理其他的数据，则通常会舍弃这部分无法正常写入的(异常)数据，这时候就会造成云端的数据总量与
院端的数据出现差异，导致云端数据缺失。
44.为了解决上述技术问题，本发明的目的在于提供一种基于告警通知的异常数据处理方法、装置、设备及介质，可以对数据实时入库失败且重试超限但又不能丢弃的重要数据进行处理，通过对数据进行暂存以及修复，来保障程序可靠性、数据完整性，并支持数据可追溯的功能。
45.参见图1所示，本发明实施例公开了一种基于告警通知的异常数据处理方法，包括：
46.步骤s11、对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库。
47.本实施例中，对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库。也即，医学影像检查数据会上传到医学影像云的云端，需要进行说明的是，所述云端为医学影像云云上部分，汇聚整个区域所有医疗机构的影像数据，因此需要对医学影像云云端消息队列中的医学影像检查数据进行数据处理，也即对所述医学影像检查数据进行报文数据的解析识别，以及数据的清洗加工，以得到处理后数据。在得到所述处理后数据后，需要对所述处理后数据进行入库操作，也即将所述处理后数据发送至预设的数据库，以便对医学影像检查数据进行数据保存。
48.步骤s12、如果接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型。
49.本实施例中，如果接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型。也即，在数据库接收到处理后数据后，可能存在入库成功以及入库失败两种情况，需要根据入库的实际情况生成相应的反馈信息，如果入库成功，则生成入库成功的反馈信息，如果入库失败，则生成入库失败的异常反馈信息。如果接收到入库失败的异常反馈信息，则需要对所述异常反馈信息进行分类判断，以确定所述处理后数据入库异常的异常类型，需要进行说明的是，所述异常类型包括网络连接异常以及数据入库格式异常。
50.步骤s13、基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库。
51.本实施例中，基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库。也即，在确定了数据入库异常的异常类型后，需要根据入库异常类型生成相应的告警信息，并且生成告警信息时，可以通过调用告警信息模板来提高告警信息的生成效率。在生成告警信息后，需要通过预设的告警通道向客户端发送所述告警信息，也即，可以通过告警通道与客户端进行交互，将生成的告警信息基于所述告警通道与客户端进行交互，以便相关人员接收到所述告警信息后，基于所述告警信息对出现异常的处理后数据进行修复。需要进行说明的是，由于此时处理后数据并未成功保存至数据库，且处理后数据可能为一些重要数据，为了防止数据丢失，需要将待修复数据暂存至预设的异常数据库。
52.进一步需要进行说明的是，基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库之前，还
包括：构建无数据长度限制的数据库作为所述预设异常数据库，以便基于所述预设异常数据库对所述处理后数据进行持久化保存。也即，需要预先构建无数据长度限制的数据库，来对处理后数据进行保存，避免处理后数据的丢失，通过在构建异常数据库，并将所述异常数据库设置为无数据长度限制的数据库，可以保证数据库可以保存的数据字段长度大于院端系统相关数据对应规范要求的数据长度，如mysql中的longtext类型的表结构，并且可以将入库异常的数据报文作为一个整体打包存入异常数据库。这样一来，可以通过预先创建的异常数据库对入库异常的数据进行保存，避免数据的丢失。
53.步骤s14、接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。
54.本实施例中，接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。也即，客户端在接收到告警信息后，会基于告警信息中处理后数据入库异常的原因，通知相关技术人员下发相应的异常数据处理指令，并且在接收到通过客户端发送的异常数据处理指令后，会根据所述异常数据处理指令对预设异常数据库中保存的所述处理后数据进行处理。例如，废弃或修复，如果需要对处理后数据进行修复，则在得到修复后数据之后，再次发起对所述修复后数据的入库操作。
55.由此可见，本实施例中首先对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库，如果接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型，然后基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库，最后接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。由此可见，通过本技术中所述基于告警通知的异常数据处理方法，可以在对医学影像检查数据入库失败后将入库失败的数据发送至异常数据库，并通过预设数据库返回的异常反馈信息确定数据入库异常的类型，基于数据入库异常的类型生成相应的告警信息，并将所述告警信息发送至客户端，通过接收客户端的处理指令进行数据修复，并对修复后的数据再次发起入库操作。这样一来，可以对数据实时入库失败且重试超限但又不能丢弃的重要数据进行处理，通过对数据进行暂存以及修复，来保障程序可靠性、数据完整性，并支持数据可追溯的功能。
56.基于前述实施例可知，本技术中需要对入库异常的数据的异常原因进行判断，并生成相应的告警信息，以便客户端基于所述告警信息下发异常数据处理指令，在接收到所述异常数据处理指令后，基于所述异常数据处理指令对数据进行相应的处理，为此本技术对上述过程做了详细的描述，参见图2所示，本发明实施例公开了一种基于告警通知的异常数据处理方法，包括：
57.步骤s21、对消息队列中的医学影像检查数据进行数据解析操作以及清洗加工操作，以对所述医学影像检查数据的数据类型进行识别、日期格式进行转换、异常字符进行剔
除，得到处理后数据。
58.本实施例中，对消息队列中的医学影像检查数据进行数据解析操作以及清洗加工操作，以对所述医学影像检查数据的数据类型进行识别、日期格式进行转换、异常字符进行剔除，得到处理后数据。也即，如图3所示，院端首先采集医学影像检查数据，并将采集到的医学影像检查数据上传至传到医学影像云的消息队列，需要进行说明的是，所述院端为医学影像云涉及医疗机构端部署的影像相关设备及软件系统。在上传成功之后，需要对消息队列中的医学影像检查数据进行数据解析操作，以对医学影像检查数据的数据类型进行解析，并对日期格式转换，并且需要对医学影像检查数据进行清洗加工操作，以对常规异常字符，例如，末尾空格字符进行剔除，得到处理后数据。
59.步骤s22、获取预设数据库的数据库连接配置，并基于所述数据库连接配置对所述处理后数据进行数据入库操作，将所述处理后数据发送至所述预设数据库。
60.本实施例中，获取预设数据库的数据库连接配置，并基于所述数据库连接配置对所述处理后数据进行数据入库操作，将所述处理后数据发送至所述预设数据库。也即，对于处理完成的处理后数据，需要获取数据库的连接配置，以便通过所述连接配置连接预设数据库，并在连接成功之后将所述处理后数据发送至所述预设数据库，所述预设数据库在接收所述处理后数据后，可能入库成功，也可能入库失败。如果入库成功，则生成入库成功的反馈信息，如果入库失败，则生成入库失败的异常反馈信息，所述反馈信息中包含入库成功或入库失败的关键词以及详细信息。
61.步骤s23判断是否接收到所述预设数据库发送的异常反馈信息，若接收到所述异常反馈信息，则对所述异常反馈信息进行分类判断处理，并生成分类判断结果。
62.本实施例中，判断是否接收到所述预设数据库发送的异常反馈信息，若接收到所述异常反馈信息，则对所述异常反馈信息进行分类判断处理，并生成分类判断结果。也即，需要判断是否接收到预设数据库反馈的反馈信息，并对所述反馈信息进行判断，判断是否为异常反馈信息，如果为反馈异常信息，则需要对所述反馈异常信息进行分类判断，并生成相应的分类判断结果。
63.步骤s24、基于所述分类判断结果确定所述处理后数据的入库异常类型为网络连接异常或数据入库格式异常。
64.本实施例中，基于所述分类判断结果确定所述处理后数据的入库异常类型为网络连接异常或数据入库格式异常。也即，处理后数据的入库异常类型分为两种，一种为由于网络波动或网络连接问题引起的网络连接异常；另一种为由于数据问题引起的数据入库格式异常，并且针对两种异常格式，有相应的不同解决方案。
65.步骤s25、如果所述异常类型为数据入库格式异常，则根据预设的告警信息模板以及所述异常类型生成告警信息。
66.本实施例中，如果所述异常类型为数据入库格式异常，则根据预设的告警信息模板以及所述异常类型生成告警信息。也即，如果判断出异常类型为数据入库格式异常，则需要基于上下文信息和消息模板生成告警消息，向告警通道发送异常告警消息，通知相关人员介入处理。需要进行说明的是，数据入库格式异常为数据本身问题引起的入库异常，例如，关键信息缺失，这种异常是数据中缺失关键数据引起的数据异常，该类异常通常只需要确认即可，协调通知上游采集侧进行明确和修复处理；数据超长，是数据中字符过多引起的
数据超长而导致的入库异常，需要通知产品研发等进行云端表结构调整，或直接修复数据中的多余异常字符等方式进行处理；如果不为上述两种异常情况，则需要在生成告警信息后通过人工自主进行判断。
67.步骤s26、通过预设告警通道将所述告警信息发送至客户端，并将所述处理后数据保存至预设异常数据库，以便基于所述异常数据库对所述处理后数据进行持久保存。
68.本实施例中，通过预设告警通道将所述告警信息发送至客户端，并将所述处理后数据保存至预设异常数据库，以便基于所述异常数据库对所述处理后数据进行持久保存。也即，通过连接常用通讯软件的消息通道，告警消息可第一时间传递到客户端，以便技术人员下发相应的异常数据处理指令。并且为了防止数据丢失，需要将待修复数据暂存至预设的异常数据库。
69.步骤s27、如果所述处理后数据的入库异常类型为网络连接异常，则在预设时间间隔后对所述处理后数据再次发起所述数据入库操作。
70.本实施例中，如果所述处理后数据的入库异常类型为网络连接异常，则在预设时间间隔后对所述处理后数据再次发起所述数据入库操作。也即，如果处理后数据的入库异常类型为网络连接异常，此时处理后数据没有出现数据本身的问题，数据未能成功发送至数据库的原因是由于网络波动的原因，可以根据数据量及网络环境在预设时间间隔，如1至2秒后重新发起数据入库操作。
71.步骤s28、接收所述客户端发送的针对所述告警信息的异常数据处理指令，以便基于所述异常数据处理指令对所述异常数据进行数据废弃操作或数据修复操作。
72.本实施例中，接收所述客户端发送的针对所述告警信息的异常数据处理指令，以便基于所述异常数据处理指令对所述异常数据进行数据废弃操作或数据修复操作。也即，客户端在接收到告警信息后，需要安排相关技术人员下发操作指令，需要根据消息上的提示进行异常数据的快速定位和处理，人工判断造成入库失败的大致原因；如果是无效数据，则标识为废弃状态；如果是关键信息缺失，则标识为“关键信息缺失”；对于数据超长的情况，则排查确认是采集过程中混入的异常字符或者院端本身存在的超长数据，记录具体的超长原因，如果是因为混入空格、无效字符等引起的超长，则手工修改该字段数据后，进行补发。需要进行说明的是，通过异常数据打包存入异常库，便于数据入库问题追踪溯源、统计分析并支撑院端采集等程序系统进行优化改进，例如，异常数据是由于采集程序缺陷等引起，在一定程度上为跟踪改进采集系统程序等操作提供数据支撑。
73.步骤s29、如果对所述处理后数据进行数据修复操作，则对得到的修复后数据再次发起所述数据入库操作，以将所述修复后数据发送至所述预设数据库。
74.本实施例中，如果对所述处理后数据进行数据修复操作，则对得到的修复后数据再次发起所述数据入库操作，以将所述修复后数据发送至所述预设数据库。也即，基于前述步骤可知，对于异常数据，可以进行数据废弃操作或数据修复操作，如果对异常数据进行数据修复，则表征需要进行修复的异常数据并非无效数据，需要在所述异常数据修复成功得到修复后数据之后，尝试将修复后数据发送至预设数据库。这样一来，可以保证数据实时入库失败但又不能丢弃的重要数据不被丢失，并且通过预设数据库实现对数据的持久化保存，可以实现数据的可追溯。
75.由此可见，一方面，本实施例中通过连接客户端等常用软件消息通道，告警消息可
第一时间被接收，并且可第一时间对进行异常数据的修复处理，有效提高了本技术所述基于告警通知的异常数据处理方法的时效性；另一方面，本技术所述基于告警通知的异常数据处理方法可支持数据在最大程度上通过修复入库而不会造成数据缺失；再一方面，通过异常数据打包存入异常库，便于数据入库问题追踪溯源、统计分析并支撑院端采集等程序系统进行优化改进。
76.参见图4所示，本发明实施例公开了一种基于告警通知的异常数据处理装置，包括：
77.数据入库模块11，用于对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库；
78.异常判断模块12，用于如果接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型；
79.数据告警模块13，用于基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息；
80.异常数据保存模块14，用于将所述处理后数据保存至预设异常数据库；
81.数据修复模块15，用于接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。
82.由此可见，本实施例中首先对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库，如果接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型，然后基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库，最后接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。由此可见，通过本技术中所述基于告警通知的异常数据处理方法，可以在对医学影像检查数据入库失败后将入库失败的数据发送至异常数据库，并通过预设数据库返回的异常反馈信息确定数据入库异常的类型，基于数据入库异常的类型生成相应的告警信息，并将所述告警信息发送至客户端，通过接收客户端的处理指令进行数据修复，并对修复后的数据再次发起入库操作。这样一来，可以对数据实时入库失败且重试超限但又不能丢弃的重要数据进行处理，通过对数据进行暂存以及修复，来保障程序可靠性、数据完整性，并支持数据可追溯的功能。
83.在一些实施例中，所述数据入库模块11，具体可以包括：
84.数据处理单元，用于对消息队列中的医学影像检查数据进行数据解析操作以及清洗加工操作，以对所述医学影像检查数据的数据类型进行识别、日期格式进行转换、异常字符进行剔除，得到处理后数据；
85.第一数据入库单元，用于获取预设数据库的数据库连接配置，并基于所述数据库连接配置对所述处理后数据进行数据入库操作，将所述处理后数据发送至所述预设数据库。
86.在一些实施例中，所述异常判断模块12，具体可以包括：
87.分类判断单元，用于判断是否接收到所述预设数据库发送的异常反馈信息，若接收到所述异常反馈信息，则对所述异常反馈信息进行分类判断处理，并生成分类判断结果；
88.异常确定单元，用于基于所述分类判断结果确定所述处理后数据的入库异常类型为网络连接异常或数据入库格式异常。
89.在一些实施例中，所述数据告警模块13，具体可以包括：
90.告警生成单元，用于如果所述异常类型为数据入库格式异常，则根据预设的告警信息模板以及所述异常类型生成告警信息；
91.数据保存单元，用于通过预设告警通道将所述告警信息发送至客户端，并将所述处理后数据保存至预设异常数据库，以便基于所述异常数据库对所述处理后数据进行持久保存。
92.在一些实施例中，所述基于告警通知的异常数据处理装置，还可以包括：
93.第二数据入库单元，用于如果所述处理后数据的入库异常类型为网络连接异常，则在预设时间间隔后对所述处理后数据再次发起所述数据入库操作。
94.在一些实施例中，所述基于告警通知的异常数据处理装置，还可以包括：
95.异常数据库构建单元，用于构建无数据长度限制的数据库作为所述预设异常数据库，以便基于所述预设异常数据库对所述处理后数据进行持久化保存。
96.在一些实施例中，所述数据修复模块15，具体可以包括：
97.指令接收单元，用于接收所述客户端发送的针对所述告警信息的异常数据处理指令，以便基于所述异常数据处理指令对所述异常数据进行数据废弃操作或数据修复操作；
98.数据修复单元，用于如果对所述处理后数据进行数据修复操作，则对得到的修复后数据再次发起所述数据入库操作，以将所述修复后数据发送至所述预设数据库。
99.进一步的，本技术实施例还公开了一种电子设备，图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本技术的使用范围的任何限制。
100.图5为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的基于告警通知的异常数据处理方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
101.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
102.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
103.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的基于告警通知的异常数据处理方法的计
算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
104.进一步的，本技术还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于告警通知的异常数据处理方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
105.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
106.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
107.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
108.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
109.以上对本技术所提供的技术方案进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种基于告警通知的异常数据处理方法，其特征在于，包括：对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库；若接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型；基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库；接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。2.根据权利要求1所述的基于告警通知的异常数据处理方法，其特征在于，所述对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库，包括：对消息队列中的医学影像检查数据进行数据解析操作以及清洗加工操作，以对所述医学影像检查数据的数据类型进行识别、日期格式进行转换、异常字符进行剔除，得到处理后数据；获取预设数据库的数据库连接配置，并基于所述数据库连接配置对所述处理后数据进行数据入库操作，将所述处理后数据发送至所述预设数据库。3.根据权利要求1所述的基于告警通知的异常数据处理方法，其特征在于，所述若接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型，包括：判断是否接收到所述预设数据库发送的异常反馈信息，若接收到所述异常反馈信息，则对所述异常反馈信息进行分类判断处理，并生成分类判断结果；基于所述分类判断结果确定所述处理后数据的入库异常类型为网络连接异常或数据入库格式异常。4.根据权利要求3所述的基于告警通知的异常数据处理方法，其特征在于，所述基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库，包括：若所述异常类型为数据入库格式异常，则根据预设的告警信息模板以及所述异常类型生成告警信息；通过预设告警通道将所述告警信息发送至客户端，并将所述处理后数据保存至预设异常数据库，以便基于所述异常数据库对所述处理后数据进行持久保存。5.根据权利要求3所述的基于告警通知的异常数据处理方法，其特征在于，还包括：若所述处理后数据的入库异常类型为网络连接异常，则在预设时间间隔后对所述处理后数据再次发起所述数据入库操作。6.根据权利要求1所述的基于告警通知的异常数据处理方法，其特征在于，所述基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息，并将所述处理后数据保存至预设异常数据库之前，还包括：构建无数据长度限制的数据库作为所述预设异常数据库，以便基于所述预设异常数据
库对所述处理后数据进行持久化保存。7.根据权利要求1所述的基于告警通知的异常数据处理方法，其特征在于，所述接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作，包括：接收所述客户端发送的针对所述告警信息的异常数据处理指令，以便基于所述异常数据处理指令对所述异常数据进行数据废弃操作或数据修复操作；若对所述处理后数据进行数据修复操作，则对得到的修复后数据再次发起所述数据入库操作，以将所述修复后数据发送至所述预设数据库。8.一种基于告警通知的异常数据处理装置，其特征在于，包括：数据入库模块，用于对消息队列中的医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将所述处理后数据发送至预设数据库；异常判断模块，用于如果接收到所述预设数据库返回的异常反馈信息，则对所述异常反馈信息进行分类判断处理，以确定所述处理后数据入库异常的异常类型；数据告警模块，用于基于所述异常类型生成相应的告警信息，通过预设告警通道向客户端发送所述告警信息；异常数据保存模块，用于将所述处理后数据保存至预设异常数据库；数据修复模块，用于接收所述客户端发送的与所述告警信息对应的异常数据处理指令，并基于所述异常数据处理指令对所述预设异常数据库中保存的所述处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起所述数据入库操作。9.一种电子设备，其特征在于，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的基于告警通知的异常数据处理方法。10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于告警通知的异常数据处理方法。

技术总结
本申请公开了一种基于告警通知的异常数据处理方法、装置、设备及介质，涉及数据处理领域，包括：对医学影像检查数据进行数据处理，并对得到的处理后数据进行数据入库操作，以将处理后数据发送至预设数据库；若接收到返回的异常反馈信息，则对异常反馈信息进行分类判断处理，以确定异常类型；基于异常类型生成相应的告警信息，向客户端发送告警信息，并将处理后数据保存至预设异常数据库；接收客户端发送的异常数据处理指令，并对预设异常数据库中保存的处理后数据进行处理，若得到修复后数据，则对所述修复后数据再次发起数据入库操作。这样一来，可以保证处理其他正常数据的效率的同时，未正常入库的数据并不丢失。未正常入库的数据并不丢失。未正常入库的数据并不丢失。


技术研发人员：李光彪 徐辉 吴鹏
受保护的技术使用者：中电通商数字技术（上海）有限公司
技术研发日：2023.06.30
技术公布日：2023/10/6