一种批量任务处理状态信息展示系统及方法与流程

1.本发明涉及大数据领域，特别涉及一种批量任务处理状态信息展示系统及方法。


背景技术：

2.随着当前社会的金融和计算机发展，涉及越来越多的金融贸易，银行作为进行金融贸易的重要环节之一，需要对金融贸易进行数据处理的核心系统。
3.当前银行的系统为了进行数据处理，需要进行任务的批量处理。但是批量处理任务的过程中，需要对多个任务的处理进度进行监控，了解多个任务的状态。
4.但是当前了解多个任务的处理进度需要逐个查看每个任务的状态，查看效率较低，不利于获取批量处理多个任务的相关信息。
5.因此，现在亟需一种能够高效获取批量任务在进行处理的相关信息的方法。


技术实现要素：

6.有鉴于此，本技术的目的在于提供一种批量任务处理状态信息展示系统及方法，能够高效获取批量任务在进行处理的相关信息。
7.本技术实施例提供了一种批量任务处理状态信息展示系统，所述系统包括：监控模块和批量任务展示模块；
8.所述监控模块用于对多个任务进行同时监控，获取所述多个任务中每个任务的处理状态信息，将所述多个任务中每个任务的处理状态信息存储至批量任务日志表中；
9.所述批量任务展示模块用于根据所述批量任务日志表展示所述多个任务中每个任务的处理状态信息。
10.可选地，所述监控模块利用埋点采集和日志实时扫描的方式对多个任务进行同时监控。
11.可选地，所述批量任务展示模块用于响应于用户的查询请求显示多个任务中每个任务的处理状态信息。
12.可选地，预先设置所述多个任务的监控信息，所述监控信息至少包括批量流程、监控范围和存储地址。
13.可选地，所述处理状态信息包括多个任务之间的依赖关系、所述多个任务中每个任务的执行时间和执行状态。
14.本技术实施例还提供一种批量任务处理状态信息展示方法，所述方法包括：
15.对多个任务进行同时监控，获取所述多个任务中每个任务的处理状态信息，将所述多个任务中每个任务的处理状态信息存储至批量任务日志表中；
16.根据所述批量任务日志表展示所述多个任务中每个任务的处理状态信息。
17.可选地，所述对多个任务进行同时监控包括：
18.利用埋点采集和日志实时扫描的方式对多个任务进行同时监控。
19.可选地，所述根据所述批量任务日志表展示所述多个任务中每个任务的处理状态
信息包括：
20.响应于用户的查询请求显示多个任务中每个任务的处理状态信息。
21.可选地，所述方法还包括：
22.预先设置所述多个任务的监控信息，所述监控信息至少包括批量流程、监控范围和存储地址。
23.可选地，所述处理状态信息包括多个任务之间的依赖关系、所述多个任务中每个任务的执行时间和执行状态。
24.本技术实施例提供了一种批量任务处理状态信息展示系统，系统包括：监控模块和批量任务展示模块，监控模块用于对多个任务进行同时监控，获取多个任务中每个任务的处理状态信息，将多个任务中每个任务的处理状态信息存储至批量任务日志表中，批量任务展示模块用于根据批量任务日志表展示多个任务中每个任务的处理状态信息。也就是说，通过监控模块实现对于批量任务处理中的多个任务进行同时监控，并得到多个任务的处理状态信息，利用批量任务展示模块对多个任务的处理状态信息进行直观显示，直观可视化对批量任务的处理状态进行展示，高效获取批量任务在进行处理的相关信息。
附图说明
25.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
26.图1示出了本技术实施例提供的一种批量任务处理状态信息展示系统的结构示意图；
27.图2示出了本技术实施例提供的一种批量任务处理状态信息展示方法的流程示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.在下面的描述中阐述了很多具体细节以便于充分理解本技术，但是本技术还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施例的限制。
30.本发明提供的批量任务处理状态信息展示系统及方法可用于金融领域或其他领域，例如，可用于金融领域中的批量任务处理应用场景。其他领域为除金融领域之外的任意领域，例如，大数据领域。上述仅为示例，并不对本发明提供的批量任务处理状态信息展示系统及方法的应用领域进行限定。
31.随着当前社会的金融和计算机发展，涉及越来越多的金融贸易，银行作为进行金融贸易的重要环节之一，需要对金融贸易进行数据处理的核心系统。
32.当前银行的系统为了进行数据处理，需要进行任务的批量处理。但是批量处理任务的过程中，需要对多个任务的处理进度进行监控，了解多个任务的状态。
33.但是当前了解多个任务的处理进度需要逐个查看每个任务的状态，逐个查看任务的实例状态与日志。
34.在实际应用中，对批量任务的追踪往往需要关注特定的内容，而不仅仅是某个任务的完成情况。例如，在一些指标加工的批量任务中，需要查看某些特定指标是否完成加工或加工结果的数据量等情况。
35.同时，除了以任务为单位的监控，也常常有需要从特定业务维度进行追踪的情况。例如，对客群进行指标加工的批量任务中，常常需要以客群为维度地进行跟踪，查看特定客群在批量中的每个任务的执行情况等。
36.另外，通过后台yarn命令查看任务状态的时候，只能查看当前用户提交的任务的状态，如果要查看其他用户提交的任务，必须切换当前任务，对于多用户的场景而言是不具备便利性的。
37.也就是说，当前在批量任务的处理过程中，对多个任务的状态查看效率较低，不利于获取批量处理多个任务的相关信息。
38.因此，现在亟需一种能够高效获取批量任务在进行处理的相关信息的方法。
39.基于此，本技术实施例提供了一种批量任务处理状态信息展示系统，系统包括：监控模块和批量任务展示模块，监控模块用于对多个任务进行同时监控，获取多个任务中每个任务的处理状态信息，将多个任务中每个任务的处理状态信息存储至批量任务日志表中，批量任务展示模块用于根据批量任务日志表展示多个任务中每个任务的处理状态信息。也就是说，通过监控模块实现对于批量任务处理中的多个任务进行同时监控，并得到多个任务的处理状态信息，利用批量任务展示模块对多个任务的处理状态信息进行直观显示，直观可视化对批量任务的处理状态进行展示，高效获取批量任务在进行处理的相关信息。
40.为了更好地理解本技术的技术方案和技术效果，以下将结合附图对具体的实施例进行详细的描述。
41.参见图1，该图为本技术实施例提供的一种批量任务处理状态信息展示系统的结构示意图。
42.本实施例提供的批量任务处理状态信息展示系统100包括：监控模块110和批量任务展示模块120。
43.在本技术的实施例中，监控模块110用于对多个任务进行同时监控，获取多个任务中每个任务的处理状态信息，将多个任务中每个任务的处理状态信息存储至批量任务日志表中。
44.处理状态信息至少包括多个任务之间的依赖关系、多个任务中每个任务的执行时间和执行状态。
45.作为一种示例，多个任务中每个任务的执行时间和执行状态可以是批量任务从开始到结束每个阶段的时间戳以及状态。
46.处理状态信息还可以包括多个任务中任务处理成功的数量和任务处理失败的数量，每个任务的任务名称、任务是否重试以及重试次数等信息。
47.也就是说，监控模块可以获取多个任务中每个任务多种维度的信息，以便后期进行多种维度的信息展示。
48.在具体进行监控时，监控模块110可以利用埋点采集和日志实时扫描的方式对多个任务进行同时监控。具体可以利用sparklistener监听机制和后台yarn命令获取多个任务的信息。
49.在本技术的实施例中，多个任务中每个任务的处理状态信息可以存储至批量任务日志表中。具体的，每个任务的处理状态信息可以通过jdbc的方式实时写入到mysql数据库的批量任务日志表中，以便后续进行展示。
50.在本技术的实施例中，批量任务展示模块120用于根据批量任务日志表展示多个任务中每个任务的处理状态信息。
51.批量任务展示模块120可以实时展示批量任务的前端页面，以可视化的方式从整体的角度展示批量中各任务之间的依赖关系、当前进行中的批量任务是否成功、是否失败、是否已重试、重试次数等状态与情况等信息。
52.作为一种示例，在客群指标加工的批量任务中，展示批量中每个任务之间的关系，展示每个任务的关键节点时间戳和任务状态。
53.在本技术的实施例中，系统还可以包括批量任务设置模块，批量任务设置模块可以预先设置多个任务的监控信息，监控信息至少包括批量流程、监控范围和存储地址。也就是说，可以预先设置批量任务、任务关系、任务内容、任务频次、与批量程序及相关数据库的连接等监控信息，以便后续在数据库批量任务日志表中记录下相关信息，利用可视化界面展示在前端。
54.在本技术的实施例中，系统还可以包括批量自定义监控设置模块，批量自定义监控设置模块可以预先设置自定义监控内容，自定义监控内容可以用户自行设定监控的维度和具体内容，例如监控时间、监控对象或监控指标等。监控对象可以是单个任务或批量任务的全部任务。
55.具体的，用户可以对自定义监控内容进行设置，数据库中的自定义监控内容表记录下相关信息，对批量程序进行相应埋点，实时扫描处理任务日志，将批量运行中收集到的监控信息实时记录到自定义监控内容表，利用批量任务展示模块展示在可视化界面相应任务的位置。
56.作为一种示例，批量任务展示模块中的自定义内容中可以展示自定义的多个任务中成功完成加工的客群数、当前正在进行的任务中加工到哪个客群的哪个指标等。
57.在本技术的实施例中，批量任务展示模块可以响应于用户的查询请求显示多个任务中每个任务的处理状态信息。
58.也就是说，本技术利用监控模块获取多种任务状态信息，获取及时完整有效的任务状态信息，具体通过数据埋点采集和任务日志实时处理加工，还可以自定义批量追踪内容，让用户可以设定符合其批量的业务需要的监控方式进行批量状态与进度的追踪，利用批量任务展示模块直观的可视化的进行批量任务展示，能一站式高效查看批量的任务关系与任务状态、高效定位批量任务进展。
59.本技术实施例提供了一种批量任务处理状态信息展示系统，系统包括：监控模块和批量任务展示模块，监控模块用于对多个任务进行同时监控，获取多个任务中每个任务
的处理状态信息，将多个任务中每个任务的处理状态信息存储至批量任务日志表中，批量任务展示模块用于根据批量任务日志表展示多个任务中每个任务的处理状态信息。也就是说，通过监控模块实现对于批量任务处理中的多个任务进行同时监控，并得到多个任务的处理状态信息，利用批量任务展示模块对多个任务的处理状态信息进行直观显示，直观可视化对批量任务的处理状态进行展示，高效获取批量任务在进行处理的相关信息。
60.基于以上实施例提供的一种批量任务处理状态信息展示系统，本技术实施例还提供了一种批量任务处理状态信息展示方法，下面结合附图来详细说明其工作原理。
61.参见图2，该图为本技术实施例提供的一种批量任务处理状态信息展示方法的流程示意图。
62.本实施例提供的批量任务处理状态信息展示方法包括以下步骤：
63.s101，对多个任务进行同时监控，获取所述多个任务中每个任务的处理状态信息，将所述多个任务中每个任务的处理状态信息存储至批量任务日志表中。
64.s102，根据所述批量任务日志表展示所述多个任务中每个任务的处理状态信息。
65.可选地，所述对多个任务进行同时监控包括：
66.利用埋点采集和日志实时扫描的方式对多个任务进行同时监控。
67.可选地，所述根据所述批量任务日志表展示所述多个任务中每个任务的处理状态信息包括：
68.响应于用户的查询请求显示多个任务中每个任务的处理状态信息。
69.可选地，所述方法还包括：
70.预先设置所述多个任务的监控信息，所述监控信息至少包括批量流程、监控范围和存储地址。
71.可选地，所述处理状态信息包括多个任务之间的依赖关系、所述多个任务中每个任务的执行时间和执行状态。
72.基于以上实施例提供的一种批量任务处理状态信息展示方法，本技术实施例还提供了一种批量任务处理状态信息展示设备，批量任务处理状态信息展示设备包括：
73.处理器和存储器，处理器的数量可以一个或多个。在本技术的一些实施例中，处理器和存储器可通过总线或其它方式连接。
74.存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括nvram。存储器存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
75.处理器控制终端设备的操作，处理器还可以称为cpu。
76.上述本技术实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、dsp、asic、fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法
的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
77.本技术实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例的方法中的任意一种实施方式。
78.在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
79.需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
80.当介绍本技术的各种实施例的元件时，冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外，还可以有其它元件。
81.需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)或随机存储记忆体(random access memory,ram)等。
82.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、
smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
83.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
84.以上所述仅是本技术的优选实施方式，虽然本技术已以较佳实施例披露如上，然而并非用以限定本技术。任何熟悉本领域的技术人员，在不脱离本技术技术方案范围情况下，都可利用上述揭示的方法和技术内容对本技术技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本技术技术方案的内容，依据本技术的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本技术技术方案保护的范围内。

技术特征：
1.一种批量任务处理状态信息展示系统，其特征在于，所述系统包括：监控模块和批量任务展示模块；所述监控模块用于对多个任务进行同时监控，获取所述多个任务中每个任务的处理状态信息，将所述多个任务中每个任务的处理状态信息存储至批量任务日志表中；所述批量任务展示模块用于根据所述批量任务日志表展示所述多个任务中每个任务的处理状态信息。2.根据权利要求1所述的系统，其特征在于，所述监控模块利用埋点采集和日志实时扫描的方式对多个任务进行同时监控。3.根据权利要求1所述的系统，其特征在于，所述批量任务展示模块用于响应于用户的查询请求显示多个任务中每个任务的处理状态信息。4.根据权利要求1-3任意一项所述的系统，其特征在于，预先设置所述多个任务的监控信息，所述监控信息至少包括批量流程、监控范围和存储地址。5.根据权利要求1-3任意一项所述的系统，其特征在于，所述处理状态信息包括多个任务之间的依赖关系、所述多个任务中每个任务的执行时间和执行状态。6.一种批量任务处理状态信息展示方法，其特征在于，所述方法包括：对多个任务进行同时监控，获取所述多个任务中每个任务的处理状态信息，将所述多个任务中每个任务的处理状态信息存储至批量任务日志表中；根据所述批量任务日志表展示所述多个任务中每个任务的处理状态信息。7.根据权利要求6所述的方法，其特征在于，所述对多个任务进行同时监控包括：利用埋点采集和日志实时扫描的方式对多个任务进行同时监控。8.根据权利要求6所述的方法，其特征在于，所述根据所述批量任务日志表展示所述多个任务中每个任务的处理状态信息包括：响应于用户的查询请求显示多个任务中每个任务的处理状态信息。9.根据权利要求6-8任意一项所述的方法，其特征在于，所述方法还包括：预先设置所述多个任务的监控信息，所述监控信息至少包括批量流程、监控范围和存储地址。10.根据权利要求6-8任意一项所述的方法，其特征在于，所述处理状态信息包括多个任务之间的依赖关系、所述多个任务中每个任务的执行时间和执行状态。

技术总结
本申请提供一种批量任务处理状态信息展示系统及方法，应用于金融领域或大数据领域，系统包括：监控模块和批量任务展示模块，监控模块用于对多个任务进行同时监控，获取多个任务中每个任务的处理状态信息，将多个任务中每个任务的处理状态信息存储至批量任务日志表中，批量任务展示模块用于根据批量任务日志表展示多个任务中每个任务的处理状态信息。也就是说，通过监控模块实现对于批量任务处理中的多个任务进行同时监控，并得到多个任务的处理状态信息，利用批量任务展示模块对多个任务的处理状态信息进行直观显示，直观可视化对批量任务的处理状态进行展示，高效获取批量任务在进行处理的相关信息。进行处理的相关信息。进行处理的相关信息。


技术研发人员：王佳 黄煜辉 赖少蔚
受保护的技术使用者：中国银行股份有限公司
技术研发日：2023.07.03
技术公布日：2023/9/20