批量作业的处理方法及装置、存储介质和电子设备与流程
未命名
09-22
阅读:78
评论:0
1.本技术涉及大数据技术领域,具体而言,涉及一种批量作业的处理方法及装置、存储介质和电子设备。
背景技术:
2.近年来,随着全行业务量的持续上涨,全天业务量普遍接近10亿笔,业务量的增长也使得批量运行时间呈现出不断增长的趋势。为保证版本投产窗口及业务报表及时下传,大型金融机构批量处理的时效性要求为150分钟(非特殊日)。但随着业务量的增加,如何继续保证核心批量的运行时间仍控制在150分钟(非特殊日)的红线内,除应用改造外,还需要一些主机批量智能分析与处置工具包优化解决批量的系统瓶颈。
3.相关技术中,当前主机批量执行情况分析主要依赖人工处理,且相关技术中方案主要分为以下步骤:
4.(1)批量总体执行耗时与异常判断:根据批量开始、结束作业的执行时间获取当日批量总体耗时;结合当日为普通日、特殊日情况,人工判断执行时间是否存在异常;
5.(2)根据批量当日批量关键路径,人工查找耗时异常作业信息;
6.(3)人工查看异常作业队列信息,判断作业执行异常原因;
7.(4)根据作业执行异常原因,制定优化方案并变更实施落地。
8.但是相关技术存在以下缺点:
9.(1)当前人工批量分析仅适用于批量执行完成之后,优化措施生效需要下一次批量执行时,不能在批量执行期间实时提升批量执行效率;
10.(2)人工分析批量执行情况,依赖于实施人员专业知识,时效性和效率较差;
11.(3)优化方案落实依赖变更实施,具有一定的延迟生效。
12.针对相关技术中只能等批量作业在主机上运行完成之后,采用人工的方式分析批量作业的运行情况,导致批量作业的运行效率较低的问题,目前尚未提出有效的解决方案。
技术实现要素:
13.本技术的主要目的在于提供一种批量作业的处理方法及装置、存储介质和电子设备,以解决相关技术中只能等批量作业在主机上运行完成之后,采用人工的方式分析批量作业的运行情况,导致批量作业的运行效率较低的问题。
14.为了实现上述目的,根据本技术的一个方面,提供了一种批量作业的处理方法。该方法包括:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况,其中,所述目标主机用于处理业务请求,所述第一批量作业为所述目标主机处理业务请求时在所述目标主机上批量运行的作业;当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告;基于所述目标报告,确定目标方案;利用所述目标方案在所述目标主机上运行第二批量作业,其中,所述第二批量作业为在所述目标主机上批量运行的作业,所述第二批量作业在所述目标主机上的运行时刻晚
于所述第一批量作业在所述目标主机上的运行时刻。
15.进一步地,当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况包括:当检测到第一批量作业在目标主机上运行时,确定所述第一批量作业中执行异常的目标作业;确定所述目标作业的提交情况;基于所述目标作业的提交情况,确定所述目标作业执行异常的原因;依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况。
16.进一步地,当检测到第一批量作业在目标主机上运行时,确定所述第一批量作业中执行异常的目标作业包括:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业中当前作业的执行时长;计算所述当前作业的执行时长和每个第一预设时长之间的变化率,得到变化率集合,其中,所述变化率集合中至少包括n个变化率,n为正整数;判断所述n个变化率中是否存在超过预设阈值的变化率;若所述n个变化率中不存在超过所述预设阈值的变化率,则表示所述当前作业不是所述第一批量作业中执行异常的目标作业;若所述n个变化率中存在超过所述预设阈值的变化率,则表示所述当前作业为所述第一批量作业中执行异常的目标作业。
17.进一步地,基于所述目标作业的提交情况,确定所述目标作业执行异常的原因包括:基于所述目标作业的提交情况,判断所述目标作业的当前状态是否为已提交的状态;若所述目标作业的当前状态为未提交的状态,则确定所述目标作业执行异常的原因为所述目标作业的提交时刻延迟;若所述目标作业的当前状态为已提交的状态,则确定所述目标作业的报错情况;依据所述目标作业的报错情况,确定所述目标作业运行异常的原因。
18.进一步地,依据所述目标作业的报错情况,确定所述目标作业运行异常的原因包括:判断所述目标作业在执行过程中是否出现报错情况;若所述目标作业在执行过程中未出现报错情况,则确定所述目标作业执行异常的原因为所述目标作业在执行过程中正常执行,且所述目标作业的执行时长大于第二预设时长;若所述目标作业在执行过程中出现报错情况,则确定所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断。
19.进一步地,依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业的提交时刻延迟,则依据所述目标作业的作业日志,判断所述目标作业是否在所述目标主机的第一调度软件中,其中,所述第一调度软件用于调度和管理所述目标主机中的作业,所述第一调度软件需要按照预设顺序调度和管理所述目标主机中的作业;若所述目标作业在所述第一调度软件中,则确定所述目标作业在所述第一调度软件中等待执行的原因;依据所述目标作业在所述第一调度软件中等待执行的原因,确定所述第一批量作业的执行情况;若所述目标作业不在所述第一调度软件中,则确定所述目标作业在所述目标主机的第二调度软件中,其中,所述第二调度软件用于调度和管理所述目标主机中的作业,所述第二调度软件不需要按照所述预设顺序调度和管理所述目标主机中的作业;将所述目标作业在所述第二调度软件中的优先级进行提升,得到提升优先级后的目标作业;依据所述提升优先级后的目标作业,确定所述第一批量作业的执行情况。
20.进一步地,依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断,则判断所述目标作业是否在等待目标资源,其中,所述目标资源为在所述目标主机上执行所述目
标作业时所需要的资源;若所述目标作业是在等待所述目标资源,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;判断所述执行结果是否为所述目标作业重新执行成功;若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;若所述执行结果为所述目标作业重新执行失败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;若所述目标作业不是在等待所述目标资源,则向所述目标对象发送所述提醒信息;依据所述提醒信息,确定所述第一批量作业的执行情况。
21.进一步地,依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业在执行过程中正常执行,且所述目标作业的执行时长大于第二预设时长,则判断所述目标作业是否在等待执行的过程中;若所述目标作业不是在等待执行的过程中,则从目标报表中确定导致所述目标作业执行异常的异常信息,其中,所述目标报表为在所述目标作业执行完成之后生成的报表;依据所述异常信息,确定所述第一批量作业的执行情况;若所述目标作业在等待执行的过程中,则获取所述目标作业在等待执行的原因;依据所述目标作业在等待执行的原因,确定所述第一批量作业的执行情况。
22.进一步地,依据所述目标作业在等待执行的原因,确定所述第一批量作业的执行情况包括:判断所述目标作业在等待执行的原因是否为在等待目标数据集,其中,所述目标数据集为在所述目标主机上执行所述目标作业时所需要的数据;若所述目标作业在等待执行的原因为在等待目标数据集,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;判断所述执行结果是否为所述目标作业重新执行成功;若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;若所述执行结果为所述目标作业重新执行失败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;若所述目标作业在等待执行的原因不是在等待所述目标数据集,则向所述目标对象发送所述提醒信息;依据所述提醒信息,确定所述第一批量作业的执行情况。
23.进一步地,当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告包括:当检测到所述第一批量作业在所述目标主机上运行完成之后,获取执行所述第一批量作业所需的总执行时长,并获取所述第一批量作业中每个作业的执行时长;依据执行所述第一批量作业所需的总执行时长、所述第一批量作业中每个作业的执行时长和所述第一批量作业的执行情况,生成所述目标报告。
24.为了实现上述目的,根据本技术的另一方面,提供了一种批量作业的处理装置。该装置包括:第一获取单元,用于当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况,其中,所述目标主机用于处理业务请求,所述第一批量作业为所述目标主机处理业务请求时在所述目标主机上批量运行的作业;第一生成单元,用于当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告;第一确定单元,用于基于所述目标报告,确定目标方案;第一运行单元,用于利用所述目标方案在所述目标主机上运行第二批量作业,其中,所述第二批量作业为在所述目标主机上批量运行的作业,所述第二批量作业在所述目标主机上的运行时刻晚于所述第一批量作业在所述目标主机上的运行时刻。
25.进一步地,所述第一获取单元包括:第一确定子单元,用于当检测到第一批量作业在目标主机上运行时,确定所述第一批量作业中执行异常的目标作业;第二确定子单元,用于确定所述目标作业的提交情况;第三确定子单元,用于基于所述目标作业的提交情况,确定所述目标作业执行异常的原因;第四确定子单元,用于依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况。
26.进一步地,所述第一确定子单元包括:第一获取模块,用于当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业中当前作业的执行时长;第一计算模块,用于计算所述当前作业的执行时长和每个第一预设时长之间的变化率,得到变化率集合,其中,所述变化率集合中至少包括n个变化率,n为正整数;第一判断模块,用于判断所述n个变化率中是否存在超过预设阈值的变化率;第一确定模块,用于若所述n个变化率中不存在超过所述预设阈值的变化率,则表示所述当前作业不是所述第一批量作业中执行异常的目标作业;第二确定模块,用于若所述n个变化率中存在超过所述预设阈值的变化率,则表示所述当前作业为所述第一批量作业中执行异常的目标作业。
27.进一步地,所述第三确定子单元包括:第二判断模块,用于基于所述目标作业的提交情况,判断所述目标作业的当前状态是否为已提交的状态;第三确定模块,用于若所述目标作业的当前状态为未提交的状态,则确定所述目标作业执行异常的原因为所述目标作业的提交时刻延迟;第四确定模块,用于若所述目标作业的当前状态为已提交的状态,则确定所述目标作业的报错情况;第五确定模块,用于依据所述目标作业的报错情况,确定所述目标作业运行异常的原因。
28.进一步地,所述第五确定模块包括:第一判断子模块,用于判断所述目标作业在执行过程中是否出现报错情况;第一确定子模块,用于若所述目标作业在执行过程中未出现报错情况,则确定所述目标作业执行异常的原因为所述目标作业在执行过程中正常执行,且所述目标作业的执行时长大于第二预设时长;第二确定子模块,用于若所述目标作业在执行过程中出现报错情况,则确定所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断。
29.进一步地,所述第四确定子单元包括:第三判断模块,用于若所述目标作业执行异常的原因为所述目标作业的提交时刻延迟,则依据所述目标作业的作业日志,判断所述目标作业是否在所述目标主机的第一调度软件中,其中,所述第一调度软件用于调度和管理所述目标主机中的作业,所述第一调度软件需要按照预设顺序调度和管理所述目标主机中的作业;第六确定模块,用于若所述目标作业在所述第一调度软件中,则确定所述目标作业在所述第一调度软件中等待执行的原因;第七确定模块,用于依据所述目标作业在所述第一调度软件中等待执行的原因,确定所述第一批量作业的执行情况;第八确定模块,用于若所述目标作业不在所述第一调度软件中,则确定所述目标作业在所述目标主机的第二调度软件中,其中,所述第二调度软件用于调度和管理所述目标主机中的作业,所述第二调度软件不需要按照所述预设顺序调度和管理所述目标主机中的作业;第一提升模块,用于将所述目标作业在所述第二调度软件中的优先级进行提升,得到提升优先级后的目标作业;第九确定模块,用于依据所述提升优先级后的目标作业,确定所述第一批量作业的执行情况。
30.进一步地,所述第四确定子单元包括:第四判断模块,用于若所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断,则判断所述目标作业是否在等待目标资
源,其中,所述目标资源为在所述目标主机上执行所述目标作业时所需要的资源;第一处理模块,用于若所述目标作业是在等待所述目标资源,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;第五判断模块,用于判断所述执行结果是否为所述目标作业重新执行成功;第十确定模块,用于若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;第一发送模块,用于若所述执行结果为所述目标作业重新执行失败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;第二发送模块,用于若所述目标作业不是在等待所述目标资源,则向所述目标对象发送所述提醒信息;第十一确定模块,用于依据所述提醒信息,确定所述第一批量作业的执行情况。
31.进一步地,所述第四确定子单元包括:第六判断模块,用于若所述目标作业执行异常的原因为所述目标作业在执行过程中正常执行,且所述目标作业的执行时长大于第二预设时长,则判断所述目标作业是否在等待执行的过程中;第十二确定模块,用于若所述目标作业不是在等待执行的过程中,则从目标报表中确定导致所述目标作业执行异常的异常信息,其中,所述目标报表为在所述目标作业执行完成之后生成的报表;第十三确定模块,用于依据所述异常信息,确定所述第一批量作业的执行情况;第二获取模块,用于若所述目标作业在等待执行的过程中,则获取所述目标作业在等待执行的原因;第十四确定模块,用于依据所述目标作业在等待执行的原因,确定所述第一批量作业的执行情况。
32.进一步地,所述第十四确定模块包括:第二判断子模块,用于判断所述目标作业在等待执行的原因是否为在等待目标数据集,其中,所述目标数据集为在所述目标主机上执行所述目标作业时所需要的数据;第一处理子模块,用于若所述目标作业在等待执行的原因为在等待目标数据集,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;第三判断子模块,用于判断所述执行结果是否为所述目标作业重新执行成功;第三确定子模块,用于若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;第一发送子模块,用于若所述执行结果为所述目标作业重新执行失败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;第二发送子模块,用于若所述目标作业在等待执行的原因不是在等待所述目标数据集,则向所述目标对象发送所述提醒信息;第四确定子模块,用于依据所述提醒信息,确定所述第一批量作业的执行情况。
33.进一步地,所述第一生成单元包括:第一获取子单元,用于当检测到所述第一批量作业在所述目标主机上运行完成之后,获取执行所述第一批量作业所需的总执行时长,并获取所述第一批量作业中每个作业的执行时长;第一生成子单元,用于依据执行所述第一批量作业所需的总执行时长、所述第一批量作业中每个作业的执行时长和所述第一批量作业的执行情况,生成所述目标报告。
34.为了实现上述目的,根据本技术的另一方面,提供了一种计算机可读存储介质,所述存储介质存储程序,其中,所述程序执行上述的任意一项所述的批量作业的处理方法。
35.为了实现上述目的,根据本技术的另一方面,提供了一种电子设备,所述电子设备包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述的任意一项所述的批量作业的处理方法。
36.通过本技术,采用以下步骤:当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,其中,目标主机用于处理业务请求,第一批量作业为目标主机处理业务请求时在目标主机上批量运行的作业;当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告;基于目标报告,确定目标方案;利用目标方案在目标主机上运行第二批量作业,其中,第二批量作业为在目标主机上批量运行的作业,第二批量作业在目标主机上的运行时刻晚于第一批量作业在目标主机上的运行时刻,解决了相关技术中只能等批量作业在主机上运行完成之后,采用人工的方式分析批量作业的运行情况,导致批量作业的运行效率较低的问题。通过当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,并当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告,再基于目标报告,确定目标方案,并利用目标方案在目标主机上运行第一批量作业之后的第二批量作业,从而在批量作业在主机上运行的过程中和批量作业在主机上运行完成之后,可以实时的分析批量作业的运行情况,进而达到了提升批量作业的运行效率的效果。
附图说明
37.构成本技术的一部分的附图用来提供对本技术的进一步理解,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
38.图1是根据本技术实施例提供的批量作业的处理方法的流程图;
39.图2是根据本技术实施例提供的可选的批量作业的处理方法的流程图;
40.图3是本技术实施例中作业执行异常判断模块的流程图;
41.图4是本技术实施例中作业等待处理模块的流程图;
42.图5是本技术实施例中作业中断处理模块的流程图;
43.图6是本技术实施例中作业执行超时处理模块的流程图;
44.图7是本技术实施例中批量运行报表生成模块的流程图;
45.图8是根据本技术实施例提供的批量作业的处理装置的示意图;
46.图9是根据本技术实施例提供的电子设备的示意图。
具体实施方式
47.需要说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
48.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
49.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的
过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
50.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
51.为了便于描述,以下对本技术实施例涉及的部分名词或术语进行说明:
52.tws:tivoli workload scheduler(tws)是一套企业工作量调度管理程序,分主机和开放平台,本实施例中指z/os版本,即主机侧版本。且tws是一个负责批量设置和依赖关系、执行的软件工具。另外,tws里有各种依赖关系:前后项、定时、sr资源控制等。因此,tws需要所有依赖关系都满足才能执行。
53.主机批量:大型金融机构为满足业务需求每天执行的具有前后项关系的主机作业集,每个批次开始、结束作业固定,其他批量作业集按需执行,存在差异。本文主机批量前后项关系、定时等通过tws进行调度。
54.jes:jes2(job entry subsystem),ibm大型主机z/os的基本组件,负责作业调度。另外,jes2是操作系统层面的,主要是等待系统资源,也即,jes2在抢到资源时就可以直接执行。因此,jes2可以临时调整优先级。
55.sr:tws控制作业流程的资源,如果一个作业只设置了sr控制作业是否执行,sr为yes状态,作业正常执行;sr为no则作业等待,直到为yes后再执行。
56.wlm:wlm(work load manager),工作负载(任务)管理,为不同的任务定义不同的目标,根据这些目标,系统决定如何分配资源。
57.lpar:逻辑概念,主机单台物理机划分为多个lpar,各lpar运行独立的操作系统,通过调度可以共享主机的资源。
58.下面结合优选的实施步骤对本发明进行说明,图1是根据本技术实施例提供的批量作业的处理方法的流程图,如图1所示,该方法包括如下步骤:
59.步骤s101,当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,其中,目标主机用于处理业务请求,第一批量作业为目标主机处理业务请求时在目标主机上批量运行的作业。
60.例如,在批量作业(上述的第一批量作业)在主机(上述的目标主机)上运行的过程中,可以实时获取该批量作业(上述的第一批量作业)的执行情况。且上述的目标主机可以为ibm大型主机,且该主机可以用于处理业务请求。另外,该主机可以通过在该主机上运行批量作业来处理该主机上的业务请求。
61.步骤s102,当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告。
62.例如,在所有的批量作业(上述的第一批量作业)在主机(上述的目标主机)上执行之后,可以根据获取到的所有的批量作业(上述的第一批量作业)的执行情况生成批量执行报告(上述的目标报告)。
63.步骤s103,基于目标报告,确定目标方案。
64.例如,可以根据生成的批量执行报告(上述的目标报告)制定后续用于在主机上执行批量作业的方案(上述的目标方案)。
65.步骤s104,利用目标方案在目标主机上运行第二批量作业,其中,第二批量作业为在目标主机上批量运行的作业,第二批量作业在目标主机上的运行时刻晚于第一批量作业在目标主机上的运行时刻。
66.例如,在运行完成上述的第一批量作业,并在主机上运行第一批量作业之后的批量作业(上述的第二批量作业)时,可以根据制定的方案在主机上运行第一批量作业之后的批量作业(上述的第二批量作业)。
67.需要说明的是,本技术实施例提供的批量作业的处理方法可以应用于金融场景中。
68.通过上述的步骤s101至s104,通过当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,并当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告,再基于目标报告,确定目标方案,并利用目标方案在目标主机上运行第一批量作业之后的第二批量作业,从而在批量作业在主机上运行的过程中和批量作业在主机上运行完成之后,可以实时的分析批量作业的运行情况,进而达到了提升批量作业的运行效率的效果。
69.可选地,在本技术实施例提供的批量作业的处理方法中,当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况包括:当检测到第一批量作业在目标主机上运行时,确定第一批量作业中执行异常的目标作业;确定目标作业的提交情况;基于目标作业的提交情况,确定目标作业执行异常的原因;依据目标作业执行异常的原因,确定第一批量作业的执行情况。
70.例如,在批量作业(上述的第一批量作业)在主机(上述的目标主机)上运行的过程中,可以先确定在主机(上述的目标主机)上运行的批量作业(上述的第一批量作业)中执行异常的作业(上述的目标作业);再判断在主机(上述的目标主机)上运行的批量作业(上述的第一批量作业)中执行异常的作业(上述的目标作业)是否已经提交;并根据执行异常的作业(上述的目标作业)是否已经提交的情况判断执行异常的作业(上述的目标作业)执行异常的原因;然后可以根据执行异常的作业(上述的目标作业)执行异常的原因确定在主机(上述的目标主机)上运行的批量作业(上述的第一批量作业)的执行情况。
71.通过上述的方案,可以快速准确的确定在主机上运行的批量作业的执行情况。
72.可选地,在本技术实施例提供的批量作业的处理方法中,当检测到第一批量作业在目标主机上运行时,确定第一批量作业中执行异常的目标作业包括:当检测到第一批量作业在目标主机上运行时,获取第一批量作业中当前作业的执行时长;计算当前作业的执行时长和每个第一预设时长之间的变化率,得到变化率集合,其中,变化率集合中至少包括n个变化率,n为正整数;判断n个变化率中是否存在超过预设阈值的变化率;若n个变化率中不存在超过预设阈值的变化率,则表示当前作业不是第一批量作业中执行异常的目标作业;若n个变化率中存在超过预设阈值的变化率,则表示当前作业为第一批量作业中执行异常的目标作业。
73.例如,可以根据生产变更、特殊日日历和历史作业执行时间,判断当前时间是否为特殊日,若为非特殊日,获取一周内平均执行时间、上周执行时间、上月执行时间;若为特殊
日,则获取一周内平均执行时间、上两次作业执行时间进行取样。实时获取当前作业执行时间并与取样时间进行对比,若变化值超过10%,则认为作业执行异常,需要跟踪和自动分析。若变化值均不超过10%,则认为作业没有执行异常。
74.通过上述的方案,可以快速准确的确定在主机上运行的批量作业中执行异常的作业。
75.可选地,在本技术实施例提供的批量作业的处理方法中,基于目标作业的提交情况,确定目标作业执行异常的原因包括:基于目标作业的提交情况,判断目标作业的当前状态是否为已提交的状态;若目标作业的当前状态为未提交的状态,则确定目标作业执行异常的原因为目标作业的提交时刻延迟;若目标作业的当前状态为已提交的状态,则确定目标作业的报错情况;依据目标作业的报错情况,确定目标作业运行异常的原因。
76.例如,如果在主机(上述的目标主机)上运行的批量作业(上述的第一批量作业)中执行异常的作业(上述的目标作业)已经提交,则可以确定该执行异常的作业(上述的目标作业)出现异常的原因为作业提交延迟;如果在主机(上述的目标主机)上运行的批量作业(上述的第一批量作业)中执行异常的作业(上述的目标作业)还未提交,则可以判断该执行异常的作业(上述的目标作业)是否报错,并根据该执行异常的作业(上述的目标作业)的报错情况确定该执行异常的作业(上述的目标作业)出现异常的原因。
77.通过上述的方案,根据执行异常的作业的提交情况,可以快速准确的确定在主机上运行的批量作业中执行异常的作业出现异常的原因。
78.可选地,在本技术实施例提供的批量作业的处理方法中,依据目标作业的报错情况,确定目标作业运行异常的原因包括:判断目标作业在执行过程中是否出现报错情况;若目标作业在执行过程中未出现报错情况,则确定目标作业执行异常的原因为目标作业在执行过程中正常执行,且目标作业的执行时长大于第二预设时长;若目标作业在执行过程中出现报错情况,则确定目标作业执行异常的原因为目标作业在执行过程中异常中断。
79.例如,如果在主机(上述的目标主机)上运行的批量作业(上述的第一批量作业)中执行异常的作业(上述的目标作业)没有出现报错的情况,则可以确定该执行异常的作业(上述的目标作业)出现异常的原因为作业正常执行,但耗时较长(上述的目标作业的执行时长大于第二预设时长);如果在主机(上述的目标主机)上运行的批量作业(上述的第一批量作业)中执行异常的作业(上述的目标作业)出现报错的情况,则可以确定该执行异常的作业(上述的目标作业)出现异常的原因为作业异常中断。
80.通过上述的方案,根据执行异常的作业的报错情况,可以快速准确的确定在主机上运行的批量作业中执行异常的作业出现异常的具体原因。
81.可选地,在本技术实施例提供的批量作业的处理方法中,依据目标作业执行异常的原因,确定第一批量作业的执行情况包括:若目标作业执行异常的原因为目标作业的提交时刻延迟,则依据目标作业的作业日志,判断目标作业是否在目标主机的第一调度软件中,其中,第一调度软件用于调度和管理目标主机中的作业,第一调度软件需要按照预设顺序调度和管理目标主机中的作业;若目标作业在第一调度软件中,则确定目标作业在第一调度软件中等待执行的原因;依据目标作业在第一调度软件中等待执行的原因,确定第一批量作业的执行情况;若目标作业不在第一调度软件中,则确定目标作业在目标主机的第二调度软件中,其中,第二调度软件用于调度和管理目标主机中的作业,第二调度软件不需
要按照预设顺序调度和管理目标主机中的作业;将目标作业在第二调度软件中的优先级进行提升,得到提升优先级后的目标作业;依据提升优先级后的目标作业,确定第一批量作业的执行情况。
82.例如,上述的第一调度软件可以为tws软件,上述的第二调度软件可以为jes2软件,且tws软件中的作业必须按照作业的优先级在主机上执行作业,而jes2软件中的作业可以不按照作业的优先级在主机上执行作业。故可以先检查当前作业的提交情况,若作业未提交,检查确认作业等待原因,若为tws中等待前项、sr资源、定时等原因,则确认原因并输出信息给批量执行报告;若为jes2中队列等待,则自动提升该作业优先级,让作业尽快从队列中提交执行。
83.综上所述,当作业在调度软件中等待时,可以通过调整该作业的优先级,从而可以提升作业执行过程中该作业的执行效率。
84.可选地,在本技术实施例提供的批量作业的处理方法中,依据目标作业执行异常的原因,确定第一批量作业的执行情况包括:若目标作业执行异常的原因为目标作业在执行过程中异常中断,则判断目标作业是否在等待目标资源,其中,目标资源为在目标主机上执行目标作业时所需要的资源;若目标作业是在等待目标资源,则在第三预设时长之后,重新执行目标作业,并获取重新执行目标作业的执行结果;判断执行结果是否为目标作业重新执行成功;若执行结果为目标作业重新执行成功,则将目标作业重新执行成功的执行结果作为第一批量作业的执行情况;若执行结果为目标作业重新执行失败,则向目标对象发送提醒信息,其中,提醒信息用于提醒目标对象处理目标作业;若目标作业不是在等待目标资源,则向目标对象发送提醒信息;依据提醒信息,确定第一批量作业的执行情况。
85.例如,可以先对作业日志进行解析;并根据作业返回码和日志中的error信息(错误信息)判断作业报错的类型,若为资源冲突导致报错,则等待5分钟(上述的第三预设时长)后自动重提报错作业,若三次自动重提后仍然报错,则产生告警提醒人工介入处理;若为其他原因导致报错,立即产生告警提醒人工介入处理。
86.综上所述,当作业在主机上的执行过程中出现异常中断的情况时,可以通过自动重提作业的方式提升作业执行过程中作业的执行效率。
87.可选地,在本技术实施例提供的批量作业的处理方法中,依据目标作业执行异常的原因,确定第一批量作业的执行情况包括:若目标作业执行异常的原因为目标作业在执行过程中正常执行,且目标作业的执行时长大于第二预设时长,则判断目标作业是否在等待执行的过程中;若目标作业不是在等待执行的过程中,则从目标报表中确定导致目标作业执行异常的异常信息,其中,目标报表为在目标作业执行完成之后生成的报表;依据异常信息,确定第一批量作业的执行情况;若目标作业在等待执行的过程中,则获取目标作业在等待执行的原因;依据目标作业在等待执行的原因,确定第一批量作业的执行情况。
88.例如,解析作业日志,根据日志信息判断执行异常的作业是否在等待执行的过程中;如果执行异常的作业不是在等待执行的过程中,则在作业执行完成后自动打报表并根据报表进行自动分析,判断是否为数据增长、程序效率问题,并统计报表中异常信息同步给报表生成模块;如果执行异常的作业是在等待执行的过程中,则确定执行异常的作业是在等待执行的原因,并根据执行异常的作业是在等待执行的原因确定在主机上运行的批量作业的执行情况。
89.通过上述的方案,可以快速准确的判断在主机上运行的批量作业中执行异常的作业是否在等待执行的过程中。
90.可选地,在本技术实施例提供的批量作业的处理方法中,依据目标作业在等待执行的原因,确定第一批量作业的执行情况包括:判断目标作业在等待执行的原因是否为在等待目标数据集,其中,目标数据集为在目标主机上执行目标作业时所需要的数据;若目标作业在等待执行的原因为在等待目标数据集,则在第三预设时长之后,重新执行目标作业,并获取重新执行目标作业的执行结果;判断执行结果是否为目标作业重新执行成功;若执行结果为目标作业重新执行成功,则将目标作业重新执行成功的执行结果作为第一批量作业的执行情况;若执行结果为目标作业重新执行失败,则向目标对象发送提醒信息,其中,提醒信息用于提醒目标对象处理目标作业;若目标作业在等待执行的原因不是在等待目标数据集,则向目标对象发送提醒信息;依据提醒信息,确定第一批量作业的执行情况。
91.例如,解析作业日志,根据日志信息判断作业等待原因,如果作业等待数据集,则产生告警,并在告警中明确等待数据集信息,通知人工介入处理;如果作业等待应答,则产生告警,通知人工及时应答;若为其他原因,则在作业执行完成后自动打报表并根据报表进行自动分析,判断是否为数据增长、程序效率问题,并统计报表中异常信息同步给报表生成模块。
92.综上所述,当作业在主机上的执行过程中作业正常执行但耗时较长的情况时,可以通过报表确定在主机上运行的批量作业的执行情况。
93.可选地,在本技术实施例提供的批量作业的处理方法中,当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告包括:当检测到第一批量作业在目标主机上运行完成之后,获取执行第一批量作业所需的总执行时长,并获取第一批量作业中每个作业的执行时长;依据执行第一批量作业所需的总执行时长、第一批量作业中每个作业的执行时长和第一批量作业的执行情况,生成目标报告。
94.例如,可以自动统计当日批量整体执行时间和作业执行时间,按照生产变更、特殊日日历取时间对比样本,判断批量整体执行时间、作业执行时间是否异常并生成对比图;针对作业执行异常情况,判断是否已经打报表自动分析,若未打报表,则自动打报表并分析;并可以结合其他模块同步信息生成自动分析报告。
95.通过上述的方案,可以快速准确的生成在主机上运行的批量作业的执行报告。
96.例如,在本实施例中,为实现自动化分析主机批量运行情况,并尽可能实时提升主机批量运行时效,提供了部分实时自动优化措施,同时生成批量执行报告,汇总批量执行、报错情况,供人工进一步确认、处理和优化。
97.例如,本实施例主要涉及以下五个模块:作业执行异常判断模块、作业等待处理模块、作业中断处理模块、作业执行超时处理模块和批量运行报表生成模块。
98.例如,图2是根据本技术实施例提供的可选的批量作业的处理方法的流程图,且如图2所示,模块关系与整体流程为:主机批量运行时效自动化分析和提升方案主要分为两部分:(1)实时分析与提升:对于作业提交时的jes2等待进行优先级自动调整、部分作业执行异常进行自动重提、必须人工介入的异常及时生产监控告警提醒人工介入处理;(2)事后分析辅助:根据批量执行情况生成批量执行报表,协助制定进一步提升措施。
99.另外,各模块详细信息如下:
100.(1)模块一、作业执行异常判断模块
101.例如,图3是本技术实施例中作业执行异常判断模块的流程图,如图3所示,可以先根据生产变更、特殊日日历和历史作业执行时间,判断当前时间是否为特殊日,若为非特殊日,获取一周内平均执行时间、上周执行时间、上月执行时间;若为特殊日,则获取一周内平均执行时间、上两次作业执行时间进行取样。实时获取当前作业执行时间并与取样时间进行对比,若变化值超过10%,则认为作业执行异常,需要跟踪和自动分析。
102.(2)模块二、作业等待处理模块
103.例如,图4是本技术实施例中作业等待处理模块的流程图,如图4所示,检查当前作业提交情况,若作业未提交,检查确认作业等待原因,若为tws中等待前项、sr资源、定时等原因,则确认原因并输出信息给批量执行报告;若为jes2中队列等待,则自动提升该作业优先级,让作业尽快从队列中提交执行。
104.(3)模块三、作业中断处理模块
105.例如,图5是本技术实施例中作业中断处理模块的流程图,如图5所示,对作业日志进行解析;根据作业返回码和日志中的error信息(错误信息)判断作业报错的类型,若为资源冲突导致报错,则等待5分钟后自动重提报错作业,若三次自动重提后仍然报错,则产生告警提醒人工介入处理;若为其他原因导致报错,立即产生告警提醒人工介入处理。
106.(4)模块四、作业执行超时处理模块
107.例如,图6是本技术实施例中作业执行超时处理模块的流程图,如图6所示,解析作业日志,根据日志信息判断作业等待原因,如果作业等待数据集,则产生告警,并在告警中明确等待数据集信息,通知人工介入处理;如果作业等待应答,则产生告警,通知人工及时应答;若为其他原因,则在作业执行完成后自动打报表并根据报表进行自动分析,判断是否为数据增长、程序效率问题,并统计报表中异常信息同步给报表生成模块。
108.(5)模块五、批量运行报表生成模块
109.例如,图7是本技术实施例中批量运行报表生成模块的流程图,如图7所示,自动统计当日批量整体执行时间和作业执行时间,按照生产变更、特殊日日历取时间对比样本,判断批量整体执行时间、作业执行时间是否异常并生成对比图;针对作业执行异常情况,判断是否已经打报表自动分析,若未打报表,则自动打报表并分析;结合其他模块同步信息生成自动分析报告。
110.因此,本实施例克服了现有技术方案只能事后分析,不能实时优化提升批量执行效率;手工步骤多、专业技术依赖强、分析耗时耗力;批量优化方案全部依赖变更实施落实,优化方案落地慢等不足,提供了一种简单、快速、高效的自动化分析和提升批量运行时效的运维方法和装置。
111.另外,通过本技术实施例提供的方法,可以有如下有益效果:
112.一、批量期间系统资源自动调整(无需人工干预、实时调整资源分配和作业分布、降低系统资源对批量执行的影响)
113.自动调整批量wlm批次设置,将应用批量20个批次自动均衡在各lpar,自动调度,以充分利用4台主机cpu;保证联机响应时间的基础上,批量获得更多的cpu资源。
114.二、针对影响关键路径的作业,自动提交(减少关键路径上作业等待引起的批量运行时间增长)
115.实现关键作业清单的动态管理,自动提高作业优先级,关键路径批量作业执行效率得到提高。
116.三、批量运行报表、需关注作业自动分析和展示(减少手工操作,提高问题作业定位的实效性,提高批量分析的效率)
117.自动打印报表并根据报表数据进行初步分析,根据作业运行时间、处理数据量大小、作业等待延迟、磁盘访问效率等方面数据对比,从操作系统、存储、数据库、tws专业初步分析并定位关注作业和作业异常原因,便于值班人员及时了解批量总体执行情况,提高专业组人员定位、分析问题的效率。
118.利用工具自动打印作业报表并分析;在智能运维系统中展示,利于系统专业人员做好作业问题的分析与跟踪,做到有据可查。
119.综上,本技术实施例提供的批量作业的处理方法,通过当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,其中,目标主机用于处理业务请求,第一批量作业为目标主机处理业务请求时在目标主机上批量运行的作业;当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告;基于目标报告,确定目标方案;利用目标方案在目标主机上运行第二批量作业,其中,第二批量作业为在目标主机上批量运行的作业,第二批量作业在目标主机上的运行时刻晚于第一批量作业在目标主机上的运行时刻,解决了相关技术中只能等批量作业在主机上运行完成之后,采用人工的方式分析批量作业的运行情况,导致批量作业的运行效率较低的问题。通过当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,并当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告,再基于目标报告,确定目标方案,并利用目标方案在目标主机上运行第一批量作业之后的第二批量作业,从而在批量作业在主机上运行的过程中和批量作业在主机上运行完成之后,可以实时的分析批量作业的运行情况,进而达到了提升批量作业的运行效率的效果。
120.需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
121.本技术实施例还提供了一种批量作业的处理装置,需要说明的是,本技术实施例的批量作业的处理装置可以用于执行本技术实施例所提供的用于批量作业的处理方法。以下对本技术实施例提供的批量作业的处理装置进行介绍。
122.图8是根据本技术实施例的批量作业的处理装置的示意图。如图8所示,该装置包括:第一获取单元801、第一生成单元802、第一确定单元803和第一运行单元804。
123.具体地,第一获取单元801,用于当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,其中,目标主机用于处理业务请求,第一批量作业为目标主机处理业务请求时在目标主机上批量运行的作业;
124.第一生成单元802,用于当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告;
125.第一确定单元803,用于基于目标报告,确定目标方案;
126.第一运行单元804,用于利用目标方案在目标主机上运行第二批量作业,其中,第二批量作业为在目标主机上批量运行的作业,第二批量作业在目标主机上的运行时刻晚于
第一批量作业在目标主机上的运行时刻。
127.综上,本技术实施例提供的批量作业的处理装置,通过第一获取单元801当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,其中,目标主机用于处理业务请求,第一批量作业为目标主机处理业务请求时在目标主机上批量运行的作业;第一生成单元802当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告;第一确定单元803基于目标报告,确定目标方案;第一运行单元804利用目标方案在目标主机上运行第二批量作业,其中,第二批量作业为在目标主机上批量运行的作业,第二批量作业在目标主机上的运行时刻晚于第一批量作业在目标主机上的运行时刻,解决了相关技术中只能等批量作业在主机上运行完成之后,采用人工的方式分析批量作业的运行情况,导致批量作业的运行效率较低的问题。通过当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,并当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告,再基于目标报告,确定目标方案,并利用目标方案在目标主机上运行第一批量作业之后的第二批量作业,从而在批量作业在主机上运行的过程中和批量作业在主机上运行完成之后,可以实时的分析批量作业的运行情况,进而达到了提升批量作业的运行效率的效果。
128.可选地,在本技术实施例提供的批量作业的处理装置中,第一获取单元包括:第一确定子单元,用于当检测到第一批量作业在目标主机上运行时,确定第一批量作业中执行异常的目标作业;第二确定子单元,用于确定目标作业的提交情况;第三确定子单元,用于基于目标作业的提交情况,确定目标作业执行异常的原因;第四确定子单元,用于依据目标作业执行异常的原因,确定第一批量作业的执行情况。
129.可选地,在本技术实施例提供的批量作业的处理装置中,第一确定子单元包括:第一获取模块,用于当检测到第一批量作业在目标主机上运行时,获取第一批量作业中当前作业的执行时长;第一计算模块,用于计算当前作业的执行时长和每个第一预设时长之间的变化率,得到变化率集合,其中,变化率集合中至少包括n个变化率,n为正整数;第一判断模块,用于判断n个变化率中是否存在超过预设阈值的变化率;第一确定模块,用于若n个变化率中不存在超过预设阈值的变化率,则表示当前作业不是第一批量作业中执行异常的目标作业;第二确定模块,用于若n个变化率中存在超过预设阈值的变化率,则表示当前作业为第一批量作业中执行异常的目标作业。
130.可选地,在本技术实施例提供的批量作业的处理装置中,第三确定子单元包括:第二判断模块,用于基于目标作业的提交情况,判断目标作业的当前状态是否为已提交的状态;第三确定模块,用于若目标作业的当前状态为未提交的状态,则确定目标作业执行异常的原因为目标作业的提交时刻延迟;第四确定模块,用于若目标作业的当前状态为已提交的状态,则确定目标作业的报错情况;第五确定模块,用于依据目标作业的报错情况,确定目标作业运行异常的原因。
131.可选地,在本技术实施例提供的批量作业的处理装置中,第五确定模块包括:第一判断子模块,用于判断目标作业在执行过程中是否出现报错情况;第一确定子模块,用于若目标作业在执行过程中未出现报错情况,则确定目标作业执行异常的原因为目标作业在执行过程中正常执行,且目标作业的执行时长大于第二预设时长;第二确定子模块,用于若目标作业在执行过程中出现报错情况,则确定目标作业执行异常的原因为目标作业在执行过
程中异常中断。
132.可选地,在本技术实施例提供的批量作业的处理装置中,第四确定子单元包括:第三判断模块,用于若目标作业执行异常的原因为目标作业的提交时刻延迟,则依据目标作业的作业日志,判断目标作业是否在目标主机的第一调度软件中,其中,第一调度软件用于调度和管理目标主机中的作业,第一调度软件需要按照预设顺序调度和管理目标主机中的作业;第六确定模块,用于若目标作业在第一调度软件中,则确定目标作业在第一调度软件中等待执行的原因;第七确定模块,用于依据目标作业在第一调度软件中等待执行的原因,确定第一批量作业的执行情况;第八确定模块,用于若目标作业不在第一调度软件中,则确定目标作业在目标主机的第二调度软件中,其中,第二调度软件用于调度和管理目标主机中的作业,第二调度软件不需要按照预设顺序调度和管理目标主机中的作业;第一提升模块,用于将目标作业在第二调度软件中的优先级进行提升,得到提升优先级后的目标作业;第九确定模块,用于依据提升优先级后的目标作业,确定第一批量作业的执行情况。
133.可选地,在本技术实施例提供的批量作业的处理装置中,第四确定子单元包括:第四判断模块,用于若目标作业执行异常的原因为目标作业在执行过程中异常中断,则判断目标作业是否在等待目标资源,其中,目标资源为在目标主机上执行目标作业时所需要的资源;第一处理模块,用于若目标作业是在等待目标资源,则在第三预设时长之后,重新执行目标作业,并获取重新执行目标作业的执行结果;第五判断模块,用于判断执行结果是否为目标作业重新执行成功;第十确定模块,用于若执行结果为目标作业重新执行成功,则将目标作业重新执行成功的执行结果作为第一批量作业的执行情况;第一发送模块,用于若执行结果为目标作业重新执行失败,则向目标对象发送提醒信息,其中,提醒信息用于提醒目标对象处理目标作业;第二发送模块,用于若目标作业不是在等待目标资源,则向目标对象发送提醒信息;第十一确定模块,用于依据提醒信息,确定第一批量作业的执行情况。
134.可选地,在本技术实施例提供的批量作业的处理装置中,第四确定子单元包括:第六判断模块,用于若目标作业执行异常的原因为目标作业在执行过程中正常执行,且目标作业的执行时长大于第二预设时长,则判断目标作业是否在等待执行的过程中;第十二确定模块,用于若目标作业不是在等待执行的过程中,则从目标报表中确定导致目标作业执行异常的异常信息,其中,目标报表为在目标作业执行完成之后生成的报表;第十三确定模块,用于依据异常信息,确定第一批量作业的执行情况;第二获取模块,用于若目标作业在等待执行的过程中,则获取目标作业在等待执行的原因;第十四确定模块,用于依据目标作业在等待执行的原因,确定第一批量作业的执行情况。
135.可选地,在本技术实施例提供的批量作业的处理装置中,第十四确定模块包括:第二判断子模块,用于判断目标作业在等待执行的原因是否为在等待目标数据集,其中,目标数据集为在目标主机上执行目标作业时所需要的数据;第一处理子模块,用于若目标作业在等待执行的原因为在等待目标数据集,则在第三预设时长之后,重新执行目标作业,并获取重新执行目标作业的执行结果;第三判断子模块,用于判断执行结果是否为目标作业重新执行成功;第三确定子模块,用于若执行结果为目标作业重新执行成功,则将目标作业重新执行成功的执行结果作为第一批量作业的执行情况;第一发送子模块,用于若执行结果为目标作业重新执行失败,则向目标对象发送提醒信息,其中,提醒信息用于提醒目标对象处理目标作业;第二发送子模块,用于若目标作业在等待执行的原因不是在等待目标数据
集,则向目标对象发送提醒信息;第四确定子模块,用于依据提醒信息,确定第一批量作业的执行情况。
136.可选地,在本技术实施例提供的批量作业的处理装置中,第一生成单元包括:第一获取子单元,用于当检测到第一批量作业在目标主机上运行完成之后,获取执行第一批量作业所需的总执行时长,并获取第一批量作业中每个作业的执行时长;第一生成子单元,用于依据执行第一批量作业所需的总执行时长、第一批量作业中每个作业的执行时长和第一批量作业的执行情况,生成目标报告。
137.批量作业的处理装置包括处理器和存储器,上述第一获取单元801、第一生成单元802、第一确定单元803和第一运行单元804等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
138.处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提升批量作业的运行效率。
139.存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram),存储器包括至少一个存储芯片。
140.本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述批量作业的处理方法。
141.本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述批量作业的处理方法。
142.如图9所示,本发明实施例提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况,其中,所述目标主机用于处理业务请求,所述第一批量作业为所述目标主机处理业务请求时在所述目标主机上批量运行的作业;当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告;基于所述目标报告,确定目标方案;利用所述目标方案在所述目标主机上运行第二批量作业,其中,所述第二批量作业为在所述目标主机上批量运行的作业,所述第二批量作业在所述目标主机上的运行时刻晚于所述第一批量作业在所述目标主机上的运行时刻。
143.处理器执行程序时还实现以下步骤:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况包括:当检测到第一批量作业在目标主机上运行时,确定所述第一批量作业中执行异常的目标作业;确定所述目标作业的提交情况;基于所述目标作业的提交情况,确定所述目标作业执行异常的原因;依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况。
144.处理器执行程序时还实现以下步骤:当检测到第一批量作业在目标主机上运行时,确定所述第一批量作业中执行异常的目标作业包括:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业中当前作业的执行时长;计算所述当前作业的执行时长和每个第一预设时长之间的变化率,得到变化率集合,其中,所述变化率集合中至少包括n个变化率,n为正整数;判断所述n个变化率中是否存在超过预设阈值的变化率;若所述n个变化率中不存在超过所述预设阈值的变化率,则表示所述当前作业不是所述第一批量作业
中执行异常的目标作业;若所述n个变化率中存在超过所述预设阈值的变化率,则表示所述当前作业为所述第一批量作业中执行异常的目标作业。
145.处理器执行程序时还实现以下步骤:基于所述目标作业的提交情况,确定所述目标作业执行异常的原因包括:基于所述目标作业的提交情况,判断所述目标作业的当前状态是否为已提交的状态;若所述目标作业的当前状态为未提交的状态,则确定所述目标作业执行异常的原因为所述目标作业的提交时刻延迟;若所述目标作业的当前状态为已提交的状态,则确定所述目标作业的报错情况;依据所述目标作业的报错情况,确定所述目标作业运行异常的原因。
146.处理器执行程序时还实现以下步骤:依据所述目标作业的报错情况,确定所述目标作业运行异常的原因包括:判断所述目标作业在执行过程中是否出现报错情况;若所述目标作业在执行过程中未出现报错情况,则确定所述目标作业执行异常的原因为所述目标作业在执行过程中正常执行,且所述目标作业的执行时长大于第二预设时长;若所述目标作业在执行过程中出现报错情况,则确定所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断。
147.处理器执行程序时还实现以下步骤:依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业的提交时刻延迟,则依据所述目标作业的作业日志,判断所述目标作业是否在所述目标主机的第一调度软件中,其中,所述第一调度软件用于调度和管理所述目标主机中的作业,所述第一调度软件需要按照预设顺序调度和管理所述目标主机中的作业;若所述目标作业在所述第一调度软件中,则确定所述目标作业在所述第一调度软件中等待执行的原因;依据所述目标作业在所述第一调度软件中等待执行的原因,确定所述第一批量作业的执行情况;若所述目标作业不在所述第一调度软件中,则确定所述目标作业在所述目标主机的第二调度软件中,其中,所述第二调度软件用于调度和管理所述目标主机中的作业,所述第二调度软件不需要按照所述预设顺序调度和管理所述目标主机中的作业;将所述目标作业在所述第二调度软件中的优先级进行提升,得到提升优先级后的目标作业;依据所述提升优先级后的目标作业,确定所述第一批量作业的执行情况。
148.处理器执行程序时还实现以下步骤:依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断,则判断所述目标作业是否在等待目标资源,其中,所述目标资源为在所述目标主机上执行所述目标作业时所需要的资源;若所述目标作业是在等待所述目标资源,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;判断所述执行结果是否为所述目标作业重新执行成功;若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;若所述执行结果为所述目标作业重新执行失败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;若所述目标作业不是在等待所述目标资源,则向所述目标对象发送所述提醒信息;依据所述提醒信息,确定所述第一批量作业的执行情况。
149.处理器执行程序时还实现以下步骤:依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业在执行
过程中正常执行,且所述目标作业的执行时长大于第二预设时长,则判断所述目标作业是否在等待执行的过程中;若所述目标作业不是在等待执行的过程中,则从目标报表中确定导致所述目标作业执行异常的异常信息,其中,所述目标报表为在所述目标作业执行完成之后生成的报表;依据所述异常信息,确定所述第一批量作业的执行情况;若所述目标作业在等待执行的过程中,则获取所述目标作业在等待执行的原因;依据所述目标作业在等待执行的原因,确定所述第一批量作业的执行情况。
150.处理器执行程序时还实现以下步骤:依据所述目标作业在等待执行的原因,确定所述第一批量作业的执行情况包括:判断所述目标作业在等待执行的原因是否为在等待目标数据集,其中,所述目标数据集为在所述目标主机上执行所述目标作业时所需要的数据;若所述目标作业在等待执行的原因为在等待目标数据集,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;判断所述执行结果是否为所述目标作业重新执行成功;若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;若所述执行结果为所述目标作业重新执行失败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;若所述目标作业在等待执行的原因不是在等待所述目标数据集,则向所述目标对象发送所述提醒信息;依据所述提醒信息,确定所述第一批量作业的执行情况。
151.处理器执行程序时还实现以下步骤:当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告包括:当检测到所述第一批量作业在所述目标主机上运行完成之后,获取执行所述第一批量作业所需的总执行时长,并获取所述第一批量作业中每个作业的执行时长;依据执行所述第一批量作业所需的总执行时长、所述第一批量作业中每个作业的执行时长和所述第一批量作业的执行情况,生成所述目标报告。
152.本文中的设备可以是服务器、pc、pad、手机等。
153.本技术还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况,其中,所述目标主机用于处理业务请求,所述第一批量作业为所述目标主机处理业务请求时在所述目标主机上批量运行的作业;当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告;基于所述目标报告,确定目标方案;利用所述目标方案在所述目标主机上运行第二批量作业,其中,所述第二批量作业为在所述目标主机上批量运行的作业,所述第二批量作业在所述目标主机上的运行时刻晚于所述第一批量作业在所述目标主机上的运行时刻。
154.当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况包括:当检测到第一批量作业在目标主机上运行时,确定所述第一批量作业中执行异常的目标作业;确定所述目标作业的提交情况;基于所述目标作业的提交情况,确定所述目标作业执行异常的原因;依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况。
155.当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:当检测到第一批量作业在目标主机上运行时,确定所述第一批量作业中执行异常的目标作业包
括:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业中当前作业的执行时长;计算所述当前作业的执行时长和每个第一预设时长之间的变化率,得到变化率集合,其中,所述变化率集合中至少包括n个变化率,n为正整数;判断所述n个变化率中是否存在超过预设阈值的变化率;若所述n个变化率中不存在超过所述预设阈值的变化率,则表示所述当前作业不是所述第一批量作业中执行异常的目标作业;若所述n个变化率中存在超过所述预设阈值的变化率,则表示所述当前作业为所述第一批量作业中执行异常的目标作业。
156.当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:基于所述目标作业的提交情况,确定所述目标作业执行异常的原因包括:基于所述目标作业的提交情况,判断所述目标作业的当前状态是否为已提交的状态;若所述目标作业的当前状态为未提交的状态,则确定所述目标作业执行异常的原因为所述目标作业的提交时刻延迟;若所述目标作业的当前状态为已提交的状态,则确定所述目标作业的报错情况;依据所述目标作业的报错情况,确定所述目标作业运行异常的原因。
157.当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据所述目标作业的报错情况,确定所述目标作业运行异常的原因包括:判断所述目标作业在执行过程中是否出现报错情况;若所述目标作业在执行过程中未出现报错情况,则确定所述目标作业执行异常的原因为所述目标作业在执行过程中正常执行,且所述目标作业的执行时长大于第二预设时长;若所述目标作业在执行过程中出现报错情况,则确定所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断。
158.当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业的提交时刻延迟,则依据所述目标作业的作业日志,判断所述目标作业是否在所述目标主机的第一调度软件中,其中,所述第一调度软件用于调度和管理所述目标主机中的作业,所述第一调度软件需要按照预设顺序调度和管理所述目标主机中的作业;若所述目标作业在所述第一调度软件中,则确定所述目标作业在所述第一调度软件中等待执行的原因;依据所述目标作业在所述第一调度软件中等待执行的原因,确定所述第一批量作业的执行情况;若所述目标作业不在所述第一调度软件中,则确定所述目标作业在所述目标主机的第二调度软件中,其中,所述第二调度软件用于调度和管理所述目标主机中的作业,所述第二调度软件不需要按照所述预设顺序调度和管理所述目标主机中的作业;将所述目标作业在所述第二调度软件中的优先级进行提升,得到提升优先级后的目标作业;依据所述提升优先级后的目标作业,确定所述第一批量作业的执行情况。
159.当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断,则判断所述目标作业是否在等待目标资源,其中,所述目标资源为在所述目标主机上执行所述目标作业时所需要的资源;若所述目标作业是在等待所述目标资源,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;判断所述执行结果是否为所述目标作业重新执行成功;若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;若所述执行结果为所述目标作业重新执行失
败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;若所述目标作业不是在等待所述目标资源,则向所述目标对象发送所述提醒信息;依据所述提醒信息,确定所述第一批量作业的执行情况。
160.当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业在执行过程中正常执行,且所述目标作业的执行时长大于第二预设时长,则判断所述目标作业是否在等待执行的过程中;若所述目标作业不是在等待执行的过程中,则从目标报表中确定导致所述目标作业执行异常的异常信息,其中,所述目标报表为在所述目标作业执行完成之后生成的报表;依据所述异常信息,确定所述第一批量作业的执行情况;若所述目标作业在等待执行的过程中,则获取所述目标作业在等待执行的原因;依据所述目标作业在等待执行的原因,确定所述第一批量作业的执行情况。
161.当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据所述目标作业在等待执行的原因,确定所述第一批量作业的执行情况包括:判断所述目标作业在等待执行的原因是否为在等待目标数据集,其中,所述目标数据集为在所述目标主机上执行所述目标作业时所需要的数据;若所述目标作业在等待执行的原因为在等待目标数据集,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;判断所述执行结果是否为所述目标作业重新执行成功;若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;若所述执行结果为所述目标作业重新执行失败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;若所述目标作业在等待执行的原因不是在等待所述目标数据集,则向所述目标对象发送所述提醒信息;依据所述提醒信息,确定所述第一批量作业的执行情况。
162.当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告包括:当检测到所述第一批量作业在所述目标主机上运行完成之后,获取执行所述第一批量作业所需的总执行时长,并获取所述第一批量作业中每个作业的执行时长;依据执行所述第一批量作业所需的总执行时长、所述第一批量作业中每个作业的执行时长和所述第一批量作业的执行情况,生成所述目标报告。
163.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
164.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
165.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
166.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
167.在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
168.存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
169.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
170.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
171.本领域技术人员应明白,本技术的实施例可提供为方法、系统或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
172.以上仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
技术特征:
1.一种批量作业的处理方法,其特征在于,包括:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况,其中,所述目标主机用于处理业务请求,所述第一批量作业为所述目标主机处理业务请求时在所述目标主机上批量运行的作业;当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告;基于所述目标报告,确定目标方案;利用所述目标方案在所述目标主机上运行第二批量作业,其中,所述第二批量作业为在所述目标主机上批量运行的作业,所述第二批量作业在所述目标主机上的运行时刻晚于所述第一批量作业在所述目标主机上的运行时刻。2.根据权利要求1所述的方法,其特征在于,当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况包括:当检测到第一批量作业在目标主机上运行时,确定所述第一批量作业中执行异常的目标作业;确定所述目标作业的提交情况;基于所述目标作业的提交情况,确定所述目标作业执行异常的原因;依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况。3.根据权利要求2所述的方法,其特征在于,当检测到第一批量作业在目标主机上运行时,确定所述第一批量作业中执行异常的目标作业包括:当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业中当前作业的执行时长;计算所述当前作业的执行时长和每个第一预设时长之间的变化率,得到变化率集合,其中,所述变化率集合中至少包括n个变化率,n为正整数;判断所述n个变化率中是否存在超过预设阈值的变化率;若所述n个变化率中不存在超过所述预设阈值的变化率,则表示所述当前作业不是所述第一批量作业中执行异常的目标作业;若所述n个变化率中存在超过所述预设阈值的变化率,则表示所述当前作业为所述第一批量作业中执行异常的目标作业。4.根据权利要求2所述的方法,其特征在于,基于所述目标作业的提交情况,确定所述目标作业执行异常的原因包括:基于所述目标作业的提交情况,判断所述目标作业的当前状态是否为已提交的状态;若所述目标作业的当前状态为未提交的状态,则确定所述目标作业执行异常的原因为所述目标作业的提交时刻延迟;若所述目标作业的当前状态为已提交的状态,则确定所述目标作业的报错情况;依据所述目标作业的报错情况,确定所述目标作业运行异常的原因。5.根据权利要求4所述的方法,其特征在于,依据所述目标作业的报错情况,确定所述目标作业运行异常的原因包括:判断所述目标作业在执行过程中是否出现报错情况;若所述目标作业在执行过程中未出现报错情况,则确定所述目标作业执行异常的原因
为所述目标作业在执行过程中正常执行,且所述目标作业的执行时长大于第二预设时长;若所述目标作业在执行过程中出现报错情况,则确定所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断。6.根据权利要求2所述的方法,其特征在于,依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业的提交时刻延迟,则依据所述目标作业的作业日志,判断所述目标作业是否在所述目标主机的第一调度软件中,其中,所述第一调度软件用于调度和管理所述目标主机中的作业,所述第一调度软件需要按照预设顺序调度和管理所述目标主机中的作业;若所述目标作业在所述第一调度软件中,则确定所述目标作业在所述第一调度软件中等待执行的原因;依据所述目标作业在所述第一调度软件中等待执行的原因,确定所述第一批量作业的执行情况;若所述目标作业不在所述第一调度软件中,则确定所述目标作业在所述目标主机的第二调度软件中,其中,所述第二调度软件用于调度和管理所述目标主机中的作业,所述第二调度软件不需要按照所述预设顺序调度和管理所述目标主机中的作业;将所述目标作业在所述第二调度软件中的优先级进行提升,得到提升优先级后的目标作业;依据所述提升优先级后的目标作业,确定所述第一批量作业的执行情况。7.根据权利要求2所述的方法,其特征在于,依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业在执行过程中异常中断,则判断所述目标作业是否在等待目标资源,其中,所述目标资源为在所述目标主机上执行所述目标作业时所需要的资源;若所述目标作业是在等待所述目标资源,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;判断所述执行结果是否为所述目标作业重新执行成功;若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;若所述执行结果为所述目标作业重新执行失败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;若所述目标作业不是在等待所述目标资源,则向所述目标对象发送所述提醒信息;依据所述提醒信息,确定所述第一批量作业的执行情况。8.根据权利要求2所述的方法,其特征在于,依据所述目标作业执行异常的原因,确定所述第一批量作业的执行情况包括:若所述目标作业执行异常的原因为所述目标作业在执行过程中正常执行,且所述目标作业的执行时长大于第二预设时长,则判断所述目标作业是否在等待执行的过程中;若所述目标作业不是在等待执行的过程中,则从目标报表中确定导致所述目标作业执行异常的异常信息,其中,所述目标报表为在所述目标作业执行完成之后生成的报表;
依据所述异常信息,确定所述第一批量作业的执行情况;若所述目标作业在等待执行的过程中,则获取所述目标作业在等待执行的原因;依据所述目标作业在等待执行的原因,确定所述第一批量作业的执行情况。9.根据权利要求8所述的方法,其特征在于,依据所述目标作业在等待执行的原因,确定所述第一批量作业的执行情况包括:判断所述目标作业在等待执行的原因是否为在等待目标数据集,其中,所述目标数据集为在所述目标主机上执行所述目标作业时所需要的数据;若所述目标作业在等待执行的原因为在等待目标数据集,则在第三预设时长之后,重新执行所述目标作业,并获取重新执行所述目标作业的执行结果;判断所述执行结果是否为所述目标作业重新执行成功;若所述执行结果为所述目标作业重新执行成功,则将所述目标作业重新执行成功的执行结果作为所述第一批量作业的执行情况;若所述执行结果为所述目标作业重新执行失败,则向目标对象发送提醒信息,其中,所述提醒信息用于提醒所述目标对象处理所述目标作业;若所述目标作业在等待执行的原因不是在等待所述目标数据集,则向所述目标对象发送所述提醒信息;依据所述提醒信息,确定所述第一批量作业的执行情况。10.根据权利要求1所述的方法,其特征在于,当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告包括:当检测到所述第一批量作业在所述目标主机上运行完成之后,获取执行所述第一批量作业所需的总执行时长,并获取所述第一批量作业中每个作业的执行时长;依据执行所述第一批量作业所需的总执行时长、所述第一批量作业中每个作业的执行时长和所述第一批量作业的执行情况,生成所述目标报告。11.一种批量作业的处理装置,其特征在于,包括:第一获取单元,用于当检测到第一批量作业在目标主机上运行时,获取所述第一批量作业的执行情况,其中,所述目标主机用于处理业务请求,所述第一批量作业为所述目标主机处理业务请求时在所述目标主机上批量运行的作业;第一生成单元,用于当检测到所述第一批量作业在所述目标主机上运行完成之后,依据所述第一批量作业的执行情况生成目标报告;第一确定单元,用于基于所述目标报告,确定目标方案;第一运行单元,用于利用所述目标方案在所述目标主机上运行第二批量作业,其中,所述第二批量作业为在所述目标主机上批量运行的作业,所述第二批量作业在所述目标主机上的运行时刻晚于所述第一批量作业在所述目标主机上的运行时刻。12.一种计算机可读存储介质,其特征在于,所述存储介质存储程序,其中,所述程序执行权利要求1至10中任意一项所述的批量作业的处理方法。13.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至10中任意一项所述的批量作业的处理方法。
技术总结
本申请公开了一种批量作业的处理方法及装置、存储介质和电子设备,涉及大数据技术领域。该方法包括:当检测到第一批量作业在目标主机上运行时,获取第一批量作业的执行情况,其中,目标主机用于处理业务请求,第一批量作业为目标主机处理业务请求时在目标主机上批量运行的作业;当检测到第一批量作业在目标主机上运行完成之后,依据第一批量作业的执行情况生成目标报告;基于目标报告,确定目标方案;利用目标方案在目标主机上运行第二批量作业。通过本申请,解决了相关技术中只能等批量作业在主机上运行完成之后,采用人工的方式分析批量作业的运行情况,导致批量作业的运行效率较低的问题。低的问题。低的问题。
技术研发人员:张娟
受保护的技术使用者:中国工商银行股份有限公司
技术研发日:2023.06.13
技术公布日:2023/9/20
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种自洁式二次供水水箱的制作方法 下一篇:切管机的制作方法