分布式监控方法、装置、设备及存储介质与流程
未命名
09-23
阅读:49
评论:0
1.本发明涉及监控技术领域,尤其涉及一种分布式监控方法、装置、设备及存储介质。
背景技术:
2.现有的监控系统在相对复杂的场景下遇到故障处理、变更管理等操作时通常需要人工辅助进行决策,但也有部分监控系统是基于zabbix实现分布式监控,该方式需通过在每台服务器设置可选组件agent,然后通过可选组件agent定期对各个服务器进行数据采集,以达到监控维护的效果,但是该方式难以满足服务器数量庞大的使用场景,若服务器数量较多时,容易产生监控失效和数据处理过慢的情况。
3.可见,现有技术还有待改进和提高。
技术实现要素:
4.为了克服现有技术的不足,本发明的目的在于提供一种分布式监控方法、装置、设备及存储介质,其对监控数据进行缓存,并根据监控端的数据选择性接入对应的监控数据,以保证每个监控端的监控效率,提高数据处理的速度。
5.本发明第一方面提供了一种分布式监控方法,包括:获取监控请求指令,并根据请求指令对被监控端进行寻址,以得到数据链路;将数据链路接入预设的缓存数据库,并通过数据链路将相应的被监控端的监控数据写入至缓存数据库中;根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各个待监控数据生成监控队列;获取各个监控端的监控特性信息和监控链路,并根据监控特性信息匹配监控队列,并将监控链路接入所匹配的监控队列;根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果;根据监测结果和预设模板生成推送警报信息。
6.可选的,在本发明第一方面的第一种实现方式中,所述获取监控请求指令,并根据请求指令对被监控端进行寻址,以得到数据链路,包括:获取所有被监控端的固定节点,根据所有固定节点生成寻址序列表;获取监控请求指令,并根据监控请求指令获取目标节点;根据目标节点在寻址序列表中进行寻址,若寻址序列表中存在与目标节点一致的固定节点,则根据该固定节点生成数据链路;若寻址序列表中不存在与目标节点一致的固定节点,则生成询问请求;根据询问请求获得反馈结果,并根据反馈结果对寻址列表进行更新。
7.可选的,在本发明第一方面的第二种实现方式中,所述将数据链路接入预设的缓存数据库,并通过数据链路将相应的被监控端的监控数据写入至缓存数据库中,包括:根据预设的缓存数据库获取存储节点;以存储节点作为联络点与多条数据链路对应形成通讯链路;通过通讯链路获取对应的被监控端的监控数据;从监控数据中提取目标标签,并根据目标标签从预设存储位标签集合中得到相似度最高的存储位标签;根据存储位标签查找得到在缓存数据库中与之对应的空闲数据位,并将监控数据写入至该空闲数据位中。
8.可选的,在本发明第一方面的第三种实现方式中,所述从监控数据中提取目标标签,并根据目标标签从预设存储位标签集合中得到相似度最高的存储位标签,包括:基于吉布斯采样算法对监控数据进行随机采样,并根据随机采样的数据确定该监控数据的目标标签;基于余弦相似度算法构建相似度识别模型;通过相似度识别模型将目标标签与预设存储位标签集合中的各个存储位标签进行相似度比对,得到相似度数据列表;对相似度数据列表进行过滤,以得到与目标标签相似度最高的存储位标签。
9.可选的,在本发明第一方面的第四种实现方式中,所述根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各个待监控数据生成监控队列,包括:基于power job根据预设提取时间制定定时任务;根据定时任务和预设跨度时间对缓存数据库中的监控数据进行定时提取,以得到待监控数据;根据监控数据的目标标签生成多条监控队列,并将待监控数据写入至对应的监控队列中。
10.可选的,在本发明第一方面的第五种实现方式中,所述获取各个监控端的监控特性信息和监控链路,并根据监控特性信息匹配监控队列,并将监控链路接入所匹配的监控队列,包括:获取各个监控端的监控特性信息和监控链路,并根据监控特性信息提取得到特性标签;根据特性标签与各个监控队列的目标标签进行匹配,若特性标签与目标标签一致,则将监控链路接入对应的监控队列;若同一目标标签与多个特性标签匹配成功,则根据配对成功的监控端的监控特性信息提取性能指标数据;根据性能指标数据得到性能最优的监控端,并将该监控端的监控链路接入监控队列。
11.可选的,在本发明第一方面的第六种实现方式中,所述根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果之后,还包括:对监测结果的数量进行校验;若监测结果的数量为1,则直接输出该监测结果;若监测结果的数量不为1,则对各个监测结果的一致性进行校验,将一致性超过半数以上的监测结果作为最优结果,并输出该监测结果。
12.本发明第二方面提供了一种分布式监控装置,包括:寻址模块,用于获取监控请求指令,并根据请求指令对被监控端进行寻址,以得到数据链路;缓存模块,用于将数据链路接入预设的缓存数据库,并通过数据链路将相应的被监控端的监控数据写入至缓存数据库中;队列模块,用于根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各个待监控数据生成监控队列;接入模块,用于获取各个监控端的监控特性信息和监控链路,并根据监控特性信息匹配监控队列,并将监控链路接入所匹配的监控队列;监测模块,用于根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果;警报模块,用于根据监测结果和预设模板生成推送警报信息。
13.可选的,在本发明第二方面的第一种实现方式中,所述寻址模块包括:建表单元,用于获取所有被监控端的固定节点,根据所有固定节点生成寻址序列表;节点单元,用于获取监控请求指令,并根据监控请求指令获取目标节点;寻址单元,用于根据目标节点在寻址序列表中进行寻址,若寻址序列表中存在与目标节点一致的固定节点,则根据该固定节点生成数据链路;更新单元,用于若寻址序列表中不存在与目标节点一致的固定节点,则生成询问请求;根据询问请求获得反馈结果,并根据反馈结果对寻址列表进行更新。
14.可选的,在本发明第二方面的第二种实现方式中,所述缓存模块包括:第一获取单
元,用于根据预设的缓存数据库获取存储节点;链路单元,用于以存储节点作为联络点与多条数据链路对应形成通讯链路;第二获取单元,用于通过通讯链路获取对应的被监控端的监控数据;提取单元,用于从监控数据中提取目标标签,并根据目标标签从预设存储位标签集合中得到相似度最高的存储位标签;写入单元,用于根据存储位标签查找得到在缓存数据库中与之对应的空闲数据位,并将监控数据写入至该空闲数据位中。
15.可选的,在本发明第二方面的第三种实现方式中,所述提取单元包括:采样部,用于基于吉布斯采样算法对监控数据进行随机采样,并根据随机采样的数据确定该监控数据的目标标签;建模部,用于基于余弦相似度算法构建相似度识别模型;比对部,用于通过相似度识别模型将目标标签与预设存储位标签集合中的各个存储位标签进行相似度比对,得到相似度数据列表;过滤部,用于对相似度数据列表进行过滤,以得到与目标标签相似度最高的存储位标签。
16.可选的,在本发明第二方面的第四种实现方式中,所述队列模块包括:定时单元,用于基于power job根据预设提取时间制定定时任务;触发单元,用于根据定时任务和预设跨度时间对缓存数据库中的监控数据进行定时提取,以得到待监控数据;队列单元,用于根据监控数据的目标标签生成多条监控队列,并将待监控数据写入至对应的监控队列中。
17.可选的,在本发明第二方面的第五种实现方式中,所述接入模块包括:标签单元,用于获取各个监控端的监控特性信息和监控链路,并根据监控特性信息提取得到特性标签;第一接入单元,用于根据特性标签与各个监控队列的目标标签进行匹配,若特性标签与目标标签一致,则将监控链路接入对应的监控队列;第二接入单元,用于若同一目标标签与多个特性标签匹配成功,则根据配对成功的监控端的监控特性信息提取性能指标数据;根据性能指标数据得到性能最优的监控端,并将该监控端的监控链路接入监控队列。
18.可选的,在本发明第二方面的第六种实现方式中,所述监测模块还包括:校验单元,用于对监测结果的数量进行校验;第一输出单元,用于若监测结果的数量为1,则直接输出该监测结果;第二输出单元,用于若监测结果的数量不为1,则对各个监测结果的一致性进行校验,将一致性超过半数以上的监测结果作为最优结果,并输出该监测结果。
19.本发明第三方面提供了一种分布式监控设备,所述分布式监控设备包括:存储器和至少一个处理器,所述存储器中存储有指令;至少一个所述处理器调用所述存储器中的所述指令,以使得所述分布式监控设备执行上述任一项所述的分布式监控方法的各个步骤。
20.本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述任一项所述分布式监控方法的各个步骤。
21.本发明的技术方案中,预先根据监控请求指令获取被监控端的接入地址,并根据该接入地址进行寻址,以生成该被监控端连通的数据链路,通过该数据链路可便于获取被监控端的实时监控数据;将数据链路采集到待监控数据写入至缓存数据库中进行缓存处理,避免监控数据直接传输至监控端直接执行监控任务,以便于根据监控端的使用情况和性能情况将监控数据进行配置监控,以降低各个监控端的工作负荷;当需要对被监控端进行监测时,则根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各待监控数据的特性生成相应的监控队列,然后根据监控端的监控特性信息对监控队列进行配置,以保证各个监控队列可与最优的监控端连接,且一个监控端仅接入一个监控队列,以确保各
个监控端在工作时的负载不会过高,保证各个监控端的工作效率;当监控链路接入完成后,则根据预设报警条件对相应的待检测数据进行监测,以得到监测结果,然后再根据预设模板将监测数据生成相应的报警信息,以便于相关人员对数据进行分析。
附图说明
22.图1为本发明实施例提供的分布式监控方法的第一种流程图;
23.图2为本发明实施例提供的分布式监控方法的第二种流程图;
24.图3为本发明实施例提供的分布式监控方法的第三种流程图;
25.图4为本发明实施例提供的分布式监控方法的第四种流程图;
26.图5为本发明实施例提供的分布式监控方法的第五种流程图;
27.图6为本发明实施例提供的分布式监控装置的一种结构示意图;
28.图7为本发明实施例提供的分布式监控装置的另一种结构示意图;
29.图8为本发明实施例提供的分布式监控设备的结构示意图。
具体实施方式
30.本发明提供了一种分布式监控方法、装置、设备及存储介质,本发明预先根据监控请求指令获取被监控端的接入地址,并根据该接入地址进行寻址,以生成该被监控端连通的数据链路,通过该数据链路可便于获取被监控端的实时监控数据;将数据链路采集到待监控数据写入至缓存数据库中进行缓存处理,避免监控数据直接传输至监控端直接执行监控任务,以便于根据监控端的使用情况和性能情况将监控数据进行配置监控,以降低各个监控端的工作负荷;当需要对被监控端进行监测时,则根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各待监控数据的特性生成相应的监控队列,然后根据监控端的监控特性信息对监控队列进行配置,以保证各个监控队列可与最优的监控端连接,且一个监控端仅接入一个监控队列,以确保各个监控端在工作时的负载不会过高,保证各个监控端的工作效率;当监控链路接入完成后,则根据预设报警条件对相应的待检测数据进行监测,以得到监测结果,然后再根据预设模板将监测数据生成相应的报警信息,以便于相关人员对数据进行分析。
31.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中分布式监控方法的一个实施例包括:
33.101、获取监控请求指令,并根据请求指令对被监控端进行寻址,以得到数据链路;
34.在本实施例中,所述监控请求指令为监控端所发起的请求指令,其反映了所要求连接的被监控端的接入信息,所以通过监控请求指令获取得到被监控端的接入地址,并根
据该接入地址进行寻址,以生成可与该被监控端连通的数据链路,以便于通过该数据链路获取被监控端的实时监控数据。
35.102、将数据链路接入预设的缓存数据库,并通过数据链路将相应的被监控端的监控数据写入至缓存数据库中;
36.在本实施例中,预先将各条数据链路与缓存数据库连通,通过数据链路实时获取各个被监控端的监控数据,以将所有的监控数据写入至缓存数据库中进行缓存处理,避免监控数据直接传输至监控端直接执行监控任务,以便于根据监控端的使用情况和性能情况将监控数据进行配置监控,以降低各个监控端的工作负荷。
37.103、根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各个待监控数据生成监控队列;
38.在本实施例中,根据预设提取时间定时从缓存数据库中抽取暂存的监控数据,而该部分监控数据是为经过监控端监测的数据,即待监控数据,然后自动根据这些待监控数据生成多个监控队列,通过各个监控队列可便于将各个待监控数据配置到合适的监控端,以实现线程的灵活配置。
39.104、获取各个监控端的监控特性信息和监控链路,并根据监控特性信息匹配监控队列,并将监控链路接入所匹配的监控队列;
40.在本实施例中,根据各个监控端的监控特性信息对监控队列进行配置,所述监控特性信息包括监控端的性能数据、负荷状态数据等,以保证各个监控队列可与最优的监控端连接,当监控特性信息满足监控队列的需求时,则将监控链路与监控队列连接,且一个监控端仅接入一个监控队列,以确保各个监控端在工作时的负载不会过高,保证各个监控端的工作效率。
41.105、根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果;
42.在本实施例中,当监控链路接入完成后,监控端则通过监控链路获取待监控数据,并根据预设报警条件对待监控数据进行监测,待对整段待检测数据监测完毕后则输出得到监测数据,以便于将监测数据反馈至相关人员进行分析处理。
43.106、根据监测结果和预设模板生成推送警报信息。
44.在本实施例中,当监测完毕后则根据不同被监控端的预设模板生成相应的警报信息,以便于对应的人员进行数据分析;需要说明的是,所述预设模板可以为不同形式的表格模板、报告模板等。
45.本发明实施例中,预先根据监控请求指令获取被监控端的接入地址,并根据该接入地址进行寻址,以生成该被监控端连通的数据链路,通过该数据链路可便于获取被监控端的实时监控数据;将数据链路采集到待监控数据写入至缓存数据库中进行缓存处理,避免监控数据直接传输至监控端直接执行监控任务,以便于根据监控端的使用情况和性能情况将监控数据进行配置监控,以降低各个监控端的工作负荷;当需要对被监控端进行监测时,则根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各待监控数据的特性生成相应的监控队列,然后根据监控端的监控特性信息对监控队列进行配置,以保证各个监控队列可与最优的监控端连接,且一个监控端仅接入一个监控队列,以确保各个监控端在工作时的负载不会过高,保证各个监控端的工作效率;当监控链路接入完成后,则根据
预设报警条件对相应的待检测数据进行监测,以得到监测结果,然后再根据预设模板将监测数据生成相应的报警信息,以便于相关人员对数据进行分析。
46.请参阅图2,本发明实施例中分布式监控方法的第二个实施例包括:
47.201、获取所有被监控端的固定节点,根据所有固定节点生成寻址序列表;
48.202、获取监控请求指令,并根据监控请求指令获取目标节点;
49.203、根据目标节点在寻址序列表中进行寻址,若寻址序列表中存在与目标节点一致的固定节点,则根据该固定节点生成数据链路;
50.204、若寻址序列表中不存在与目标节点一致的固定节点,则生成询问请求;根据询问请求获得反馈结果,并根据反馈结果对寻址列表进行更新;
51.在本实施例中,预先获取所有被监控端的固定节点,该固定节点为被监控端的网络地址,然后再将所有固定节点进行集合,以得到寻址序列表,然后再根据监控请求指令中的目标节点对寻址序列表进行寻址,以获得与目标节点对应的固定节点,并根据该固定节点生成可用于采集数据的数据链路;此外,还存在另一种情况,当寻址序列表上不存在于目标节点对应的固定节点时,则可能存在有添加新被监控端的情况,所以需向监控端推送询问请求,并根据询问请求获得相关人员的反馈结果,若反馈结果表示为请求接入新的被监控端,则根据该反馈结果及目标节点对寻址序列表进行更新,以将新的被监控端的固定节点写入至寻址序列表中。
52.请参阅图3,本发明实施例中分布式监控方法的第三个实施例包括:
53.301、根据预设的缓存数据库获取存储节点;
54.302、以存储节点作为联络点与多条数据链路对应形成通讯链路;
55.303、通过通讯链路获取对应的被监控端的监控数据;
56.304、从监控数据中提取目标标签,并根据目标标签从预设存储位标签集合中得到相似度最高的存储位标签;
57.305、根据存储位标签查找得到在缓存数据库中与之对应的空闲数据位,并将监控数据写入至该空闲数据位中;
58.在本实施例中,缓存数据库在建立时需依附在一个固有网络地址上,即存储节点,所以根据该存储节点与各条数据链路形成多条通讯链路,以便于缓存数据库获取各个被监控端的监控数据,当采集到的监控数据后,则从监控数据中提取得到目标标签,该目标标签作为不同监控数据的身份特性,并根据缓存数据库所预设的存储位标签集进行相似度校验,将对应相似度最高的存储位标签过滤出来,以便于根据该存储位标签获取到相应的存储路径,并将监控数据写入到相应的空闲数据位中,以达到分类存储的效果,避免数据在存储时出现数据拥堵的问题,使数据的存储更加合理。
59.306、基于power job根据预设提取时间制定定时任务;
60.307、根据定时任务和预设跨度时间对缓存数据库中的监控数据进行定时提取,以得到待监控数据;
61.308、根据监控数据的目标标签生成多条监控队列,并将待监控数据写入至对应的监控队列中;
62.在本实施例中,通过power job任务调度系统根据预设提取时间制定好定时任务,以提高数据提取的时效性,根据定时任务和预设跨度时间(即监控数据的时间跨度)定时获
取待监控数据,避免待监控数据出现数据冗余的问题,最后再根据各个监控数据的目标标签对应生成监控队列,以将监控队列进行区分,确保监控端与被监控端为一对一的关系。
63.需要说明的是,power job是一款分布式调度与计算框架,其提供前端web界面,允许开发者可视化地完成调度任务的管理(增、删、改、查)、任务运行状态监控和运行日志查看等功能,可适用于有定时执行需求的业务场景。
64.309、获取各个监控端的监控特性信息和监控链路,并根据监控特性信息提取得到特性标签;
65.310、根据特性标签与各个监控队列的目标标签进行匹配,若特性标签与目标标签一致,则将监控链路接入对应的监控队列;
66.311、若同一目标标签与多个特性标签匹配成功,则根据配对成功的监控端的监控特性信息提取性能指标数据;
67.312、根据性能指标数据得到性能最优的监控端,并将该监控端的监控链路接入监控队列;
68.在本实施例中,在队列配对时,预先获取各个监控端的监控特性信息,并根据该监控特性信息提取得到特性标签,根据特性标签与各个监控队列的目标标签进行匹配,若属于同属性标签则配对成功,将监控链路连入监控队列以获得待监控数据;当同时有多个监控端与同一监控队列配对成功时,则需对从多个监控端中找到最佳的监控目标,所以通过获取各个监控端的性能指标数据以得到性能最优的监控端,并将该监控端的监控链路接入监控队列中,确保每个监控队列具有较高的数据处理效率。
69.请参阅图4,本发明实施例中分布式监控方法的第四个实施例包括:
70.401、基于吉布斯采样算法对监控数据进行随机采样,并根据随机采样的数据确定该监控数据的目标标签;
71.在本实施例中,通过吉布斯采样算法从数据监控数据中随机抽取任一段数据,将监控数据按照固定数据单元划分为多个数据区域,根据每个数据区域中的数据分布特征确定每个区域的标识位,进而根据各个标识位生成目标标签,所以通过利用吉布斯采样算法即可随机抽取到某一段数据因而确定该段数据的目标标签。
72.需要说明的是,吉布斯采样算法是统计学中用于马尔科夫蒙特卡洛的一种算法,用于在难以直接采样时从某一多变量概率分布中近似抽取样本序列。该序列可用于近似联合分布、部分变量的边缘分布或计算积分(如某一变量的期望值)。某些变量可能为已知变量,故对这些变量并不需要采样。
73.402、基于余弦相似度算法构建相似度识别模型;
74.在本实施例中,通过余弦相似度算法构建相似度识别模型以便于对目标标签进行相似度计算;余弦相似度算法是通过计算两个向量的夹角余弦值来评估两者的相似度,将向量根据坐标值会知道向量空间中进行比较。
75.403、通过相似度识别模型将目标标签与预设存储位标签集合中的各个存储位标签进行相似度比对,得到相似度数据列表;
76.404、对相似度数据列表进行过滤,以得到与目标标签相似度最高的存储位标签;
77.在本实施例中,通过相似度识别模型对目标标签与预设存储位标签集合中的各个存储位标签进行相似度计算,并根据各个相似度值生成相似度序列表,且相似度值按照倒
序或正序的方式进行排列,过滤得到相似度最高的存储位标签,以此得到相应的存储位置。
78.请参阅图5,本发明实施例中分布式监控方法的第五个实施例包括:
79.所述根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果之后,还包括:
80.501、对监测结果的数量进行校验;
81.502、若监测结果的数量为1,则直接输出该监测结果;
82.503、若监测结果的数量不为1,则对各个监测结果的一致性进行校验,将一致性超过半数以上的监测结果作为最优结果,并输出该监测结果;
83.在本实施例中,同一监控端对同一待监控数据可能存在多次报警信号,如待监控数据中存在多次触发预设警报条件的数据,所以产生多次监测结果,为了避免监测结果出现误判,若出现多个监测结果时,则需对各个监测结果的一致性进行校验,将一致性超过半数以上的监测结果作为最终的监测结果,以供相关人员进行数据分析。
84.上面对本发明实施例中分布式监控方法进行了描述,下面对本发明实施例中分布式监控装置进行描述,请参阅图6,本发明实施例中分布式监控装置一个实施例包括:
85.寻址模块601,用于获取监控请求指令,并根据请求指令对被监控端进行寻址,以得到数据链路;
86.缓存模块602,用于将数据链路接入预设的缓存数据库,并通过数据链路将相应的被监控端的监控数据写入至缓存数据库中;
87.队列模块603,用于根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各个待监控数据生成监控队列;
88.接入模块604,用于获取各个监控端的监控特性信息和监控链路,并根据监控特性信息匹配监控队列,并将监控链路接入所匹配的监控队列;
89.监测模块605,用于根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果;
90.警报模块606,用于根据监测结果和预设模板生成推送警报信息。
91.在本实施例中,通过寻址模块601预先根据监控请求指令获取被监控端的接入地址,并根据该接入地址进行寻址,以生成该被监控端连通的数据链路,通过该数据链路可便于获取被监控端的实时监控数据;通过缓存模块602将数据链路采集到待监控数据写入至缓存数据库中进行缓存处理,避免监控数据直接传输至监控端直接执行监控任务,以便于根据监控端的使用情况和性能情况将监控数据进行配置监控,以降低各个监控端的工作负荷;当需要对被监控端进行监测时,通过队列模块603和接入模块604则根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各待监控数据的特性生成相应的监控队列,然后根据监控端的监控特性信息对监控队列进行配置,以保证各个监控队列可与最优的监控端连接,且一个监控端仅接入一个监控队列,以确保各个监控端在工作时的负载不会过高,保证各个监控端的工作效率;当监控链路接入完成后,通过监测模块605和报警模块606根据预设报警条件对相应的待检测数据进行监测,以得到监测结果,然后再根据预设模板将监测数据生成相应的报警信息,以便于相关人员对数据进行分析。
92.请参阅图7,本发明实施例中分布式监控装置的另一个实施例包括:
93.寻址模块601,用于获取监控请求指令,并根据请求指令对被监控端进行寻址,以
得到数据链路;
94.缓存模块602,用于将数据链路接入预设的缓存数据库,并通过数据链路将相应的被监控端的监控数据写入至缓存数据库中;
95.队列模块603,用于根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各个待监控数据生成监控队列;
96.接入模块604,用于获取各个监控端的监控特性信息和监控链路,并根据监控特性信息匹配监控队列,并将监控链路接入所匹配的监控队列;
97.监测模块605,用于根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果;
98.警报模块606,用于根据监测结果和预设模板生成推送警报信息;
99.在本实施例中,所述寻址模块601包括:建表单元6011,用于获取所有被监控端的固定节点,根据所有固定节点生成寻址序列表;节点单元6012,用于获取监控请求指令,并根据监控请求指令获取目标节点;寻址单元6013,用于根据目标节点在寻址序列表中进行寻址,若寻址序列表中存在与目标节点一致的固定节点,则根据该固定节点生成数据链路;更新单元6014,用于若寻址序列表中不存在与目标节点一致的固定节点,则生成询问请求;根据询问请求获得反馈结果,并根据反馈结果对寻址列表进行更。
100.在本实施例中,所述缓存模块602包括:第一获取单元6021,用于根据预设的缓存数据库获取存储节点;链路单元6022,用于以存储节点作为联络点与多条数据链路对应形成通讯链路;第二获取单元6023,用于通过通讯链路获取对应的被监控端的监控数据;提取单元6024,用于从监控数据中提取目标标签,并根据目标标签从预设存储位标签集合中得到相似度最高的存储位标签;写入单元6025,用于根据存储位标签查找得到在缓存数据库中与之对应的空闲数据位,并将监控数据写入至该空闲数据位中。
101.在本实施例中,所述提取单元6024包括:采样部60241,用于基于吉布斯采样算法对监控数据进行随机采样,并根据随机采样的数据确定该监控数据的目标标签;建模部60242,用于基于余弦相似度算法构建相似度识别模型;比对部60243,用于通过相似度识别模型将目标标签与预设存储位标签集合中的各个存储位标签进行相似度比对,得到相似度数据列表;过滤部60244,用于对相似度数据列表进行过滤,以得到与目标标签相似度最高的存储位标签。
102.在本实施例中,所述队列模块603包括:定时单元6031,用于基于power job根据预设提取时间制定定时任务;触发单元6032,用于根据定时任务和预设跨度时间对缓存数据库中的监控数据进行定时提取,以得到待监控数据;队列单元6033,用于根据监控数据的目标标签生成多条监控队列,并将待监控数据写入至对应的监控队列中。
103.在本实施例中,所述接入模块604包括:标签单元6041,用于获取各个监控端的监控特性信息和监控链路,并根据监控特性信息提取得到特性标签;第一接入单元6042,用于根据特性标签与各个监控队列的目标标签进行匹配,若特性标签与目标标签一致,则将监控链路接入对应的监控队列;第二接入单元6043,用于若同一目标标签与多个特性标签匹配成功,则根据配对成功的监控端的监控特性信息提取性能指标数据;根据性能指标数据得到性能最优的监控端,并将该监控端的监控链路接入监控队列。
104.在本实施例中,所述监测模块605还包括:校验单元6051,用于对监测结果的数量
进行校验;第一输出单元6052,用于若监测结果的数量为1,则直接输出该监测结果;第二输出单元6053,用于若监测结果的数量不为1,则对各个监测结果的一致性进行校验,将一致性超过半数以上的监测结果作为最优结果,并输出该监测结果。
105.上面图6和图7从模块化功能实体的角度对本发明实施例中的分布式监控装置进行详细描述,下面从硬件处理的角度对本发明实施例中分布式监控设备进行详细描述。
106.图8是本发明实施例提供的一种分布式监控设备的结构示意图,该分布式监控设备700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)710(例如,一个或一个以上处理器)和存储器720,一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对分布式监控设备700中的一系列指令操作。更进一步地,处理器710可以设置为与存储介质730通信,在分布式监控设备700上执行存储介质730中的一系列指令操作,以实现上述各方法实施例提供的分布式监控方法的步骤。
107.分布式监控设备700还可以包括一个或一个以上电源740,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口760,和/或,一个或一个以上操作系统731,例如windows serve,mac os x,unix,linux,freebsd等等。本领域技术人员可以理解,图8示出的分布式监控设备结构并不构成对基于分布式监控设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
108.本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行分布式监控方法的步骤。
109.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统或装置、单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
110.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
111.最后应说明的是:以上所述仅为本发明的优选实例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
技术特征:
1.一种分布式监控方法,其特征在于,包括:获取监控请求指令,并根据请求指令对被监控端进行寻址,以得到数据链路;将数据链路接入预设的缓存数据库,并通过数据链路将相应的被监控端的监控数据写入至缓存数据库中;根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各个待监控数据生成监控队列;获取各个监控端的监控特性信息和监控链路,并根据监控特性信息匹配监控队列,并将监控链路接入所匹配的监控队列;根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果;根据监测结果和预设模板生成推送警报信息。2.根据权利要求1所述的分布式监控方法,其特征在于,所述获取监控请求指令,并根据请求指令对被监控端进行寻址,以得到数据链路,包括:获取所有被监控端的固定节点,根据所有固定节点生成寻址序列表;获取监控请求指令,并根据监控请求指令获取目标节点;根据目标节点在寻址序列表中进行寻址,若寻址序列表中存在与目标节点一致的固定节点,则根据该固定节点生成数据链路;若寻址序列表中不存在与目标节点一致的固定节点,则生成询问请求;根据询问请求获得反馈结果,并根据反馈结果对寻址列表进行更新。3.根据权利要求1所述的分布式监控方法,其特征在于,所述将数据链路接入预设的缓存数据库,并通过数据链路将相应的被监控端的监控数据写入至缓存数据库中,包括:根据预设的缓存数据库获取存储节点;以存储节点作为联络点与多条数据链路对应形成通讯链路;通过通讯链路获取对应的被监控端的监控数据;从监控数据中提取目标标签,并根据目标标签从预设存储位标签集合中得到相似度最高的存储位标签;根据存储位标签查找得到在缓存数据库中与之对应的空闲数据位,并将监控数据写入至该空闲数据位中。4.根据权利要求3所述的分布式监控方法,其特征在于,所述从监控数据中提取目标标签,并根据目标标签从预设存储位标签集合中得到相似度最高的存储位标签,包括:基于吉布斯采样算法对监控数据进行随机采样,并根据随机采样的数据确定该监控数据的目标标签;基于余弦相似度算法构建相似度识别模型;通过相似度识别模型将目标标签与预设存储位标签集合中的各个存储位标签进行相似度比对,得到相似度数据列表;对相似度数据列表进行过滤,以得到与目标标签相似度最高的存储位标签。5.根据权利要求4所述的分布式监控方法,其特征在于,所述根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各个待监控数据生成监控队列,包括:基于power job根据预设提取时间制定定时任务;
根据定时任务和预设跨度时间对缓存数据库中的监控数据进行定时提取,以得到待监控数据;根据监控数据的目标标签生成多条监控队列,并将待监控数据写入至对应的监控队列中。6.根据权利要求5的分布式监控方法,其特征在于,所述获取各个监控端的监控特性信息和监控链路,并根据监控特性信息匹配监控队列,并将监控链路接入所匹配的监控队列,包括:获取各个监控端的监控特性信息和监控链路,并根据监控特性信息提取得到特性标签;根据特性标签与各个监控队列的目标标签进行匹配,若特性标签与目标标签一致,则将监控链路接入对应的监控队列;若同一目标标签与多个特性标签匹配成功,则根据配对成功的监控端的监控特性信息提取性能指标数据;根据性能指标数据得到性能最优的监控端,并将该监控端的监控链路接入监控队列。7.根据权利要求1所述的分布式监控方法,其特征在于,所述根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果之后,还包括:对监测结果的数量进行校验;若监测结果的数量为1,则直接输出该监测结果;若监测结果的数量不为1,则对各个监测结果的一致性进行校验,将一致性超过半数以上的监测结果作为最优结果,并输出该监测结果。8.一种分布式监控装置,其特征在于,包括:寻址模块,用于获取监控请求指令,并根据请求指令对被监控端进行寻址,以得到数据链路;缓存模块,用于将数据链路接入预设的缓存数据库,并通过数据链路将相应的被监控端的监控数据写入至缓存数据库中;队列模块,用于根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各个待监控数据生成监控队列;接入模块,用于获取各个监控端的监控特性信息和监控链路,并根据监控特性信息匹配监控队列,并将监控链路接入所匹配的监控队列;监测模块,用于根据监控链路获取相应监控端的预设报警条件,并根据预设报警条件对监控队列中的待监控数据进行监测处理,以得到监测结果;警报模块,用于根据监测结果和预设模板生成推送警报信息。9.一种分布式监控设备,其特征在于,所述分布式监控设备包括:存储器和至少一个处理器,所述存储器中存储有指令;至少一个所述处理器调用所述存储器中的所述指令,以使得所述分布式监控设备执行如权利要求1-7中任一项所述的分布式监控方法的各个步骤。10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述分布式监控方法的各个步骤。
技术总结
本发明涉及物流技术领域,尤其涉及一种分布式监控方法、装置、设备及存储介质,预先根据监控请求指令获取被监控端的接入地址,根据该接入地址进行寻址,以生成数据链路;将数据链路采集到待监控数据写入至缓存数据库中,避免监控数据直接传输至监控端直接执行监控任务,以便于根据监控端的使用情况和性能情况将监控数据进行配置监控;根据预设提取时间定时从缓存数据库中提取待监控数据,并根据各待监控数据的特性生成相应的监控队列,然后根据监控端的监控特性信息对监控队列进行配置,以保证各个监控队列可与最优的监控端连接,以确保各个监控端在工作时的负载不会过高;最后根据预设报警条件对相应的待检测数据进行监测,以得到监测结果。到监测结果。到监测结果。
技术研发人员:钱忠杰 姚广
受保护的技术使用者:上海东普信息科技有限公司
技术研发日:2023.06.13
技术公布日:2023/9/22
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/