一种云资源调度运行系统的制作方法

1.本技术涉及智能电网技术领域，尤其是涉及一种云资源调度运行系统。


背景技术：

2.随着电网技术发展，智通过技术创新和新技术应用，建设更加智能的电网信息建设发展战略。电网企业数据中心的基础数据量大、复杂程度高，而电网的数据的应用场景多样化，通过电网的云资源进行管控存在必然性。而目前的云资源调度的效率较低。


技术实现要素：

3.针对上述现有技术的不足，本发明提供一种xx方法、装置、设备及介质。
4.一种云资源调度运行系统方法，数据源，数据接入层，数据处理层，其中，
5.所述数据源，用于采集和/或存储云资源调度所需的数据；
6.数据接入层，用于与所述数据源连接，从所述数据源提取数据，并发送给数据处理层；
7.所述数据处理层，用于构建资源弹性调度管理模型，根据所述数据计算云资源使用情况；根据所述云资源使用情况生成扩缩容方案。
8.在本发明一个实施例中，述数据源包括配置管理数据库和统一监控数据源，所述数据接入层包括配置数据接入端口和监控数据接入端口，其中，
9.所述配置管理数据库，用于存储电网云资源软硬件数据，所述配置管理数据库与配置数据接入端口接入所述数据接入层；
10.所述统一监控数据源，用于存储电网云资源软硬件指标，所述统一监控数据源通过监控数据接入端口接入所述数据接入层。
11.在本发明一个实施例中，所述数据接入层还包括储模块，用于存储所述软硬件数据和软硬件指标。
12.在本发明一个实施例中，所述数据处理层包括容量预测模块，用于将所述数据输入到所述弹性调度管理模型，得到云资源使用情况；所述云资源使用情况包括云资源使用率变化趋势。
13.在本发明一个实施例中，所述容量预测模块，进一步用于根据电网云资源的历史样本数据，输入到待训练的时间序列模型进行训练，得到所述弹性调度管理模型。
14.在本发明一个实施例中，所述数据处理层还包括扩缩容模块，用于根据所述扩缩容方案生成扩缩容任务，所述扩缩容任务被执行后得到匹配的云资源容量。
15.在本发明一个实施例中，所述扩缩容模块进一步用于若扩缩容任务匹配自动扩容指标，自动执行所述扩缩容任务。
16.在本发明一个实施例中，所述扩缩容模块进一步用于根据容量决策，针对云资源执行智能扩缩容。
17.在本发明一个实施例中，所述数据处理层还包括告警管理模块，用于根据云资源
设计容量和占用容量进行容量告警。
18.在本发明一个实施例中，所述云资源调度运行系统还包括展示层，用于可视化展示所述云资源调度运行系统的容量视图。
19.本发明的云资源调度运行系统，通过数据源采集和/或存储云资源调度所需的数据，通过数据接入层接入数据处理层，数据处理层构建资源弹性调度管理模型，根据该数据计算云资源使用情况，并生成扩缩容方案。基于容量使用监控，实现云资源的扩缩容的调度管理，当云资源容量较高时，适当缩容，当云资源不足时进行扩容，实现云资源调度的弹性管理，提高了电网云资源利用的效率和可靠性。
附图说明
20.图1为本发明一个实施例中提供的云资源调度运行系统的结构框图。
具体实施方式
21.为了使本技术的目的、技术方案及优点更加清楚明白，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例。
22.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
23.相关应用中，随着电网技术发展，智通过技术创新和新技术应用，建设更加智能的电网信息建设发展战略。电网的数据管理接入云资源平台的需求日益强烈，电网运行中，数据量庞大且复杂，具有一定周期性、区域性，存在云资源利用不均衡的情况，开展异构云资源的弹性管理存在必要性，以有效控制成本，提高资源调度的效率。
24.本技术的一个实施例中，如图1所示，云资源调度运行系统，数据源，数据接入层，数据处理层，其中，
25.所述数据源，用于采集和/或存储云资源调度所需的数据，例如电网云资源软硬件数据，包括但不限于主机数据、组件数据和应用数据等；电网云资源软硬件指标，包括但不限于主机指标、组件指标、应用指标等。该数据用于揭示云资源的基础配置或者监控指标。
26.数据接入层，用于与所述数据源连接，从所述数据源提取数据，并发送给数据处理层。
27.其中，在进行系统配置时，可以为各类数据源配置不同的数据接入端口，包括但不限于实时接入端口，以及资源配置数据接入端口等。确保数据传递的及时性和有效性，进而提高电网云资源运行的可靠性。数据接入层还可以配置有数据存储模块和数据预处理模块。
28.所述数据处理层，用于构建资源弹性调度管理模型，根据所述数据计算云资源使用情况；根据所述云资源使用情况生成扩缩容方案。
29.其中，数据处理层可以根据需进行管控的类型，划分不同的模块，例如数据容量管理模块应用系统管理模块和业务容量模块，在进行资源调度时，为各个管控的类型，配置对
应的资源容量。
30.其中，数据处理层的资源调度方案，包括扩容方案和缩容方案，根据云资源使用情况进行配置，当云资源容量较高时，适当缩容，当云资源不足时进行扩容，实现云资源弹性调度管理，提高了电网云资源利用的效率和可靠性。
31.上述实施例的云资源调度运行系统，通过数据源采集和/或存储云资源调度所需的数据，通过数据接入层接入数据处理层，数据处理层构建资源弹性调度管理模型，根据该数据计算云资源使用情况，并生成扩缩容方案。基于容量使用监控，实现云资源的扩缩容的调度管理，当云资源容量较高时，适当缩容，当云资源不足时进行扩容，实现云资源调度的弹性管理，提高了电网云资源利用的效率和可靠性。
32.在一个实施例中，上述实施例中的数据源包括配置管理数据库和统一监控数据源，所述数据接入层包括配置数据接入端口和监控数据接入端口，其中，
33.所述配置管理数据库，用于存储电网云资源软硬件数据，所述配置管理数据库与配置数据接入端口接入所述数据接入层。所述统一监控数据源，用于存储电网云资源软硬件指标，所述统一监控数据源通过监控数据接入端口接入所述数据接入层。
34.具体实现时，系统可以将配置管理数据库中配置项数据加载到redis(remote dictionary server，远程字典服务)，以及将统一监控数据源获取到的数据，经过清洗加工后存入kafka(分布式发布订阅消息系统)，实时计算每个租户及每个主机的cpu利用率，并保存到mysql(关系型数据库管理系统)中，以被调用和分析。
35.在一些实施例中，数据接入层还包括储模块，用于存储所述软硬件数据和软硬件指标。
36.在一个实施例中，上述各实施例中，数据处理层还包括容量预测模块，用于将所述数据输入到所述弹性调度管理模型，得到云资源使用情况；所述云资源使用情况包括云资源使用率变化趋势。
37.本实施例中，云资源使用率变化趋势可以基于使用数据，通过时间序列模型预测得到，用于确定未来一定周期内，云资源是否充足或者盈余，以及时调整，进行扩容或者缩容的安排。
38.在一些实施例中，容量预测模块，可以预先根据电网云资源的历史样本数据，输入到待训练的时间序列模型进行训练，得到所述弹性调度管理模型。
39.其中，时间序列模型的选型可以时长短期记忆模型(lstm，long-short term memory)，lstm适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，例如：容量预测、流量预测、疾病预测、点击率预测等等。
40.具体实现中，系统可以挖掘分析历史容量数据(cpu总核数、cpu已分配量、cpu剩余可分配量、内存总量、内存已分配量、内存剩余可使用量等容量指标)、资源关联关系、应用性能数据等数据，确定影响容量的关键因素创建适合的数据模型，并通过大数据进行机器训练，对数据模型各个参数进行修正，直到容量预测结果与历史结果一致，确定容量预测数据模型。通过容量预测模型、最近的容量数据、性能数据、业务数据进行未来容量预测。在一些情况下，可以建立不同业务类型的容量预测模型，例如针对业务、、应用系统分别建立不同的预测模型。通过lstm算法进行机器训练，不断修改因素的参数，使其精准度不断提高。例如：缴费业务量对cpu使用率有影响，比率为100：1％，即100缴费业务量导致cpu使用率
1％增幅。
41.在一些实施例中，数据处理层还包括扩缩容模块，用于根据所述扩缩容方案生成扩缩容任务，扩缩容任务被执行后得到匹配的云资源容量。
42.应当理解的是，扩缩容可以是电网所需云资源的整体扩缩容，也可以根据业务类型进行的细分的扩缩容，可以根据实际需求预先配置。在一些情况下，基于扩缩容方案生成扩缩容任务时，需要获取管理员确认后才能触发执行。
43.在另一些情况下，系统可以配置有一键扩缩容方案，若扩缩容任务匹配自动扩容指标，则可以自动执行扩缩容任务。自动扩容指标可以预先配置，包括但不限于云资源设计容量上限、预警线等。
44.在一些实施例中，扩缩容模块还包括容量决策功能，当系统的资源配置参数和云资源使用情况满足预设情况，可以执行智能扩缩容。例如云资源设计容量充足，而当前云资源使用情况预计不会超负荷，则可以实时扩缩容；又例如，当云资源设计容量充足，而当前云资源使用情况预计不会超负荷，则可以持续监控若干周期后，自动执行扩缩容，提高云资源调度的灵活性。
45.在一个实施例中，数据处理层还包括告警管理模块，用于根据云资源设计容量和占用容量进行容量告警，避免因设计容量不足导致扩缩容失败。
46.在一个实施例中，云资源调度运行系统还包括展示层，用于可视化展示所述云资源调度运行系统的容量视图，提高可视化程度，便于进行管理。
47.本领域技术人员可以理解，图1中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
48.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种云资源调度运行系统，其特征在于，所述系统包括：数据源，数据接入层，数据处理层，其中，所述数据源，用于采集和/或存储云资源调度所需的数据；数据接入层，用于与所述数据源连接，从所述数据源提取数据，并发送给数据处理层；所述数据处理层，用于构建资源弹性调度管理模型，根据所述数据计算云资源使用情况；根据所述云资源使用情况生成扩缩容方案。2.根据权利要求1所述的系统，其特征在于，所述数据源包括配置管理数据库和统一监控数据源，所述数据接入层包括配置数据接入端口和监控数据接入端口，其中，所述配置管理数据库，用于存储电网云资源软硬件数据，所述配置管理数据库与配置数据接入端口接入所述数据接入层；所述统一监控数据源，用于存储电网云资源软硬件指标，所述统一监控数据源通过监控数据接入端口接入所述数据接入层。3.根据权利要求2所述的系统，其特征在于，所述数据接入层还包括储模块，用于存储所述软硬件数据和软硬件指标。4.根据权利要求1所述的系统，其特征在于，所述数据处理层包括容量预测模块，用于将所述数据输入到所述弹性调度管理模型，得到云资源使用情况；所述云资源使用情况包括云资源使用率变化趋势。5.根据权利要求4所述的系统，其特征在于，所述容量预测模块，进一步用于根据电网云资源的历史样本数据，输入到待训练的时间序列模型进行训练，得到所述弹性调度管理模型。6.根据权利要求4所述的系统，其特征在于，所述数据处理层还包括扩缩容模块，用于根据所述扩缩容方案生成扩缩容任务，所述扩缩容任务被执行后得到匹配的云资源容量。7.根据权利要求6所述的系统，其特征在于，所述扩缩容模块进一步用于若扩缩容任务匹配自动扩容指标，自动执行所述扩缩容任务。8.根据权利要求6所述的系统，其特征在于，所述扩缩容模块进一步用于根据容量决策，针对云资源执行智能扩缩容。9.根据权利要求1至8任一项所述的系统，其特征在于，所述数据处理层还包括告警管理模块，用于根据云资源设计容量和占用容量进行容量告警。10.根据权利要求1至8任一项所述的系统，其特征在于，所述云资源调度运行系统还包括展示层，用于可视化展示所述云资源调度运行系统的容量视图。

技术总结
本申请涉及智能电网技术领域，提供了一种云资源调度运行系统。该系统通过数据源采集和/或存储云资源调度所需的数据，通过数据接入层接入数据处理层，数据处理层构建资源弹性调度管理模型，根据该数据计算云资源使用情况，并生成扩缩容方案。基于容量使用监控，实现云资源的扩缩容的调度管理，当云资源容量较高时，适当缩容，当云资源不足时进行扩容，实现云资源调度的弹性管理，提高了电网云资源利用的效率和可靠性。效率和可靠性。效率和可靠性。


技术研发人员：潘俊冰 黄安妮 董贇 廖邓彬 符嘉成 陈柏龄 莫晓盈
受保护的技术使用者：广西电网有限责任公司
技术研发日：2023.05.09
技术公布日：2023/9/20