一种适用于电力边缘计算芯片的数据处理方法及系统与流程

1.本发明属于大数据量芯片数据处理技术领域，尤其涉及一种适用于电力边缘计算芯片的数据处理方法及系统。


背景技术：

2.近年来，随着计算机技术、信息技术的迅速发展以及各类信息的飞速产生和沉淀，电力边缘计算芯片也应需与计算机互联网技术连接在一起，而通常连接过程中，在芯片与计算机互联网之间免不了数据交互，随着数据呈现爆炸性增长，数据类型的多样化以及数据生成速度的不断增长都对数据处理实时效率提出了更高的要求。目前，本领域中在执行数据量较大的数据处理任务时，常考虑的是数据批处理。研究发现，这种处理方式存在处理数据量大且耗时长的问题。


技术实现要素：

3.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
4.鉴于上述存在的问题，提出了本发明。
5.因此，本发明解决的技术问题是：利用分布式结构进行大批量数据处理，代替本领域中在执行数据量较大的数据处理任务时采用的数据批处理，解决这种处理方式存在处理数据量大且耗时长的问题。
6.为解决上述技术问题，本发明提供如下技术方案：一种适用于电力边缘计算芯片的数据处理方法，其特征在于：包括，获取待处理的大数据量芯片数据，并确定大数据量芯片数据的数据处理流程，数据处理流程包括多个流程节点；基于数据内容特征与多个流程节点之间的执行相关度匹配，对大数据量芯片数据进行分解，得到多个待处理的芯片分项数据，芯片分项数据分别对应到相应的流程节点；基于流程节点之间的执行逻辑，确定芯片分项数据之间的层次关系；基于数据配置信息，为芯片分项数据分配相应的功能模块，数据配置信息包括数据类型信息以及算力需求信息；按照层次关系依次调用相应功能模块进行分项数据处理。
7.作为本发明所述一种适用于电力边缘计算芯片的数据处理方法的一种优选方案，其中：所述大数据量芯片数据包括，芯片内部相应功能模块在进行业务交互的过程中所产生的内部业务交互数据，以及芯片与外部设备在进行业务交互过程中所产生的外部业务交互数据；所述内部业务交互数据包括整型数据、字符型数据、布尔型数据、浮点型数据、指针型数据以及数组型数据；所述外部业务交互数据包括传感器数据、位置数据、图像数据、视频数据以及音频数据。
8.作为本发明所述一种适用于电力边缘计算芯片的数据处理方法的一种优选方案，其中：所述数据处理流程包括，获取所述大数据量芯片数据，对所述大数据量芯片数据进行
分析，确定所述大数据量芯片数据的处理标识，根据所述大数据量芯片数据的处理标识，进行数据处理流程的关联确定；
9.所述大数据量芯片数据进行分析包括，使用均值、方差和标准差对数据进行描述性分析，使用分类、聚类和关联规则挖掘对数据进行深入分析；
10.所述均值的计算公式为：
[0011][0012]
其中，i为参数，n为芯片数据量，xi为大数据量芯片数据；
[0013]
所述方差计算公式为：
[0014][0015]
其中，i为参数，n为芯片数据量，xi为大数据量芯片数据，μ为计算得出的均值；
[0016]
所述标准差的计算公式为：
[0017][0018]
其中，i为参数，n为芯片数据量，xi为大数据量芯片数据，μ为计算得出的均值。
[0019]
作为本发明所述一种适用于电力边缘计算芯片的数据处理方法的一种优选方案，其中：所述芯片分项数据包括，确定所述大数据量芯片数据中包括的各项特征字段，所述特征字段分别对应着不同的数据内容特征；基于数据内容特征分析，判断各项特征字段是否具备待处理特征，并在确定相应特征字段具备待处理特征时，计算所述相应特征字段与各流程节点之间的执行相关匹配程度；将所述相应特征字段作为待处理的目标芯片分项数据，并将执行相关匹配程度最高的流程节点与所述目标芯片分项数据进行关联对应。
[0020]
作为本发明所述一种适用于电力边缘计算芯片的数据处理方法的一种优选方案，其中：所述层次关系包括，获取各所述流程节点的执行信息，基于所述执行信息进行各流程节点之间的流程连线验证；基于所得的流程连线验证结果，确定各流程节点之间的执行逻辑；确定各流程节点分别关联对应到的芯片分项数据，并按照所述执行逻辑划分各所述芯片分项数据之间的层次关系。
[0021]
作为本发明所述一种适用于电力边缘计算芯片的数据处理方法的一种优选方案，其中：所述功能模块包括，针对所述芯片分项数据，基于所述数据类型信息进行功能模块的适配，在对图像型分项数据进行处理时，优先选择能够处理图像数据的功能模块；在对音频型分项数据进行处理时，优先选择能够处理音频数据的功能模块；在对文本型分项数据进行处理时，优先选择能够处理文本型数据的功能模块；当单一分项数据类型所需算力超出单个功能模块所拥有的算力时，单一分项数据可同时适配到多个功能模块，基于所述分项数据的算力需求信息以及适配的目标通讯协议，在处理单一分项数据适配到多个功能模块时，同时根据算力需求将分项数据与功能模块进行匹配，从多个功能模块中按照分项数据的处理进行算力匹配，且根据所述分项数据类型支持的通讯协议，选择支持目标分项数据通讯协议的功能模块。
[0022]
作为本发明所述一种适用于电力边缘计算芯片的数据处理方法的一种优选方案，其中：所述分项数据的处理包括，触发调度管理模块按照所述层次关系依次进行相应功能模块的调度，首先获取所述流程节点的执行信息，当芯片分项数据与相应功能模块进行匹配后，流程节点的执行信息反馈为可行，并继续分项数据的处理，调度触发管理模块进行相应功能模块的调度，在成功调度到第一功能模块时，触发第一功能模块进行分项数据处理；若第一功能模块算力充足，此时完成分项数据处理；若第一功能模块算力不足，分项数据处理失败，此时启用第二功能模块重新对分项数据进行处理，并重新进行分项数据处理的算力分配，若第二功能模块算力充足，此时单独调用第二功能模块完成分项数据处理；若第二功能模块算力不足，则调用第一功能模块剩余的算力资源进行补充，若第一功能模块剩余算力能完成补充，此时完成分项数据处理；若第一功能模块剩余算力仍有不足，分项数据处理失败；此时启用第三功能模块进行调度，并重新进行分项数据处理的算力分配，若第三功能模块算力充足，此时单独调用第三功能模块完成分项数据处理；若第三功能模块算力仍有不足，则调用第二功能模块剩余的算力资源进行补充，若第二功能模块剩余算力能完成补充，分项数据处理成功，若第二功能模块剩余算力不能完成补充，则同时调用第一第二功能模块剩余的算力进行补充，若第一和第二功能模块剩余算力能完成补充，分项数据处理成功；若第一和第二功能模块剩余算力不能完成补充，分项数据处理失败，并启用第四功能模块，进行算力调度操作，直至完成分项数据处理的算力分配调度。
[0023]
本发明的另一个目的是提供一种适用于电力边缘计算芯片的数据处理方法的系统，其能通过构建适用于电力边缘计算芯片的数据处理系统，利用分布式结构进行大批量数据处理，解决处理数据量大且耗时长的问题。
[0024]
作为本发明所述一种适用于电力边缘计算芯片的数据处理系统的一种优选方案，其中：所述系统包括，处理流程确定模块、分项数据分解模块、分项数据层次确定模块、功能分配模块、分项数据处理模块；
[0025]
所述处理流程确定模块，用于获取待处理的大数据量芯片数据，并确定所述大数据量芯片数据的数据处理流程，所述数据处理流程包括多个流程节点；
[0026]
所述分项数据分解模块，用于基于数据内容特征与所述多个流程节点之间的执行相关度匹配，对所述大数据量芯片数据进行分解，得到多个待处理的芯片分项数据，其中，各所述芯片分项数据分别对应到相应的流程节点；
[0027]
所述分项数据层次确定模块，还用于基于各所述流程节点之间的执行逻辑，确定各所述芯片分项数据之间的层次关系；
[0028]
所述功能分配模块，用于基于数据配置信息，为各所述芯片分项数据分配相应的功能模块，所述数据配置信息包括数据类型信息、以及算力需求信息；
[0029]
所述分项数据处理模块，用于按照所述层次关系依次调用相应功能模块进行分项数据处理。
[0030]
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现一种适用于电力边缘计算芯片的数据处理方法的步骤。
[0031]
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一种适用于电力边缘计算芯片的数据处理方法的步骤。
[0032]
本发明的有益效果：本发明利用分布式结构进行大批量数据处理，代替本领域中在执行数据量较大的数据处理任务时采用的数据批处理，解决这种处理方式存在处理数据量大且耗时长的问题。
附图说明
[0033]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0034]
图1为本发明提供的一种适用于电力边缘计算芯片的数据处理方法的流程图。
[0035]
图2为本发明提供的一种适用于电力边缘计算芯片的数据处理系统的结构图。
具体实施方式
[0036]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0037]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0038]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0039]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0040]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0041]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0042]
实施例1
[0043]
参照图1，为本发明的第一个实施例，提供了一种适用于电力边缘计算芯片的数据处理方法。
[0044]
s1：获取待处理的大数据量芯片数据，并确定大数据量芯片数据的数据处理流程，
数据处理流程包括多个流程节点。
[0045]
具体的，所述大数据量芯片数据包括，芯片内部相应功能模块在进行业务交互的过程中所产生的内部业务交互数据，以及芯片与外部设备在进行业务交互过程中所产生的外部业务交互数据。
[0046]
需要说明的是，从系统定义阶段起，可以将芯片系统划分为子系统，这些子系统进而可以划分为不同的功能模块，即上述定义的芯片内部相应功能模块，这些功能模块经由模块接口级联在一起。外部设备包括智能交互平板、智能手机以及传感器等。
[0047]
本实施例中，所产生的内部业务交互数据和外部业务交互数据将分类存储在预设的存储区域中。存储过程中，还将建立所述内、外部业务交互数据的存储数据索引。
[0048]
基于所述存储数据索引即可从所述存储区域中获取到待处理的大数据量芯片数据。
[0049]
另外，在确定所述大数据量芯片数据的数据处理流程时，将基于数据标识的识别，基于所述数据标识进行数据处理流程的关联确定。
[0050]
大数据量芯片数据进行分析包括，使用均值、方差和标准差对数据进行描述性分析，使用分类、聚类和关联规则挖掘对数据进行深入分析；
[0051]
所述均值的计算公式为：
[0052][0053]
其中，i为参数，n为芯片数据量，xi为大数据量芯片数据。
[0054]
所述方差计算公式为：
[0055][0056]
其中，i为参数，n为芯片数据量，xi为大数据量芯片数据，μ为计算得出的均值。
[0057]
所述标准差的计算公式为：
[0058][0059]
其中，i为参数，n为芯片数据量，xi为大数据量芯片数据，μ为计算得出的均值。
[0060]
需要说明的是，分类存储方式包括但不限于是将数据分类存储到数据库、存储到文件、作为接口入参、作为方法入参等。
[0061]
需要说明的是，在获取到大数据量芯片数据之后，将对大数据量芯片数据进行分析，以确定大数据量芯片数据的处理标识，其中，所述处理标识包括但不限于是数据格式、数据特定内容及业务交互含义。
[0062]
进一步的，由于数据格式、数据特定内容及业务交互含义与数据处理策略息息相关，当前实施例中将基于所述处理标识调用目标服务进行数据处理策略的制定，通过所述数据处理策略进一步反映业务交互涵盖的数据处理流程。
[0063]
以处理标识为数据格式、数据特定内容为例，当根据所述数据格式、数据特定内容确定所述大数据量芯片数据为隐私数据时，此时针对该隐私数据将调用目标服务进行第一
数据处理策略的制定，所述第一数据处理策略包括阻断业务交互、告警提示(例如日志告警、反馈告警信息到外部设备等)、脱敏信息处理、数据隔离中的至少一种策略。
[0064]
以处理标识为业务交互含义为例，当根据所述业务交互含义确定了交互内容时，此时即可调用目标服务进行第二数据处理策略的制定，所述第二数据处理策略包括确认业务消息来源、从业务消息充抽取出需要进行业务交互处理的业务数据、对所述业务数据进行多维度分析中的至少一种策略。
[0065]
需要说明的是，目标服务用于对服务调用请求进行响应，并按照预设的策略制定逻辑进行数据处理策略的制定。
[0066]
s2：基于数据内容特征与多个流程节点之间的执行相关度匹配，对大数据量芯片数据进行分解，得到多个待处理的芯片分项数据，芯片分项数据分别对应到相应的流程节点。
[0067]
具体的，所述芯片分项数据包括，确定所述大数据量芯片数据中包括的各项特征字段，各所述特征字段分别对应着不同的数据内容特征。
[0068]
基于数据内容特征分析，判断各项特征字段是否具备待处理特征，并在确定相应特征字段具备待处理特征时，计算所述相应特征字段与各流程节点之间的执行相关匹配程度。
[0069]
需要说明的是，待处理特征可以认为是需要进行处理的特征字段。
[0070]
当前实施例中，可以根据预设规则判断各项特征字段是否具备待处理特征。之后，针对具备待处理特征的第一特征字段，将计算所述第一特征字段与各流程节点之间的执行相关匹配程度。其中，执行相关匹配程度的计算可以采用kmp算法将获取到的各项特征字段作为特征量，并将其与各流程节点的执行规则进行模糊匹配，计算得到相应的行相关匹配程度。
[0071]
所述根据预设规则判断各项特征字段是否具备待处理特征包括，基于数据内容特征分析，判断各项特征字段是否在所述数据处理流程的执行范围内。
[0072]
根据所得的判断结果，在确定第一特征字段在所述数据处理流程的执行范围内时，将所述第一特征字段作为待处理特征。
[0073]
根据所得的判断结果，在确定第二特征字段不在所述数据处理流程的执行范围内时，对所述第二特征字段进行标记。
[0074]
其中，在下一次获取到待处理的同一芯片数据时，将先基于标记识别从这一数据中识别出不具备待处理特征的第二特征字段，并基于剩余的所有第一特征字段进行执行相关匹配程度的计算，即免去了所述基于数据内容特征分析，判断各项特征字段是否具备待处理特征这一步骤，以达到简化执行流程，提高执行效率的目的。
[0075]
更进一步的，基于执行相关匹配程度计算，将计算出所述目标芯片分项数据与各流程节点之间的执行相关匹配程度；针对所得的匹配计算结果，将从各流程节点中筛选出执行相关匹配程度最高的目标流程节点，并将所述目标流程节点与所述目标芯片分项数据进行关联对应。
[0076]
s3：基于各所述流程节点之间的执行逻辑，确定各所述芯片分项数据之间的层次关系。
[0077]
具体的，所述层次关系包括，获取各所述流程节点的执行信息，基于所述执行信息
进行各流程节点之间的流程连线验证。
[0078]
基于所得的流程连线验证结果，确定各流程节点之间的执行逻辑。
[0079]
需要说明的是，基于获取到的各所述流程节点的执行信息，将进一步确定各流程节点间的执行顺序；将基于各流程节点之间执行顺序进行流程连线验证。
[0080]
验证过程中，将基于预设的流程连线信息表进行流程连线验证，其中，所述流程连线信息表中包括多项连线信息，各所述连线信息包括：连线起始节点标识id、以及连线终止节点标识id。
[0081]
确定各流程节点分别关联对应到的芯片分项数据，并按照所述执行逻辑划分各所述芯片分项数据之间的层次关系。
[0082]
s4：基于数据配置信息，为芯片分项数据分配相应的功能模块，数据配置信息包括数据类型信息以及算力需求信息。
[0083]
具体的，所功能模块包括，针对芯片分项数据，分别基于数据类型信息进行功能模块的适配。
[0084]
不同功能模块适用于不同数据类型信息的处理，在进行数据处理之前，可以依据所述数据类型信息选的适配的目标功能模块，后续可以基于所述目标功能模块进行数据处理。
[0085]
在确定同类型分项数据，适配到多个功能模块时，基于所述同类型分项数据的算力需求信息以及适配的目标通讯协议，从所述多个功能模块中筛选出剩余算力与算力需求相适应、且支持所述目标通讯协议的目标功能模块。
[0086]
需要说明的是，考虑到这一类型数据适配到多个功能模块这一情况，这时将基于这一类型数据的算力需求信息以及其所适配的目标通讯协议，从所述多个功能模块中筛选出适宜的目标功能模块，以避免后续因为算力不足、或不支持目标通讯协议导致数据处理失败，影响数据处理进度。
[0087]
s5：按照层次关系依次调用相应功能模块进行分项数据处理。
[0088]
具体的，所述分项数据的处理包括，触发调度管理模块按照所述层次关系依次进行相应功能模块的调度，首先获取所述流程节点的执行信息，当芯片分项数据与相应功能模块进行匹配后，流程节点的执行信息反馈为可行，并继续分项数据的处理，调度触发管理模块进行相应功能模块的调度。
[0089]
在成功调度到第一功能模块时，触发第一功能模块进行分项数据处理；若第一功能模块算力充足，此时完成分项数据处理。
[0090]
若第一功能模块算力不足，分项数据处理失败，此时启用第二功能模块重新对分项数据进行处理，并重新进行分项数据处理的算力分配。
[0091]
若第二功能模块算力充足，此时单独调用第二功能模块完成分项数据处理；若第二功能模块算力不足，则调用第一功能模块剩余的算力资源进行补充，若第一功能模块剩余算力能完成补充，此时完成分项数据处理。
[0092]
若第一功能模块剩余算力仍有不足，分项数据处理失败；此时启用第三功能模块进行调度，并重新进行分项数据处理的算力分配，若第三功能模块算力充足，此时单独调用第三功能模块完成分项数据处理。
[0093]
若第三功能模块算力仍有不足，则调用第二功能模块剩余的算力资源进行补充，
若第二功能模块剩余算力能完成补充，分项数据处理成功，若第二功能模块剩余算力不能完成补充，则同时调用第一第二功能模块剩余的算力进行补充，若第一和第二功能模块剩余算力能完成补充，分项数据处理成功。
[0094]
若第一和第二功能模块剩余算力不能完成补充，分项数据处理失败，并启用第四功能模块，进行算力调度操作，直至完成分项数据处理的算力分配调度。
[0095]
实施例2
[0096]
参照图2，为本发明的第二个实施例，提供了一种适用于电力边缘计算芯片的数据处理系统。
[0097]
具体的，本发明提供的系统包括，处理流程确定模块、分项数据分解模块、分项数据层次确定模块、功能分配模块、分项数据处理模块；
[0098]
所述处理流程确定模块，用于获取待处理的大数据量芯片数据，并确定所述大数据量芯片数据的数据处理流程，所述数据处理流程包括多个流程节点；
[0099]
所述分项数据分解模块，用于基于数据内容特征与所述多个流程节点之间的执行相关度匹配，对所述大数据量芯片数据进行分解，得到多个待处理的芯片分项数据，其中，各所述芯片分项数据分别对应到相应的流程节点；
[0100]
所述分项数据层次确定模块，用于基于各所述流程节点之间的执行逻辑，确定各所述芯片分项数据之间的层次关系；
[0101]
所述功能分配模块，用于基于数据配置信息，为各所述芯片分项数据分配相应的功能模块，所述数据配置信息包括数据类型信息、以及算力需求信息；
[0102]
所述分项数据处理模块，用于按照所述层次关系依次调用相应功能模块进行分项数据处理。
[0103]
实施例3
[0104]
本方案提出一种适用于电力边缘计算芯片的数据处理方法，是一种基于边缘计算技术对大数据量芯片数据进行数据处理的方法。通过建立分布式结构进行大批量数据处理，代替本领域中传统技术在执行数据量较大的数据处理任务时采用的数据批处理，解决传统技术处理大量数据耗时长的问题。
[0105]
将获取的大数据量芯片数据按照本发明提供的方法进行数据处理，并与传统方法进行比对，将实验数据量分别设置为1gb、2gb、5gb、10gb和20gb,计算出每次实验的速率，并总结实验数据，得出如下表格：
[0106]
表1：数据处理速率对比表
[0107][0108]
由上表可知，本发明所提供的数据处理方法，在数据处理速率上显著优于传统方法，取得了传统方法完全无法达到的技术效果。
[0109]
此外，为了提供示例性实施方案的简练描述，可以不描述实际实施方案的所有特征(即，与当前考虑的执行本发明的最佳模式不相关的那些特征，或于实现本发明不相关的那些特征)。
[0110]
应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所述开发努力将是一个设计、制造和生产的常规工作。
[0111]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种适用于电力边缘计算芯片的数据处理方法，其特征在于：包括,获取待处理的大数据量芯片数据，并确定大数据量芯片数据的数据处理流程，数据处理流程包括多个流程节点；基于数据内容特征与多个流程节点之间的执行相关度匹配，对大数据量芯片数据进行分解，得到多个待处理的芯片分项数据，芯片分项数据分别对应到相应的流程节点；基于流程节点之间的执行逻辑，确定芯片分项数据之间的层次关系；基于数据配置信息，为芯片分项数据分配相应的功能模块，数据配置信息包括数据类型信息以及算力需求信息；按照层次关系依次调用相应功能模块进行分项数据处理。2.如权利要求1所述的一种适用于电力边缘计算芯片的数据处理方法，其特征在于：所述大数据量芯片数据包括，芯片内部相应功能模块在进行业务交互的过程中所产生的内部业务交互数据，以及芯片与外部设备在进行业务交互过程中所产生的外部业务交互数据；所述内部业务交互数据包括整型数据、字符型数据、布尔型数据、浮点型数据、指针型数据以及数组型数据；所述外部业务交互数据包括传感器数据、位置数据、图像数据、视频数据以及音频数据。3.如权利要求2所述的一种适用于电力边缘计算芯片的数据处理方法，其特征在于：所述数据处理流程包括，获取所述大数据量芯片数据，对所述大数据量芯片数据进行分析，确定所述大数据量芯片数据的处理标识，根据所述大数据量芯片数据的处理标识，进行数据处理流程的关联确定；所述大数据量芯片数据进行分析包括，使用均值、方差和标准差对数据进行描述性分析，使用分类、聚类和关联规则挖掘对数据进行深入分析；所述均值的计算公式为：其中，i为参数，n为芯片数据量，x
i
为大数据量芯片数据；所述方差计算公式为：其中，i为参数，n为芯片数据量，x
i
为大数据量芯片数据，μ为计算得出的均值；所述标准差的计算公式为：其中，i为参数，n为芯片数据量，x
i
为大数据量芯片数据，μ为计算得出的均值。4.如权利要求3所述的一种适用于电力边缘计算芯片的数据处理方法，其特征在于：所述芯片分项数据包括，确定所述大数据量芯片数据中包括的各项特征字段，所述特征字段
分别对应着不同的数据内容特征；基于数据内容特征分析，判断各项特征字段是否具备待处理特征，并在确定相应特征字段具备待处理特征时，计算所述相应特征字段与各流程节点之间的执行相关匹配程度；将所述相应特征字段作为待处理的目标芯片分项数据，并将执行相关匹配程度最高的流程节点与所述目标芯片分项数据进行关联对应。5.如权利要求4所述的一种适用于电力边缘计算芯片的数据处理方法，其特征在于：所述层次关系包括，获取各所述流程节点的执行信息，基于所述执行信息进行各流程节点之间的流程连线验证；基于所得的流程连线验证结果，确定各流程节点之间的执行逻辑；确定各流程节点分别关联对应到的芯片分项数据，并按照所述执行逻辑划分各所述芯片分项数据之间的层次关系。6.如权利要求5所述的一种适用于电力边缘计算芯片的数据处理方法，其特征在于：所述功能模块包括，针对所述芯片分项数据，基于所述数据类型信息进行功能模块的适配，在对图像型分项数据进行处理时，优先选择能够处理图像数据的功能模块；在对音频型分项数据进行处理时，优先选择能够处理音频数据的功能模块；在对文本型分项数据进行处理时，优先选择能够处理文本型数据的功能模块；当单一分项数据类型所需算力超出单个功能模块所拥有的算力时，单一分项数据可同时适配到多个功能模块，基于所述分项数据的算力需求信息以及适配的目标通讯协议，在处理单一分项数据适配到多个功能模块时，同时根据算力需求将分项数据与功能模块进行匹配，从多个功能模块中按照分项数据的处理进行算力匹配，且根据所述分项数据类型支持的通讯协议，选择支持目标分项数据通讯协议的功能模块。7.如权利要求6所述的一种适用于电力边缘计算芯片的数据处理方法，其特征在于：所述分项数据的处理包括，触发调度管理模块按照所述层次关系依次进行相应功能模块的调度，首先获取所述流程节点的执行信息，当芯片分项数据与相应功能模块进行匹配后，流程节点的执行信息反馈为可行，并继续分项数据的处理，调度触发管理模块进行相应功能模块的调度，在成功调度到第一功能模块时，触发第一功能模块进行分项数据处理；若第一功能模块算力充足，此时完成分项数据处理；若第一功能模块算力不足，分项数据处理失败，此时启用第二功能模块重新对分项数据进行处理，并重新进行分项数据处理的算力分配，若第二功能模块算力充足，此时单独调用第二功能模块完成分项数据处理；若第二功能模块算力不足，则调用第一功能模块剩余的算力资源进行补充，若第一功能模块剩余算力能完成补充，此时完成分项数据处理；若第一功能模块剩余算力仍有不足，分项数据处理失败；此时启用第三功能模块进行调度，并重新进行分项数据处理的算力分配，若第三功能模块算力充足，此时单独调用第三功能模块完成分项数据处理；若第三功能模块算力仍有不足，则调用第二功能模块剩余的算力资源进行补充，若第二功能模块剩余算力能完成补充，分项数据处理成功，若第二功能模块剩余算力不能完成补充，则同时调用第一第二功能模块剩余的算力进行补充，若第一和第二功能模块剩余算力能完成补充，分项数据处理成功；若第一和第二功能模块剩余算力不能完成补充，分项数据处理失败，并启用第四功能模块，进行算力调度操作，直至完成分项数据处理的算力分配调度。8.一种采用如权利要求1～7任一所述的一种适用于电力边缘计算芯片的数据处理方法的系统，其特征在于：所述系统包括，处理流程确定模块、分项数据分解模块、分项数据层次确定模块、功能分配模块、分项数据处理模块；
所述处理流程确定模块，用于获取待处理的大数据量芯片数据，并确定所述大数据量芯片数据的数据处理流程，所述数据处理流程包括多个流程节点；所述分项数据分解模块，用于基于数据内容特征与所述多个流程节点之间的执行相关度匹配，对所述大数据量芯片数据进行分解，得到多个待处理的芯片分项数据，其中，各所述芯片分项数据分别对应到相应的流程节点；所述分项数据层次确定模块，用于基于各所述流程节点之间的执行逻辑，确定各所述芯片分项数据之间的层次关系；所述功能分配模块，用于基于数据配置信息，为各所述芯片分项数据分配相应的功能模块，所述数据配置信息包括数据类型信息、以及算力需求信息；所述分项数据处理模块，用于按照所述层次关系依次调用相应功能模块进行分项数据处理。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的一种适用于电力边缘计算芯片的数据处理方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述一种适用于电力边缘计算芯片的数据处理方法的步骤。

技术总结
本发明属于大数据量芯片数据处理技术领域，涉及一种适用于电力边缘计算芯片的数据处理方法及系统，首先获取待处理的大数据量芯片数据，并确定大数据量芯片数据的数据处理流程，数据处理流程包括多个流程节点，基于数据内容特征与多个流程节点之间的执行相关度匹配，对大数据量芯片数据进行分解，得到多个芯片分项数据，芯片分项数据分别对应到相应的流程节点，基于各流程节点之间的执行逻辑，确定芯片分项数据之间的层次关系；基于数据配置信息，为芯片分项数据分配功能模块，数据配置信息包括数据类型信息、以及算力需求信息，按照层次关系依次调用相应功能模块进行分项数据处理。处理。处理。


技术研发人员：徐长宝 辛明勇 王宇 高吉普 李鹏 习伟 杨婧 祝健杨 姚浩 林呈辉 徐玉韬 邓松 谈竹奎 文贤馗 冯起辉 何雨旻 孟令雯 古庭赟 冯义 周洋 刘斌
受保护的技术使用者：贵州电网有限责任公司
技术研发日：2023.06.25
技术公布日：2023/10/5