基于大数据的全产业链交易平台的数据处理方法与流程

1.本发明涉及大数据技术领域，特别涉及一种基于大数据的全产业链交易平台的数据处理方法。


背景技术：

2.产业链是同一产业或不同产业的企业，以产品为对象，以投入产出为纽带，以价值增值为导向，以满足用户需求为目标，依据特定的逻辑联系和时空布局形成的上下关联的、动态的链式中间组织。产业链种类很多，从不同角度划分可分成不同类型的产业链。如按形成机制，产业链可分为市场交易式、等级式、网络式三种类型、五种基本模式。另外，大宗供应链产业，涵盖了供应商、制造商、批发商、零售商等多个环节，为各方提供交易、物流、金融等服务；但是，现有全产业链交易平台的数据处理方法可能无法快速且有效处理大规模、多样化的数据，导致数据整合困难，信息传递不畅，影响交易效率。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征的大数据，为解决现有全产业链交易平台的缺陷提供了一种可行的方式。
3.现有技术一，申请号cn201910089954.7公开了一种多终端移动互联电子商务系统，包括电子商务系统、关键业务处理系统和产业链交易系统，关键业务处理系统包括电商会员管理系统和仓储管理系统，电子商务系统用于在线交易、订单协同、渠道管理和售后服务；电商会员管理系统用于管理会员信息、分析会员消费情况、管理市场活动邀请；仓储管理系统用于管理商品收货上架流程、拣货、再包装、发货运输流程和库存管理；产业链管理系统实现对商品、公司、订单、交易、结算及买卖双方信息的管理，还用于信用担保、物流配送、金融衍生服务、运营运维服务和系统对接服务，虽然可整合财务、销售、库存及采购的业务数据及关联单据，协助各业务线做好业务配合，实现企业内部业务的有效管控和高效协同；但是无法快速处理大规模、多样化的数据，导致信息传递不流畅，容易发生信息堵塞。
4.现有技术二，申请号cn201811081198.5公开了一种电力行业垂直产业链一体化交易服务系统，主要包括五大平台，每个平台内又包含有多个模块，模块内包含有多个单元，通过平台、模块及单元模块的组合和交互，形成一个完整的“网电
”‑
电力行业垂直产业链一体化交易服务系统。虽然以智慧化的物流服务、创新的供应链金融产品、网上产业园及网上会展等多样化的应用场景，全面丰富的功能模块，实现“网电
”‑
电力行业垂直产业链的一体化网络交易服务；但是其应用范围有限，仅涉及电力行业。
5.现有技术三，申请号cn202110272780.5公开了一种商显产业链的交易系统、方法、装置、设备及存储介质，交易系统包括：交易客户端，用于向交易服务端发送商显需求信息；交易服务端，用于根据产业链划分规则将商显需求信息划分为从多个环节商显需求信息，并返回给相应的商显产业链客户端；商显产业链客户端，用于向交易服务端发送商显需求信息获取请求；接收返回的环节商显需求信息。虽然能够实现商显产业链上下游全环节的交易，只需要提供商显需求信息，服务端就能够自动对需求信息划分为多个环节的需求信息并分别和提供相应服务的商显服务商进行匹配，在一个交易系统下完成对整个商显服务
的交易过程，有效地节约了需求方的时间；但是对规模及多样化的数据缺少针对性的处理，导致交易的效率较低。
6.目前现有技术一、现有技术二和现有技术三存在无法快速且有效处理大规模、多样化的数据，导致数据整合困难，信息传递不流畅，影响交易效率问题；因而，本发明提供一种基于大数据的全产业链交易平台的数据处理方法，通过引入大数据技术，提出一种全产业链交易平台的数据处理方法，实现对各环节数据的快速及准确处理，提高数据处理效率，降低错误率，最重要的是建立全生命周期的数据串联和可回溯。


技术实现要素：

7.为了解决上述技术问题，本发明提供了一种基于大数据的全产业链交易平台的数据处理方法，包括以下步骤：
8.全产业链交易平台的服务器对大宗供应链产业的环节，进行服务监督和数据采集，对数据进行分拣；
9.建立数据采集的数据库，对大宗供应链产业的各个环节的位置数据、服务数据和日志数据，进行存储并分析，得到各个环节的状态数据；
10.将状态数据发送至移动终端，同时显示审批项目的状态；基于供应商、制造商、批发商及零售商建立大宗供应链产业标识，根据大宗供应链产业标识建立知识图谱，结合知识图谱实现状态数据的溯源操作。
11.可选的，大宗供应链产业的环节包含供应商、制造商、批发商及零售商；服务包含交易、物流、金融、信息咨询及技术。
12.可选的，服务监督的过程，包含以下步骤：
13.当供应商、制造商、批发商及零售商等终端需要与服务器建立连接时，发送数字身份标识至服务器，服务器对供应商、制造商、批发商及零售商终端的数字身份进行验证，验证通过，建立终端与服务器的交互连接；
14.服务器调取终端的位置数据及服务数据，建立位置数据的第一映射表和服务数据的第二映射表；将预设数量范围之内的第一映射表和第二映射表存放至服务器的内存中，将未存放在服务器的内存中的第一映射表和第二映射表存放至非易失存储内存中；
15.根据第一映射表和第二映射表建立每个终端的服务对应图，建立每个终端的服务模块集合，按照服务模块集合中各服务项的优先级，得到每个终端的服务执行路径；
16.根据服务执行路径，计算每个终端组合服务的可靠度。
17.可选的，数据采集的过程，包含以下步骤：
18.采用容器引擎podman创建镜像容器，由镜像容器构建全产业链交易平台的节点；节点包含数据采集节点及数据采集工作节点；
19.启动数据采集节点，数据采集节点将位置数据及服务数据的互联网协议地址及统一资源定位符，分配给各个数据采集工作节点，数据采集节点将交易、物流、金融、信息咨询及技术位置数据及服务数据和日志数据发送至数据采集工作节点；
20.数据采集工作节点接收位置数据、服务数据和日志数据，按照接收的先后顺序进行排列，并按照分拣规则进行，得到分拣后的位置数据、服务数据和日志数据，存储至数据库。
21.可选的，数据采集节点为供应商、制造商、批发商及零售商终端的节点，数据采集工作节点与终端连接，数据采集节点与数据采集工作节点交互数据。
22.可选的，位置数据、服务数据和日志数据进行存储并分析的过程，包含以下步骤：
23.接收分拣后的位置数据、服务数据和日志数据，提取出位置数据的属性，采用模型对属性进行分析，将分析后的属性与服务数据和日志数据关联，得到数据库；
24.按照属性作为一级目录，将服务数据作为二级目录，日志数据作为三级目录，以位置数据为标识存储至数据库中；
25.从数据库中调取服务数据，利用分布式文件系统对服务数据进行分析，得到供应商、制造商、批发商及零售商的状态数据。
26.可选的，状态数据包含：审批状态、合同状态、项目状态、订单状态、入库单状态、出库单状态、结算单状态、收款单状态及付款单状态。
27.可选的，得到状态数据的过程，包含以下步骤：
28.获取服务数据，将位置数据的标识符和归属于服务数据的内容存储至预存储器，终端输入服务数据的内容，与位置数据的标识符关联；
29.由终端通过预存储器下载位置数据的标识符及归属于服务数据的内容，且归属于服务数据的内容将服务数据自动布置在多个组中；
30.取得多个组中的服务数据进行分析，分析与至少一个服务数据的内容关联的特性，得到服务数据中的状态数据。
31.可选的，终端输入服务数据的内容，与位置数据的标识符关联的过程，包含以下步骤：
32.对终端输入服务数据的内容进行解析，得到服务数据对应的位置数据，形成待匹配数据集；其中内容至少包含审批、合同、项目、订单、入库单、出库单、结算单、收款单及付款单中的一种；
33.对位置数据的标识符进行解析，得到标识符信息，形成条件数据集；
34.采用数据关联模型，将待匹配数据集与条件数据集进行关联，得到输入服务数据的内容与位置数据的标识符的关联结果。
35.可选的，实现状态数据的溯源操作的过程，包含以下步骤：
36.终端发出溯源操作请求，同时输入溯源操作请求的查询条件；
37.调取位置数据及日志数据，根据查询条件以大宗供应链产业标识的知识图谱为目的，进行服务数据溯源的查找；
38.记录查找的结果、位置数据及日志数据形成溯源操作日志，并将溯源查找结果反馈至终端。
39.本发明首先全产业链交易平台的服务器对大宗供应链产业的环节，进行服务监督和数据采集，对数据进行分拣，大宗供应链产业的环节包含供应商、制造商、批发商及零售商等；服务包含交易、物流、金融、信息咨询及技术等；其次建立数据采集的数据库，对大宗供应链产业的各个环节的位置数据、服务数据和日志数据，进行存储并分析，得到各个环节的状态数据；最后将状态数据发送至移动终端，同时显示审批项目的状态；基于供应商、制造商、批发商及零售商等建立大宗供应链产业标识，根据大宗供应链产业标识建立知识图谱，结合知识图谱实现状态数据的溯源操作；上述方案通过引入大数据技术，实现对各环节
数据的快速及准确处理，提高大宗供应链产业的环节的数据处理效率，降低错误率，最重要的是建立大宗供应链产业全生命周期的数据串联和可回溯；同时提高交易效率，降低成本，加强产业链各环节的信息沟通，助力产业链整体优化，从而产生产业、经济、技术等多方面效果；本实施例的大宗供应链产业，涵盖了供应商、制造商、批发商及零售商等多个环节，为各方提供交易、物流、金融等服务，大大促进了各方的信息互通。本发明实施例可以应用在无人值守自动过磅系统、汽车自动化装车系统、机器人巡检盘库管理系统、集装箱智能识别系统、运输管理系统及铁路发运管理系统等。
40.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
41.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
42.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
43.图1为本发明实施例1中基于大数据的全产业链交易平台的数据处理方法流程图；
44.图2为本发明实施例2中服务监督的过程图；
45.图3为本发明实施例3中数据采集的过程图；
46.图4为本发明实施例4中位置数据、服务数据和日志数据进行存储并分析的过程图；
47.图5为本发明实施例5中得到状态数据的过程图；
48.图6为本发明实施例6中终端输入服务数据的内容，与位置数据的标识符关联的过程图；
49.图7为本发明实施例7中将待匹配数据集与条件数据集进行关联的过程图；
50.图8为本发明实施例8中实现状态数据的溯源操作的过程图。
具体实施方式
51.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
52.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
53.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
54.实施例1：如图1所示，本发明实施例提供了一种基于大数据的全产业链交易平台
的数据处理方法，包括以下步骤：
55.s100：全产业链交易平台的服务器对大宗供应链产业的环节，进行服务监督和数据采集，对数据进行分拣；
56.s200：建立数据采集的数据库，对大宗供应链产业的各个环节的位置数据、服务数据和日志数据，进行存储并分析，得到各个环节的状态数据；
57.s300：将状态数据发送至移动终端，同时显示审批项目的状态；基于供应商、制造商、批发商及零售商等建立大宗供应链产业标识，根据大宗供应链产业标识建立知识图谱，结合知识图谱实现状态数据的溯源操作；
58.上述技术方案的工作原理和有益效果为：本实施例首先全产业链交易平台的服务器对大宗供应链产业的环节，进行服务监督和数据采集，对数据进行分拣，大宗供应链产业的环节包含供应商、制造商、批发商及零售商等；服务包含交易、物流、金融、信息咨询及技术等；其次建立数据采集的数据库，对大宗供应链产业的各个环节的位置数据、服务数据和日志数据，进行存储并分析，得到各个环节的状态数据；最后将状态数据发送至移动终端，同时显示审批项目的状态；基于供应商、制造商、批发商及零售商等建立大宗供应链产业标识，根据大宗供应链产业标识建立知识图谱，结合知识图谱实现状态数据的溯源操作；上述方案通过引入大数据技术，实现对各环节数据的快速及准确处理，提高大宗供应链产业的环节的数据处理效率，降低错误率，最重要的是建立大宗供应链产业全生命周期的数据串联和可回溯；同时提高交易效率，降低成本，加强产业链各环节的信息沟通，助力产业链整体优化，从而产生产业、经济、技术等多方面效果；本实施例的大宗供应链产业，涵盖了供应商、制造商、批发商及零售商等多个环节，为各方提供交易、物流、金融等服务，大大促进了各方的信息互通。本发明实施例可以应用在无人值守自动过磅系统、汽车自动化装车系统、机器人巡检盘库管理系统、集装箱智能识别系统、运输管理系统及铁路发运管理系统等。
59.实施例2：如图2所示，在实施例1的基础上，本发明实施例提供的服务监督的过程，包含以下步骤：
60.s101：当供应商、制造商、批发商及零售商等终端需要与服务器建立连接时，发送数字身份标识至服务器，服务器对供应商、制造商、批发商及零售商终端的数字身份进行验证，验证通过，建立终端与服务器的交互连接；
61.s102：服务器调取终端的位置数据及服务数据，建立位置数据的第一映射表和服务数据的第二映射表；将预设数量范围之内的第一映射表和第二映射表存放至服务器的内存中，将未存放在服务器的内存中的第一映射表和第二映射表存放至非易失存储内存中；
62.s103：根据第一映射表和第二映射表建立每个终端的服务对应图，建立每个终端的服务模块集合，按照服务模块集合中各服务项的优先级，得到每个终端的服务执行路径；
63.s104：根据服务执行路径，计算每个终端组合服务的可靠度；
64.上述技术方案的工作原理和有益效果为：本实施例首先当供应商、制造商、批发商及零售商等终端需要与服务器建立连接时，发送数字身份标识至服务器，服务器对供应商、制造商、批发商及零售商等终端的数字身份进行验证，验证通过，建立终端与服务器的交互连接；其次服务器调取终端的位置数据及服务数据，建立位置数据的第一映射表和服务数据的第二映射表；将预设数量范围之内的第一映射表和第二映射表存放至服务器的内存中，将未存放在服务器的内存中的第一映射表和第二映射表存放至非易失存储内存中；然
后根据第一映射表和第二映射表建立每个终端的服务对应图，建立每个终端的服务模块集合，按照服务模块集合中各服务项的优先级，得到每个终端的服务执行路径；最后根据服务执行路径，计算每个终端组合服务的可靠度；上述方案通过数字身份标识实现终端与服务器的安全连接，实现了数据交换的隐私性；通过建立位置数据的第一映射表和服务数据的第二映射表，实现了各个供应商、制造商、批发商及零售商等终端的位置及服务的对应关系，有助于对每个终端的独自监督，便于及时查找出存在问题的终端，及时发现问题，提高全产业链交易的效率；通过可靠度的计算实现了对各个终端的服务监督，保证了各个终端的服务效果，直观反应终端哪些服务项目存在问题，保证了全产业链交易平台的运行效率。
65.实施例3：如图3所示，在实施例1的基础上，本发明实施例提供的数据采集的过程，包含以下步骤：
66.s105：采用容器引擎podman创建镜像容器，由镜像容器构建全产业链交易平台的节点，节点包含数据采集节点及数据采集工作节点；
67.s106：启动数据采集节点，数据采集节点将位置数据及服务数据的互联网协议地址及统一资源定位符，分配给各个数据采集工作节点，数据采集节点将交易、物流、金融、信息咨询及技术等位置数据及服务数据和日志数据发送至数据采集工作节点；
68.s107：数据采集工作节点接收位置数据、服务数据和日志数据，按照接收的先后顺序进行排列，并按照分拣规则进行，得到分拣后的位置数据、服务数据和日志数据，存储至数据库；
69.上述技术方案的工作原理和有益效果为：本发明实施例首先采用容器引擎podman创建镜像容器，由镜像容器构建全产业链交易平台的节点，节点包含数据采集节点及数据采集工作节点；节点包含供应商、制造商、批发商及零售商等终端的数据采集节点，及与终端连接的数据采集工作节点，数据采集节点与数据采集工作节点交互数据；节点包含供应商、制造商、批发商及零售商等终端的数据采集节点，及与终端连接的数据采集工作节点，数据采集节点与数据采集工作节点交互数据；其次启动数据采集节点，数据采集节点将位置数据及服务数据的互联网协议地址及统一资源定位符分配给各个数据采集工作节点，数据采集节点将交易、物流、金融、信息咨询及技术等数据和日志数据发送至数据采集工作节点；最后数据采集工作节点接收交易、物流、金融、信息咨询及技术等数据和日志数据，按照接收的先后顺序进行排列，并按照分拣规则进行，得到分拣后的交易、物流、金融、信息咨询及技术等数据和日志数据，存储至数据库；上述方案设置全产业链交易平台的节点，将终端作为数据采集的起点，能够提升全产业链交易平台数据采集的真实性及实时性，采集数据的同时将位置数据及服务数据一起采集，有助于提升数据来源的追溯性，有效保证全产业链交易平台的规范化管理；同时将位置数据、服务数据和日志数据进行排列并分拣，有效保证了数据的正确性，提升了原始数据采集的精度。
70.实施例4：如图4所示，在实施例1的基础上，本发明实施例提供的位置数据、服务数据和日志数据进行存储并分析的过程，包含以下步骤：
71.s201：接收分拣后的位置数据、服务数据和日志数据，提取出位置数据的属性，采用模型对属性进行分析，将分析后的属性与服务数据和日志数据关联，得到数据库；
72.s202：按照属性作为一级目录，将服务数据作为二级目录，日志数据作为三级目录，以位置数据为标识存储至数据库中；
73.s203：从数据库中调取服务数据，利用分布式文件系统对服务数据进行分析，得到供应商、制造商、批发商及零售商等的状态数据；
74.上述技术方案的工作原理和有益效果为：本实施例首先接收分拣后的位置数据、服务数据和日志数据，提取出位置数据的属性，采用模型对属性进行分析，将分析后的属性与服务数据和日志数据关联，得到数据库；其次按照属性作为一级目录，将服务数据作为二级目录，日志数据作为三级目录，以位置数据为标识存储至数据库中；最后从数据库中调取服务数据，利用分布式文件系统对服务数据进行分析，得到供应商、制造商、批发商及零售商等的状态数据，状态数据包含：审批状态、合同状态、项目状态、订单状态、入库单状态、出库单状态、结算单状态、收款单状态及付款单状态等；上述方案建立了属性与服务数据和日志数据关联的数据库，实现了由针对性的数据存储，一方面保证了数据的安全性，另一方面实现了以不同位置终端数据的存储，以位置数据为标识，进行各个数据的存储，以属性、服务数据集日志数据为各级目录，有效保证数据存储的有序性，便于数据的调取及查找，同时保证了数据的完整性；利用分布式文件系统对服务数据进行分析，得到供应商、制造商、批发商及零售商等的状态数据，能够及时的发现各个环节的状态数据的进程，保证全产业链交易平台的正常运行，保证交易的有效性。
75.实施例5：如图5所示，在实施例4的基础上，本发明实施例提供的得到状态数据的过程，包含以下步骤：
76.s2031：获取服务数据，将位置数据的标识符和归属于服务数据的内容存储至预存储器，终端输入服务数据的内容，与位置数据的标识符关联；
77.s2032：由终端通过预存储器下载位置数据的标识符及归属于服务数据的内容，且归属于服务数据的内容将服务数据自动布置在多个组中；
78.s2033：取得多个组中的服务数据进行分析，分析与至少一个服务数据的内容关联的特性，得到服务数据中的状态数据；
79.上述技术方案的工作原理和有益效果为：本实施例首先获取服务数据，将位置数据的标识符和归属于服务数据的内容存储至预存储器，终端输入服务数据的内容，与位置数据的标识符关联；其次由终端通过预存储器下载位置数据的标识符及归属于服务数据的内容，且归属于服务数据的内容将服务数据自动布置在多个组中；最后取得多个组中的服务数据进行分析，分析与至少一个服务数据的内容关联的特性，得到服务数据中的状态数据；上述方案通过采用分布式文件系统将服务数据的内容进行分组，实现了服务数据中项目的自动布置，并实现与服务数据与项目的关联，进而得到状态数据，最终得到审批状态、合同状态、项目状态、订单状态、入库单状态、出库单状态、结算单状态、收款单状态及付款单状态等，对全产业链交易的全流程及全生命周期的监控，保障交易过程中的效率。
80.实施例6：如图6所示，在实施例5的基础上，本发明实施例提供的终端输入服务数据的内容，与位置数据的标识符关联的过程，包含以下步骤：
81.s20311：对终端输入服务数据的内容进行解析，得到服务数据对应的位置数据，形成待匹配数据集；其中内容至少包含审批、合同、项目、订单、入库单、出库单、结算单、收款单及付款单中的一种；
82.s20312：对位置数据的标识符进行解析，得到标识符信息，形成条件数据集；
83.s20313：采用数据关联模型，将待匹配数据集与条件数据集进行关联，得到输入服
务数据的内容与位置数据的标识符的关联结果；
84.上述技术方案的工作原理和有益效果为：本实施例首先对终端输入服务数据的内容进行解析，得到服务数据对应的位置数据，形成待匹配数据集；其中内容至少包含审批、合同、项目、订单、入库单、出库单、结算单、收款单及付款单中的一种；其次对位置数据的标识符进行解析，得到标识符信息，形成条件数据集；最后采用数据关联模型，将待匹配数据集与条件数据集进行关联，得到输入服务数据的内容与位置数据的标识符的关联结果；上述方案实现了内容与标识符的关联，能够准确的识别服务数据来自哪一个终端，同时准确的得到各个环节的服务数据存在的问题，全方位的了解交易数据的处理全过程，有效的提升数据溯源查找的效率。
85.实施例7：如图7所示，在实施例6的基础上，本发明实施例提供的将待匹配数据集与条件数据集进行关联的过程，包含以下步骤：
86.s203131：获取条件数据集，采用条件数据集对数据关联模型进行训练，得到经过训练的数据关联模型；
87.s203132：根据数据关联模型的关联规则，将待匹配数据集输入数据关联模型，得到输入服务数据的内容与位置数据的标识符的关联结果；
88.上述技术方案的工作原理和有益效果为：本实施例首先获取条件数据集，采用条件数据集对数据关联模型进行训练，得到经过训练的数据关联模型；其次根据数据关联模型的关联规则，将待匹配数据集输入数据关联模型，得到输入服务数据的内容与位置数据的标识符的关联结果；上述方案通过数据关联模型实现了待匹配数据集的匹配，提高了关联结果的准确性，通过条件数据集作为数据关联模型的训练集，提高了数据关联模型的训练精度，能够有效提升关联结果的效率和品质。
89.实施例8：如图8所示，在实施例1的基础上，本发明实施例提供的实现状态数据的溯源操作的过程，包含以下步骤：
90.s301：终端发出溯源操作请求，同时输入溯源操作请求的查询条件；
91.s302：调取位置数据及日志数据，根据查询条件以大宗供应链产业标识的知识图谱为目的，进行服务数据溯源的查找；
92.s303：记录查找的结果、位置数据及日志数据形成溯源操作日志，并将溯源查找结果反馈至终端；
93.上述技术方案的工作原理和有益效果为：本实施例首先终端发出溯源操作请求，同时输入溯源操作请求的查询条件；其次调取位置数据及日志数据，根据查询条件以大宗供应链产业标识的知识图谱为目的，进行服务数据溯源的查找；最后记录查找的结果、位置数据及日志数据形成溯源操作日志，并将溯源查找结果反馈至终端；上述方案通过溯源操作实现了全产业两交易的数据的全生命周期的操作，能够快速的查找服务数据的来源，还形成了溯源操作日志，便于后期对全产业链交易平台进行维护和升级。
94.实施例9：在实施例1的基础上，本发明实施例提供的数据库存储的位置数据、服务数据和日志数据，按照置乱规则存储值安全性更高的虚拟空间中；
95.其中，用集合z表示位置数据、服务数据和日志数据的数据总量，则：
96.x＝{x1,x2,x3}
97.时钟，x1表示位置数据，x2表示服务数据，x3表示日志数据；
98.数据库中虚拟映射控制因子的表达式为：
[0099][0100]
式中，μ表示数据库虚拟空间中位置数据、服务数据和日志数据的映射控制因子，m表示哈希算法的迭代次数，表示利用哈希算法访问数据库时的浮动参数；
[0101]
数据库中的置乱规则定义为：
[0102][0103]
其中，d表示数据库的虚拟存储空间，sd(z)表示数据总量z的置乱程度，(i,j)表示虚拟空间中数据存储节点的横坐标和纵坐标；γ是一个函数，用来表示虚拟空间中数据存储节点的横坐标和纵坐标之间的关系；m表示所有虚拟空间中数据存储节点的横坐标；n表示所有虚拟空间中数据存储节点的纵坐标；
[0104]
上述技术方案的工作原理和有益效果为：上述方案通过计算得到了位置数据、服务数据和日志数据的虚拟存储空间，对数据库的虚拟存储空间的容量进行了设计，保证了位置数据、服务数据和日志数据能够由足够的容量进行存储，解决了平台的数据存储问题，另外根据不同的类别的数据进行存储，便于提升数据管理的效率；通过对置乱规则的定义，实现了位置数据、服务数据和日志数据存储的安全性，与以往的加密方法相比，安全性更高。
[0105]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种基于大数据的全产业链交易平台的数据处理方法，其特征在于，包括以下步骤：全产业链交易平台的服务器对大宗供应链产业的环节，进行服务监督和数据采集，对数据进行分拣；建立数据采集的数据库，对大宗供应链产业的各个环节的位置数据、服务数据和日志数据，进行存储并分析，得到各个环节的状态数据；将状态数据发送至移动终端，同时显示审批项目的状态；基于供应商、制造商、批发商及零售商建立大宗供应链产业标识，根据大宗供应链产业标识建立知识图谱，结合知识图谱实现状态数据的溯源操作。2.如权利要求1所述的基于大数据的全产业链交易平台的数据处理方法，其特征在于，大宗供应链产业的环节包含供应商、制造商、批发商及零售商；服务包含交易、物流、金融、信息咨询及技术。3.如权利要求1所述的基于大数据的全产业链交易平台的数据处理方法，其特征在于，服务监督的过程，包含以下步骤：当供应商、制造商、批发商及零售商终端需要与服务器建立连接时，发送数字身份标识至服务器，服务器对供应商、制造商、批发商及零售商终端的数字身份进行验证，验证通过，建立终端与服务器的交互连接；服务器调取终端的位置数据及服务数据，建立位置数据的第一映射表和服务数据的第二映射表；将预设数量范围之内的第一映射表和第二映射表存放至服务器的内存中，将未存放在服务器的内存中的第一映射表和第二映射表存放至非易失存储内存中；根据第一映射表和第二映射表建立每个终端的服务对应图，建立每个终端的服务模块集合，按照服务模块集合中各服务项的优先级，得到每个终端的服务执行路径；根据服务执行路径，计算每个终端组合服务的可靠度。4.如权利要求1所述的基于大数据的全产业链交易平台的数据处理方法，其特征在于，数据采集的过程，包含以下步骤：采用容器引擎podman创建镜像容器，由镜像容器构建全产业链交易平台的节点；节点包含数据采集节点及数据采集工作节点；启动数据采集节点，数据采集节点将位置数据及服务数据的互联网协议地址及统一资源定位符，分配给各个数据采集工作节点，数据采集节点将交易、物流、金融、信息咨询及技术位置数据及服务数据和日志数据发送至数据采集工作节点；数据采集工作节点接收位置数据、服务数据和日志数据，按照接收的先后顺序进行排列，并按照分拣规则进行，得到分拣后的位置数据、服务数据和日志数据，存储至数据库。5.如权利要求4所述的基于大数据的全产业链交易平台的数据处理方法，其特征在于，数据采集节点为供应商、制造商、批发商及零售商终端的节点，数据采集工作节点与终端连接，数据采集节点与数据采集工作节点交互数据。6.如权利要求1所述的基于大数据的全产业链交易平台的数据处理方法，其特征在于，位置数据、服务数据和日志数据进行存储并分析的过程，包含以下步骤：接收分拣后的位置数据、服务数据和日志数据，提取出位置数据的属性，采用模型对属性进行分析，将分析后的属性与服务数据和日志数据关联，得到数据库；按照属性作为一级目录，将服务数据作为二级目录，日志数据作为三级目录，以位置数
据为标识存储至数据库中；从数据库中调取服务数据，利用分布式文件系统对服务数据进行分析，得到供应商、制造商、批发商及零售商的状态数据。7.如权利要求6所述的基于大数据的全产业链交易平台的数据处理方法，其特征在于，状态数据包含：审批状态、合同状态、项目状态、订单状态、入库单状态、出库单状态、结算单状态、收款单状态及付款单状态。8.如权利要求6所述的基于大数据的全产业链交易平台的数据处理方法，其特征在于，得到状态数据的过程，包含以下步骤：获取服务数据，将位置数据的标识符和归属于服务数据的内容存储至预存储器，终端输入服务数据的内容，与位置数据的标识符关联；由终端通过预存储器下载位置数据的标识符及归属于服务数据的内容，且归属于服务数据的内容将服务数据自动布置在多个组中；取得多个组中的服务数据进行分析，分析与至少一个服务数据的内容关联的特性，得到服务数据中的状态数据。9.如权利要求8所述的基于大数据的全产业链交易平台的数据处理方法，其特征在于，终端输入服务数据的内容，与位置数据的标识符关联的过程，包含以下步骤：对终端输入服务数据的内容进行解析，得到服务数据对应的位置数据，形成待匹配数据集；其中内容至少包含审批、合同、项目、订单、入库单、出库单、结算单、收款单及付款单中的一种；对位置数据的标识符进行解析，得到标识符信息，形成条件数据集；采用数据关联模型，将待匹配数据集与条件数据集进行关联，得到输入服务数据的内容与位置数据的标识符的关联结果。10.如权利要求1所述的基于大数据的全产业链交易平台的数据处理方法，其特征在于，实现状态数据的溯源操作的过程，包含以下步骤：终端发出溯源操作请求，同时输入溯源操作请求的查询条件；调取位置数据及日志数据，根据查询条件以大宗供应链产业标识的知识图谱为目的，进行服务数据溯源的查找；记录查找的结果、位置数据及日志数据形成溯源操作日志，并将溯源查找结果反馈至终端。

技术总结
本发明提供了一种基于大数据的全产业链交易平台的数据处理方法，方法包括：全产业链交易平台的服务器对大宗供应链产业的环节，进行服务监督和数据采集，对数据进行分拣；建立数据采集的数据库，对大宗供应链产业的各个环节的位置数据、服务数据和日志数据，进行存储并分析，得到各个环节的状态数据；将状态数据发送至移动终端，同时显示审批项目的状态；基于供应商、制造商、批发商及零售商等建立大宗供应链产业标识，根据大宗供应链产业标识建立知识图谱，结合知识图谱实现状态数据的溯源操作。本发明通过引入大数据技术，实现对各环节数据的快速及准确处理，提高数据处理效率，建立大宗供应链产业全生命周期的数据串联和可回溯。回溯。回溯。


技术研发人员：孟凯 蔡颖
受保护的技术使用者：中资国恒科技有限公司
技术研发日：2023.08.14
技术公布日：2023/10/19