模型的准确度确定方法、装置及网络侧设备与流程

1.本技术属于移动通信技术领域，具体涉及一种模型的准确度确定方法、装置及网络侧设备。


背景技术：

2.在通信网络中，引入了一些网元用于进行智能化数据分析，并生成一些任务的数据分析结果(analytics)(或称之为推理数据结果)，该数据分析结果可以辅助网内外设备进行策略决策，目的在于利用人工智能(artificial intelligence，ai)方法提升设备策略决策的智能化程度。
3.网络数据分析功能(network data analytics function，nwdaf)可以基于训练数据进行ai或机器学习(machine learning，ml)模型训练,获取适用于某ai任务对应的模型。基于ai/ml模型对某ai任务的推理输入数据进行推理，获得某具体ai任务对应的推理结果数据。策略控制功能实体(policy control function，pcf)基于推理结果数据执行智能的策略控制和计费(policy control and charging，pcc)，例如根据用户业务行为的推理结果数据制定智能的用户驻留策略，提升用户的业务体验；或者，接入和移动管理功能(access and mobility management function，amf)基于某ai任务的推理结果数据执行智能化的移动性管理操作，例如根据用户的移动轨迹的推理结果数据智能寻呼用户，提升寻呼可达率。
4.网内外设备根据ai数据分析结果做成正确的、优化的策略决策，前提是需要基于正确的数据分析结果的。倘若，数据分析结果的准确率比较低，其作为错误信息被提供给网内外设备参考，则最终会做成的错误的策略决策或执行不合适的操作。因此保证数据分析结果的准确度是必须的。
5.虽然模型在训练阶段的准确度(accuracy in training，ait)满足了该模型的准确度需求，无法确定该模型在投入实际使用推理的准确度(accuracy in use，aiu)同样能达到的准确度需求，可能因为数据分布不同、模型泛化能力不足等原因而存在差距，导致该模型得到的推理结果数据的准确度比较低，在被提供给网内外设备参考时，容易做出错误的策略决策或执行不合适的操作。


技术实现要素：

6.本技术实施例提供一种模型的准确度确定方法、装置及网络侧设备，能够解决模型得到的推理结果数据的准确率比较低的问题。
7.第一方面，提供了一种模型的准确度确定方法，应用于第一网元，该方法包括：
8.第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；
9.所述第一网元确定所述任务对应的推理结果数据的准确度信息；
10.所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于
指示所述任务对应的推理结果数据的准确度信息；
11.其中，所述第一网元为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。
12.第二方面，提供了一种模型的准确度确定装置，包括：
13.接收模块，用于从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；
14.执行模块，用于确定所述任务对应的推理结果数据的准确度信息；
15.发送模块，用于向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；
16.其中，所述模型的准确度确定装置为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。
17.第三方面，提供了一种模型的准确度确定方法，应用于第二网元，该方法包括：
18.第二网元基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；
19.所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
20.第四方面，提供了一种模型的准确度确定装置，包括：
21.推理模块，用于基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；
22.传输模块，用于从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
23.第五方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法，或者实现如第三方面所述的方法的步骤。
24.第六方面，提供了一种模型的准确度确定系统，包括：网络侧设备，所述网络设备包括第一网元和第二网元，所述第一网元可用于执行如第一方面所述的模型的准确度确定方法的步骤，所述第二网元可用于执行如第三方面所述的模型的准确度确定方法的步骤。
25.第七方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
26.第八方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或实现如第三方面所述的方法。
27.第九方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的模型的准确度确定方法，或者实现如第三方面所述的模型的准确度确定方法的步骤。
28.在本技术实施例中，通过第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；所述第一网元确定所述任务对应的推理结果数据的准确度信息；所述第一网元向所述第二网元和/或第
logical function，anlf)和模型训练逻辑网元(model training logical function，mtlf)。
47.在另一种实施方式中，所述第二网元包括模型推理功能的网元，第三网元包括模型训练功能网元，例如所述第二网元为anlf，所述第三网元为mtlf。
48.若以nwdaf为第二网元，则下述实施例中的第二网元与第三网元可以为同一网元，即所述mtlf和anlf合并为nwdaf。
49.为了简便起见，在下面的实施例中均以consumer nf为第一网元，anlf为第二网元，mtlf为第三网元为例进行举例说明。
50.在步骤s210之前，所述方法可以包括：
51.consumer nf向anlf发送任务请求消息，所述任务请求消息用于请求对任务进行推理。
52.anlf根据所述任务请求消息，基于与所述任务对应的第一模型对所述任务进行推理，以得到推理结果数据，并反馈给consumer nf。
53.应理解的是，所述第一模型可以根据实际的需要进行构建和训练，例如ai/ml模型。由mtlf采集训练数据，并基于所述训练数据进行模型训练。在训练完成后，mtlf将训练后的第一模型的信息发送至anlf，以使anlf可以基于所述第一模型对所述任务进行推理，得到推理结果数据。
54.应理解的是，所述任务是数据分析任务，用于指示一种任务类型而非单次任务，在触发所述任务后，anlf可以根据所述任务的标识信息(analytics id)等，确定与所述任务对应的第一模型，然后基于对应的第一模型对所述任务进行推理，得到推理结果数据。例如，若所述任务的analytics id＝ue mobility，用于预测终端(也称为用户设备(user equipment，ue))的移动轨迹，则anlf可基于与ue mobiltiy对应的第一模型对任务进行推理，得到的推理结果数据为预测的终端位置(ue location)信息。
55.anlf可以基于第一模型对任务进行一次或多次推理，以得到多个推理结果数据，或包括多个输出结果值的推理结果数据。
56.应理解的是，所述任务也可以是由anlf主动触发，例如，通过设置一个验证测试阶段，在所述验证测试阶段中由anlf主动模拟触发任务，用于测试所述第一模型的准确度。
57.s220、所述第一网元确定所述任务对应的推理结果数据的准确度信息。
58.所述任务对应的推理结果数据的准确度信息的确定方法可以多种多样，在一种实施方式中，consumer nf可以通过计算与所述任务对应的推理结果数据在本地的准确度来确定所述任务的推理结果数据的准确度信息，也称为计算本地aiu(local aiu)。
59.在一种实施方式中，所述步骤s220包括：
60.所述第一网元获取与所述推理结果数据对应的标签数据；
61.所述第一网元根据所述推理结果数据和所述标签数据，确定所述任务对应的推理结果数据的准确度信息。
62.在一种实施方式中，所述任务对应的推理结果数据的准确度信息包括：
63.所述推理结果数据中和所述标签数据是否一致的比较结果信息。
64.在一种实施方式中，所述比较结果信息包括以下至少一项：
65.与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
66.与标签数据不一致的推理结果数据对应的第一数据，即仅需要传输比较结果不一致时所对应的所述任务的第一数据，从而减少数据的传输量。
67.具体可以通过比较推理结果数据与对应的标签数据，来确定推理结果数据中与对应的标签数据一致的推理结果数据的第一数量，将第一数量除以总的推理结果数据的数量得到所述比例值信息，公式表示如下：
68.比例值信息＝第一数量
÷
总的推理结果数量的数量
69.其中，所述推理结果数据与标签数据一致可以为所述推理结果数据与对应的标签数据相同或相近，例如，在同一区域内，或者，推理结果数据与对应的标签结果数据在允许范围内。
70.所述比例值信息的表现形式可以多种多样，不限于具体的百分比数值，例如90％，还可以是分类表达形式，例如高、中、低等，或者归一化后的数据，例如0.9。
71.应理解的是，与标签数据不一致的推理结果数据对应的第一数据，具体可以包括以下至少一项：
72.与标签数据不一致的推理结果数据；
73.与标签数据不一致的推理结果数据对应的标签数据；
74.与标签数据不一致的推理结果数据对应的输入数据。
75.在一种实施方式中，所述第一网元获取所述推理结果数据对应的标签数据包括：
76.所述第一网元确定所述任务对应的标签数据的来源设备；
77.所述第一网元从所述来源设备获取所述标签数据。
78.其中，所述标签数据的来源设备可以由consumer nf根据所述推理结果数据的类型信息、所述任务的限定条件信息和对象信息等确定。
79.s230、所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，所述第三网元为提供所述第一模型的网元。
80.在一种实施方式中，所述第一信息包括：
81.所述任务对应的推理结果数据的准确度信息；
82.所述任务对应的第一数据；
83.其中，所述第一数据包括以下至少一项：
84.所述任务对应的推理输入数据；
85.所述任务对应的推理结果数据；
86.所述任务对应的标签数据。
87.anlf在接收到所述第一信息之后，可根据所述任务对应的推理结果数据的准确度信息，确定与所述任务对应的第一模型，并执行后续操作，例如，向mtlf发送指示所述第一模型的准确度不满足准确度需求或下降的信息，或者，停止使用所述第一模型等。
88.mtlf在接收到所述第一信息之后，可根据所述任务对应的推理结果数据的准确度信息，确定与所述任务对应的第一模型，并执行后续操作，例如，对所述第一模型进行重新训练等。
89.由上述实施例的技术方案可知，本技术实施例通过第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推
理得到的；所述第一网元确定所述任务对应的推理结果数据的准确度信息；所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
90.基于上述实施例，进一步地，如图3所示，所述模型的准确度确定方法包括以下步骤。
91.所述mtlf对所述第一模型进行训练的过程包括步骤a1-a2。
92.步骤a1.mtlf从训练数据来源设备采集训练数据。
93.步骤a2.mtlf基于所述训练数据对第一模型进行训练。
94.步骤a3.consumer nf向所述anlf发送任务请求消息，所述任务请求消息用于请求对所述任务进行推理，从而触发anlf基于与所述任务对应的第一模型执行对所述任务的推理过程。
95.所述任务请求消息包含所述任务的描述信息，所述任务的描述信息可以多种多样，可以包括所述任务的标识信息、所述任务的限定条件信息(analytics filter information)，所述任务的对象信息(analytics target)等。通过所述任务的描述信息可以确定所述任务所涉及的对象和范围等。
96.所述任务的限定条件信息用于限定所述任务执行的范围，可以包括时间范围和区域范围等。
97.所述任务的对象信息用于指明所述任务针对的对象，例如，某一终端标识(ue id)，某一终端组标识(ue group id)或者任意终端(any ud)
98.所述anlf可以根据所述任务请求消息向mtlf请求模型，从所述mtlf获取第一模型的信息和所述第一模型的第二准确度。
99.步骤a4.anlf根据所述任务请求信息，向mtlf发送请求模型的消息。
100.步骤a5.在完成对所述第一模型的训练后，mtlf可以将训练后的第一模型的信息发送到anlf。
101.在一种实施方式中，具体携带所述第一模型的信息的消息可以为nnwdaf_mlmodelprovision_notify或nnwdaf_mlmodelinfo_response消息。
102.在一种实施方式中，在步骤a2所述第一模型的训练阶段或者训练后的测试阶段中，mtlf需要评估所述第一模型的准确度，计算所述第一模型的第二准确度，即ait。所述第二准确度可以采用与第一准确度相同的计算公式获取。具体地，mtlf可以设置一个验证数据集用于评估所述第一模型的第二准确度，该验证数据集中包括用于所述第一模型的输入数据和对应的标签数据，mtlf将输入数据输入训练后的第一模型得到输出数据，再比较输出数据与标签数据是否一致，进而根据上述公式计算得到所述第一模型的第二准确度。
103.相应地，在一种实施方式中，在步骤a5向anlf发送所述第一模型的信息时，mtlf还可以同时发送所述第一模型的第二准确度，或者通过独立的消息向anlf发送所述第一模型的第二准确度。
104.在一种实施方式中，所述步骤a1-a2可以位于步骤a4之后，即mtlf在接收anlf发送的请求模型的消息后，再对与所述任务对应的第一模型进行训练，并将训练后的第一模型的消息发送给anlf。
105.步骤a6.anlf获取所述任务对应的推理输入数据。
106.在一种实施方式中，在获取所述任务对应的推理输入数据之前，所述步骤a6还包括：
107.anlf根据接收到的任务请求消息，确定以下至少一种相关信息：
108.所述任务对应的第一模型；
109.所述第一模型的输入数据的类型信息；
110.所述第一模型的输出数据的类型信息；
111.所述任务对应的推理输入数据的来源设备；
112.所述任务对应的标签数据的来源设备。
113.其中，所述任务对应的第一模型，可以通过任务请求消息中的analytics id指示的任务类型，来确定所述任务需要使用的第一模型；或者，可以通过analytics id与第一模型的映射关系确定；其中，可用模型的标识信息(model id)来表示第一模型，例如model 1。
114.所述第一模型的输入数据的类型信息也可以称为模型的元数据(metadata)信息，例如输入数据可以包括终端标识(ue id)、时间和终端当前业务状态等。
115.所述第一模型的输出数据的类型信息包括数据类型(data type)，例如用于指示ue location的跟踪区域(tracking area，ta)或小区(cell)。
116.所述任务对应的推理输入数据的来源设备，具体可以由anlf根据所述任务请求消息中的analytics filter information和analytics target等信息确定所述任务涉及的对象和范围，再根据对象和范围以及metadata信息，确定可获取所述任务对应的推理输入数据的网元作为所述任务对应的推理输入数据的来源设备。
117.所述任务对应的标签数据的来源设备，具体可以由anlf根据所述第一模型的输出数据的类型信息确定可提供所述输出数据的网元设备类型(nf type)，再根据所述任务的限定条件信息和对象信息等确定该网元设备类型对应的具体网元实例(instance)，并将该网元实例作为标签数据的来源设备。例如，根据与任务ue mobility对应的第一模型的输出数据的数据类型＝ue location，anlf确定可以由网元设备类型amf type提供ue location的数据，anlf再根据任务的限定条件信息aoi等、以及所述任务的对象ue1，从统一数据管理实体(unified data management，udm)或网络存储功能(network repository function，nrf)查询对应的amf instance是amf 1，从而anlf将amf 1作为标签数据的来源设备，并后续从amf1中获取ue location的标签数据。
118.anlf在确定所述任务的推理输入数据的来源设备之后，向所述推理输入数据的来源设备发送推理输入数据的请求消息，用于采集所述任务对应的推理输入数据。
119.步骤a7.anlf基于获取的第一模型，对所述任务的对应的推理输入数据进行推理，得到推理结果数据(analytics output)。
120.例如，anlf基于与analytics id＝ue mobility对应的第一模型，对与所述任务对应的推理输入数据，例如ue id、时间、ue当前业务状态等数值，进行推理，得到推理结果数据为ue location的输出数据。
121.在一种实施方式中，如图3所示，所述步骤s210包括步骤a8。
122.步骤a8.anlf将经过推理得到的推理结果数据发送给与所述任务对应一个或多个consumer nf。
123.通过所述推理结果数据可用于告知consumer nf与analytics id对应的第一模型通过推理得到的统计或预测值，用于辅助consumer nf执行相应的策略决策。例如，ue mobility对应的统计或预测值可用于辅助amf进行用户寻呼优化。
124.在一种实施方式中，具体携带所述推理结果数据的消息可以为nnwdaf_analyticssubscription_notify或nnwdaf_analyticsinfo_response消息。
125.在一种实施方式中，如图3所示，所述步骤s220包括步骤a9-a10。
126.步骤a9.consumer nf获取与所述推理结果数据对应的标签数据。
127.在一种实施方式中，consumer nf具体请求获取所述标签数据的消息可以为nnf_eventexposure_subscirbe消息。
128.在一种实施方式中，所述步骤a9包括：
129.所述第一网元确定所述任务对应的标签数据的来源设备，所述标签数据的来源设备确定方法可以采用如步骤a6中anlf确定标签数据的来源设备相似的方法，例如，可以根据输出结果数据的类型信息确定可提供所述输出数据的网元设备类型，再根据所述任务的限定条件信息和对象信息等确定该网元设备类型对应的具体网元实例，并将该网元实例作为标签数据的来源设备。
130.所述第一网元从所述来源设备获取所述标签数据。
131.具体地，consumer nf可以通过向标签数据的来源设备发送标签数据的请求消息，其中包括所述标签数据的类型信息、标签数据对应的对象信息、时间信息(例如时间戳、时间段)等，用于向所述标签数据的来源设备确定反馈哪些标签数据。
132.所述标签数据的请求消息中的标签数据的类型信息、标签数据对应的对象信息、时间信息等，可以分别由consumer nf根据所述输出结果数据的类型信息、所述任务的对象信息、和所述任务的限定条件信息等确定。具体地consumer nf可以根据所述输出结果数据的类型信息确定需要获取的标签数据的类型信息；consumer nf可以根据所述任务的对象信息确定需要获取的标签数据的对象信息；若consumer nf根据所述任务的限定条件信息确定所述任务的推理过程是针对过去某一时间所做的统计计算或未来某一时间所做的预测，则consumer nf还需要获取所述过去某一时间或未来某一时间对应的标签数据。
133.例如，consumer nf向amf或位置管理功能(location management function，lmf)发送标签数据的请求消息，其中携带标签数据对应的数据类型＝ue location，对象信息＝ue 1和时间信息＝某一具体时间段，用于请求amf/lmf反馈ue1在某一具体时间段内的ue location的数据。
134.应理解的是，若步骤a8中，anlf通过执行一次或多次推理过程获得了多个推理结果数据，则consumer nf对应需要获取与所述多个推理结果数据对应的多个标签数据。
135.a10.consumer nf根据所述推理结果数据和所述标签数据，确定所述任务对应的推理结果数据的准确度信息。
136.在一种实施方式中，所述任务对应的推理结果数据的准确度信息包括：
137.所述推理结果数据中和所述标签数据是否一致的比较结果信息。
138.在一种实施方式中，所述比较结果信息包括以下至少一项：
139.与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
140.与标签数据不一致的推理结果数据对应的第一数据。
141.在一种实施方式中，所述步骤s230包括步骤a11。
142.a11.consumer nf向anlf或mtlf发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
143.在一种实施方式中，所述第一信息包括：
144.所述任务对应的推理结果数据的准确度信息；
145.所述任务对应的第一数据；
146.其中，所述第一数据包括以下至少一项：
147.所述任务对应的推理输入数据；
148.所述任务对应的推理结果数据；
149.所述任务对应的标签数据。
150.在一种实施方式中，在执行步骤a11之前，所述方法还包括：
151.所述第一网元确定所述任务对应的推理结果数据的准确度信息达到第一预设条件；
152.其中，所述第一预设条件包括以下条件至少之一：
153.所述推理结果数据与所述标签数据不一致；
154.所述与标签数据一致的推理结果数据占总推理结果数据的比例值低于第一阈值。
155.在一种实施方式中，anlf在接收到所述第一信息之后，可以执行步骤a13。
156.a13.所述anlf向提供所述第一模型的mtlf发送第三信息，所述第三信息用于指示所述第一模型的准确度不满足准确度需求或下降。
157.在一种实施方式中，所述第三信息可以包括以下至少一项：
158.所述第一模型的标识信息，例如modelid；
159.所述任务的标识信息，例如analyticsid；
160.所述任务的条件限定信息，用于指示所述第一信息所涉及的范围，也即所述第一模型出现准确度不满足准确度需求或下降时所涉及的任务的对象和范围，包括：时间范围、区域范围和对象范围等；
161.所述第一模型的准确度不满足准确度需求或下降的指示信息；
162.对所述第一模型进行重新训练的请求指示信息，用于指示mtlf对所述第一模型进行重新训练；
163.模型重新请求的指示信息，用于请求mtlf重新提供可用于对所述任务进行推理的模型，该模型可以是重新训练后的第一模型，也可以是其它模型；
164.所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练。
165.在一种实施方式中，在执行步骤a13之前，所述anlf还可以执行步骤a12。
166.步骤a12.anlf根据接收到的第一信息，确定所述第一模型的第一准确度。
167.所述第一准确度的计算方法可以多种多样，本技术实施例仅给出了其中的几种具体实施方式。
168.在一种实施方式中，所述第一准确度可以根据所述准确度信息中的比例值确定，例如第一准确度可以与所述任务对应比例值的加权计算结果，即可以是将从不同consumer nf接收到的对于同一任务的比例值进行加权计算，或者将对同一任务进行的多次推理后分别接收到的多个比例值进行加权计算。
169.在另一种实施方式中，所述第一准确度可以根据所述任务的第一数据得到，例如，可以根据所述任务的推理结果数据和标签数据，计算得到所述第一准确度。
170.anlf确定所述第一准确度是否满足第二预设条件，并且在所述第一准确度满足第二预设条件的情况下执行步骤a13，向mtlf发送第三信息，所述第三信息还可以包括所述第一准确度。
171.所述第二预设条件可以根据实际的需要进行设定，在一种实施方式中，所述第二预设条件包括以下条件至少之一：
172.所述第一准确度低于第二阈值；
173.所述第一准确度低于第二准确度；
174.所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第三阈值。
175.步骤a14.所述mtlf可以根据所述第三信息获取训练数据。
176.在一种实施方式中，所述步骤a14包括：
177.mtlf确定所述训练数据的来源设备，即如图3所示的推理数据来源设备；
178.mtlf从所述推理数据来源设备获取所述训练数据，具体可以通过向推理数据来源设备发送数据请求信息请求所述推理数据来源设备提供所述训练数据。
179.其中，所述数据请求信息包括以下至少一项信息：
180.任务的标识信息；
181.所述任务的限定条件信息；
182.所述第一模型的标识信息；
183.所述第一模型的输入数据类型信息；
184.所述第一模型的输出数据类型信息。
185.在一种实施方式中，所述训练数据的来源设备由以下至少一项确定：
186.任务的标识信息；
187.所述任务的限定条件信息；
188.所述任务的对象信息；
189.所述第一模型的标识信息；
190.所述第一模型的输入数据类型信息；
191.所述第一模型的输出数据类型信息。
192.在一种实施方式中，所述训练数据包括所述任务的第一数据，即可以包括所述任务对应的推理输入数据、推理结果数据和标签数据。
193.在一种实施方式中，所述训练数据的来源设备可以为consumer nf，mtlf可以从所述consumer nfa获取所述任务的第一数据。
194.步骤a15.所述mtlf基于所述训练数据对所述第一模型的重训练过程，具体的训练过程与步骤a2中的训练过程基本相同，具体的区别在于训练数据中可以包括所述任务的第一数据。
195.在一种实施方式中，在步骤a15之后，所述方法还包括：
196.步骤a16.mtlf向anlf发送第四信息，所述第四信息包括重新训练后的第一模型的信息。
197.在一种实施方式中，所述第四信息还包括以下至少一项：
198.所述重新训练后的第一模型的适用条件信息，所述适用条件信息可以包括所述第一模型针对的时间范围、区域范围和对象范围等；
199.所述重新训练后的第一模型的第三准确度，即重新训练后的第一模型的ait，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
200.步骤a17.所述第一网元从所述第二网元接收所述任务的新的推理结果数据，其中，所述新的推理结果数据由所述anlf基于重新训练后的第一模型对所述任务进行推理后获取的，此是，所述任务可以为上述步骤a3中consumer nf触发的任务，也可以为consumer nf在步骤a10后确定所述任务对应的推理结果数据的准确度信息满足第一预设条件情况下，重新触发的任务。
201.在另一种实施方式中，在步骤a15之后，所述方法还包括：
202.mtlf将所述重新训练后的第一模型的信息发送给第七网元，所述第七网元为需要使用所述第一模型进行推理的其它anlf网元。其中，第七网元包括模型推理功能网元。
203.相当于，mtlf在完成对所述第一模型的重新训练后，还可以将重新训练后的第一模型发送给需要的其它anlf，由其它anlf使用所述第一模型。
204.由上述实施例的技术方案可知，本技术实施例通过第一网元从第二网元获取任务对应的推理结果数据，确定所述任务对应的推理结果数据的准确度信息，所述第一网元向所述第二网元和/或第三网元发送第一信息，由第三网元对与所述任务对应的第一模型进行重新训练，从而使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
205.基于上述实施例，进一步地，如图4所示，在步骤a10之后，所述方法还包括：
206.b12.向所述第四网元发送第二信息，所述第二信息用于指示所述第四网元存储所述任务对应的推理结果数据的准确度信息。
207.所述anlf可以将所述第一数据保存到第四网元中，所述第四网元包括存储网元，可以为数据分析存储库网元(analytics data repository function，adrf)。
208.在一种实施方式中，所述第二信息还包括以下至少一项：
209.所述任务的标识信息；
210.所述任务的条件限定信息；
211.所述任务的对象信息；
212.所述任务对应的推理输入数据；
213.所述任务对应的推理结果数据；
214.所述任务对应的标签数据；
215.存储原因信息，例如，所述推理结果数据与标签数据不一致，或者，所述推理结果数据的准确度信息满足第一预设条件等。
216.在一种实施方式中，所述第二信息中的推理输入数据、推理结果数据和标签数据可以为与标签数据不一致的推理结果数据对应的推理输入数据、推理结果数据和标签数据。
217.相应地，在步骤a11向anlf或mtlf发送的第一信息中还可以包括所述第四网元的信息，例如所述adrf的标识信息。
218.在一种实施方式中，anlf可以根据接收到的第四网元的信息执行步骤b13。
219.步骤b13.anlf从所述adrf获取所述任务对应的推理结果数据的准确度信息和/或所述任务的第一数据。
220.在一种实施方式中，所述步骤a14中mtlf根据所述第三信息获取训练数据，其中，所述训练数据的来源设备可以包括adrf，所述mtlf执行b14。
221.b14.mtlf从adrf获取训练数据，即获取adrf存储的第一数据，具体地，可以由mtlf向adrf发送第一数据的数据请求信息，用于指示请求获取的数据范围；其中，所述数据请求信息包括以下至少一项信息：
222.任务的标识信息；
223.所述任务的限定条件信息；
224.所述任务的对象信息；
225.所述第一模型的标识信息；
226.所述第一模型的输入数据类型信息；
227.所述第一模型的输出数据类型信息。
228.在一种实施方式中，所述数据请求信息中还可以包括请求原因，例如需要对第一模型进行重新训练，或者，所述第一模型的准确度不满足准确度需求或下降。
229.由上述实施例所述的技术方案可见，本技术实施例通过第四网元从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据，从而能够推理结果数据与标签数据出现不一致的情况时，及时保存所述任务对应的相关数据，方便第二网元或第三网元根据实际的需要进行灵活调用，对第一模型的准确度进行监控，或者用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
230.基于上述实施例，进一步地，在所述步骤a10后，在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下，所述方法还包括：
231.所述第一网元执行以下至少一种操作：
232.继续使用所述任务对应的推理结果数据，该操作可以在所述推理结果数据的准确度信息中不一致的推理结果数据所占比例值较小，未超过预设阈值，例如第一阈值的情况下执行；在一种实施方式中，若继续使用所述任务对应的推理结果数据，则可以适当减少所述推理结果数据对进行策略决策的权重；
233.停止使用所述任务对应的推理结果数据，该操作可以在所述推理结果数据的准确度信息中不一致的推理结果数据所占比例值较高的情况下执行；
234.向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；
235.向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理，其中，所述第五网元包括模型推理功能网元，即consumer nf可以向除第二网元外的其它anlf发送任务请求消息。
236.由上述实施例所述的技术方案可见，本技术实施例通过在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下执行相应操作，从而能够对任务的推理结果数据的准确度信息进行监控，并在准确度下降时，及时采取相应的措施，防止做出错
误的策略决策或执行不合适的操作。
237.基于上述实施例，进一步的，在所述步骤a11之后，或者，在步骤a12之后确定第一准确度满足第二预设条件的情况下，所述方法还包括：
238.anlf可以向第六网元请求获取第二模型，所述第二模型为由所述第六网元提供的用于所述任务的模型，具体过程可以参考步骤a4-a5。其中，所述第六网元包括模型训练功能网元，即所述第六网元可以为除所述第二网元外的其它mtlf；
239.所述anlf基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。此时，进行推理的任务可以为根据步骤a3中consumer nf发送的任务请求消息触发的任务，也可以为consumer nf重新发送任务请求消息而触发的任务。
240.相应地，在步骤a17中consumer nf接收到的新的推理结果数据是基于所述第二模型获取的。
241.由上述实施例所述的技术方案可见，本技术实施例在所述第一准确度达到预设条件的情况下，通过从第六网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
242.本技术实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定装置。本技术实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本技术实施例提供的模型的准确度确定装置。
243.如图5所示，所述模型的准确度确定装置，包括：接收模块501、执行模块502和发送模块503。
244.所述接收模块501用于从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；所述执行模块502用于确定所述任务对应的推理结果数据的准确度信息；所述发送模块503用于向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；其中，所述模型的准确度确定装置为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。
245.进一步地，所述第一网元包括消费者网元。
246.进一步地，所述第二网元包括模型推理功能网元。
247.进一步地，所述执行模块502用于：
248.获取与所述推理结果数据对应的标签数据；
249.根据所述推理结果数据和所述标签数据，确定所述任务对应的推理结果数据的准确度信息。
250.进一步地，所述第一信息包括：
251.所述任务对应的推理结果数据的准确度信息；
252.所述任务对应的第一数据；
253.第四网元的信息，所述第四网元用于接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；
254.其中，所述第一数据包括以下至少一项：
255.所述任务对应的推理输入数据；
256.所述任务对应的推理结果数据；
257.所述任务对应的标签数据。
258.进一步地，所述任务对应的推理结果数据的准确度信息包括：
259.所述推理结果数据中和所述标签数据是否一致的比较结果信息。
260.进一步地，所述比较结果信息包括以下至少一项：
261.与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
262.与标签数据不一致的推理结果数据对应的第一数据。
263.进一步地，在向所述第二网元或第三网元发送第一信息之前，所述发送模块503还用于确定所述任务对应的推理结果数据的准确度信息达到第一预设条件；
264.其中，所述第一预设条件包括以下条件至少之一：
265.所述推理结果数据与所述标签数据不一致；
266.所述与标签数据一致的推理结果数据占总推理结果数据的比例值低于第一阈值。
267.进一步地，所述执行模块用于：
268.所述第一网元确定所述任务对应的标签数据的来源设备；
269.所述第一网元从所述来源设备获取所述标签数据。
270.由上述实施例的技术方案可知，本技术实施例通过从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；确定所述任务对应的推理结果数据的准确度信息，并向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
271.基于上述实施例，进一步地，所述发送模块还用于向所述第四网元发送第二信息，所述第二信息用于指示所述第四网元存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据。
272.进一步地，所述第二信息还包括以下至少一项：
273.所述任务的标识信息；
274.所述任务的条件限定信息；
275.所述任务的对象信息；
276.所述任务对应的推理输入数据；
277.所述任务对应的推理结果数据；
278.所述任务对应的标签数据；
279.存储原因信息。
280.进一步地，所述第四网元包括存储网元。
281.由上述实施例所述的技术方案可见，本技术实施例通过第四网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据，从而能够推理结果数据与标签数据出现不一致的情况时，及时保存所述任务对应的相关数据，方便第二网元或第三网元根据实际的需要进行灵活调用，对第一模型的准确度进行监控，或者用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
282.基于上述实施例，进一步地，在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下，所述执行模块还用于执行以下至少一项：
283.继续使用所述任务对应的推理结果数据；
284.停止使用所述任务对应的推理结果数据；
285.向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；
286.向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理。
287.进一步地，所述第五网元包括模型推理功能网元。
288.由上述实施例所述的技术方案可见，本技术实施例通过在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下执行相应操作，从而能够对任务的推理结果数据的准确度信息进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
289.基于上述实施例，进一步地，所述接收模块还用于从所述第二网元接收所述任务的新的推理结果数据；
290.其中，所述新的推理结果数据基于以下至少一种模型获取：
291.重新训练后的第一模型；
292.由第六网元提供的第二模型。
293.进一步地，所述第六网元包括模型训练功能网元。
294.由上述实施例所述的技术方案可见，本技术实施例在所述第一准确度达到预设条件的情况下，通过从第六网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
295.本技术实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(network attached storage，nas)等，本技术实施例不作具体限定。
296.本技术实施例提供的模型的准确度确定装置能够实现图2至图4的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
297.如图6所示，本技术实施例还提供了另一种模型的准确度确定方法，该方法的执行主体为第二网元，其中，第二网元包括模型推理功能网元，换言之，该方法可以由安装在第二网元的软件或硬件来执行。所述方法的包括以下步骤。
298.s610、第二网元基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；
299.s620、所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
300.进一步地，所述第一网元包括消费者网元。
301.进一步地，所述第二网元包括模型推理功能网元。
302.进一步地，所述第一信息包括以下至少一项：
303.所述任务对应的推理结果数据的准确度信息；
304.所述任务的第一数据；
305.第四网元的标识信息，所述第四网元用于从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；
306.其中，所述第一数据包括以下至少一项：
307.所述任务对应的推理输入数据；
308.所述任务对应的推理结果数据；
309.所述任务的标签数据。
310.进一步地，所述任务对应的推理结果数据的准确度信息包括：
311.所述推理结果数据中和所述标签数据是否一致的比较结果信息。
312.进一步地，所述比较结果信息包括以下至少一项：
313.与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
314.与标签数据不一致的推理结果数据对应的第一数据。
315.进一步地，在步骤s620之后，所述方法还包括：
316.所述第二网元向第三网元发送第三信息，所述第三信息用于指示所述第一模型的准确度不满足准确度需求或下降，所述第三网元为提供所述第一模型的网元。
317.进一步地，所述第二网元向第三网元发送第三信息包括：
318.所述第二网元根据所述第一信息确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
319.在所述第一准确度达到第二预设条件的情况下，向第三网元发送第三信息。
320.进一步地，所述第一模型的第一准确度由以下至少一项确定：
321.所述任务对应的推理结果数据的准确度信息；
322.所述任务的第一数据；
323.其中，所述第一数据包括以下至少一项：
324.所述任务对应的推理输入数据；
325.所述任务对应的推理结果数据；
326.所述任务的标签数据。
327.进一步地，所述第三网元包括模型训练功能网元。
328.进一步地，所述第二预设条件包括：
329.所述第一准确度低于第二阈值；
330.所述第一准确度低于第二准确度；
331.所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第三阈值。
332.进一步地，所述第三信息包括以下至少一项：
333.所述第一模型的标识信息；
334.所述任务的标识信息；
335.所述任务的条件限定信息；
336.所述第一模型的准确度不满足准确度需求或下降的指示信息；
337.所述第一准确度；
338.对所述第一模型进行重新训练的请求指示信息；
339.模型重新请求的指示信息，用于请求所述第三网元重新提供可用于对所述任务进行推理的模型；
340.所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练。
341.进一步地，在向第三网元发送第三信息之后，所述方法还包括：
342.所述第二网元从所述第三网元接收第四信息，所述第四信息包括重新训练后的第一模型的信息。
343.进一步地，所述第四信息还包括以下至少一项：
344.所述重新训练后的第一模型的适用条件信息；
345.所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
346.所述步骤610-620可以实现如图2、图3所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
347.由上述实施例的技术方案可知，本技术实施例通过第二网元基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
348.基于上述实施例，进一步地，所述方法还包括：
349.所述第二网元从所述第四网元获取所述任务对应的推理结果数据的准确度信息和/或所述任务的第一数据。
350.进一步地，所述第四网元包括存储网元。
351.由上述实施例所述的技术方案可见，本技术实施例通过第四网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据，从而能够推理结果数据与标签数据出现不一致的情况时，及时保存所述任务对应的相关数据，方便第二网元或第三网元根据实际的需要进行灵活调用，对第一模型的准确度进行监控，或者用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
352.基于上述实施例，进一步地，所述方法还包括：
353.所述第二网元向第六网元请求获取第二模型，所述第二模型为由所述第六网元提供的用于所述任务的模型；
354.所述第二网元基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。
355.进一步地，所述第六网元包括模型训练功能网元。
356.由上述实施例所述的技术方案可见，本技术实施例在所述第一准确度达到预设条件的情况下，通过从第六网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
357.本技术实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定
装置。本技术实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本技术实施例提供的模型的准确度确定装置。
358.如图7所示，所述模型的准确度确定装置，包括：推理模块701和传输模块702。
359.所述推理模块701用于基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；所述传输模块702用于从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。
360.进一步地，所述第一网元包括消费者网元。
361.进一步地，所述第二网元包括模型推理功能网元。
362.进一步地，所述第一信息包括以下至少一项：
363.所述任务对应的推理结果数据的准确度信息；
364.所述任务的第一数据；
365.第四网元的标识信息，所述第四网元用于从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；
366.其中，所述第一数据包括以下至少一项：
367.所述任务对应的推理输入数据；
368.所述任务对应的推理结果数据；
369.所述任务的标签数据。
370.进一步地，所述任务对应的推理结果数据的准确度信息包括：
371.所述推理结果数据中和所述标签数据是否一致的比较结果信息。
372.进一步地，所述比较结果信息包括以下至少一项：
373.与标签数据一致的推理结果数据占总推理结果数据的比例值信息；
374.与标签数据不一致的推理结果数据对应的第一数据。
375.进一步地，传输模块702还用于向第三网元发送第三信息，所述第三信息用于指示所述第一模型的准确度不满足准确度需求或下降，所述第三网元为提供所述第一模型的网元。
376.进一步地，传输模块702用于：
377.根据所述第一信息确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
378.在所述第一准确度达到第二预设条件的情况下，向第三网元发送第三信息。
379.进一步地，所述第一模型的第一准确度由以下至少一项确定：
380.所述任务对应的推理结果数据的准确度信息；
381.所述任务的第一数据；
382.其中，所述第一数据包括以下至少一项：
383.所述任务对应的推理输入数据；
384.所述任务对应的推理结果数据；
385.所述任务的标签数据。
386.进一步地，所述第三网元包括模型训练功能网元。
387.进一步地，所述第二预设条件包括：
388.所述第一准确度低于第二阈值；
389.所述第一准确度低于第二准确度；
390.所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第三阈值。
391.进一步地，所述第三信息包括以下至少一项：
392.所述第一模型的标识信息；
393.所述任务的标识信息；
394.所述任务的条件限定信息；
395.所述第一模型的准确度不满足准确度需求或下降的指示信息；
396.所述第一准确度；
397.对所述第一模型进行重新训练的请求指示信息；
398.模型重新请求的指示信息，用于请求所述第三网元重新提供可用于对所述任务进行推理的模型；
399.所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练。
400.进一步地，所述传输模块702还用于从所述第三网元接收第四信息，所述第四信息包括重新训练后的第一模型的信息。
401.进一步地，所述第四信息还包括以下至少一项：
402.所述重新训练后的第一模型的适用条件信息；
403.所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
404.由上述实施例的技术方案可知，本技术实施例通过基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
405.基于上述实施例，进一步地，所述传输模块702还用于从所述第四网元获取所述任务对应的推理结果数据的准确度信息和/或所述任务的第一数据。
406.进一步地，所述第四网元包括存储网元。
407.由上述实施例所述的技术方案可见，本技术实施例通过第四网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据，从而能够推理结果数据与标签数据出现不一致的情况时，及时保存所述任务对应的相关数据，方便灵活调用，对第一模型的准确度进行监控，或者用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
408.基于上述实施例，进一步地，所述传输模块702还用于：
409.向第六网元请求获取第二模型，所述第二模型为由所述第六网元提供的用于所述任务的模型；
410.基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。
411.进一步地，所述第六网元包括模型训练功能网元。
412.由上述实施例所述的技术方案可见，本技术实施例在所述第一准确度达到预设条件的情况下，通过从第六网元获取第二模型对任务进行推理得到新的推理结果数据，从而
能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
413.本技术实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(network attached storage，nas)等，本技术实施例不作具体限定。
414.本技术实施例提供的模型的准确度确定装置能够实现图6的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
415.可选的，如图8所示，本技术实施例还提供一种通信设备800，包括处理器801和存储器802，存储器802上存储有可在所述处理器801上运行的程序或指令，例如，该通信设备800为终端时，该程序或指令被处理器801执行时实现上述模型的准确度确定方法实施例的各个步骤，且能达到相同的技术效果。该通信设备800为网络侧设备时，该程序或指令被处理器801执行时实现上述模型的准确度确定方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
416.具体地，本技术实施例还提供了一种网络侧设备。如图9所示，该网络侧设备900包括：处理器901、网络接口902和存储器903。其中，网络接口902例如为通用公共无线接口(common public radio interface，cpri)。
417.具体地，本发明实施例的网络侧设备900还包括：存储在存储器903上并可在处理器901上运行的指令或程序，处理器901调用存储器903中的指令或程序执行图5和图7所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
418.本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
419.其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
420.本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
421.应理解，本技术实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
422.本技术实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
423.本技术实施例还提供了一种模型的准确度确定系统，包括：网络侧设备，所述网络侧设备包括第一网元和第二网元，所述第一网元可用于执行如上所述的模型的准确度确定方法的步骤，所述第二网元可用于执行如上所述的模型的准确度确定方法的步骤。
424.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排
他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
425.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
426.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。

技术特征：
1.一种模型的准确度确定方法，其特征在于，包括：第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；所述第一网元确定所述任务对应的推理结果数据的准确度信息；所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；其中，所述第一网元为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。2.根据权利要求1所述的方法，其特征在于，所述第一网元确定所述任务对应的推理结果数据的准确度信息，包括：所述第一网元获取与所述推理结果数据对应的标签数据；所述第一网元根据所述推理结果数据和所述标签数据，确定所述任务对应的推理结果数据的准确度信息。3.根据权利要求1所述的方法，其特征在于，所述第一信息包括：所述任务对应的推理结果数据的准确度信息；所述任务对应的第一数据；第四网元的信息，所述第四网元用于从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；其中，所述第一数据包括以下至少一项：所述任务对应的推理输入数据；所述任务对应的推理结果数据；所述任务对应的标签数据。4.根据权利要求1-3任一所述的方法，其特征在于，所述任务对应的推理结果数据的准确度信息包括：所述推理结果数据中和所述标签数据是否一致的比较结果信息。5.根据权利要求4所述的方法，其特征在于，所述比较结果信息包括以下至少一项：与标签数据一致的推理结果数据占总推理结果数据的比例值信息；与标签数据不一致的推理结果数据对应的第一数据。6.根据权利要求1所述的方法，其特征在于，所述第一网元向所述第二网元或第三网元发送第一信息之前，所述方法还包括：所述第一网元确定所述任务对应的推理结果数据的准确度信息达到第一预设条件；其中，所述第一预设条件包括以下条件至少之一：所述推理结果数据与所述标签数据不一致；所述与标签数据一致的推理结果数据占总推理结果数据的比例值低于第一阈值。7.根据权利2所述的方法，其特征在于，所述第一网元获取所述推理结果数据对应的标签数据包括：所述第一网元确定所述任务对应的标签数据的来源设备；所述第一网元从所述来源设备获取所述标签数据。8.根据权利要求1所述的方法，其特征在于，在确定所述任务对应的推理结果数据的准
确度信息之后，所述方法还包括：向所述第四网元发送第二信息，所述第二信息用于指示所述第四网元存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据。9.根据权利要求7所述的方法，其特征在于，所述第二信息还包括以下至少一项：所述任务的标识信息；所述任务的条件限定信息；所述任务的对象信息；所述任务对应的推理输入数据；所述任务对应的推理结果数据；所述任务对应的标签数据；存储原因信息。10.根据权利要求1所述的方法，其特征在于，在确定所述任务对应的推理结果数据的准确度信息达到第一预设条件的情况下，所述方法还包括：所述第一网元执行以下至少一种操作：继续使用所述任务对应的推理结果数据；停止使用所述任务对应的推理结果数据；向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理。11.根据权利要求1所述的方法，其特征在于，在向所述第二网元和/或第三网元发送第一信息发送第一信息之后，所述方法还包括：所述第一网元从所述第二网元接收所述任务的新的推理结果数据；其中，所述新的推理结果数据基于以下至少一种模型获取：重新训练后的第一模型；由第六网元提供的第二模型。12.根据权利要求1所述的方法，其特征在于，所述第一网元包括消费者网元。13.根据权利要求1所述的方法，其特征在于，所述第二网元包括模型推理功能网元。14.根据权利要求6所述的方法，其特征在于，所述第四网元包括存储网元。15.根据权利要求10所述的方法，其特征在于，所述第五网元包括模型推理功能网元。16.根据权利要求11所述的方法，其特征在于，所述第六网元包括模型训练功能网元。17.一种模型的准确度确定装置，其特征在于，包括：接收模块，用于从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；执行模块，用于确定所述任务对应的推理结果数据的准确度信息；发送模块，用于向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；其中，所述模型的准确度确定装置为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。18.一种模型的准确度确定方法，其特征在于，包括：
第二网元基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。19.根据权利要求18所述的方法，其特征在于，所述第一信息包括以下至少一项：所述任务对应的推理结果数据的准确度信息；所述任务的第一数据；第四网元的标识信息，所述第四网元用于从所述第一网元接收并存储所述任务对应的推理结果数据的准确度信息和/或所述任务对应的第一数据；其中，所述第一数据包括以下至少一项：所述任务对应的推理输入数据；所述任务对应的推理结果数据；所述任务的标签数据。20.根据权利要求18或19所述的方法，其特征在于，所述任务对应的推理结果数据的准确度信息包括：所述推理结果数据中和所述标签数据是否一致的比较结果信息。21.根据权利要求20所述的方法，其特征在于，所述比较结果信息包括以下至少一项：与标签数据一致的推理结果数据占总推理结果数据的比例值信息；与标签数据不一致的推理结果数据对应的第一数据。22.根据权利要求18所述的方法，其特征在于，在从所述第一网元接收第一信息之后，所述方法还包括：所述第二网元向第三网元发送第三信息，所述第三信息用于指示所述第一模型的准确度不满足准确度需求或下降，所述第三网元为提供所述第一模型的网元。23.根据权利要求22所述的方法，其特征在于，所述第二网元向第三网元发送第三信息包括：所述第二网元根据所述第一信息确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；在所述第一准确度达到第二预设条件的情况下，向第三网元发送第三信息。24.根据权利要求23所述的方法，其特征在于，所述第一模型的第一准确度由以下至少一项确定：所述任务对应的推理结果数据的准确度信息；所述任务的第一数据；其中，所述第一数据包括以下至少一项：所述任务对应的推理输入数据；所述任务对应的推理结果数据；所述任务的标签数据。25.根据权利要求23所述的方法，其特征在于，所述第二预设条件包括：所述第一准确度低于第二阈值；所述第一准确度低于第二准确度；
所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第三阈值。26.根据权利要求21所述的方法，其特征在于，所述第三信息包括以下至少一项：所述第一模型的标识信息；所述任务的标识信息；所述任务的条件限定信息；所述第一模型的准确度不满足准确度需求或下降的指示信息；所述第一准确度；对所述第一模型进行重新训练的请求指示信息；模型重新请求的指示信息，用于请求所述第三网元重新提供可用于对所述任务进行推理的模型；所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练。27.根据权利要求19所述的方法，其特征在于，所述方法还包括：所述第二网元从所述第四网元获取所述任务对应的推理结果数据的准确度信息和/或所述任务的第一数据。28.根据权利要求22所述的方法，其特征在于，在向第三网元发送第三信息之后，所述方法还包括：所述第二网元从所述第三网元接收第四信息，所述第四信息包括重新训练后的第一模型的信息。29.根据权利要求28所述的方法，其特征在于，所述第四信息还包括以下至少一项：所述重新训练后的第一模型的适用条件信息；所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。30.根据权利要求18所述的方法，其特征在于，所述方法还包括：所述第二网元向第六网元请求获取第二模型，所述第二模型为由所述第六网元提供的用于所述任务的模型；所述第二网元基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。31.根据权利要求18所述的方法，其特征在于，所述第一网元包括消费者网元。32.根据权利要求18所述的方法，其特征在于，所述第二网元包括模型推理功能网元。33.根据权利要求22所述的方法，其特征在于，所述第三网元包括模型训练功能网元。34.根据权利要求19所述的方法，其特征在于，所述第四网元包括存储网元。35.根据权利要求30所述的方法，其特征在于，所述第六网元包括模型训练功能网元。36.一种模型的准确度确定装置，其特征在于，包括：推理模块，用于基于第一模型对任务进行推理，得到所述任务的推理结果数据并发送给第一网元；传输模块，用于从所述第一网元接收第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息。37.一种网络侧设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至16任
一项所述的模型的准确度确定方法，或者实现如权利要求18至35任一项所述的模型的准确度确定方法的步骤。38.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-16任一项所述的模型的准确度确定方法，或者实现如权利要求18至35任一项所述的模型的准确度确定方法的步骤。

技术总结
本申请公开了一种模型的准确度确定方法、装置及网络侧设备，属于移动通信领域，本申请实施例的模型的准确度确定方法包括：第一网元从第二网元获取任务对应的推理结果数据，所述推理结果数据是所述第二网元基于第一模型对所述任务进行推理得到的；所述第一网元确定所述任务对应的推理结果数据的准确度信息；所述第一网元向所述第二网元和/或第三网元发送第一信息，所述第一信息用于指示所述任务对应的推理结果数据的准确度信息；其中，所述第一网元为触发所述任务的网元，所述第二网元为对所述任务进行推理的网元，所述第三网元为提供所述第一模型的网元。述第一模型的网元。述第一模型的网元。


技术研发人员：崇卫微 程思涵 吴晓波
受保护的技术使用者：维沃移动通信有限公司
技术研发日：2022.03.07
技术公布日：2023/9/20