模型监控方法、监控端、装置及存储介质与流程

1.本技术涉及无线通信技术领域，尤其涉及一种模型监控方法、监控端、装置及存储介质。


背景技术：

2.由于人工智能(artificial intelligence，ai)技术的局限性，如数据质量，模型衰减，数据局部性等问题，或者某些功能因其他功能而发生改变等情况时，导致机器学习(machine learning，ml)模型的性能随着时间的推移而降低。
3.在现有的移动通信系统中，ml模型训练可以由机器学习模型训练(ml model training，mlmt)管理服务(management service，mns)生产者发起，该方法是一种被动的由管理数据分析服务(management data analytics service，mdas)消费者触发的模型训练/更新，不能准确反映模型的性能变化趋势和劣化情况。


技术实现要素：

4.针对现有技术存在的问题，本技术实施例提供一种模型监控方法、监控端、装置及存储介质。
5.第一方面，本技术实施例提供一种模型监控方法，应用于第一监控端，包括：
6.获取第一目标模型的模型相关信息；
7.基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
8.可选地，根据本技术一个实施例的模型监控方法，在所述基于所述模型相关信息，获取模型性能预测分析结果之前，所述方法还包括：
9.在确定满足第一预设条件的情况下，确定执行所述基于所述模型相关信息，获取模型性能预测分析结果；
10.所述确定满足第一预设条件为以下任一项：
11.确定发生目标触发事件；或
12.确定第一模型性能监测定时器超时；或
13.确定存在新的训练数据。
14.可选地，根据本技术一个实施例的模型监控方法，所述获取第一目标模型的模型相关信息，包括：
15.从一个或多个目标网元收集所述模型相关信息，
16.所述目标网元布署有所述第一目标模型。
17.可选地，根据本技术一个实施例的模型监控方法，所述获取第一目标模型的模型相关信息，包括：
18.向目标服务请求所述模型相关信息，所述目标服务用于从一个或多个目标网元收集所述模型相关信息，
19.所述目标网元布署有所述第一目标模型。
20.可选地，根据本技术一个实施例的模型监控方法，在所述获取第一目标模型的模型相关信息之前，所述方法还包括：
21.在确定满足第二预设条件的情况下，确定执行所述向目标服务请求所述模型相关信息；
22.所述确定满足第二预设条件为以下任一项：
23.确定发生目标触发事件；或
24.确定第二模型性能监测定时器超时；或
25.确定存在新的训练数据；或
26.本地无所述模型相关信息；或
27.本地未存储历史的模型相关信息。
28.可选地，根据本技术一个实施例的模型监控方法，所述确定发生目标触发事件，包括：
29.接收到第二监控端发送的模型性能分析请求消息，
30.其中，所述模型性能分析请求消息包括以下任意一项或多项：
31.模型分析类型；或
32.模型性能分析的类型；或
33.所述第一目标模型的配置信息；或
34.地理位置；或
35.目标分析对象；或
36.请求标识符；或
37.报告方式；或
38.功能模块标识。
39.可选地，根据本技术一个实施例的模型监控方法，所述模型相关信息，包括以下任意一项或多项：
40.目标网元的模型性能信息；或
41.目标网元的业务统计信息；或
42.目标网元的用户业务质量体验；或
43.目标网元的模型相关的日志。
44.可选地，根据本技术一个实施例的模型监控方法，所述目标网元为以下任一项：
45.网络功能实体nf；或
46.网络切片实例nsi；或
47.网络切片子网实例nssi；或
48.网络实体；或
49.子网络实体；或
50.网络管理实体。
51.可选地，根据本技术一个实施例的模型监控方法，所述模型性能信息包括以下任意一项或多项：
52.模型准确率；或
53.模型精确率；或
54.模型召回率；或
55.模型精确率和模型召回率的调和值；或
56.接受者操作特性roc曲线；或
57.模型运行相关的指标；或
58.模型的置信度；或
59.模型的置信区间。
60.可选地，根据本技术一个实施例的模型监控方法，所述业务统计信息包括以下任意一项或多项：
61.模型业务请求次数；或
62.模型业务响应次数；或
63.订阅成功次数；或
64.订阅失败次数；或
65.通知次数；或
66.模型业务请求时间戳；或
67.模型业务响应时间戳；或
68.业务请求相应时长。
69.可选地，根据本技术一个实施例的模型监控方法，所述模型性能预测分析结果包括以下任意一项或多项：
70.所述模型相关信息；或
71.第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或
72.第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。
73.可选地，根据本技术一个实施例的模型监控方法，在所述模型性能预测分析结果包括所述第二目标模型的情况下，所述基于所述模型相关信息，获取模型性能预测分析结果，包括：
74.确定将第三目标模型作为所述第二目标模型；其中，所述第三目标模型是预设模型库中的一项。
75.可选地，根据本技术一个实施例的模型监控方法，所述第三目标模型满足以下任意一项或多项：
76.所述第三目标模型的性能指标高于所述第一目标模型的性能指标；或
77.所述第三目标模型的性能指标超过第一阈值；或
78.所述第三目标模型的性能指标是所述预设模型库中性能指标最好的。
79.可选地，根据本技术一个实施例的模型监控方法，在所述获取第一目标模型的模型相关信息之后，所述方法还包括：
80.基于所述模型相关信息，确定更新所述第一目标模型；
81.向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果中的所述第一指示信息用于指示更新所述第一目标模型。
82.可选地，根据本技术一个实施例的模型监控方法，在基于所述模型相关信息，获取模型性能预测分析结果之后，所述方法还包括：
83.向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果用于作为所述第二监控端判断是否更新所述第一目标模型的依据。
84.可选地，根据本技术一个实施例的模型监控方法，在所述获取第一目标模型的模型相关信息之后，所述方法还包括：
85.基于所述模型相关信息，确定更新所述第一目标模型；
86.向机器学习模型训练端发送第一请求信息，所述第一请求信息用于请求重新训练所述第一目标模型获取第四目标模型。
87.可选地，根据本技术一个实施例的模型监控方法，所述方法还包括：
88.确定用于更新所述第一目标模型的第五目标模型。
89.可选地，根据本技术一个实施例的模型监控方法，所述确定用于更新所述第一目标模型的第五目标模型，包括：
90.接收所述机器学习模型训练端发送的第四目标模型；
91.在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；
92.其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：
93.确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或
94.确定所述第四目标模型的性能指标超过第二阈值。
95.可选地，根据本技术一个实施例的模型监控方法，所述确定用于更新所述第一目标模型的第五目标模型，包括：
96.确定将所述第二目标模型作为所述第五目标模型。
97.第二方面，本技术实施例还提供一种模型监控方法，应用于第二监控端，包括：
98.接收第一监控端发送的第一目标模型的模型性能预测分析结果；
99.其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
100.可选地，根据本技术一个实施例的模型监控方法，所述模型性能预测分析结果包括以下任意一项或多项：
101.模型相关信息；或
102.第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或
103.第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。
104.可选地，根据本技术一个实施例的模型监控方法，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述方法还包括：
105.基于所述模型性能预测分析结果中的所述模型相关信息，确定更新所述第一目标模型。
106.可选地，根据本技术一个实施例的模型监控方法，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述方法还包括：
107.基于所述模型性能预测分析结果中的第一指示信息，确定更新所述第一目标模型。
108.可选地，根据本技术一个实施例的模型监控方法，在所述确定更新所述第一目标模型之后，所述方法还包括：
109.向机器学习模型训练端发送第二请求信息，所述第二请求信息用于请求重新训练所述第一目标模型获取第四目标模型。
110.可选地，根据本技术一个实施例的模型监控方法，在所述确定更新所述第一目标模型之后，所述方法还包括：
111.确定用于更新所述第一目标模型的第五目标模型。
112.可选地，根据本技术一个实施例的模型监控方法，所述确定用于更新所述第一目标模型的第五目标模型，包括：
113.接收所述机器学习模型训练端发送的第四目标模型；
114.在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；
115.其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：
116.确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或
117.确定所述第四目标模型的性能指标超过第二阈值。
118.可选地，根据本技术一个实施例的模型监控方法，所述确定用于更新所述第一目标模型的第五目标模型，包括：
119.确定将所述第二目标模型作为所述第五目标模型。
120.第三方面，本技术实施例还提供一种第一监控端，包括存储器，收发机，处理器；其中：
121.存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并实现如上所述第一方面所述的模型监控方法的步骤。
122.第四方面，本技术实施例还提供一种第二监控端，包括存储器，收发机，处理器，其中：
123.存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并实现如上所述第二方面所述的模型监控方法的步骤。
124.第五方面，本技术实施例还提供一种模型监控装置，应用于第一监控端，包括：
125.第一获取单元，用于获取第一目标模型的模型相关信息；
126.第二获取单元，用于基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
127.第六方面，本技术实施例还提供一种模型监控装置，应用于第二监控端，包括：
128.接收单元，用于接收第一监控端发送的第一目标模型的模型性能预测分析结果；
129.其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
130.第七方面，本技术实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行如上所述第一方面所述的模型监控方法的步骤，或执行如上所述第二方面所述的模型监控方法的步骤。
131.本技术实施例提供的模型监控方法、监控端、装置及存储介质，通过获取第一目标模型的模型相关信息，第一监控端基于模型相关信息，可以获取模型性能预测分析结果，模
型性能预测分析结果可以作为判断是否更新第一目标模型的依据，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
附图说明
132.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
133.图1是相关技术提供的mda功能和服务框架的示意图；
134.图2是相关技术提供的数据分析服务协作的示意图；
135.图3是相关技术提供的mda分析请求的流程示意图；
136.图4是相关技术提供的模型训练的流程示意图；
137.图5是本技术实施例提供的模型监控方法的流程示意图之一；
138.图6是本技术实施例提供的模型监控方法的流程示意图之二；
139.图7是本技术实施例提供的模型监控方法的流程示意图之三；
140.图8是本技术实施例提供的模型监控方法的流程示意图之四；
141.图9是本技术实施例提供的模型监控方法的流程示意图之五；
142.图10是本技术实施例提供的第一监控端的结构示意图；
143.图11是本技术实施例提供的第二监控端的结构示意图；
144.图12是本技术实施例提供的模型监控装置的结构示意图之一；
145.图13是本技术实施例提供的模型监控装置的结构示意图之二。
具体实施方式
146.为了便于更加清晰地理解本技术各实施例，首先对一些相关的背景知识进行如下介绍。
147.人工智能(artificial intelligence，ai)或机器学习(machine learning，ml)功能正在越来越多的领域用于5g，包括管理和编排，如管理数据分析(management data analytics，mda)、5gc，如nwdaf网络数据分析功能(network data analytics function，nwdaf)，和下一代无线接入网(next generation radio access network，ng-ran)。为了实现和使能ai/ml，需要创建ai/ml模型，然后在整个生命周期中进行管理，例如ai/ml模型需要进行验证、测试、部署等。
148.(1)管理数据分析(management data analytics，mda)功能和服务框架；
149.图1是相关技术提供的mda功能和服务框架的示意图，如图1所示，在移动通信系统中，允许任何授权的消费者请求和接收分析。mda管理功能(mdas)可以扮演mda管理服务(management service，mns)生产者(producer)、mda mns消费者(consumer)、其他mns消费者或nwdaf消费者的角色，并与其他非3gpp管理系统交互。
150.图2是相关技术提供的数据分析服务协作的示意图，如图2所示，mda管理功能可以作为3gpp领域特定的(例如，ran或cn)或作为3gpp跨领域。如图2所示，说明了nwdaf、gnb和mda mns producer(s)之间为数据分析目的而进行协调的示例。
packet system,eps)、5g系统(5gs)等。
168.本技术实施例涉及的网络设备，可以是基站，该基站可以包括多个为终端提供服务的小区。根据具体应用场合不同，基站又可以称为接入点，或者可以是接入网中在空中接口上通过一个或多个扇区与无线终端设备通信的设备，或者其它名称。网络设备可用于将收到的空中帧与网际协议(internet protocol，ip)分组进行相互更换，作为无线终端设备与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(ip)通信网络。网络设备还可协调对空中接口的属性管理。例如，本技术实施例涉及的网络设备可以是全球移动通信系统(global system for mobile communications，gsm)或码分多址接入(code division multiple access，cdma)中的网络设备(base transceiver station，bts)，也可以是带宽码分多址接入(wide-band code division multiple access，wcdma)中的网络设备(nodeb)，还可以是长期演进(long term evolution，lte)系统中的演进型网络设备(evolutional node b，enb或e-nodeb)、5g网络架构(next generation system)中的5g基站(gnb)，也可以是家庭演进基站(home evolved node b，henb)、中继节点(relay node)、家庭基站(femto)、微微基站(pico)等，本技术实施例中并不限定。在一些网络结构中，网络设备可以包括集中单元(centralized unit，cu)节点和分布单元(distributed unit，du)节点，集中单元和分布单元也可以地理上分开布置。
169.图5是本技术实施例提供的模型监控方法的流程示意图之一，如图5所示，申请实施例提供一种模型监控方法，其执行主体可以为第一监控端。该方法包括：
170.步骤501，获取第一目标模型的模型相关信息；
171.步骤502，基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
172.具体地，第一监控端可以获取第一目标模型的模型相关信息，进而可以基于模型相关信息，对第一目标模型进行分析，进而可以获取模型性能预测分析结果。
173.可选地，第一监控端可以是mdas或mdas生产者(producer)。
174.可以理解的是，模型性能预测分析结果可以作为判断是否更新第一目标模型的依据，进而第一监控端可以基于模型性能预测分析结果，确定是否发起重新训练第一目标模型的请求，若确定发起重新训练第一目标模型的请求，可以向机器学习模型训练端发起重新训练第一目标模型的请求，获取的训练结果可以用于更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，并可以发起模型训练，训练结果可以用于更新模型。
175.可以理解的是，模型性能预测分析结果可以作为判断是否更新第一目标模型的依据，进而第一监控端可以向其他监控端(例如第二监控端)发送模型性能预测分析结果，进而其他监控端可以基于模型性能预测分析结果，确定是否发起重新训练第一目标模型的请求，若确定发起重新训练第一目标模型的请求，其他监控端可以向机器学习模型训练端发起重新训练第一目标模型的请求，获取的训练结果可以用于更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，并可以发起模型训练，训练结果可以用于更新模型。
176.本技术实施例提供的模型监控方法，通过获取第一目标模型的模型相关信息，第一监控端基于模型相关信息，可以获取模型性能预测分析结果，模型性能预测分析结果可以作为判断是否更新第一目标模型的依据，可以实现主动监控模型性能，分析模型性能趋
势，进而在模型性能降低的情况下可以及时更新模型。
177.可选地，在所述基于所述模型相关信息，获取模型性能预测分析结果之前，所述方法还包括：
178.在确定满足第一预设条件的情况下，确定执行所述基于所述模型相关信息，获取模型性能预测分析结果；
179.所述确定满足第一预设条件为以下任一项：
180.确定发生目标触发事件；或
181.确定第一模型性能监测定时器超时；或
182.确定存在新的训练数据。
183.具体地，第一监控端可以判断是否满足第一预设条件，若确定满足第一预设条件，则可以执行基于模型相关信息，获取模型性能预测分析结果。
184.可选地，第一监控端可以在获取第一目标模型的模型相关信息之前，判断是否满足第一预设条件，若确定满足第一预设条件，则可以获取第一目标模型的模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果。
185.可选地，第一监控端可以在获取第一目标模型的模型相关信息之后以及基于模型相关信息，获取模型性能预测分析结果之前，判断是否满足第一预设条件，若确定满足第一预设条件，则可以基于模型相关信息，获取模型性能预测分析结果。
186.可选地，确定满足第一预设条件可以为确定发生目标触发事件，第一监控端可以在确定发生目标触发事件的情况下，确定执行基于模型相关信息，获取模型性能预测分析结果。
187.可选地，确定满足第一预设条件可以为确定第一模型性能监测定时器超时，第一监控端可以在确定第一模型性能监测定时器超时的情况下，确定执行基于模型相关信息，获取模型性能预测分析结果。
188.可选地，确定满足第一预设条件可以为确定存在新的训练数据，第一监控端可以在确定存在新的训练数据的情况下，确定执行基于模型相关信息，获取模型性能预测分析结果。
189.因此，第一监控端可以在确定满足第一预设条件的情况下，确定执行基于所述模型相关信息，获取模型性能预测分析结果，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
190.可选地，所述获取第一目标模型的模型相关信息，包括：
191.从一个或多个目标网元收集所述模型相关信息，
192.所述目标网元布署有所述第一目标模型。
193.具体地，第一监控端可以从一个或多个目标网元收集模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果。
194.可选地，第一监控端可以从一个目标网元持续收集模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果。
195.可选地，第一监控端可以从两个及两个以上的目标网元持续收集模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果。
196.可选地，第一监控端可以按收集间隔配置，周期性地从一个或多个目标网元收集
模型相关信息。
197.例如，收集间隔配置可以是15分钟，第一监控端可以每15分钟执行从一个或多个目标网元收集模型相关信息的操作。
198.例如，收集间隔配置可以是30分钟，第一监控端可以每30分钟执行从一个或多个目标网元收集模型相关信息的操作。
199.例如，收集间隔配置可以是60分钟，第一监控端可以每60分钟执行从一个或多个目标网元收集模型相关信息的操作。
200.可选地，目标网元可以是ai-enabled功能实体，第一监控端可以从一个或多个ai-enabled功能实体，例如mda、nwdaf、或ran等，收集模型相关信息，其中模型相关信息可以包括：模型性能信息，业务统计信息，例如关键性能指标(key performance indicator，kpi)、用户业务质量体验，例如体验质量数据(quality of experience data，qoe data)和模型相关的日志等信息。
201.可以理解的是，目标网元可以是部署有第一目标模型的模型，进而第一监控端可以从目标网元获取到关于第一目标模型的信息，也即模型相关信息。
202.因此，第一监控端可以从一个或多个目标网元获取模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
203.可选地，所述获取第一目标模型的模型相关信息，包括：
204.向目标服务请求所述模型相关信息，所述目标服务用于从一个或多个目标网元收集所述模型相关信息，
205.所述目标网元布署有所述第一目标模型。
206.具体地，第一监控端可以向目标服务发送请求模型相关信息的请求消息，进而可以获取模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果。
207.可选地，第一监控端可以向目标服务发送获取模型相关信息的请求，进而可以从目标服务获取模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果。
208.例如，目标服务可以是性能测量服务(performance assurance service)，第一监控端可以向性能测量服务发送请求模型相关信息的请求消息，进而可以从性能测量服务获取模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果。
209.可选地，第一监控端可以向目标服务发送创建测量任务的请求，以使目标服务创建测量任务，在测量任务创建完成之后，第一监控端可以从一个或多个目标网元获取模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果，其中，目标服务创建测量任务的操作可以使得一个或多个目标网元收集第一目标模型的信息。
210.例如，目标服务可以是网络功能实体(network function，nf)测量任务控制服务生产者(measurement job control service producer)，第一监控端可以向nf测量任务控制服务生产者发送创建测量任务，在测量任务创建完成之后，可以从一个或多个目标网元获取模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果。
211.因此，第一监控端可以向目标服务请求模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
212.可选地，在所述获取第一目标模型的模型相关信息之前，所述方法还包括：
213.在确定满足第二预设条件的情况下，确定执行所述向目标服务请求所述模型相关信息；
214.所述确定满足第二预设条件为以下任一项：
215.确定发生目标触发事件；或
216.确定第二模型性能监测定时器超时；或
217.确定存在新的训练数据；或
218.本地无所述模型相关信息；或
219.本地未存储历史的模型相关信息。
220.具体地，在获取第一目标模型的模型相关信息之前，第一监控端可以判断是否满足第二预设条件，若确定满足第二预设条件，则可以执行向目标服务请求模型相关信息。
221.可选地，确定满足第二预设条件可以为确定发生目标触发事件，第一监控端可以在确定发生目标触发事件的情况下，确定执行向目标服务请求模型相关信息。
222.可选地，确定满足第二预设条件可以为确定第二模型性能监测定时器超时，第一监控端可以在确定第二模型性能监测定时器超时的情况下，确定执行向目标服务请求模型相关信息。
223.可选地，第一模型性能监测定时器和第二模型性能监测定时器可以为同一个定时器。
224.可选地，第一模型性能监测定时器和第二模型性能监测定时器可以为不同的定时器。
225.可选地，确定满足第二预设条件可以为确定存在新的训练数据，第一监控端可以在确定存在新的训练数据的情况下，确定执行向目标服务请求模型相关信息。
226.可选地，确定满足第二预设条件可以为本地无模型相关信息，第一监控端可以在本地无模型相关信息的情况下，确定执行向目标服务请求模型相关信息。
227.可选地，确定满足第二预设条件可以为本地未存储历史的模型相关信息，第一监控端可以在本地未存储历史的模型相关信息的情况下，确定执行向目标服务请求模型相关信息。
228.因此，第一监控端可以在确定满足第二预设条件的情况下，可以执行向目标服务请求模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
229.可选地，所述确定发生目标触发事件，包括：
230.接收到第二监控端发送的模型性能分析请求消息，
231.其中，所述模型性能分析请求消息包括以下任意一项或多项：
232.模型分析类型；或
233.模型性能分析的类型；或
234.所述第一目标模型的配置信息；或
235.地理位置；或
236.目标分析对象；或
237.请求标识符；或
238.报告方式；或
239.功能模块标识。
240.可选地，在基于模型相关信息，获取模型性能预测分析结果之前，第一监控端可以在接收到第二监控端发送的模型性能分析请求消息的情况下，确定执行基于模型相关信息，获取模型性能预测分析结果。
241.可选地，在获取第一目标模型的模型相关信息之前，第一监控端可以在接收到第二监控端发送的模型性能分析请求消息的情况下，确定执行向目标服务请求所述模型相关信息。
242.可选地，模型性能分析请求消息可以包括以下任意一项或多项：
243.模型分析类型；或
244.模型性能分析的类型(mda type)；或
245.所述第一目标模型的配置信息(target model information)；或
246.地理位置(geographic location)；或
247.目标分析对象(the target objects)；或
248.请求标识符(identifier of the reporting request)；或
249.报告方式(reporting method)；或
250.功能模块标识(function id)，用于指示模型所在功能模块id。
251.例如，第一目标模型的配置信息可以包括：模型名称，模型类型，创建/结束时间，参数，状态，训练数据标识(identifier，id)等。
252.例如，报告方式可以为以下任一项：基于文件的报告方式、基于流的报告方式或基于通知的报告方式。
253.因此，在接收到第二监控端发送的模型性能分析请求消息的情况下，第一监控端基于模型相关信息，可以获取模型性能预测分析结果，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
254.可选地，所述模型相关信息，包括以下任意一项或多项：
255.目标网元的模型性能信息；或
256.目标网元的业务统计信息；或
257.目标网元的用户业务质量体验；或
258.目标网元的模型相关的日志。
259.具体地，模型相关信息可以包括一项或者多项目模型信息，第一监控端可以获取第一目标模型的模型相关信息，进而基于模型相关信息，可以获取模型性能预测分析结果。
260.可选地，模型相关信息可以包括模型的性能统计数据和kpi。
261.可选地，模型相关信息可以包括以下任意一项或多项：
262.目标网元的性能信息；或
263.目标网元的业务统计信息；或
264.目标网元的用户业务质量体验(qoe)；或
265.目标网元的模型相关的日志。
266.可选地，目标网元的业务统计信息可以包括kpi关键性能指标。
267.可以理解的是，用户业务质量体验(qoe)可以作为模型训练的数据，用户业务质量
体验可以用于表示模型性能的高低，例如，若用户业务质量体验较差，则表示业务相关的模型性能较低。
268.可选地，本技术各实施例中提到的模型的数据或日志可以是指与模型相关的业务的数据或日志。
269.因此，模型相关信息可以包括一项或者多项模型信息，第一监控端基于模型相关信息，可以获取模型性能预测分析结果，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
270.可选地，所述目标网元为以下任一项：
271.网络功能实体nf；或
272.网络切片实例nsi；或
273.网络切片子网实例nssi；或
274.网络实体；或
275.子网络实体；或
276.网络管理实体。
277.可选地，在目标网元为网络功能实体nf的情况下，模型相关信息可以包括nf的性能信息、nf的业务统计信息、nf的用户业务质量体验或nf的模型相关的日志等信息。
278.可选地，在目标网元为网络切片实例(network slice instance，nsi)的情况下，模型相关信息可以包括nsi的性能信息、nsi的业务统计信息、nsi的用户业务质量体验或nsi的模型相关的日志等信息。
279.可选地，在目标网元为网络切片子网实例nssi的情况下，模型相关信息可以包括网络切片子网实例(network slice subnetinstance，nssi)的性能信息、nssi的业务统计信息、nssi的用户业务质量体验或nssi的模型相关的日志等信息。
280.可选地，在目标网元为网络实体的情况下，模型相关信息可以包括网络实体的性能信息、网络实体的业务统计信息、网络实体的用户业务质量体验或网络实体的模型相关的日志等信息。
281.可选地，在目标网元为子网络实体的情况下，模型相关信息可以包括子网络实体的性能信息、子网络实体的业务统计信息、子网络实体的用户业务质量体验或子网络实体的模型相关的日志等信息。
282.可选地，在目标网元为网络管理实体的情况下，模型相关信息可以包括网络管理实体的性能信息、网络管理实体的业务统计信息、网络管理实体的用户业务质量体验或网络管理实体的模型相关的日志等信息。
283.因此，模型相关信息可以包括一项或者多项模型信息，第一监控端基于模型相关信息，可以获取模型性能预测分析结果，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
284.可选地，所述模型性能信息包括以下任意一项或多项：
285.模型准确率；或
286.模型精确率；或
287.模型召回率；或
288.模型精确率和模型召回率的调和值；或
289.接受者操作特性roc曲线；或
290.模型运行相关的指标；或
291.模型的置信度；或
292.模型的置信区间。
293.具体地，模型性能信息可以包括关于第一目标模型的一项或多项性能信息，第一监控端基于模型性能信息和其他的模型相关信息，可以获取模型性能预测分析结果。
294.可选地，模型性能信息可以包括以下任意一项或者多项：
295.(1)模型准确率(accuracy)，包括模型正确预测的正反例数和/或模型正确预测的总数；或
296.(2)模型精确率(precision)，包括模型正确预测的正例数和/或模型预测正例总数；或
297.(3)模型召回率(recall)，包括模型正确预测的正例数和/或模型预测的实际正例总数；或
298.(4)f1 score:f值可以是精确率和召回率的调和值，更接近于两个数较小的那个，所以精确率和召回率接近时，f值最大；或
299.(5)接收者操作特征曲线(receiver operating characteristic curve，roc曲线)；或
300.(6)模型运行相关的指标，如带宽(network bandwidth)，内存使用率(memory usage)，处理器使用率(cpu usage)，响应延迟等；或
301.(7)模型的置信度；或
302.(8)模型的置信区间。
303.例如，在模型性能信息包括模型准确率、模型精确率和模型召回率的情况下，第一监控端基于模型性能信息和其他的模型相关信息，可以获取模型性能预测分析结果。
304.因此，模型相关信息可以包括一项或者多项模型信息，第一监控端基于模型相关信息，可以获取模型性能预测分析结果，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
305.可选地，所述业务统计信息包括以下任意一项或多项：
306.模型业务请求次数；或
307.模型业务响应次数；或
308.订阅成功次数；或
309.订阅失败次数；或
310.通知次数；或
311.模型业务请求时间戳；或
312.模型业务响应时间戳；或
313.业务请求相应时长。
314.具体地，业务统计信息可以包括关于第一目标模型的一项或多项统计信息，第一监控端基于业务统计信息和其他的模型相关信息，可以获取模型性能预测分析结果。
315.可选地，业务统计信息可以包括以下任意一项或者多项：
316.(1)模型业务请求(requests)/响应(responses)次数；或
317.(2)订阅(subscriptions)成功/失败次数；或
318.(3)通知(notifications)次数等；或
319.(4)模型业务请求/响应的时间戳；或
320.(5)业务请求响应时长。
321.例如，在业务统计信息包括模型业务请求次数、模型业务响应次数、订阅成功次数和订阅失败次数的情况下，第一监控端基于业务统计信息和其他的模型相关信息，可以获取模型性能预测分析结果。
322.因此，模型相关信息可以包括一项或者多项模型信息，第一监控端基于模型相关信息，可以获取模型性能预测分析结果，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
323.可选地，所述模型性能预测分析结果包括以下任意一项或多项：
324.所述模型相关信息；或
325.第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或
326.第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。
327.具体地，第一监控端可以获取第一目标模型的模型相关信息，进而可以基于模型相关信息，获取模型性能预测分析结果，模型性能预测分析结果可以包括一项或者多项分析结果。
328.例如，模型性能预测分析结果可以仅包括模型相关信息。
329.例如，模型性能预测分析结果可以包括模型相关信息、第一指示信息或第二目标模型等。
330.因此，模型性能预测分析结果可以包括一项或者多项分析结果，模型性能预测分析结果可以用于作为判断是否更新所述第一目标模型的依据，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
331.可选地，在所述模型性能预测分析结果包括所述第二目标模型的情况下，所述基于所述模型相关信息，获取模型性能预测分析结果，包括：
332.确定将第三目标模型作为所述第二目标模型；其中，所述第三目标模型是预设模型库中的一项。
333.具体地，第一监控端可以确定将第三目标模型作为第二目标模型，进而可以将第二目标模型作为模型性能预测分析结果中的一项。
334.因此，第一监控端可以将第二目标模型作为模型性能预测分析结果中的一项，模型性能预测分析结果可以用于作为判断是否更新所述第一目标模型的依据，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
335.可选地，所述第三目标模型满足以下任意一项或多项：
336.所述第三目标模型的性能指标高于所述第一目标模型的性能指标；或
337.所述第三目标模型的性能指标超过第一阈值；或
338.所述第三目标模型的性能指标是所述预设模型库中性能指标最好的。
339.例如，第三目标模型的性能指标可以高于第一目标模型的性能指标。
340.例如，第三目标模型的性能指标可以超过第一阈值。
341.例如，第三目标模型的性能指标可以是预设模型库中性能指标最好的，同时第三
目标模型的性能指标可以超过第一阈值。
342.因此，第一监控端可以将第二目标模型作为模型性能预测分析结果中的一项，模型性能预测分析结果可以用于作为判断是否更新所述第一目标模型的依据，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
343.可选地，在所述获取第一目标模型的模型相关信息之后，所述方法还包括：
344.基于所述模型相关信息，确定更新所述第一目标模型；
345.向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果中的所述第一指示信息用于指示更新所述第一目标模型。
346.具体地，在获取第一目标模型的模型相关信息之后，第一监控设备对模型相关信息进行分析，可以确定更新第一目标模型，进而可以向第二监控端发送模型性能预测分析结果，模型性能预测分析结果中的第一指示信息可以使第二监控端执行更新第一目标模型的操作。
347.可选地，第一监控设备可以对模型相关信息中的模型性能信息进行分析，在分析确定第一目标模型的性能在变差或有变差的趋势，则可以确定更新第一目标模型。
348.例如，第一监控设备可以对模型相关信息中的模型性能信息进行分析，在分析确定模型性能信息劣于该第一目标模型在第一时间段(比如48小时)以前的历史模型性能信息，则可以确定更新第一目标模型。
349.例如，第一监控设备可以对模型相关信息中的模型性能信息进行分析，在分析确定模型性能信息没达到预设标准，比如预设阈值，则可以确定更新第一目标模型。
350.可选地，第一监控设备可以对模型相关信息中的模型性能信息进行分析，在模型性能信息中的一项或多项满足第四预设条件的情况下，确定更新第一目标模型。
351.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型准确率低于准确率阈值(例如模型准确率为90％，准确率阈值为95％)，或模型准确率低于该第一目标模型的历史模型准确率。例如，模型性能信息中的一项或多项满足第四预设条件可以是模型精确率低于精确率阈值(例如模型精确率为85％，精确率阈值为90％)，或模型精确率低于该第一目标模型的历史精确率。
352.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型的置信度低于置信度阈值，或模型的置信度低于该第一目标模型的历史模型的置信度。
353.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型准确率低于该第一目标模型的准确率阈值，且模型的置信度低于该第一目标模型的置信度阈值。
354.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型精确率低于该第一目标模型的历史精确率，且模型的置信度低于该第一目标模型的历史模型的置信度。
355.需要说明的是，以上例子仅作为对本技术实施例的举例说明，不作为对本技术实施例的限定。
356.因此，在确定更新第一目标模型的情况下，第一监控端可以向第二监控端发送模型性能预测分析结果，以使第二监控端执行更新第一目标模型的操作，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
357.可选地，在基于所述模型相关信息，获取模型性能预测分析结果之后，所述方法还包括：
358.向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果用于作为所述第二监控端判断是否更新所述第一目标模型的依据。
359.具体地，在获取模型性能预测分析结果之后，第一监控端可以向第二监控端发送模型性能预测分析结果，以使第二监控端判断是否更新第一目标模型。
360.因此，第一监控端可以向第二监控端发送模型性能预测分析结果，模型性能预测分析结果可以用于作为第二监控端判断是否更新第一目标模型的依据，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
361.可选地，在所述获取第一目标模型的模型相关信息之后，所述方法还包括：
362.基于所述模型相关信息，确定更新所述第一目标模型；
363.向机器学习模型训练端发送第一请求信息，所述第一请求信息用于请求重新训练所述第一目标模型获取第四目标模型。
364.具体地，在获取第一目标模型的模型相关信息之后，第一监控端可以基于模型相关信息，确定更新第一目标模型，进而可以向机器学习模型训练端发送第一请求信息，以使机器学习模型训练端重新训练第一目标模型获取第四目标模型。
365.可选地，第一监控端可以基于模型相关信息，确定是否满足重新训练触发条件，在确定满足重新训练触发条件的情况下，可以确定更新第一目标模型，进而可以向机器学习模型训练端发送第一请求信息。
366.可选地，第一监控端可以基于模型相关信息，获取模型性能预测分析结果，进而可以基于模型性能预测分析结果，确定是否满足重新训练触发条件，在确定满足重新训练触发条件的情况下，可以确定更新第一目标模型，进而可以向机器学习模型训练端发送第一请求信息。
367.可选地，第一监控设备可以对模型性能预测分析结果中的模型性能信息进行分析，在分析确定第一目标模型的性能在变差或有变差的趋势，则可以确定满足重新训练触发条件，进而可以确定更新第一目标模型，进而可以向机器学习模型训练端发送第一请求信息。
368.例如，第一监控设备可以对模型相关信息中的模型性能信息进行分析，在分析确定模型性能信息劣于该第一目标模型在第一时间段(比如48小时)以前的历史模型性能信息，则可以确定满足重新训练触发条件，进而可以确定更新第一目标模型，进而可以向机器学习模型训练端发送第一请求信息。
369.例如，第一监控设备可以对模型相关信息中的模型性能信息进行分析，在分析确定模型性能信息没达到预设标准，比如预设阈值，则可以确定满足重新训练触发条件，进而可以确定更新第一目标模型，进而可以向机器学习模型训练端发送第一请求信息。
370.可选地，第一监控设备可以对模型性能预测分析结果中的模型性能信息进行分析，在模型性能信息中的一项或多项满足第四预设条件的情况下，确定满足重新训练触发条件，进而可以确定更新第一目标模型，进而可以向机器学习模型训练端发送第一请求信息。
371.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型准确率低于准确率阈值(例如模型准确率为90％，准确率阈值为95％)，或模型准确率低于该第一目标模型的历史模型准确率。
372.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型精确率低于精确率阈值(例如模型精确率为85％，精确率阈值为90％)，或模型精确率低于该第一目标模型的历史精确率。
373.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型的置信度低于置信度阈值，或模型的置信度低于该第一目标模型的历史模型的置信度。
374.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型准确率低于该第一目标模型的准确率阈值，且模型的置信度低于该第一目标模型的置信度阈值。
375.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型精确率低于该第一目标模型的历史精确率，且模型的置信度低于该第一目标模型的历史模型的置信度。
376.需要说明的是，以上例子仅作为对本技术实施例的举例说明，不作为对本技术实施例的限定。
377.因此，在确定更新第一目标模型的情况下，第一监控端可以向机器学习模型训练端发送第一请求信息，以使机器学习模型训练端重新训练第一目标模型获取第四目标模型，第四目标模型可以用于更新模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
378.可选地，所述方法还包括：
379.确定用于更新所述第一目标模型的第五目标模型。
380.具体地，第一监控端可以确定第五目标模型，进而可以基于第五目标模型，更新第一目标模型，可以实现模型的更新。
381.因此，第五目标模型可以用于更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
382.可选地，所述确定用于更新所述第一目标模型的第五目标模型，包括：
383.接收所述机器学习模型训练端发送的第四目标模型；
384.在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；
385.其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：
386.确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或
387.确定所述第四目标模型的性能指标超过第二阈值。
388.具体地，第一监控端可以接收机器学习模型训练端发送的第四目标模型，进而可以确定第四目标模型是否满足第三预设条件，在确定第四目标模型满足第三预设条件的情况下，可以确定将第四目标模型作为第五目标模型，进而可以使用第四目标模型更新第一目标模型。
389.可以理解的是，机器学习模型训练端可以在接收到第一监控端发送的重新训练第一目标模型的请求之后，重新训练第一目标模型获取第四目标模型，进而第一监控端可以接收机器学习模型训练端发送的第四目标模型。
390.可以理解的是，机器学习模型训练端可以在接收到第二监控端发送的重新训练第一目标模型的请求之后，重新训练第一目标模型获取第四目标模型，进而第一监控端可以接收机器学习模型训练端发送的第四目标模型。
391.可选地，第一监控端可以在确定第四目标模型的性能指标高于第一目标模型的性
能指标的情况下，确定将第四目标模型作为第五目标模型。
392.可选地，第一监控端可以在确定第四目标模型的性能指标超过第二阈值的情况下，确定将第四目标模型作为第五目标模型。
393.因此，第一监控端可以使用第四目标模型更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
394.可选地，所述确定用于更新所述第一目标模型的第五目标模型，包括：
395.确定将所述第二目标模型作为所述第五目标模型。
396.具体地，第一监控端可以确定将第二目标模型作为第五目标模型，进而可以使用第二目标模型更新第一目标模型。
397.因此，第一监控端可以使用第二目标模型更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
398.图6是本技术实施例提供的模型监控方法的流程示意图之二，如图6所示，申请实施例提供一种模型监控方法，其执行主体可以为第二监控端。该方法包括：
399.步骤601，接收第一监控端发送的第一目标模型的模型性能预测分析结果；
400.其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
401.具体地，第二监控端可以接收第一监控端发送的第一目标模型的模型性能预测分析结果，进而可以基于模型性能预测分析结果判断是否更新第一目标模型。
402.可选地，第二监控端可以是mdas消费者(consumer)。
403.可选地，第二监控端可以包括一个消费者，或多个相同或不同的消费者。
404.可以理解的是，模型性能预测分析结果可以作为判断是否更新第一目标模型的依据，进而第二监控端可以基于模型性能预测分析结果，确定是否发起重新训练第一目标模型的请求，若确定发起重新训练第一目标模型的请求，可以向机器学习模型训练端发起重新训练第一目标模型的请求，获取的训练结果可以用于更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，并可以发起模型训练，训练结果可以用于更新模型。
405.本技术实施例提供的模型监控方法，通过获取模型性能预测分析结果，第二监控端基于模型性能预测分析结果，可以判断是否更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
406.可选地，所述模型性能预测分析结果包括以下任意一项或多项：
407.模型相关信息；或
408.第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或
409.第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。
410.具体地，模型性能预测分析结果可以包括一项或多项分析结果，第二监控端在获取到模型性能预测分析结果之后，可以基于模型性能预测分析结果判断是否更新第一目标模型。
411.因此，模型性能预测分析结果可以包括一项或多项分析结果，第二监控端基于模型性能预测分析结果，可以判断是否更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
412.可选地，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之
后，所述方法还包括：
413.基于所述模型性能预测分析结果中的所述模型相关信息，确定更新所述第一目标模型。
414.具体地，在模型性能预测分析结果包括模型相关信息的情况下，第二监控端可以基于模型相关信息对第一目标模型进行分析，可以确定更新第一目标模型。
415.可选地，第二监控设备可以对模型相关信息中的模型性能信息进行分析，在分析确定第一目标模型的性能在变差或有变差的趋势，则可以确定更新第一目标模型。
416.例如，第二监控设备可以对模型相关信息中的模型性能信息进行分析，在分析确定模型性能信息劣于该第一目标模型在第一时间段(比如48小时)以前的历史模型性能信息，则可以确定更新第一目标模型。
417.例如，第二监控设备可以对模型相关信息中的模型性能信息进行分析，在分析确定模型性能信息没达到预设标准，比如预设阈值，则可以确定更新第一目标模型。
418.可选地，第二监控设备可以对模型相关信息中的模型性能信息进行分析，在模型性能信息中的一项或多项满足第四预设条件的情况下，可以确定更新第一目标模型。
419.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型准确率低于准确率阈值(例如模型准确率为90％，准确率阈值为95％)，或模型准确率低于该第一目标模型的历史模型准确率。
420.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型精确率低于精确率阈值(例如模型精确率为85％，精确率阈值为90％)，或模型精确率低于该第一目标模型的历史精确率。
421.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型的置信度低于置信度阈值，或模型的置信度低于该第一目标模型的历史模型的置信度。
422.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型准确率低于该第一目标模型的准确率阈值，且模型的置信度低于该第一目标模型的置信度阈值。
423.例如，模型性能信息中的一项或多项满足第四预设条件可以是模型精确率低于该第一目标模型的历史精确率，且模型的置信度低于该第一目标模型的历史模型的置信度。
424.需要说明的是，以上例子仅作为对本技术实施例的举例说明，不作为对本技术实施例的限定。
425.因此，第二监控端可以基于模型相关信息，确定更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
426.可选地，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述方法还包括：
427.基于所述模型性能预测分析结果中的第一指示信息，确定更新所述第一目标模型。
428.具体地，在接收到第一目标模型的模型性能预测分析结果之后，若模型性能预测分析结果包括第一指示信息，则第二监控端可以基于第一指示信息，确定更新第一目标模型。
429.因此，第二监控端可以基于第一指示信息，确定更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
430.可选地，在所述确定更新所述第一目标模型之后，所述方法还包括：
431.向机器学习模型训练端发送第二请求信息，所述第二请求信息用于请求重新训练所述第一目标模型获取第四目标模型。
432.具体地，在确定更新第一目标模型之后，第二监控端可以向机器学习模型训练端发送第二请求信息，以使机器学习模型训练端重新训练第一目标模型获取第四目标模型。
433.可选地，在确定更新第一目标模型之后，第二监控端可以确定是否满足重新训练触发条件，在确定满足重新训练触发条件的情况下，可以向机器学习模型训练端发送第二请求信息，以使机器学习模型训练端重新训练第一目标模型获取第四目标模型
434.因此，在确定更新第一目标模型的情况下，第二监控端可以向机器学习模型训练端发送第二请求信息，以使机器学习模型训练端重新训练第一目标模型获取第四目标模型，第四目标模型可以用于更新模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
435.可选地，在所述确定更新所述第一目标模型之后，所述方法还包括：
436.确定用于更新所述第一目标模型的第五目标模型。
437.具体地，第二监控端可以确定第五目标模型，进而可以基于第五目标模型，更新第一目标模型，可以实现模型的更新。
438.因此，第五目标模型可以用于更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
439.可选地，所述确定用于更新所述第一目标模型的第五目标模型，包括：
440.接收所述机器学习模型训练端发送的第四目标模型；
441.在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；
442.其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：
443.确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或
444.确定所述第四目标模型的性能指标超过第二阈值。
445.具体地，第二监控端可以接收机器学习模型训练端发送的第四目标模型，进而可以确定第四目标模型是否满足第三预设条件，在确定第四目标模型满足第三预设条件的情况下，可以确定将第四目标模型作为第五目标模型，进而可以使用第四目标模型更新第一目标模型。
446.可以理解的是，机器学习模型训练端可以在接收到第一监控端发送的重新训练第一目标模型的请求之后，重新训练第一目标模型获取第四目标模型，进而第二监控端可以接收机器学习模型训练端发送的第四目标模型。
447.可以理解的是，机器学习模型训练端可以在接收到第二监控端发送的重新训练第一目标模型的请求之后，重新训练第一目标模型获取第四目标模型，进而第二监控端可以接收机器学习模型训练端发送的第四目标模型。
448.可选地，第二监控端可以在确定第四目标模型的性能指标高于第一目标模型的性能指标的情况下，确定将第四目标模型作为第五目标模型。
449.可选地，第二监控端可以在确定第四目标模型的性能指标超过第二阈值的情况下，确定将第四目标模型作为第五目标模型。
450.因此，第二监控端可以使用第四目标模型更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
451.可选地，所述确定用于更新所述第一目标模型的第五目标模型，包括：
452.确定将所述第二目标模型作为所述第五目标模型。
453.具体地，第二监控端可以确定将第二目标模型作为第五目标模型，进而可以使用第二目标模型更新第一目标模型。
454.因此，第二监控端可以使用第二目标模型更新第一目标模型，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。
455.图7是本技术实施例提供的模型监控方法的流程示意图之三，图7为本技术的一个可选的示例，但不作为对本技术的限定；如图7所示，第一监控端可以作为被授权的消费者，向目标服务请求模型相关信息，目标服务可以是nf测量任务控制服务生产者，具体可以包括步骤701至704，其中：
456.步骤701，被授权的消费者可以调用createmeasurementjob操作，给nf测量任务控制服务生产者，请求为一个或者多个nf创建一个测量任务；
457.步骤702，nf测量任务控制服务生产者检查是否需要从待测量的nf中收集新的测量类型；
458.可选地，目标网元可以是网络功能实体nf。
459.可选地，测量类型可以包括模型性能信息和业务统计信息。
460.可选地，模型性能信息可以包括以下任意一项或者多项：
461.(1)模型准确率(accuracy)，包括模型正确预测的正反例数和/或模型正确预测的总数；或
462.(2)模型精确率(precision)，包括模型正确预测的正例数和/或模型预测正例总数；或
463.(3)模型召回率(recall)，包括模型正确预测的正例数和/或模型预测的实际正例总数；或
464.(4)f1 score:f值可以是精确率和召回率的调和值，更接近于两个数较小的那个，所以精确率和召回率接近时，f值最大；或
465.(5)roc曲线；或
466.(6)模型运行相关的指标，如带宽(network bandwidth)，内存使用率(memory usage)，处理器使用率(cpu usage)，响应延迟等；或
467.(7)模型的置信度；或
468.(8)模型的置信区间。
469.可选地，业务统计信息可以包括以下任意一项或者多项：
470.(1)模型业务请求(requests)/响应(responses)次数；或
471.(2)订阅(subscriptions)成功/失败次数；或
472.(3)通知(notifications)次数等；或
473.(4)模型业务请求/响应的时间戳；或
474.(5)业务请求响应时长。
475.步骤703，对于每个待测量的nf，如果需要收集新的测量类型，则发起性能测量；
476.步骤703可以持续执行步骤7031和步骤7032，其中：
477.步骤7031，nf测量任务控制服务生产者请求nf收集模型性能信息和业务统计信息；
478.步骤7032，nf测量任务控制服务生产者从nf接收请求的确认。
479.可以理解的是，对于一个或多个待测量的nf中的任一待测量的nf，均可以执行步骤7031和步骤7032。
480.步骤704，测量任务创建完成之后，nf可以开始测量并可以将测量结果发送给被授权的消费者。
481.可以理解的是，当目标网元是nsi或nssi的情况下，目标网元可以将测量需求分解为对模型性能信息的测量和对业务统计信息的测量。
482.可以理解的是，目标网元可以通过以下任意一种或多种方式获取模型性能信息，进而可以将模型性能信息上报给第一监控端：
483.(1)基于累积计数器的统计方式；或
484.(2)基于动态计数器的统计方式；或
485.(3)基于离散事件登记(discrete-event-registration，der)的统计方式；或
486.(4)基于状态检测的统计方式。
487.可以理解的是，目标网元可以基于性能统计数据和/或最小化路测(mdt)，获取业务统计信息，进而可以将业务统计信息上报给第一监控端。
488.图8是本技术实施例提供的模型监控方法的流程示意图之四，图8为本技术的一个可选的示例，但不作为对本技术的限定；如图8所示，第一监控端可以作为mdas producer，第二监控端可以作为mdas consumer，mdas producer向目标服务请求模型相关信息，进而可以基于模型相关信息，获取模型性能预测分析结果，进而可以向mdas consumer发送模型性能预测分析结果，具体可以包括步骤801至808，其中：
489.步骤801，mdas producer获取模型相关信息；
490.可选地，模型相关信息可以包括以下任意一项或多项：
491.目标网元的性能信息；或
492.目标网元的业务统计信息；或
493.目标网元的用户业务质量体验(qoe)；或
494.目标网元的模型相关的日志。
495.可选地，目标网元的业务统计信息可以包括kpi关键性能指标。
496.可选地，mdas producer可以从performance assurance service获取模型相关信息。
497.步骤802，mdas consumer向mdas producer发送模型性能分析请求消息(mda reporting request)；
498.可选地，模型性能分析请求消息可以包括以下任意一项或多项：
499.模型分析类型；或
500.模型性能分析的类型(mda type)；或
501.所述第一目标模型的配置信息(target model information)；或
502.地理位置(geographic location)；或
503.目标分析对象(the target objects)；或
504.请求标识符(identifier of the reporting request)；或
505.报告方式(reporting method)；或
506.功能模块标识(function id)，用于指示模型所在功能模块id。
507.例如，第一目标模型的配置信息可以包括：模型名称，模型类型，创建/结束时间，参数，状态，训练数据id等。
508.例如，报告方式可以为以下任一项：基于文件的报告方式、基于流的报告方式或基于通知的报告方式。
509.可选地，mdas producer确定发生目标触发事件可以包括：
510.接收到mdas consumer发送的模型性能分析请求消息(mda reporting request)。
511.步骤803，mdas producer向mdas consumer发送确认消息(response)；
512.可选地，确认消息(response)可以指示请求确认成功(success)或者请求确认失败(failure)。
513.步骤804，mdas producer基于模型相关信息，获取模型性能预测分析结果；
514.可选地，模型性能预测分析结果可以包括以下任意一项或多项：
515.模型相关信息；或
516.第一指示信息，第一指示信息用于指示是否更新第一目标模型；或
517.第二目标模型，第二目标模型被推荐用于更新第一目标模型。
518.步骤805，mdas producer将模型性能预测分析结果发送至mdas consumer；
519.步骤806，基于模型性能预测分析结果，若mdas consumer确定满足重新训练触发条件，则向机器学习模型训练端(ml model training producer，mlmt producer)发起模型训练请求；
520.步骤807，mlmt producer向mdas consumer发送请求确认(response)；
521.步骤808，完成训练后，mlmt producer向mdas consumer发送训练结果(第四目标模型)。
522.图9是本技术实施例提供的模型监控方法的流程示意图之五，图9为本技术的一个可选的示例，但不作为对本技术的限定；如图9所示，第一监控端可以作为mdas，mdas向目标服务请求模型相关信息，进而可以基于模型相关信息，获取模型性能预测分析结果，进而在确定满足重新训练触发条件的情况下，可以向机器学习模型训练端发起模型训练请求，具体可以包括步骤901至905，其中：
523.步骤901，mdas获取模型相关信息；
524.可选地，模型相关信息可以包括以下任意一项或多项：
525.目标网元的性能信息；或
526.目标网元的业务统计信息；或
527.目标网元的用户业务质量体验(qoe)；或
528.目标网元的模型相关的日志。
529.可选地，目标网元的业务统计信息可以包括kpi关键性能指标。
530.可选地，mdas可以从performance assurance service获取模型相关信息。
531.步骤902，mdas可以在确定满足第一预设条件的情况下，确定执行基于模型相关信
息，获取模型性能预测分析结果；
532.可选地，确定满足第一预设条件可以为以下任一项：
533.确定第一模型性能监测定时器超时；或
534.确定存在新的训练数据。
535.可选地，模型性能预测分析结果可以包括以下任意一项或多项：
536.模型相关信息；或
537.第一指示信息，第一指示信息用于指示是否更新第一目标模型；或
538.第二目标模型，第二目标模型被推荐用于更新第一目标模型。
539.步骤903，基于模型性能预测分析结果，若mdas确定满足重新训练触发条件，则向机器学习模型训练端(ml model training producer，mlmt producer)发起模型训练请求；
540.步骤904，mlmt producer向mdas发送请求确认(response)；
541.步骤905，完成训练后，mlmt producer向mdas发送训练结果(第四目标模型)。
542.本技术各实施例提供的方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
543.图10是本技术实施例提供的第一监控端的结构示意图，如图10所示，所述第一监控端包括存储器1020，收发机1000，处理器1010，其中：
544.存储器1020，用于存储计算机程序；收发机1000，用于在所述处理器1010的控制下收发数据；处理器1010，用于读取所述存储器1020中的计算机程序并执行以下操作：
545.获取第一目标模型的模型相关信息；
546.基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
547.具体地，收发机1000，用于在处理器1010的控制下接收和发送数据。
548.其中，在图10中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1010代表的一个或多个处理器和存储器1020代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1000可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。处理器1010负责管理总线架构和通常的处理，存储器1020可以存储处理器1010在执行操作时所使用的数据。
549.处理器1010可以是中央处理器(central processing unit,cpu)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或复杂可编程逻辑器件(complex programmable logic device，cpld)，处理器也可以采用多核架构。
550.可选地，在所述基于所述模型相关信息，获取模型性能预测分析结果之前，所述操作还包括：
551.在确定满足第一预设条件的情况下，确定执行所述基于所述模型相关信息，获取模型性能预测分析结果；
552.所述确定满足第一预设条件为以下任一项：
553.确定发生目标触发事件；或
554.确定第一模型性能监测定时器超时；或
555.确定存在新的训练数据。
556.可选地，所述获取第一目标模型的模型相关信息，包括：
557.从一个或多个目标网元收集所述模型相关信息，
558.所述目标网元布署有所述第一目标模型。
559.可选地，所述获取第一目标模型的模型相关信息，包括：
560.向目标服务请求所述模型相关信息，所述目标服务用于从一个或多个目标网元收集所述模型相关信息，
561.所述目标网元布署有所述第一目标模型。
562.可选地，在所述获取第一目标模型的模型相关信息之前，所述操作还包括：
563.在确定满足第二预设条件的情况下，确定执行所述向目标服务请求所述模型相关信息；
564.所述确定满足第二预设条件为以下任一项：
565.确定发生目标触发事件；或
566.确定第二模型性能监测定时器超时；或
567.确定存在新的训练数据；或
568.本地无所述模型相关信息；或
569.本地未存储历史的模型相关信息。
570.可选地，所述确定发生目标触发事件，包括：
571.接收到第二监控端发送的模型性能分析请求消息，
572.其中，所述模型性能分析请求消息包括以下任意一项或多项：
573.模型分析类型；或
574.模型性能分析的类型；或
575.所述第一目标模型的配置信息；或
576.地理位置；或
577.目标分析对象；或
578.请求标识符；或
579.报告方式；或
580.功能模块标识。
581.可选地，所述模型相关信息，包括以下任意一项或多项：
582.目标网元的模型性能信息；或
583.目标网元的业务统计信息；或
584.目标网元的用户业务质量体验；或
585.目标网元的模型相关的日志。
586.可选地，所述目标网元为以下任一项：
587.网络功能实体nf；或
588.网络切片实例nsi；或
589.网络切片子网实例nssi；或
590.网络实体；或
591.子网络实体；或
592.网络管理实体。
593.可选地，所述模型性能信息包括以下任意一项或多项：
594.模型准确率；或
595.模型精确率；或
596.模型召回率；或
597.模型精确率和模型召回率的调和值；或
598.接受者操作特性roc曲线；或
599.模型运行相关的指标；或
600.模型的置信度；或
601.模型的置信区间。
602.可选地，所述业务统计信息包括以下任意一项或多项：
603.模型业务请求次数；或
604.模型业务响应次数；或
605.订阅成功次数；或
606.订阅失败次数；或
607.通知次数；或
608.模型业务请求时间戳；或
609.模型业务响应时间戳；或
610.业务请求相应时长。
611.可选地，所述模型性能预测分析结果包括以下任意一项或多项：
612.所述模型相关信息；或
613.第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或
614.第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。
615.可选地，在所述模型性能预测分析结果包括所述第二目标模型的情况下，所述基于所述模型相关信息，获取模型性能预测分析结果，包括：
616.确定将第三目标模型作为所述第二目标模型；其中，所述第三目标模型是预设模型库中的一项。
617.可选地，所述第三目标模型满足以下任意一项或多项：
618.所述第三目标模型的性能指标高于所述第一目标模型的性能指标；或
619.所述第三目标模型的性能指标超过第一阈值；或
620.所述第三目标模型的性能指标是所述预设模型库中性能指标最好的。
621.可选地，在所述获取第一目标模型的模型相关信息之后，所述操作还包括：
622.基于所述模型相关信息，确定更新所述第一目标模型；
623.向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果中的所述第一指示信息用于指示更新所述第一目标模型。
624.可选地，在基于所述模型相关信息，获取模型性能预测分析结果之后，所述操作还包括：
625.向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果用于
作为所述第二监控端判断是否更新所述第一目标模型的依据。
626.可选地，在所述获取第一目标模型的模型相关信息之后，所述操作还包括：
627.基于所述模型相关信息，确定更新所述第一目标模型；
628.向机器学习模型训练端发送第一请求信息，所述第一请求信息用于请求重新训练所述第一目标模型获取第四目标模型。
629.可选地，所述操作还包括：
630.确定用于更新所述第一目标模型的第五目标模型。
631.可选地，所述确定用于更新所述第一目标模型的第五目标模型，包括：
632.接收所述机器学习模型训练端发送的第四目标模型；
633.在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；
634.其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：
635.确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或
636.确定所述第四目标模型的性能指标超过第二阈值。
637.可选地，所述确定用于更新所述第一目标模型的第五目标模型，包括：
638.确定将所述第二目标模型作为所述第五目标模型。
639.在此需要说明的是，本技术实施例提供的上述第一监控端，能够实现上述执行主体为第一监控端的方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
640.图11是本技术实施例提供的第二监控端的结构示意图，如图11所示，所述第二监控端包括存储器1120，收发机1100，处理器1110，其中：
641.存储器1120，用于存储计算机程序；收发机1100，用于在所述处理器1110的控制下收发数据；处理器1110，用于读取所述存储器1120中的计算机程序并执行以下操作：
642.接收第一监控端发送的第一目标模型的模型性能预测分析结果；
643.其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
644.具体地，收发机1100，用于在处理器1110的控制下接收和发送数据。
645.其中，在图11中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1110代表的一个或多个处理器和存储器1120代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1100可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。处理器1110负责管理总线架构和通常的处理，存储器1120可以存储处理器1110在执行操作时所使用的数据。
646.处理器1110可以是中央处理器(central processing unit,cpu)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或复杂可编程逻辑器件(complex programmable logic device，cpld)，处理器也可以采用多核架构。
647.可选地，所述模型性能预测分析结果包括以下任意一项或多项：
648.模型相关信息；或
649.第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或
650.第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。
651.可选地，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述操作还包括：
652.基于所述模型性能预测分析结果中的所述模型相关信息，确定更新所述第一目标模型。
653.可选地，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述操作还包括：
654.基于所述模型性能预测分析结果中的第一指示信息，确定更新所述第一目标模型。
655.可选地，在所述确定更新所述第一目标模型之后，所述操作还包括：
656.向机器学习模型训练端发送第二请求信息，所述第二请求信息用于请求重新训练所述第一目标模型获取第四目标模型。
657.可选地，在所述确定更新所述第一目标模型之后，所述操作还包括：
658.确定用于更新所述第一目标模型的第五目标模型。
659.可选地，所述确定用于更新所述第一目标模型的第五目标模型，包括：
660.接收所述机器学习模型训练端发送的第四目标模型；
661.在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；
662.其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：
663.确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或
664.确定所述第四目标模型的性能指标超过第二阈值。
665.可选地，所述确定用于更新所述第一目标模型的第五目标模型，包括：
666.确定将所述第二目标模型作为所述第五目标模型。
667.在此需要说明的是，本技术实施例提供的上述第二监控端，能够实现上述执行主体为第二监控端的方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
668.图12是本技术实施例提供的模型监控装置的结构示意图之一，如图12所示，所述装置应用于第一监控端，所述装置1200包括第一获取单元1201和第二获取单元1202，其中：
669.第一获取单元1201，用于获取第一目标模型的模型相关信息；
670.第二获取单元1202，用于基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
671.可选地，所述装置还包括第一确定单元，在所述基于所述模型相关信息，获取模型性能预测分析结果之前，所述第一确定单元用于：
672.在确定满足第一预设条件的情况下，确定执行所述基于所述模型相关信息，获取模型性能预测分析结果；
673.所述确定满足第一预设条件为以下任一项：
674.确定发生目标触发事件；或
675.确定第一模型性能监测定时器超时；或
676.确定存在新的训练数据。
677.可选地，所述第一获取单元具体用于：
678.从一个或多个目标网元收集所述模型相关信息，
679.所述目标网元布署有所述第一目标模型。
680.可选地，所述第一获取单元具体用于：
681.向目标服务请求所述模型相关信息，所述目标服务用于从一个或多个目标网元收集所述模型相关信息，
682.所述目标网元布署有所述第一目标模型。
683.可选地，所述方法还包括所述装置还包括第二确定单元，在所述获取第一目标模型的模型相关信息之前，所述第二确定单元用于：
684.在确定满足第二预设条件的情况下，确定执行所述向目标服务请求所述模型相关信息；
685.所述确定满足第二预设条件为以下任一项：
686.确定发生目标触发事件；或
687.确定第二模型性能监测定时器超时；或
688.确定存在新的训练数据；或
689.本地无所述模型相关信息；或
690.本地未存储历史的模型相关信息。
691.可选地，所述第一确定单元具体用于：
692.接收到第二监控端发送的模型性能分析请求消息，
693.其中，所述模型性能分析请求消息包括以下任意一项或多项：
694.模型分析类型；或
695.模型性能分析的类型；或
696.所述第一目标模型的配置信息；或
697.地理位置；或
698.目标分析对象；或
699.请求标识符；或
700.报告方式；或
701.功能模块标识。
702.可选地，所述模型相关信息，包括以下任意一项或多项：
703.目标网元的模型性能信息；或
704.目标网元的业务统计信息；或
705.目标网元的用户业务质量体验；或
706.目标网元的模型相关的日志。
707.可选地，所述目标网元为以下任一项：
708.网络功能实体nf；或
709.网络切片实例nsi；或
710.网络切片子网实例nssi；或
711.网络实体；或
712.子网络实体；或
713.网络管理实体。
714.可选地，所述模型性能信息包括以下任意一项或多项：
715.模型准确率；或
716.模型精确率；或
717.模型召回率；或
718.模型精确率和模型召回率的调和值；或
719.接受者操作特性roc曲线；或
720.模型运行相关的指标；或
721.模型的置信度；或
722.模型的置信区间。
723.可选地，所述业务统计信息包括以下任意一项或多项：
724.模型业务请求次数；或
725.模型业务响应次数；或
726.订阅成功次数；或
727.订阅失败次数；或
728.通知次数；或
729.模型业务请求时间戳；或
730.模型业务响应时间戳；或
731.业务请求相应时长。
732.可选地，所述模型性能预测分析结果包括以下任意一项或多项：
733.所述模型相关信息；或
734.第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或
735.第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。
736.可选地，在所述模型性能预测分析结果包括所述第二目标模型的情况下，所述第二获取单元具体用于：
737.确定将第三目标模型作为所述第二目标模型；其中，所述第三目标模型是预设模型库中的一项。
738.可选地，所述第三目标模型满足以下任意一项或多项：
739.所述第三目标模型的性能指标高于所述第一目标模型的性能指标；或
740.所述第三目标模型的性能指标超过第一阈值；或
741.所述第三目标模型的性能指标是所述预设模型库中性能指标最好的。
742.可选地，所述装置还包括第三确定单元，在所述获取第一目标模型的模型相关信息之后，所述第三确定单元用于：
743.基于所述模型相关信息，确定更新所述第一目标模型；
744.向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果中的所述第一指示信息用于指示更新所述第一目标模型。
745.可选地，所述装置还包括第一发送单元，在基于所述模型相关信息，获取模型性能
预测分析结果之后，所述第一发送单元用于：
746.向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果用于作为所述第二监控端判断是否更新所述第一目标模型的依据。
747.可选地，所述装置还包括第四确定单元，在所述获取第一目标模型的模型相关信息之后，所述第四确定单元用于：
748.基于所述模型相关信息，确定更新所述第一目标模型；
749.向机器学习模型训练端发送第一请求信息，所述第一请求信息用于请求重新训练所述第一目标模型获取第四目标模型。
750.可选地，所述装置还包括第五确定单元，所述第五确定单元用于：
751.确定用于更新所述第一目标模型的第五目标模型。
752.可选地，所述第五确定单元具体用于：
753.接收所述机器学习模型训练端发送的第四目标模型；
754.在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；
755.其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：
756.确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或
757.确定所述第四目标模型的性能指标超过第二阈值。
758.可选地，所述第五确定单元具体用于：
759.确定将所述第二目标模型作为所述第五目标模型。
760.图13是本技术实施例提供的模型监控装置的结构示意图之二，如图13所示，所述装置应用于第二监控端，所述装置1300包括接收单元1301，其中：
761.接收单元1301，用于接收第一监控端发送的第一目标模型的模型性能预测分析结果；
762.其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
763.可选地，所述模型性能预测分析结果包括以下任意一项或多项：
764.模型相关信息；或
765.第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或
766.第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。
767.可选地，所述装置还包括第六确定单元，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述第六确定单元用于：
768.基于所述模型性能预测分析结果中的所述模型相关信息，确定更新所述第一目标模型。
769.可选地，所述装置还包括第七确定单元，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述第七确定单元用于：
770.基于所述模型性能预测分析结果中的第一指示信息，确定更新所述第一目标模型。
771.可选地，所述装置还包括第二发送单元，在所述确定更新所述第一目标模型之后，所述第二发送单元用于：
772.向机器学习模型训练端发送第二请求信息，所述第二请求信息用于请求重新训练所述第一目标模型获取第四目标模型。
773.可选地，所述装置还包括第八确定单元，在所述确定更新所述第一目标模型之后，所述第八确定单元用于：
774.确定用于更新所述第一目标模型的第五目标模型。
775.可选地，所述第八确定单元具体用于：
776.接收所述机器学习模型训练端发送的第四目标模型；
777.在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；
778.其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：
779.确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或
780.确定所述第四目标模型的性能指标超过第二阈值。
781.可选地，所述第八确定单元具体用于：
782.确定将所述第二目标模型作为所述第五目标模型。
783.需要说明的是，本技术实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
784.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
785.在此需要说明的是，本发明实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
786.另一方面，本技术实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行上述各实施例提供的方法，例如包括：
787.获取第一目标模型的模型相关信息；
788.基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。
789.例如包括：
790.接收第一监控端发送的第一目标模型的模型性能预测分析结果；
791.其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依
据。
792.所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
793.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
794.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可执行指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可执行指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
795.这些处理器可执行指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的处理器可读存储器中，使得存储在该处理器可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
796.这些处理器可执行指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
797.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种模型监控方法，其特征在于，应用于第一监控端，包括：获取第一目标模型的模型相关信息；基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。2.根据权利要求1所述的模型监控方法，其特征在于，在所述基于所述模型相关信息，获取模型性能预测分析结果之前，所述方法还包括：在确定满足第一预设条件的情况下，确定执行所述基于所述模型相关信息，获取模型性能预测分析结果；所述确定满足第一预设条件为以下任一项：确定发生目标触发事件；或确定第一模型性能监测定时器超时；或确定存在新的训练数据。3.根据权利要求1或2所述的模型监控方法，其特征在于，所述获取第一目标模型的模型相关信息，包括：从一个或多个目标网元收集所述模型相关信息，所述目标网元布署有所述第一目标模型。4.根据权利要求1或2所述的模型监控方法，其特征在于，所述获取第一目标模型的模型相关信息，包括：向目标服务请求所述模型相关信息，所述目标服务用于从一个或多个目标网元收集所述模型相关信息，所述目标网元布署有所述第一目标模型。5.根据权利要求4所述的模型监控方法，其特征在于，在所述获取第一目标模型的模型相关信息之前，所述方法还包括：在确定满足第二预设条件的情况下，确定执行所述向目标服务请求所述模型相关信息；所述确定满足第二预设条件为以下任一项：确定发生目标触发事件；或确定第二模型性能监测定时器超时；或确定存在新的训练数据；或本地无所述模型相关信息；或本地未存储历史的模型相关信息。6.根据权利要求2或5所述的模型监控方法，其特征在于，所述确定发生目标触发事件，包括：接收到第二监控端发送的模型性能分析请求消息，其中，所述模型性能分析请求消息包括以下任意一项或多项：模型分析类型；或模型性能分析的类型；或所述第一目标模型的配置信息；或地理位置；或
目标分析对象；或请求标识符；或报告方式；或功能模块标识。7.根据权利要求1所述的模型监控方法，其特征在于，所述模型相关信息，包括以下任意一项或多项：目标网元的模型性能信息；或目标网元的业务统计信息；或目标网元的用户业务质量体验；或目标网元的模型相关的日志。8.根据权利要求7所述的模型监控方法，其特征在于，所述目标网元为以下任一项：网络功能实体nf；或网络切片实例nsi；或网络切片子网实例nssi；或网络实体；或子网络实体；或网络管理实体。9.根据权利要求7或8所述的模型监控方法，其特征在于，所述模型性能信息包括以下任意一项或多项：模型准确率；或模型精确率；或模型召回率；或模型精确率和模型召回率的调和值；或接受者操作特性roc曲线；或模型运行相关的指标；或模型的置信度；或模型的置信区间。10.根据权利要求7或8所述的模型监控方法，其特征在于，所述业务统计信息包括以下任意一项或多项：模型业务请求次数；或模型业务响应次数；或订阅成功次数；或订阅失败次数；或通知次数；或模型业务请求时间戳；或模型业务响应时间戳；或业务请求相应时长。11.根据权利要求1所述的模型监控方法，其特征在于，所述模型性能预测分析结果包括以下任意一项或多项：
所述模型相关信息；或第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。12.根据权利要求11所述的模型监控方法，其特征在于，在所述模型性能预测分析结果包括所述第二目标模型的情况下，所述基于所述模型相关信息，获取模型性能预测分析结果，包括：确定将第三目标模型作为所述第二目标模型；其中，所述第三目标模型是预设模型库中的一项。13.根据权利要求12所述的模型监控方法，其特征在于，所述第三目标模型满足以下任意一项或多项：所述第三目标模型的性能指标高于所述第一目标模型的性能指标；或所述第三目标模型的性能指标超过第一阈值；或所述第三目标模型的性能指标是所述预设模型库中性能指标最好的。14.根据权利要求11所述的模型监控方法，其特征在于，在所述获取第一目标模型的模型相关信息之后，所述方法还包括：基于所述模型相关信息，确定更新所述第一目标模型；向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果中的所述第一指示信息用于指示更新所述第一目标模型。15.根据权利要求11所述的模型监控方法，其特征在于，在基于所述模型相关信息，获取模型性能预测分析结果之后，所述方法还包括：向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果用于作为所述第二监控端判断是否更新所述第一目标模型的依据。16.根据权利要求11所述的模型监控方法，其特征在于，在所述获取第一目标模型的模型相关信息之后，所述方法还包括：基于所述模型相关信息，确定更新所述第一目标模型；向机器学习模型训练端发送第一请求信息，所述第一请求信息用于请求重新训练所述第一目标模型获取第四目标模型。17.根据权利要求14-16任一项所述的模型监控方法，其特征在于，所述方法还包括：确定用于更新所述第一目标模型的第五目标模型。18.根据权利要求17所述的模型监控方法，其特征在于，所述确定用于更新所述第一目标模型的第五目标模型，包括：接收所述机器学习模型训练端发送的第四目标模型；在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或确定所述第四目标模型的性能指标超过第二阈值。19.根据权利要求17所述的模型监控方法，其特征在于，所述确定用于更新所述第一目标模型的第五目标模型，包括：
确定将所述第二目标模型作为所述第五目标模型。20.一种模型监控方法，其特征在于，应用于第二监控端，包括：接收第一监控端发送的第一目标模型的模型性能预测分析结果；其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。21.根据权利要求20所述的模型监控方法，其特征在于，所述模型性能预测分析结果包括以下任意一项或多项：模型相关信息；或第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。22.根据权利要求21所述的模型监控方法，其特征在于，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述方法还包括：基于所述模型性能预测分析结果中的所述模型相关信息，确定更新所述第一目标模型。23.根据权利要求21所述的模型监控方法，其特征在于，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述方法还包括：基于所述模型性能预测分析结果中的第一指示信息，确定更新所述第一目标模型。24.根据权利要求22或23所述的模型监控方法，其特征在于，在所述确定更新所述第一目标模型之后，所述方法还包括：向机器学习模型训练端发送第二请求信息，所述第二请求信息用于请求重新训练所述第一目标模型获取第四目标模型。25.根据权利要求22或23所述的模型监控方法，其特征在于，在所述确定更新所述第一目标模型之后，所述方法还包括：确定用于更新所述第一目标模型的第五目标模型。26.根据权利要求25所述的模型监控方法，其特征在于，所述确定用于更新所述第一目标模型的第五目标模型，包括：接收所述机器学习模型训练端发送的第四目标模型；在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或确定所述第四目标模型的性能指标超过第二阈值。27.根据权利要求25所述的模型监控方法，其特征在于，所述确定用于更新所述第一目标模型的第五目标模型，包括：确定将所述第二目标模型作为所述第五目标模型。28.一种第一监控端，其特征在于，包括存储器，收发机，处理器：存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：获取第一目标模型的模型相关信息；基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结
果用于作为判断是否更新所述第一目标模型的依据。29.根据权利要求28所述的第一监控端，其特征在于，在所述基于所述模型相关信息，获取模型性能预测分析结果之前，所述操作还包括：在确定满足第一预设条件的情况下，确定执行所述基于所述模型相关信息，获取模型性能预测分析结果；所述确定满足第一预设条件为以下任一项：确定发生目标触发事件；或确定第一模型性能监测定时器超时；或确定存在新的训练数据。30.根据权利要求28或29所述的第一监控端，其特征在于，所述获取第一目标模型的模型相关信息，包括：从一个或多个目标网元收集所述模型相关信息，所述目标网元布署有所述第一目标模型。31.根据权利要求28或29所述的第一监控端，其特征在于，所述获取第一目标模型的模型相关信息，包括：向目标服务请求所述模型相关信息，所述目标服务用于从一个或多个目标网元收集所述模型相关信息，所述目标网元布署有所述第一目标模型。32.根据权利要求31所述的第一监控端，其特征在于，在所述获取第一目标模型的模型相关信息之前，所述操作还包括：在确定满足第二预设条件的情况下，确定执行所述向目标服务请求所述模型相关信息；所述确定满足第二预设条件为以下任一项：确定发生目标触发事件；或确定第二模型性能监测定时器超时；或确定存在新的训练数据；或本地无所述模型相关信息；或本地未存储历史的模型相关信息。33.根据权利要求29或32所述的第一监控端，其特征在于，所述确定发生目标触发事件，包括：接收到第二监控端发送的模型性能分析请求消息，其中，所述模型性能分析请求消息包括以下任意一项或多项：模型分析类型；或模型性能分析的类型；或所述第一目标模型的配置信息；或地理位置；或目标分析对象；或请求标识符；或报告方式；或
功能模块标识。34.根据权利要求28所述的第一监控端，其特征在于，所述模型相关信息，包括以下任意一项或多项：目标网元的模型性能信息；或目标网元的业务统计信息；或目标网元的用户业务质量体验；或目标网元的模型相关的日志。35.根据权利要求34所述的第一监控端，其特征在于，所述目标网元为以下任一项：网络功能实体nf；或网络切片实例nsi；或网络切片子网实例nssi；或网络实体；或子网络实体；或网络管理实体。36.根据权利要求34或35所述的第一监控端，其特征在于，所述模型性能信息包括以下任意一项或多项：模型准确率；或模型精确率；或模型召回率；或模型精确率和模型召回率的调和值；或接受者操作特性roc曲线；或模型运行相关的指标；或模型的置信度；或模型的置信区间。37.根据权利要求34或35所述的第一监控端，其特征在于，所述业务统计信息包括以下任意一项或多项：模型业务请求次数；或模型业务响应次数；或订阅成功次数；或订阅失败次数；或通知次数；或模型业务请求时间戳；或模型业务响应时间戳；或业务请求相应时长。38.根据权利要求28所述的第一监控端，其特征在于，所述模型性能预测分析结果包括以下任意一项或多项：所述模型相关信息；或第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。
39.根据权利要求38所述的第一监控端，其特征在于，在所述模型性能预测分析结果包括所述第二目标模型的情况下，所述基于所述模型相关信息，获取模型性能预测分析结果，包括：确定将第三目标模型作为所述第二目标模型；其中，所述第三目标模型是预设模型库中的一项。40.根据权利要求39所述的第一监控端，其特征在于，所述第三目标模型满足以下任意一项或多项：所述第三目标模型的性能指标高于所述第一目标模型的性能指标；或所述第三目标模型的性能指标超过第一阈值；或所述第三目标模型的性能指标是所述预设模型库中性能指标最好的。41.根据权利要求38所述的第一监控端，其特征在于，在所述获取第一目标模型的模型相关信息之后，所述操作还包括：基于所述模型相关信息，确定更新所述第一目标模型；向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果中的所述第一指示信息用于指示更新所述第一目标模型。42.根据权利要求38所述的第一监控端，其特征在于，在基于所述模型相关信息，获取模型性能预测分析结果之后，所述操作还包括：向第二监控端发送所述模型性能预测分析结果，所述模型性能预测分析结果用于作为所述第二监控端判断是否更新所述第一目标模型的依据。43.根据权利要求38所述的第一监控端，其特征在于，在所述获取第一目标模型的模型相关信息之后，所述操作还包括：基于所述模型相关信息，确定更新所述第一目标模型；向机器学习模型训练端发送第一请求信息，所述第一请求信息用于请求重新训练所述第一目标模型获取第四目标模型。44.根据权利要求41-43任一项所述的第一监控端，其特征在于，所述操作还包括：确定用于更新所述第一目标模型的第五目标模型。45.根据权利要求44所述的第一监控端，其特征在于，所述确定用于更新所述第一目标模型的第五目标模型，包括：接收所述机器学习模型训练端发送的第四目标模型；在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或确定所述第四目标模型的性能指标超过第二阈值。46.根据权利要求44所述的第一监控端，其特征在于，所述确定用于更新所述第一目标模型的第五目标模型，包括：确定将所述第二目标模型作为所述第五目标模型。47.一种第二监控端，其特征在于，包括存储器，收发机，处理器：存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，
用于读取所述存储器中的计算机程序并执行以下操作：接收第一监控端发送的第一目标模型的模型性能预测分析结果；其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。48.根据权利要求47所述的第二监控端，其特征在于，所述模型性能预测分析结果包括以下任意一项或多项：模型相关信息；或第一指示信息，所述第一指示信息用于指示是否更新所述第一目标模型；或第二目标模型，所述第二目标模型被推荐用于更新所述第一目标模型。49.根据权利要求48所述的第二监控端，其特征在于，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述操作还包括：基于所述模型性能预测分析结果中的所述模型相关信息，确定更新所述第一目标模型。50.根据权利要求48所述的第二监控端，其特征在于，在所述接收第一监控端发送的第一目标模型的模型性能预测分析结果之后，所述操作还包括：基于所述模型性能预测分析结果中的第一指示信息，确定更新所述第一目标模型。51.根据权利要求49或50所述的第二监控端，其特征在于，在所述确定更新所述第一目标模型之后，所述操作还包括：向机器学习模型训练端发送第二请求信息，所述第二请求信息用于请求重新训练所述第一目标模型获取第四目标模型。52.根据权利要求49或50所述的第二监控端，其特征在于，在所述确定更新所述第一目标模型之后，所述操作还包括：确定用于更新所述第一目标模型的第五目标模型。53.根据权利要求52所述的第二监控端，其特征在于，所述确定用于更新所述第一目标模型的第五目标模型，包括：接收所述机器学习模型训练端发送的第四目标模型；在确定所述第四目标模型满足第三预设条件的情况下，确定将所述第四目标模型作为所述第五目标模型；其中，确定所述第四目标模型满足第三预设条件包括以下任意一项或多项：确定所述第四目标模型的性能指标高于所述第一目标模型的性能指标；或确定所述第四目标模型的性能指标超过第二阈值。54.根据权利要求52所述的第二监控端，其特征在于，所述确定用于更新所述第一目标模型的第五目标模型，包括：确定将所述第二目标模型作为所述第五目标模型。55.一种模型监控装置，其特征在于，应用于第一监控端，包括：第一获取单元，用于获取第一目标模型的模型相关信息；第二获取单元，用于基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。56.一种模型监控装置，其特征在于，应用于第二监控端，包括：接收单元，用于接收第一监控端发送的第一目标模型的模型性能预测分析结果；
其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。57.一种处理器可读存储介质，其特征在于，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行权利要求1至19任一项所述的方法或执行权利要求20至27任一项所述的方法。

技术总结
本申请实施例提供一种模型监控方法、监控端、装置及存储介质，所述方法包括：获取第一目标模型的模型相关信息；基于所述模型相关信息，获取模型性能预测分析结果，其中，所述模型性能预测分析结果用于作为判断是否更新所述第一目标模型的依据。本申请实施例通过获取第一目标模型的模型相关信息，第一监控端基于模型相关信息，可以获取模型性能预测分析结果，模型性能预测分析结果可以作为判断是否更新第一目标模型的依据，可以实现主动监控模型性能，分析模型性能趋势，进而在模型性能降低的情况下可以及时更新模型。情况下可以及时更新模型。情况下可以及时更新模型。


技术研发人员：舒敏
受保护的技术使用者：大唐移动通信设备有限公司
技术研发日：2022.02.14
技术公布日：2023/8/28