一种基于联邦学习的动态聚合方法和装置与流程

1.本发明涉及联邦学习技术领域，具体涉及一种基于联邦学习的动态聚合方法和装置。


背景技术：

2.随着先进的通信技术、物联网技术和电商平台的快速发展与崛起，海量的数据被采集起来。然而，随着人们隐私保护意识的提升和相关法律的推行，直接获取用户数据用于训练模型或将不再可行。而联邦学习作为一种具有隐私保护能力的分布式机器学习范式应运而生，它能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现ai协作。
3.由于各参与方存在位置、时间以及设备的差异，联邦学习的各个参与方的数据并非独立同分布(non-iid)。而训练数据的独立同分布采样对于确保随机梯度的无偏估计是很重要的，非独立同分布数据可能造成局部模型的参数分散甚至存在矛盾并最终导致聚合模型的精度下降。因此，为了应对非独立同分布数据挑战，有些研究者提出了联邦多任务学习和联邦元学习方法，它们的核心思想都是针对异构的本地数据进行个性化训练，这种方法并不能为其他具备相似特征的客户端提供贡献，泛化能力较差。


技术实现要素：

4.本发明的目的在于针对现有技术中不足与缺陷，提供一种基于联邦学习的动态聚合方法和装置，一方面，通过在中央服务器端计算各客户端的动态聚合权重，解决了各参与终端的数据非独立同分布问题，提高了联邦学习模型训练效果；另一方面，在客户端的本地训练时加入正则项，防止其在本地数据上过拟合，提升了模型泛化能力。
5.为实现上述目的，本发明采用以下技术方案是：一种基于联邦学习的动态聚合装置，它包括至少一个终端设备、中央服务器、连接终端，所述一个终端设备用于接收全局模型，通过正则化训练防止过拟合并上传局部模型，所述中央服务器连接至少一个所述终端设备，用于接收所述各个终端上传的局部模型、计算各个终端的聚合权重，然后根据权重动态聚合局部模型而生成本轮的全局模型，最后下发全局模型至连接终端。
6.作为本发明更为具体的：所述联邦学习动态聚合方法包括如下步骤：开始；中央服务器初始化全局模型，并将模型参数下发至连接的终端设备；在第r轮通讯中，终端设备ci接收从中央服务器下发的模型参数加载对应模型θ
r-1
，在本地数据集上进行模型训练，并在训练结束后上传局部模型至中央服务器；中央服务器接收各终端上传的局部模型，并使用验证数据集对各个局部模型进行精度指标测试，最终记录局部模型的权重集合ζi(i＝1，2，3，...，n)；中央服务器根据各个终端对应的权重；聚合局部模型，加权平均生成本轮的全局模型；最终，中央服务器将本轮的全局模型下发至各个连接终端；各终端更新本地模型；上述步骤迭代进行；直到达到最大通信轮次结束。
7.作为本发明更为具体的：所述中央服务器初始化全局模型，并将模型参数下发至连接的终端设备中所采用的正则化损失函数定义如下：
8.所述wi表示本地训练的模型参数；
9.表示上一轮次全局模型的模型参数；i表示参数编号；μ表示可调因子。
10.作为本发明更为具体的：所述中央服务器接收各终端上传的局部模型中采用下述公式加权平均生成本轮的全局模型：所述r表示联邦学习的通讯轮次；i表示终端编号；n表示参与训练的客户端总数量；ζi表示第i台终端的权重；为终端i第r轮次训练后得到的局部模型。
11.采用上述技术方案后，本发明有益效果为：一方面，通过在中央服务器端计算各客户端的动态聚合权重，解决了各参与终端的数据非独立同分布问题，提高了联邦学习模型训练效果；另一方面，在客户端的本地训练时加入正则项，防止其在本地数据上过拟合，提升了模型泛化能力。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
13.图1是本发明的流程示意图。
具体实施方式
14.参看图1所示，本具体实施方式采用的技术方案是：它包括至少一个终端设备、中央服务器、连接终端，所述一个终端设备用于接收全局模型，通过正则化训练防止过拟合并上传局部模型，所述中央服务器连接至少一个所述终端设备，用于接收所述各个终端上传的局部模型、计算各个终端的聚合权重，然后根据权重动态聚合局部模型而生成本轮的全局模型，最后下发全局模型至连接终端。
15.所述联邦学习动态聚合方法包括如下步骤：开始；中央服务器初始化全局模型，并将模型参数下发至连接的终端设备；在第r轮通讯中，终端设备ci接收从中央服务器下发的模型参数加载对应模型θ
r-1
，在本地数据集上进行模型训练，并在训练结束后上传局部模型至中央服务器；中央服务器接收各终端上传的局部模型，并使用验证数据集对各个局部模型进行精度指标测试，最终记录局部模型的权重集合ζi(i＝1，2，3，...，n)；中央服务器根据各个终端对应的权重；聚合局部模型，加权平均生成本轮的全局模型；最终，中央服务器将本轮的全局模型下发至各个连接终端；各终端更新本地模型；上述步骤迭代进行；直到达到最大通信轮次结束所述中央服务器初始化全局模型，并将模型参数下发至连接的终端设备中所采用的正则化损失函数定义如下：
16.所述wi表示本地训练的模型参数；
17.表示上一轮次全局模型的模型参数；i表示参数编号；μ表示可调因子，所述中央服务器接收各终端上传的局部模型中采用下述公式加权平均生成本轮的全局模型：所述r表示联邦学习的通讯轮次；i表示终端编号；n表示参与训练的客户端总数量；ζi表示第i台终端的权重；为终端i第r轮次训练后得到的局部模型。
18.采用上述技术方案后，本发明有益效果为：一方面，通过在中央服务器端计算各客户端的动态聚合权重，解决了各参与终端的数据非独立同分布问题，提高了联邦学习模型训练效果；另一方面，在客户端的本地训练时加入正则项，防止其在本地数据上过拟合，提升了模型泛化能力。
19.以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。


技术特征：
1.一种基于联邦学习的动态聚合方法，其特征在于：所述联邦学习动态聚合方法包括如下步骤：1)开始；2)中央服务器初始化全局模型，并将模型参数下发至连接的终端设备；3)在第r轮通讯中，终端设备c
i
接收从中央服务器下发的模型参数加载对应模型θ
r-1
，在本地数据集上进行模型训练，并在训练结束后上传局部模型至中央服务器；4)中央服务器接收各终端上传的局部模型，并使用验证数据集对各个局部模型进行精度指标测试，最终记录局部模型的权重集合ζ
i
(i＝i，2，3，...，n)；5)中央服务器根据各个终端对应的权重；6)聚合局部模型，加权平均生成本轮的全局模型；7)最终，中央服务器将本轮的全局模型下发至各个连接终端；8)各终端更新本地模型；9)上述步骤迭代进行；10)直到达到最大通信轮次结束。2.根据权利要求1所述的一种基于联邦学习的动态聚合方法，其特征在于：所述步骤2中所采用的正则化损失函数定义如下：3.根据权利要求2所述的一种基于联邦学习的动态聚合方法，其特征在于：所述w
i
表示本地训练的模型参数；表示上一轮次全局模型的模型参数；i表示参数编号；μ表示可调因子。4.根据权利要求1所述的一种基于联邦学习的动态聚合方法，其特征在于：所述步骤4采用下述公式加权平均生成本轮的全局模型：5.根据权利要求4所述的一种基于联邦学习的动态聚合方法，其特征在于：所述r表示联邦学习的通讯轮次；i表示终端编号；n表示参与训练的客户端总数量；ζ
i
表示第i台终端的权重；为终端i第r轮次训练后得到的局部模型。6.一种基于联邦学习的动态聚合装置，其特征在于：它包括至少一个终端设备、中央服务器、连接终端，所述一个终端设备用于接收全局模型，通过正则化训练防止过拟合并上传局部模型，所述中央服务器连接至少一个所述终端设备，用于接收所述各个终端上传的局部模型、计算各个终端的聚合权重，然后根据权重动态聚合局部模型而生成本轮的全局模型，最后下发全局模型至连接终端。

技术总结
一种基于联邦学习的动态聚合方法和装置，它涉及联邦学习技术领域。它包括至少一个终端设备、中央服务器、连接终端，所述一个终端设备用于接收全局模型，通过正则化训练防止过拟合并上传局部模型，所述中央服务器连接至少一个所述终端设备，用于接收所述各个终端上传的局部模型、计算各个终端的聚合权重，然后根据权重动态聚合局部模型而生成本轮的全局模型，最后下发全局模型至连接终端。本发明有益效果为：一方面，通过在中央服务器端计算各客户端的动态聚合权重，解决了各参与终端的数据非独立同分布问题，提高了联邦学习模型训练效果；另一方面，在客户端的本地训练时加入正则项，防止其在本地数据上过拟合，提升了模型泛化能力。力。力。


技术研发人员：范晓亮 魏永增 王胜 刘东俊
受保护的技术使用者：厦门云在科技有限公司
技术研发日：2022.01.18
技术公布日：2023/8/1