一种个性化差分隐私场景下高可用的联邦学习方法、系统及设备

1.本发明属于信息安全技术领域，尤其涉及一种个性化差分隐私场景下高可用的联邦学习方法、系统及设备。


背景技术：

2.联邦学习(federated learning)是一种新兴的分布式机器学习框架，它使得数据在不出本地的情况下，通过交互模型中间参数进行模型训练，从而保护数据拥有方的隐私。目前联邦学习已广泛应用于各个领域,如智慧金融、智慧医疗、自动驾驶、无线通信、目标检测等。
3.虽然联邦学习通过参与方和服务器交换模型参数的方式保护了参与方的数据隐私,但是学者研究发现交换的模型参数也可能泄露原始训练数据。防止信息泄露的一种常用技术是差分隐私技术，现有的基于差分隐私联邦学习的工作包括本地差分隐私，基于随机梯度下降的差分隐私等。在本地差分隐私中，每个参与方根据其本地隐私预算的大小，对本地模型参数添加大小不同的扰动，并且向服务器发送扰动后的模型参数，从而保护参与方的隐私信息。现有的关于差分隐私联邦学习的工作假设所有参与方都有统一的隐私预算。然而，在实践中，参与方的隐私预算呈现出个性化特征。由于不同的隐私政策或数据主体的不同隐私偏好，不同的数据主体可能有不同的隐私需求，这导致跨主体隐私预算的不同。然而，现有的联邦平均聚合算法根据客户端数据集大小对本地模型进行加权平均，这并不适用于个性化差分隐私场景，因为隐私预算更小的客户端添加更大的扰动，导致模型可用性较低，在这种场景下采用联邦平均聚合算法将导致聚合模型可用性较低。且如何在对模型可用性参数进行隐私保护的同时，基于模型可用性参数进行全局模型聚合，从而提高模型可用性是一个极具挑战性的问题，目前，尚无较好的解决方案。
4.文献[r.hu,y.guo,h.li,q.pei and y.gong,"personalized federated learning with differential privacy,"in ieee internet of things journal,vol.7,no.10,pp.9530-9539,oct.2020,doi:10.1109/jiot.2020.2991416.]中提出了一种个性化联邦学习方案，通过学习用户的特征完成多任务学习，但该方案没有考虑联邦学习过程的安全性。
[0005]
文献[g.yang,s.wang and h.wang,"federated learning with personalized local differential privacy,"2021ieee 6th international conference on computer and communication systems(icccs),chengdu,china,2021,pp.484-489,doi:10.1109/icccs52626.2021.9449232.]中提出了一种个性化的差分隐私联邦学习方案，在该方案中，用户通过使用自己的隐私偏好扰动数据，但该方案没有考虑用户个性化添加噪声对于全局数据的影响，也没有量化隐私保护程度。


技术实现要素：

[0006]
为了克服上述现有技术的不足，本发明的目的在于提供一种个性化差分隐私场景下高可用的联邦学习方法、系统及设备，通过本地差分隐私技术实现对参与方本地模型的隐私保护，同时，基于模型可用性理论，通过联邦聚合算法，能够从可用性较高的本地模型中提取更多的有用信息，从而提高全局模型的可用性，在该算法中采用同态加密和安全多方计算技术对本地模型可用性参数进行隐私保护，本发明能够在保证模型可用性参数隐私的情况下提高聚合模型的可用性。
[0007]
为了实现上述目的，本发明采用如下技术方案：
[0008]
一种个性化差分隐私场景下高可用的联邦学习方法，各参与方使用本地数据集训练本地模型，通过本地差分隐私技术实现对参与方本地模型的隐私保护，同时，各参与方根据模型可用性理论计算本地模型可用性，并采用同态加密技术将明文下的模型可用性参数加密，采用安全多方计算技术加密明文下的模型可用性参数；然后，参与方将通过差分隐私保护的本地模型上传至聚合服务器，同时，将采用同态加密及安全多方计算方法加密的模型可用性参数全部上传至效用服务器；效用服务器利用接收到的加密模型可用性参数进行计算，得到密文下的本地模型聚合权重，之后将密文下的本地模型聚合权重发送至聚合服务器；聚合服务器解密得到密文聚合权重，并根据聚合权重进行模型聚合，最后将聚合模型下发至各参与方。
[0009]
上述个性化差分隐私场景下高可用的联邦学习方法，建立在如下系统假设上：
[0010]
1)系统中共有n名参与方，参与方集合记为u＝{u1,u2……
,un}，各参与方的本地数据集分别为{d1,d2……
,dn}，所有参与方的数据集表示为d；
[0011]
2)各参与方的本地神经网络模型的类型和结构相同，各参与方的隐私预算可以不同，本地数据集独立同分布或非独立同分布均可；
[0012]
3)聚合服务器和效用服务器是诚实好奇且不共谋的。
[0013]
一种个性化差分隐私场景下高可用的联邦学习方法，具体包括以下步骤：
[0014]
步骤1：系统初始化：包括生成用于同态加密的公私钥对，参与方两两密钥协商，产生掩码；服务器初始化全局模型，然后下发给本地参与方；
[0015]
步骤2：各参与方对服务器下发的全局模型进行本地模型训练，基于本地隐私预算，实现本地模型信息的差分隐私保护，并将实现差分隐私保护的本地模型参数上传至聚合服务器；
[0016]
步骤3：各参与方根据模型可用性理论计算步骤2实现差分隐私保护的本地模型可用性，并通过同态加密和掩码技术实现对本地模型可用性参数的隐私保护，并将结果上传至效用服务器；
[0017]
步骤4：效用服务器根据步骤3得到的信息获取密文下的聚合权重，并将该密文下的聚合权重发送至聚合服务器；
[0018]
步骤5：聚合服务器通过私钥解密收到的聚合权重，并根据解密后的聚合权重和本地模型参数进行模型聚合，最后将聚合模型下发至各参与方；
[0019]
步骤6：重复步骤2至步骤5，进行下一轮模型训练，直到训练轮数达到预定义的训练轮数或者模型收敛。
[0020]
所述步骤1系统初始化的具体方法为：
[0021]
利用keygen(1
λ
)
→
(pk，sk)密钥生成函数，λ为安全参数，函数输出为各参与方共享的公钥pk与私钥sk，产生一个公私钥对(pk，sk)，私钥sk由聚合服务器持有，公钥pk由各参与方和效用服务器持有；参与方ui和uj，i≠j，通过keygen(1
λ
)，agree和掩码生成算法生成了一系列掩码服务器初始化全局模型并将模型信息下发至各参与方；各参与方选择各自的本地隐私预算。
[0022]
所述步骤2中基于本地隐私预算，实现本地模型信息的差分隐私保护的具体方法为：
[0023][0024]
根据dpsgd算法可以得到：给定数据采样率q和训练轮数t，且存在常数c1和c2，对于任意隐私预算ε＜c1q2t，如果选择噪声标准差那么算法1满足(ε，δ)-差分隐私。
[0025]
所述步骤3的具体方法为：
[0026]
定义本地模型可用性其中，本地损失为t是当前模型训练轮数，d
t
表示第t轮训练时各参与方从本地数据集d中随机采样的数据，采样的数据集的大小为j
t
＝|d
t
|，w
*
是最小化本地损失的最优模型参数；
[0027]
根据模型可用性定理可以得到：对于μ光滑和λ强凸的模型损失l(w
t
，d
t
)，令学习率d为模型参数的维度，c为梯度的正则化边界，σ2为添加的高斯噪声的方差，采用dpsgd算法训练t轮后的本地模型的可用性满足：
[0028][0029]
由上述定理可知，参与方的本地模型的可用性正比于
[0030]
基于各参与方的本地模型可用性确定参与方的本地模型参数在聚合过程中的权重，即参与方ui在第t轮的聚合权重为：
[0031][0032]
其中，为参与方ui在第t轮的模型可用性，为所有参与方在第t轮的模型可用性之和；
[0033]
计算参与方ui本地模型的可用性之后参与方ui将模型可用性参数与本地掩码相加得到掩码保护下的模型可用性参数掩码相加得到掩码保护下的模型可用性参数同时通过同态加密得到密文形式的模型可用性参数然后将掩码保护下的模型可用性参数和经同态加密保护的模型可用性参数上传到效用服务器。
[0034]
所述步骤4的具体方法为：
[0035]
首先，效用服务器将其接收到的所有掩码保护下的模型可用性参数相加从而消除掩码的影响，即：
[0036][0037]
然后，效用服务器通过加密函数使用公钥pk对明文加密，得到之后，通过密文乘法函数得到并将聚合权重并将聚合权重发送至聚合服务器。
[0038]
所述步骤5的具体方法为：
[0039]
首先，聚合服务器将从效用服务器处获取的进行解密来得到每个参与方本地模型的聚合权重：即解密函数使用密钥sk对密文解密后，得到聚合权重然后，聚合服务器根据来自参与方的本地模型参数和聚合权重进行模型聚合，即：
[0040][0041]
最后，将全局模型参数下发至各参与方。
[0042]
基于上述个性化差分隐私场景下高可用的联邦学习方法的系统，包括：
[0043]
系统初始化模块，用于步骤1所述系统初始化，包括生成用于同态加密的公私钥对，参与方两两密钥协商，产生掩码；服务器初始化全局模型，然后下发给本地参与方；
[0044]
本地模型训练模块，用于步骤2中各参与方对初始化后的全局模型进行本地模型
训练，基于本地隐私预算实现本地模型信息的差分隐私保护，并将实现差分隐私保护的本地模型参数上传至聚合服务器；
[0045]
可用性计算及保护模块，用于步骤3所述计算本地模型可用性，以及利用掩码和同态加密对可用性参数实现隐私保护；
[0046]
聚合权重计算模块，用于在不泄露可用性隐私的情况下，根据步骤4所述方法计算得到聚合权重；
[0047]
模型聚合模块，用于步骤5所述的进行模型聚合。
[0048]
基于上述个性化差分隐私场景下高可用的联邦学习方法的系统，包括：
[0049]
存储器，用于存储计算机程序；
[0050]
处理器，用于执行所述计算机程序，所述计算机程序被处理器执行时能够实现步骤1至6所述的个性化差分隐私场景下高可用的联邦学习方法。
[0051]
一种计算机可读存储介质，所述计算机可读存储介质用来存储计算机程序，所述计算机程序被处理器执行时能够根据步骤1至6所述个性化差分隐私场景下高可用的联邦学习方法，实现对参与方本地模型的隐私保护，在保证模型可用性参数隐私的情况下提高聚合模型的可用性。
[0052]
本发明与现有技术相比，具有如下优点：
[0053]
1、本发明针对个性化差分隐私场景下聚合模型可用性不足的问题，基于模型可用性定理，设计了一种新的联邦聚合方法，与现有方法相比，本发明方法使得服务器能够从可用性较高的模型中提取更多的有用信息，在个性化差分隐私场景下得到高可用的聚合模型；同时在此过程中通过同态加密和安全多方计算技术实现对本地模型可用性参数的隐私保护。
[0054]
2、本发明利用模型可用性定理，通过在模型聚合过程中引入模型可用性参数来确定各参与方的本地模型权重，能够使得服务器从可用性较高的模型中提取更多的有用信息，从而得到可用性更高的聚合模型。
[0055]
3、本发明采用同态加密和安全多方计算技术对本地模型可用性参数进行隐私保护，能够在保证模型可用性参数隐私的情况下提高聚合模型的可用性。
[0056]
综上，本发明具有个性化隐私保护性好，精度高的优点。
附图说明
[0057]
图1是面向个性化差分隐私场景的联邦学习系统框架。
[0058]
图2是采用联邦平均聚合算法的聚合模型精度。
[0059]
图3是隐私预算服从混合分布1的聚合模型精度，其中，图3(a)为α取值0.1时聚合模型精度，图3(b)为α取值0.3时聚合模型精度，图3(c)为α取值0.5时聚合模型精度，图3(d)为α取值0.7时聚合模型精度，图3(e)为α取值0.9时时聚合模型精度。
[0060]
图4是隐私预算服从混合分布2的聚合模型精度，其中，图4(a)为α取值0.1时聚合模型精度，图4(b)为α取值0.3时聚合模型精度，图4(c)为α取值0.5时聚合模型精度，图4(d)为α取值0.7时聚合模型精度，图4(e)为α取值0.9时时聚合模型精度。
[0061]
图5是隐私预算服从混合分布3的聚合模型精度，其中，图5(a)为α，β和γ取值分别为(20％，20％，60％)的聚合模型精度，图5(b)为α，β和γ取值分别为(20％，60％，20％)的
聚合模型精度，图5(c)为α，β和γ取值分别为(60％，20％，20％)的聚合模型精度，图5(d)为α，β和γ取值分别为(30％，30％，40％)的聚合模型精度。
具体实施方式
[0062]
下面结合附图对本发明进一步详细说明。
[0063]
本发明中涉及的个性化差分隐私场景下高可用联邦学习的理论与技术基础为：
[0064]
一种个性化差分隐私场景下高可用的联邦学习方法，具体包括以下步骤：
[0065]
参见图1，步骤1：初始化
[0066]
利用keygen(1
λ
)
→
(pk，sk)密钥生成函数，λ为安全参数，函数输出为各参与方共享的公钥pk与私钥sk，产生一个公私钥对(pk，sk)，私钥sk由聚合服务器持有，公钥pk由各参与方和效用服务器持有；参与方ui和uj，i≠j，通过keygen(1
λ
)，agree和掩码生成算法生成了一系列掩码服务器初始化全局模型并将模型信息下发至各参与方；各参与方选择各自的本地隐私预算。
[0067]
步骤2：各参与方基于其本地数据、最新全局模型以及dpsgd算法进行本地模型训练，基于本地隐私预算实现本地模型信息的差分隐私保护，并将实现本地差分隐私的本地模型参数上传至聚合服务器；
[0068]
基于本地隐私预算，实现本地模型信息的差分隐私保护的具体方法为：
[0069][0070]
根据dpsgd算法可以得到：给定数据采样率q和训练轮数t，存在常数c1和c2，对于任意隐私预算ε＜c1q2t，如果选择噪声标准差那么算法1满足(ε，δ)-差分隐私。
[0071]
步骤3：定义本地模型可用性其中，本地损失为t是当前模型训练轮数，d
t
表示第t轮训练时各参与方从本
地数据集d中随机采样的数据，采样的数据集的大小为j
t
＝|d
t
|，w
*
是最小化本地损失的最优模型参数；
[0072]
根据模型可用性理论可以得到：对于μ光滑和λ强凸的模型损失l(w
t
，d
t
)，令学习率d为模型参数的维度，c为梯度的正则化边界，σ2为添加的高斯噪声的方差，采用dpsgd算法训练t轮后的本地模型的可用性满足：
[0073][0074]
由上述理论可知，参与方的本地模型的可用性正比于
[0075]
基于各参与方的本地模型可用性确定参与方的本地模型参数在聚合过程中的权重，即参与方ui在第t轮的聚合权重为：
[0076][0077]
其中，为参与方ui在第t轮的模型可用性，为所有参与方在第t轮的模型可用性之和；
[0078]
计算参与方ui本地模型的可用性之后参与方ui将模型可用性参数与本地掩码相加得到掩码保护下的模型可用性参数掩码相加得到掩码保护下的模型可用性参数同时通过同态加密得到密文形式的模型可用性参数然后将掩码保护下的模型可用性参数和经同态加密保护的模型可用性参数上传到效用服务器。
[0079]
步骤4：首先，效用服务器将其接收到的所有掩码保护下的模型可用性参数相加从而消除掩码的影响，即：
[0080][0081]
然后，效用服务器通过得到之后，通过得到并将发送至聚合服务器。
[0082]
步骤5：聚合服务器进行模型聚合。首先，聚合服务器将从效用服务器处获取的进行解密来得到每个参与方本地模型的聚合权重，即然后，聚合服务器根据其接收到的本地模型参数和聚合权重进行模型聚合，即：
[0083][0084]
最后，将全局模型参数下发至各参与方。
[0085]
步骤6：重复步骤2至步骤5，进行下一轮模型训练直到训练轮数达到预定义的训练轮数或者模型收敛。
[0086]
基于上述个性化差分隐私场景下高可用的联邦学习方法的系统，包括：
[0087]
系统初始化模块，用于步骤1所述初始化联邦学习结构、初始化参与方密钥和掩码；
[0088]
本地模型训练模块，用于步骤2中各参与方对初始化后的全局模型进行本地模型训练，基于本地隐私预算实现本地模型信息的差分隐私保护，并将实现差分隐私保护的本地模型参数上传至聚合服务器；
[0089]
可用性计算及保护模块，用于步骤3所述计算本地模型可用性，以及利用掩码和同态加密对可用性参数实现隐私保护；
[0090]
聚合权重计算模块，用于在不泄露可用性隐私的情况下，根据步骤4所述方法计算得到聚合权重；
[0091]
模型聚合模块，用于步骤5所述的进行模型聚合。
[0092]
基于上述个性化差分隐私场景下高可用的联邦学习方法的设备，包括：
[0093]
存储器，用于存储计算机程序；
[0094]
处理器，用于执行所述计算机程序，所述计算机程序被处理器执行时能够实现步骤1至6所述的个性化差分隐私场景下高可用的联邦学习方法。
[0095]
一种计算机可读存储介质，所述计算机可读存储介质用来存储计算机程序，所述计算机程序被处理器执行时能够根据步骤1至6所述个性化差分隐私场景下高可用的联邦学习方法，实现对参与方本地模型的隐私保护，在保证模型可用性参数隐私的情况下提高聚合模型的可用性。
[0096]
以下部分通过一系列实验验证了所提方案的有效性，与不考虑个性化差分隐私偏好的联邦平均算法fedavg相比，本发明所提的算法可以获得更高的聚合模型精度。
[0097]
实验环境：处理器为intel(r)core(tm)i5-10400 cpu@2.90ghz 2.90ghz，机带ram为16gb，操作系统为windows 11家庭版。编程环境为python 3.9.13，pytorch 1.7.7，tenseal 0.3.12，tensorflow-privacy 0.8.7。
[0098]
所有实验采用mnist数据集，客户端数量为10，每个参与方持有的数据集大小为200，系统所训练的模型为包含两层卷积层和两层线形层的卷积神经网络。
[0099]
隐私偏好：为了模拟参与方可能的隐私偏好，我们考虑参与方隐私偏好服从高斯分布和多峰分布(两种及以上不同高斯分布的混合)，其中，服从多峰分布表示参与方存在多种隐私预算(分别记为n1，n2和n3)，表1给出了实验中所考虑的参与方隐私偏好分布。
[0100]
表1：客户端隐私偏好分布
[0101][0102]
实验结果如下：
[0103]
图2展示了当参与方隐私偏好为高斯分布1，高斯分布2和高斯分布3时，采用联邦平均算法，得到的模型精度如上图2所示，可以看到，随着隐私预算的增加，聚合模型精度提升，当隐私预算为0.5时，聚合模型精度为10％左右，表明由于隐私预算过小，导致添加的噪声过大，使得模型不可用。当隐私预算为10时，聚合模型精度达到96％，此时隐私预算较大，导致添加的噪声比较小，使得模型精度较高。
[0104]
图3展示了当参与方隐私偏好为混合分布1，α取值分别为0.1，0.3，0.5，0.7和0.9时，采用可用性加权聚合算法和联邦平均聚合算法得到的模型精度。从图3可以看出，采用可用性加权聚合算法得到的聚合模型精度均高于联邦平均聚合算法得到的模型精度，随着α的增加，联邦平均聚合算法的效果趋近于可用性加权聚合算法的效果，随着α的降低，可用性加权聚合算法效果明显优于联邦平均聚合算法。
[0105]
图4展示了当参与方隐私偏好为混合分布2，α取值分别为0.1，0.3，0.5，0.7和0.9时，用可用性加权聚合算法和联邦平均聚合算法得到的模型精度。如图4可以看到，用可用性加权聚合算法得到的聚合模型精度均高于联邦平均聚合算法得到的模型精度，当隐私预算为10的客户端占比α低于50％时，采用联邦平均聚合算法得到的聚合模型精度为10％左右，表明隐私预算为0.5的参与方参与到联邦学习系统中将降低聚合模型的精度，而采用可用性加权聚合算法能够明显降低隐私预算为0.5参与方上传模型的影响，从而提高聚合模型的精度。
[0106]
图5展示了当参与方隐私偏好为混合分布3，α，β和γ取值分别为(20％,20％,60％)、(20％,60％,20％)、(60％,20％,20％)、(30％,30％,40％)时，采用可用性加权聚合算法和联邦平均聚合算法得到的模型精度。如图5可以看到，当参与联邦学习的参与方具有
的三种不同的隐私偏好时，可用性加权聚合算法得到的聚合模型精度均高于联邦平均聚合算法得到的模型精度。

技术特征：
1.一种个性化差分隐私场景下高可用的联邦学习方法，其特征在于，各参与方使用本地数据集训练本地模型，通过本地差分隐私实现对参与方本地模型的隐私保护，同时，各参与方根据模型可用性理论计算本地模型可用性，并采用同态加密将明文下的模型可用性参数加密，采用安全多方计算加密明文下的模型可用性参数；然后，参与方将通过差分隐私保护的本地模型上传至聚合服务器，同时，将采用同态加密及安全多方计算方法加密的模型可用性参数全部上传至效用服务器；效用服务器利用接收到的加密模型可用性参数进行计算，得到密文下的本地模型聚合权重，之后将密文下的本地模型聚合权重发送至聚合服务器；聚合服务器解密得到密文聚合权重，并根据聚合权重进行模型聚合，最后将聚合模型下发至各参与方。2.根据权利要求1所述的一种个性化差分隐私场景下高可用的联邦学习方法，其特征在于，所述个性化差分隐私场景下的高可用联邦学习算法建立在如下系统假设上：1)系统中共有n名参与方，参与方集合记为u＝{u1,u2……
,u
n
}，各参与方的本地数据集分别为{d1,d2……
,d
n
}，所有参与方的数据集表示为d；2)各参与方的本地神经网络模型的类型和结构相同，各参与方的隐私预算可以不同，本地数据集独立同分布或非独立同分布均可；3)聚合服务器和效用服务器是诚实好奇且不共谋的。3.根据权利要求1或2所述的一种个性化差分隐私场景下高可用的联邦学习方法，其特征在于，具体包括以下步骤：步骤1：系统初始化：包括生成用于同态加密的公私钥对，参与方两两密钥协商，产生掩码；服务器初始化全局模型，然后下发给本地参与方；步骤2：各参与方对服务器下发的全局模型进行本地模型训练，基于本地隐私预算，实现本地模型信息的差分隐私保护，并将实现差分隐私保护的本地模型参数上传至聚合服务器；步骤3：各参与方根据模型可用性理论计算步骤2实现差分隐私保护的本地模型可用性，并通过同态加密和掩码技术实现对本地模型可用性参数的隐私保护，并将结果上传至效用服务器；步骤4：效用服务器根据步骤3得到的信息获取密文下的聚合权重，并将该密文下的聚合权重发送至聚合服务器；步骤5：聚合服务器通过私钥解密收到的聚合权重，并根据解密后的聚合权重和本地模型参数进行模型聚合，最后将聚合模型下发至各参与方；步骤6：重复步骤2至步骤5，进行下一轮模型训练，直到训练轮数达到预定义的训练轮数或者模型收敛。4.根据权利要求3所述的一种个性化差分隐私场景下高可用的联邦学习方法，其特征在于，所述步骤1系统初始化的具体方法为：利用keygen(1
λ
)
→
(pk,sk)密钥生成函数，λ为安全参数，函数输出为各参与方共享的公钥pk与私钥pk，产生一个公私钥对(pk,sk)，私钥sk由聚合服务器持有，公钥pk由各参与方和效用服务器持有；参与方u
i
和u
j
，i≠j，通过keygen(1
λ
)，agree和掩码生成算法生成了一系列掩码服务器初始化全局模型并将模型信息下发至各参与方；各参与方选择各自
的本地隐私预算。5.根据权利要求3所述的一种个性化差分隐私场景下高可用的联邦学习方法，其特征在于，所述步骤2中基于本地隐私预算，实现本地模型信息的差分隐私保护的具体方法为：根据dpsgd算法可以得到：给定数据采样率q和训练轮数t，且存在常数c1和c2，对于任意隐私预算ε<c1q2t，如果选择噪声标准差那么算法1满足(ε,δ)-差分隐私。6.根据权利要求3所述的一种个性化差分隐私场景下高可用的联邦学习方法，其特征在于，所述步骤3的具体方法为：定义本地模型可用性其中，本地损失为t是当前模型训练轮数，d
t
表示第t轮训练时各参与方从本地数据集d中随机采样的数据，采样的数据集的大小为j
t
＝|d
t
|，w
*
是最小化本地损失的最优模型参数；根据模型可用性定理可以得到：对于μ光滑和λ强凸的模型损失l(w
t
,d
t
)，令学习率d为模型参数的维度，c为梯度的正则化边界，σ2为添加的高斯噪声的方差，采用dpsgd算法训练t轮后的本地模型的可用性满足：由上述定理可知，参与方的本地模型的可用性正比于基于各参与方的本地模型可用性，确定参与方的本地模型参数在聚合过程中的权重，即参与方u
i
在第t轮的聚合权重为：
其中，为参与方u
i
在第t轮的模型可用性，为所有参与方在第t轮的模型可用性之和；计算参与方u
i
本地模型的可用性之后参与方u
i
将模型可用性参数与本地掩码相加得到掩码保护下的模型可用性参数相加得到掩码保护下的模型可用性参数同时通过同态加密得到密文形式的模型可用性参数然后将掩码保护下的模型可用性参数和经同态加密保护的模型可用性参数上传到效用服务器。7.根据权利要求3所述的一种个性化差分隐私场景下高可用的联邦学习方法，其特征在于，所述步骤4的具体方法为：首先，效用服务器将其接收到的所有掩码保护下的模型可用性参数相加从而消除掩码的影响，即:然后，效用服务器通过加密函数使用公钥pk对明文加密，得到之后，通过密文乘法函数得到并将聚合权重将聚合权重发送至聚合服务器。8.根据权利要求3所述的一种个性化差分隐私场景下高可用的联邦学习方法，其特征在于，所述步骤5的具体方法为：首先，聚合服务器将从效用服务器处获取的进行解密来得到每个参与方本地模型的聚合权重：即解密函数使用密钥sk对密文解密后，得到聚合权重然后，聚合服务器根据来自参与方的本地模型参数和聚合权重进行模型聚合，即：最后，将全局模型参数下发至各参与方。
9.基于权利要求1至8任一项所述个性化差分隐私场景下高可用的联邦学习方法的系统，其特征在于，包括：系统初始化模块，用于步骤1所述系统初始化，包括生成用于同态加密的公私钥对，参与方两两密钥协商，产生掩码；服务器初始化全局模型，然后下发给本地参与方；本地模型训练模块，用于步骤2中各参与方对初始化后的全局模型进行本地模型训练，基于本地隐私预算实现本地模型信息的差分隐私保护，并将实现差分隐私保护的本地模型参数上传至聚合服务器；可用性计算及保护模块，用于步骤3所述计算本地模型可用性，以及利用掩码和同态加密对可用性参数实现隐私保护；聚合权重计算模块，用于在不泄露可用性隐私的情况下，根据步骤4所述方法计算得到聚合权重；模型聚合模块，用于步骤5所述的进行模型聚合。10.基于权利要求1至8任一项所述个性化差分隐私场景下高可用的联邦学习方法的设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，所述计算机程序被处理器执行时能够实现步骤1至6所述的个性化差分隐私场景下高可用的联邦学习方法。

技术总结
一种个性化差分隐私场景下高可用的联邦学习方法、系统及设备，其方法通过本地差分隐私技术实现对参与方本地模型的隐私保护，同时，基于模型可用性定理，通过联邦聚合算法，能够从可用性较高的本地模型中提取更多的有用信息，从而提高全局模型的可用性，在该算法中，采用同态加密和安全多方计算方法对本地模型可用性参数进行隐私保护；其系统及设备，能够基于上述方法实现对参与方本地模型的隐私保护，在保证模型可用性参数隐私的情况下提高聚合模型的可用性，具有个性化隐私保护性好，精度高的优点。度高的优点。度高的优点。


技术研发人员：郭晶晶 刘昌 刘志全 马勇 徐贵泓
受保护的技术使用者：西安电子科技大学
技术研发日：2023.06.27
技术公布日：2023/9/22