一种面向联邦学习的鲁棒可溯源版权保护方法及系统

                           

1.本发明涉及一种面向联邦学习的鲁棒可溯源版权保护方法及系统，属于人工智能安全领域。


背景技术：

2.联邦学习 (fl) 是一种非常流行的分布式机器学习框架，其核心在于通过中心服务器聚合各个客户端的加密权重 (或梯度)，而后将更新后的权重(或梯度)下发到各客户端，从而在实现联合训练的基础上保护客户端的数据隐私，极大地提高了客户端的参与积极性。然而,分布式训练的模式也增加了其被恶意盗用、非法分发的风险。
3.现有文献提出一种基于白盒水印的fl版权保护方案（b. li, l. fan, h. gu, j. li and q. yang. fedipr: ownership verification for federated deep neural network models[j]. ieee transactions on pattern analysis and machine intelligence, 2022, doi: 10.1109/tpami.2022.3195956），客户端通过添加正则化损失的方法将二进制水印嵌入到模型bn层的不同通道中。这种水印方法的优点是：客户端可以嵌入自己独特的水印，其缺点是：由于bn层通道数有限，因此能够嵌入水印的总长度有限。与此同时，利用正则化约束嵌入的水印容易受到模型微调、剪枝等攻击。
[0004]
现有文献提出一种基于黑盒水印的fl版权保护方案（b. g. tekgul, y . xia, s. marchal, and n. asokan. w affle: watermarking in federated learning[j].proceedings of 2021 international symposium on reliable distributed systems, 2021: 310
–
320.），中央服务器通过添加再训练的步骤将触发集嵌入到全局模型中。该方案的优点是：水印的嵌入方式简单易于实现；缺点是：中心服务器无法向基于同态加密的联邦学习中嵌入水印，因为中心服务器无法访问客户端提交的原始权重。
[0005]
现有文献提出一种基于黑盒水印的客户端fl版权保护方案（liu x, shao s, yang y, et al. secure federated learning model verification: a client-side backdoor triggered watermarking scheme[c]. 2021 ieee international conference on systems, man, and cybernetics (smc). ieee, 2021: 2414-2419.），客户端设计一种基于噪声的触发集，并将其嵌入到fl模型中。这种方法的优点是：黑盒水印方案可以在不访问网络结构的情况下进行版权验证；缺点是：该方案是基于客户端嵌入水印的，无法保证客户端不恶意分发模型。此外，黑盒水印方案在一定程度上降低了模型的性能。


技术实现要素：

[0006]
本发明的目的在于提供一种面向联邦学习的鲁棒可溯源版权保护方法及系统，以解决现有技术基于客户端嵌入水印存在鲁棒性不强、水印嵌入容量有限等缺陷，而中心服务器无法向基于同态加密的联邦学习中嵌入水印的问题。
[0007]
为实现上述目的，本发明采用如下技术方案：一方面，本发明提供了一种面向联邦学习的鲁棒可溯源版权保护方法，包括：
中心服务器分别为各个客户端生成固定长度的不同的二进制数组作为水印；中心服务器将待分发的神经网络模型进行修改，将神经网络模型的第一个卷积层进行复制，得到两个并行卷积层，并行卷积层之后设置前向约束层，前向约束层之后设置聚合层，通过将输入特征同时输入两个并行卷积层，分别得到第一输出特征和第二输出特征，前向约束层用于根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，聚合层用于将生成的特征向量对进行聚合，聚合后的特征向量依次输入到神经网络模型的剩余网络层中；中心服务器将根据不同客户端生成的不同的水印内容分别加入到修改后的模型的前向约束层中，获得若干嵌入不同水印的模型；中心服务器将若干嵌入不同水印的模型分发给对应的客户端；各个客户端利用本地数据对模型进行训练，将训练后得到的权重数据进行同态加密后上传至中心服务器；中心服务器将接收到的加密权重进行聚合，生成新的加密权重并下发给各个客户端；继续进行客户端本地训练和中心服务器聚合更新，在最后一轮聚合更新中，中心服务器对上传的加密权重不再进行聚合更新，直接返回给各个客户端。
[0008]
进一步地，所述前向约束层与聚合层之间还设置有第一输出子层和第二输出子层，第一输出子层和第二输出子层分别用于存放对第一输出特征和第二输出特征进行前向传播约束计算得到的特征向量；所述根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，包括：若水印为1，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的复制；若水印为0，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的正交化。
[0009]
进一步地，所述的面向联邦学习的鲁棒可溯源版权保护方法，还包括：对嵌入水印的模型进行水印版权验证，具体为：从嵌入水印的模型中提取出彼此平行或正交的各特征向量对；根据提取的各特征向量对之间的角度计算出提取水印；根据提取水印与原始嵌入水印之间的汉明距离，验证可疑模型的版权问题。
[0010]
进一步地，所述根据提取的各特征向量对之间的角度计算出提取水印，包括：根据下式计算提取的各特征向量对之间的角度：,；其中，、分别为提取的对应于水印中第i个水印内容的特征向量对，为和之间的角度，n为水印的长度；根据下式计算提取水印：
, ；其中，为提取水印的第i个水印内容；由此得到提取水印。
[0011]
进一步地，所述根据提取水印与原始嵌入水印之间的汉明距离，验证可疑模型的版权问题，包括：若提取水印与原始嵌入水印之间的汉明距离超过设置阈值，则判断模型是可疑模型；若提取水印与原始嵌入水印之间的汉明距离不超过设置阈值，则判断模型不是可疑模型。
[0012]
另一方面，本发明提供了一种面向联邦学习的鲁棒可溯源版权保护系统，包括设置在中心服务器的水印生成模块、水印嵌入模块和聚合更新模块，以及设置在各个客户端的模型训练模块，水印生成模块，用于分别为各个客户端生成固定长度的不同的二进制数组作为水印；水印嵌入模块，用于将待分发的神经网络模型进行修改，将神经网络模型的第一个卷积层进行复制，得到两个并行卷积层，并行卷积层之后设置前向约束层，前向约束层之后设置聚合层，通过将输入特征同时输入两个并行卷积层，分别得到第一输出特征和第二输出特征，前向约束层用于根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，聚合层用于将生成的特征向量对进行聚合，聚合后的特征向量依次输入到神经网络模型的剩余网络层中；将根据不同客户端生成的不同的水印内容分别加入到修改后的模型的前向约束层中，获得若干嵌入不同水印的模型；模型训练模块，用于利用本地数据对从中心服务器接收到的嵌入水印的模型进行训练，将训练后得到的权重数据进行同态加密后上传至中心服务器；聚合更新模块，用于将若干嵌入不同水印的模型分发给对应的客户端；将各个客户端上传的加密权重进行聚合，生成新的加密权重并下发给各个客户端；在最后一轮聚合更新中，对上传的加密权重不再进行聚合更新，直接返回给各个客户端。
[0013]
进一步地，所述面向联邦学习的鲁棒可溯源版权保护系统中，前向约束层与聚合层之间还设置有第一输出子层和第二输出子层，第一输出子层和第二输出子层分别用于存放对第一输出特征和第二输出特征进行前向传播约束计算得到的特征向量；所述根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，包括：若水印为1，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的复制；若水印为0，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的正交化。
[0014]
进一步地，所述的面向联邦学习的鲁棒可溯源版权保护系统，还包括：
水印验证模块，用于从嵌入水印的模型中提取出彼此平行或正交的各特征向量对；根据提取的各特征向量对之间的角度计算出提取水印；以及根据提取水印与原始嵌入水印之间的汉明距离，验证可疑模型的版权问题。
[0015]
与现有技术相比，本发明具有以下有益技术效果：（1）本发明通过中心服务器为各个客户端分发含有独特水印的模型，一旦模型被恶意分发，可以根据可疑模型溯源到相应客户端；（2）本发明能够通过中心服务器向基于同态加密的联邦学习中嵌入水印，由于水印信息是嵌入在模型结构中的，中心服务器对加密权重的聚合更新并不会影响到水印内容，且本地客户端对模型的个性化操作并不会影响水印的存在；（3）随着训练轮次的增加，水印会与模型结构紧密关联，从而提高了水印的鲁棒性；（4）本发明的水印是通过对特征向量进行前向约束计算嵌入的，水印误码率可以达到0.00，具有高完整性。
附图说明
[0016]
图1是本发明方法流程图；图2是本发明实施例的水印模型结构框架图；图3为对水印模型进行联邦学习训练的框架图；图4为本发明实施例中鲁棒性攻击实验的折线图；图5为本发明系统结构示意图。
[0017]
其中，1第一卷积层、2第二卷积层、3前向约束层、4第一输出子层、5第二输出子层、6聚合层。
实施方式
[0018]
下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0019]
结合图1和图3所示，一种面向联邦学习的鲁棒可溯源版权保护方法，包括：步骤1，中心服务器分别为各个客户端生成固定长度的不同的二进制水印；通过中心服务器分别为各个客户端生成固定长度的不同的二进制数组作为水印信息： ，其中，n表示需要嵌入水印的长度，k表示第k个客户端，bk表示第k个客户端的水印，bi表示水印中第i个内容。
[0020]
步骤2，中心服务器对待分发的神经网络模型进行修改，将不同的水印分别嵌入到修改后的模型中，得到若干嵌入不同水印的模型；其中，待分发的神经网络模型可以是包含卷积的各种神经网络模型，例如vgg神经网络模型。
[0021]
通过中心服务器对待分发的神经网络模型进行修改，结合图2所示，将模型的第一个卷积层进行复制，得到两个并行卷积层：第一卷积层1和第二卷积层2，并行卷积层之后设
置前向约束层3，前向约束层3之后设置聚合层6，通过将输入特征同时输入两个并行卷积层，分别得到第一输出特征和第二输出特征，前向约束层3用于根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，聚合层6用于将生成的特征向量对进行聚合，聚合后的特征向量依次输入到神经网络模型的剩余网络层中。
[0022]
在对模型进行上述修改后，通过中心服务器将步骤1中根据不同客户端生成的不同的水印内容分别加入到修改后的模型的前向约束层3中，获得嵌入不同水印的若干模型。
[0023]
如图2所示，前向约束层3与聚合层6之间还设置有第一输出子层4和第二输出子层5，第一输出子层4和第二输出子层5分别用于存放对第一输出特征和第二输出特征进行前向传播约束计算得到的特征向量。
[0024]
更具体的，如图2所示，对模型的第一个卷积层进行分支操作，即将第一个卷积层进行复制得到两个并行卷积层：第一卷积层1和第二卷积层2。第一卷积层1的输入特征为，对第一卷积层1的输入特征进行复制得到。
[0025]
将和分别输入到两个并行卷积层中，分别得到第一输出特征和第二输出特征。
[0026]
通过前向约束层3，根据对应的水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量、进行前向传播约束计算，生成彼此平行或正交的特征向量对和。具体为：当水印为1，即=1时，将第一输出特征中不同位置的特征向量直接复制到第一输出子层4中，得到，即是对特征向量的复制，；第二输出子层5的各特征向量是对第一输出子层4的对应的各特征向量的复制，即；当水印为0，即=0时，将第一输出特征中不同位置的特征向量直接复制到第一输出子层4中，得到，即是对特征向量的复制，；第二输出子层5的各特征向量是对第一输出子层4的对应的各特征向量的正交化，即，。
[0027]
将生成的特征向量对和通过聚合层6聚合成为特征向量，将输入到模型后面原有的网络层中，输出最终结果，由此获得嵌入独特水印的模型。
[0028]
步骤3，中心服务器将若干嵌入不同水印的模型分发给对应的客户端，对模型进行联合训练；如图1和图3所示，该步骤具体包括：中心服务器将嵌入不同水印的各个模型分发给对应的客户端；各个客户端利用本地数据对模型进行训练，将训练后得到的权重数据进行同态加密后上传至中心服务器；
中心服务器将接收到的加密权重进行聚合，生成新的加密权重并下发给各个客户端；重复进行客户端本地训练和中心服务器聚合更新，在最后一轮聚合更新中，中心服务器对上传的加密权重不再进行聚合更新，直接返回给各个客户端。
[0029]
中心服务器将已经嵌入不同水印的网络模型分发给各客户端，客户端使用自己的数据集对模型进行本地训练，在训练过程中，模型的正交特征向量与模型紧密关联，从而提高了水印的鲁棒性。
[0030]
本地训练结束后，客户端将经过同态加密（或差分隐私）的权重（或梯度）上传到中心服务器进行聚合更新。虽然中心服务器在聚合更新时可能破坏水印的内容，但本发明的水印信息只需要一轮本地训练就能恢复。
[0031]
上述方法中，还可以进一步包括：步骤4，对嵌入水印的模型进行水印版权验证；若有客户端将模型非法分发给别人，可以对可疑模型进行水印提取验证。其中，水印验证过程包括：步骤ss1，从嵌入水印的模型中提取出彼此平行或正交的各特征向量对；验证方针对不同的客户端，使用提取器从待验证模型中提取出水印特征向量对，即提取出特征向量和：步骤ss2，根据提取的各特征向量对之间的角度计算出提取水印；根据下式计算提取的各特征向量对之间的角度：,
[0032]
其中，为提取的特征向量对和之间的角度，n为水印的长度；根据下式计算提取水印：, [0033]
其中，为提取水印的第i个水印内容；由此得到提取水印。
[0034]
步骤ss3，根据提取水印与原始嵌入水印之间的汉明距离，验证可疑模型的版权问题；判断提取水印与原始嵌入水印之间的汉明距离否超过设置阈值，若提取水印与原始嵌入水印之间的汉明距离超过设置阈值，则判断模型为可疑模型；反之，则判断模型不是可疑模型。该水印验证过程可以表示如下：
[0035]
其中，表示水印验证过程，为提取水印与原始嵌入水印之间
的汉明距离，为对汉明距离设置的阈值。
[0036]
下面给出具体实施例：针对iid横向联邦学习进行版权保护，中心服务器使用fedavg聚合算法。其中，共有10个客户端参与到训练中。本实施例使用karen simonyan等人在2014年提出的vgg神经网络（这里采用vgg16）作为保护对象，其主要用于图像分类任务。vgg网络的核心思想是：使用非常小的卷积核，堆叠多个卷积层，以逐渐增加网络的深度和复杂性，从而获得更好的图像特征表示能力。
[0037]
在本实施例中，使用cifar-10数据集，包含60000张32
×
32像素的彩色图像，该数据集中的10个类别分别是：飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车。
[0038]
（1）客户端水印生成：以向第一个客户端模型中嵌入水印为例，首先设计水印的生成。中心服务器对第一个客户端生成64位独特的二进制水印：{1, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 1, 0, 1, 0, 0, 1, 1, 0, 1, 1, 0, 1, 0, 0, 1, 1, 1, 0, 0, 0, 1, 1, 0, 0, 0, 0, 1, 1, 0, 0, 0, 1, 1, 0, 0, 1, 0, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0}；（2）水印模型结构设计：结合图2所示，在vgg16网络的第一个卷积层中嵌入水印。首先，对vgg16网络的第一个卷积层进行复制得到两个并行的第一卷积层1和第二卷积层2，将第一卷积层1的输入向量表示为，对第一卷积层1的输入向量进行复制得到。
[0039]
分别将和输入到两个并行的卷积层中，得到第一输出特征和第二输出特征。
[0040]
通过前向约束层，根据神经网络模型对应的水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量、进行前向传播约束计算，生成彼此平行或正交的特征向量对和。其中，是对特征向量的复制，是通过前向约束计算得到的特征向量：当水印为0时，是对的正交化；当水印为1时，是对的复制。
[0041]
将生成的特征向量对和通过聚合层聚合成为，将输入到模型后面原有的串联网络层中，得到最终输出结果，由此获得嵌入独特水印的vgg16网络模型。
[0042]
（3）数据集分割：将包含60000张图片的cifar-10数据集通过iid的方式分割成10个本地数据集，每个本地数据集对应一个客户端。
[0043]
（4）客户端本地训练：如图3所示，中心服务器将嵌入独特水印的模型分发给各个客户端。
[0044]
每个客户端使用本地数据集对模型进行训练，训练完成后，将权重数据进行同态加密后上传至中心服务器。
[0045]
中心服务器使用fedavg算法对接收到的加密权重进行聚合，生成新的加密权重并将其下发给各客户端。
[0046]
在本发明实施例中，设置了15轮的本地训练和21轮的聚合更新。在最后一轮聚合更新中，中心服务器对上传的加密权重不再进行聚合更新，直接返回给各客户端，以防止客户端水印内容被破坏。
[0047]
（5）模型评估在联邦学习的最后一轮训练结束后，使用一个独立的测试集（包含10000张32
×
32像素的彩色图像）对全局模型进行评估，测试模型的性能。在本实施例中，采用准确率对模型进行评估，由测试结果可以得出：客户端中最高测试精度为 86.79，最低测试精度为86.72。
[0048]
为了验证本发明方法的保真度，本实施例同时对未嵌入水印的模型进行了同样的联邦学习训练，并使用同样的测试集对其进行评估，得到的测试精度为86.70。实验结果进一步证明了本发明方法的可行性。
[0049]
（6）水印版权验证假设第一个客户端将模型非法分发给别人，可以对可疑模型进行水印提取验证。水印的验证方案具体如下：首先对嵌入水印的网络层进行特征向量对提取，即提取出和，由于水印方案的独特设定，当和特征相等时，两者平行；当和特征相乘为0时，两者正交。
[0050]
根据下式计算提取的各特征向量对之间的角度：,
[0051]
然后，根据下式进行提取水印计算：, [0052]
提取的水印为。
[0053]
计算提取水印和原始嵌入水印之间的汉明距离，并根据下式验证可疑模型的版权问题：。
[0054]
为了验证本发明方法的完整性，将提取的水印与原始嵌入水印进行比较，计算误码率：
[0055]
实验结果表明，本发明中所有客户端模型的水印误码率都是0.00，充分证明本发
明方法具有高完整性。
[0056]
为了证明本发明方法的鲁棒性，对模型分别进行了微调和剪枝操作。
[0057]
将vgg16对cifar10数据集的训练模型微调至cifar100数据集。实验表明，在微调情况下，误码率仍能达到0.0。
[0058]
图4显示了在不同剪枝比例下的第一个客户端模型精度和水印误码率（其他客户端模型的效果与图4类似）。由图中可以看出，当模型剪枝到90%时，水印误码率才有所提升，而此时的模型精度已经急剧下降至不可用，这进一步验证了本发明方法具有很强的鲁棒性。
[0059]
与以往的联邦学习水印方法相比，本发明方法更加鲁棒，甚至能够在一些极端条件下抵御微调、剪枝以及水印覆盖等攻击。此外，本发明的水印方案更具有应用价值，中心服务器能够为不同的客户端嵌入独特的水印内容。一旦模型被恶意分发，就可以根据泄露模型溯源到相应的客户端。与此同时，由于水印是嵌入在模型结构中的，基于同态加密的安全机制并不会破坏水印的内容。
[0060]
如图5所示，一种面向联邦学习的鲁棒可溯源版权保护系统，包括设置在中心服务器的水印生成模块、水印嵌入模块和聚合更新模块，以及设置在各个客户端的模型训练模块。
[0061]
水印生成模块，用于分别为各个客户端生成固定长度的不同的二进制数组作为水印；水印嵌入模块，用于将待分发的神经网络模型进行修改，将神经网络模型的第一个卷积层进行复制，得到两个并行卷积层，并行卷积层之后设置前向约束层，前向约束层之后设置聚合层，通过将输入特征同时输入两个并行卷积层，分别得到第一输出特征和第二输出特征，前向约束层用于根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，聚合层用于将生成的特征向量对进行聚合，聚合后的特征向量依次输入到神经网络模型的剩余网络层中；将根据不同客户端生成的不同的水印内容分别加入到修改后的模型的前向约束层中，获得若干嵌入不同水印的模型；模型训练模块，用于利用本地数据对从中心服务器接收到的嵌入水印的模型进行训练，将训练后得到的权重数据进行同态加密后上传至中心服务器；聚合更新模块，用于将若干嵌入不同水印的模型分发给对应的客户端；将各个客户端上传的加密权重进行聚合，生成新的加密权重并下发给各个客户端；在最后一轮聚合更新中，对上传的加密权重不再进行聚合更新，直接返回给各个客户端。
[0062]
所述面向联邦学习的鲁棒可溯源版权保护系统中，前向约束层与聚合层之间还设置有第一输出子层和第二输出子层，第一输出子层和第二输出子层分别用于存放对第一输出特征和第二输出特征进行前向传播约束计算得到的特征向量；所述根据神经网络模型对应的水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，包括：若水印为1，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的复制；若水印为0，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，
第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的正交化。
[0063]
进一步地，所述的面向联邦学习的鲁棒可溯源版权保护系统，还包括：水印验证模块，用于从嵌入水印的模型中提取出彼此平行或正交的各特征向量对；根据提取的各特征向量对之间的角度计算出提取水印；以及根据提取水印与原始嵌入水印之间的汉明距离，验证可疑模型的版权问题。
[0064]
以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

技术特征：
1.一种面向联邦学习的鲁棒可溯源版权保护方法，其特征在于，包括：中心服务器分别为各个客户端生成固定长度的不同的二进制数组作为水印；中心服务器将待分发的神经网络模型进行修改，将神经网络模型的第一个卷积层进行复制，得到两个并行卷积层，并行卷积层之后设置前向约束层，前向约束层之后设置聚合层，通过将输入特征同时输入两个并行卷积层，分别得到第一输出特征和第二输出特征，前向约束层用于根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，聚合层用于将生成的特征向量对进行聚合，聚合后的特征向量依次输入到神经网络模型的剩余网络层中；中心服务器将根据不同客户端生成的不同的水印内容分别加入到修改后的模型的前向约束层中，获得若干嵌入不同水印的模型；中心服务器将若干嵌入不同水印的模型分发给对应的客户端；各个客户端利用本地数据对模型进行训练，将训练后得到的权重数据进行同态加密后上传至中心服务器；中心服务器将接收到的加密权重进行聚合，生成新的加密权重并下发给各个客户端；继续进行客户端本地训练和中心服务器聚合更新，在最后一轮聚合更新中，中心服务器对上传的加密权重不再进行聚合更新，直接返回给各个客户端。2.根据权利要求1所述的面向联邦学习的鲁棒可溯源版权保护方法，其特征在于，所述前向约束层与聚合层之间还设置有第一输出子层和第二输出子层，第一输出子层和第二输出子层分别用于存放对第一输出特征和第二输出特征进行前向传播约束计算得到的特征向量；所述根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，包括：若水印为1，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的复制；若水印为0，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的正交化。3.根据权利要求1所述的面向联邦学习的鲁棒可溯源版权保护方法，其特征在于，还包括：对嵌入水印的模型进行水印版权验证，具体为：从嵌入水印的模型中提取出彼此平行或正交的各特征向量对；根据提取的各特征向量对之间的角度计算出提取水印；根据提取水印与原始嵌入水印之间的汉明距离，验证可疑模型的版权问题。4.根据权利要求3所述的面向联邦学习的鲁棒可溯源版权保护方法，其特征在于，所述根据提取的各特征向量对之间的角度计算出提取水印，包括：根据下式计算提取的各特征向量对之间的角度：,；其中，、分别为提取的对应于水印中第个水印内容的特征向量对，为和之间的角度，n为水印的长度；根据下式计算提取水印：
, ；其中，为提取水印的第个水印内容；由此得到提取水印。5.根据权利要求3所述的面向联邦学习的鲁棒可溯源版权保护方法，其特征在于，所述根据提取水印与原始嵌入水印之间的汉明距离，验证可疑模型的版权问题，包括：若提取水印与原始嵌入水印之间的汉明距离超过设置阈值，则判断模型是可疑模型；若提取水印与原始嵌入水印之间的汉明距离不超过设置阈值，则判断模型不是可疑模型。6.一种面向联邦学习的鲁棒可溯源版权保护系统，其特征在于，包括设置在中心服务器的水印生成模块、水印嵌入模块和聚合更新模块，以及设置在各个客户端的模型训练模块，水印生成模块，用于分别为各个客户端生成固定长度的不同的二进制数组作为水印；水印嵌入模块，用于将待分发的神经网络模型进行修改，将神经网络模型的第一个卷积层进行复制，得到两个并行卷积层，并行卷积层之后设置前向约束层，前向约束层之后设置聚合层，通过将输入特征同时输入两个并行卷积层，分别得到第一输出特征和第二输出特征，前向约束层用于根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，聚合层用于将生成的特征向量对进行聚合，聚合后的特征向量依次输入到神经网络模型的剩余网络层中；将根据不同客户端生成的不同的水印内容分别加入到修改后的模型的前向约束层中，获得若干嵌入不同水印的模型；模型训练模块，用于利用本地数据对从中心服务器接收到的嵌入水印的模型进行训练，将训练后得到的权重数据进行同态加密后上传至中心服务器；聚合更新模块，用于将若干嵌入不同水印的模型分发给对应的客户端；将各个客户端上传的加密权重进行聚合，生成新的加密权重并下发给各个客户端；在最后一轮聚合更新中，对上传的加密权重不再进行聚合更新，直接返回给各个客户端。7.根据权利要求6所述的面向联邦学习的鲁棒可溯源版权保护系统，其特征在于，所述前向约束层与聚合层之间还设置有第一输出子层和第二输出子层，第一输出子层和第二输出子层分别用于存放对第一输出特征和第二输出特征进行前向传播约束计算得到的特征向量；所述根据水印内容，对第一输出特征和第二输出特征中相互对应的不同位置的特征向量进行前向传播约束计算，生成彼此平行或正交的特征向量对，包括：若水印为1，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的复制；若水印为0，将第一输出特征中不同位置的特征向量直接复制到第一输出子层中，第二输出子层的各特征向量是对第一输出子层的对应的各特征向量的正交化。8.根据权利要求6所述的面向联邦学习的鲁棒可溯源版权保护系统，其特征在于，还包括：水印验证模块，用于从嵌入水印的模型中提取出彼此平行或正交的各特征向量对；根
据提取的各特征向量对之间的角度计算出提取水印；以及根据提取水印与原始嵌入水印之间的汉明距离，验证可疑模型的版权问题。

技术总结
本发明公开了一种面向联邦学习的鲁棒可溯源版权保护方法及系统，属于人工智能安全领域。通过中心服务器对神经网络模型进行修改，并为各个客户端生成不同的二进制水印；中心服务器将不同的水印分别嵌入到经过修改的模型中，得到若干嵌入水印的模型；中心服务器将各个嵌入水印的模型分发给对应客户端进行训练。本发明通过中心服务器向待分发的模型中嵌入独特的结构水印信息，使得水印在训练中与模型紧密关联，从而提高了水印的鲁棒性。从而提高了水印的鲁棒性。从而提高了水印的鲁棒性。


技术研发人员：陈先意 糜慧 刘宇 何俊杰 丁思哲 闫雷鸣
受保护的技术使用者：南京信息工程大学
技术研发日：2023.09.06
技术公布日：2023/10/15