一种基于联邦学习的图像分割方法及相关设备

1.本发明涉及农业图像处理技术领域，更具体地，涉及一种基于联邦学习的图像分割方法、一种电子设备以及一种存储介质。


背景技术：

2.葡萄是我国重要的水果产品，2020年其产量达到14.314万吨，随着劳动力短缺和成本的上升，葡萄果园采摘的机械自动化引起了更多的关注。推进农业生产的机械化与智能化是解决该问题的重要途径。针对葡萄果梗的精准分割是确定采摘点的前提，是实现在果园环境中机器人进行无损采摘的重要环节，在野外葡萄采摘作业中，因光照情况不同、存在多种不同的遮挡情境，使得葡萄采摘环境十分复杂。且葡萄品种繁多，不同品种之间颜色纹理和形状之间存在较大差异。采摘点位于葡萄果梗，但果梗与叶子、背景之间相似度很高，难以进行准确区分。这些非结构、不确定因素使得精准分割获得采摘点具有很高的难度。
3.随着技术的迅速发展，人们对葡萄采摘的准确率要求越来越高，由于数据持有方拥有的数据量较少，且各方数据无法聚合在一起形成数据孤岛，无法充分挖掘其中丰富的语义信息和通用特征，不足以满足图像分割的高精度要求。
4.由此，亟需一种新的技术方案以解决上述技术问题。


技术实现要素：

5.在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
6.第一方面，本发明提出一种基于联邦学习的图像分割方法，用于服务器，包括：
7.将经初始化的图像分割模型下发至至少两个客户端；
8.自至少两个客户端接收客户端本地模型参数，其中，客户端本地模型参数是客户端基于所接收到的经初始化的图像分割模型以及自身本地数据经过训练后获得的；
9.对客户端本地模型参数进行参数聚合，以获取全局模型参数；
10.基于全局模型参数对图像分割模型进行参数更新；
11.将经更新的图像分割模型下发至至少两个客户端，以使至少两个客户端基于经更新的图像分割模型进行图像分割。
12.可选地，基于全局模型参数对图像分割模型进行参数更新，包括：
13.在经更新的图像分割模型收敛后，停止参数更新。
14.可选地，所接收到的客户端本地模型参数是经过加密的，在对客户端本地模型参数进行参数聚合之前，方法还包括：
15.对客户端本地模型参数进行解密操作，以获得解密参数。
16.第二方面，还提出了一种基于联邦学习的图像分割方法，用于客户端，包括：
17.自服务器接收初始化的图像分割模型；
18.基于本地数据对初始化的图像分割模型进行训练，以获得客户端本地模型参数；
19.将客户端本地模型参数发送至服务器；
20.自服务器接收更新后的图像分割模型，其中，更新后的图像分割模型是利用对来自至少两个客户端的客户端本地模型参数进行聚合后获得全局模型参数对图像分割模型进行参数更新后得到的；
21.利用更新后的图像分割模型进行图像分割。
22.可选地，图像分割模型包括编码模块和解码模块，编码模块包括卷积神经网络分支、转换器分支和多个特征融合模块，卷积神经网络分支包括多个卷积神经网络层，转换器分支包括与卷积神经网络的层数相等的多个转换器层，
23.基于本地数据对初始化的图像分割模型进行训练，包括：
24.将待分割图像分别输入卷积神经网络分支和转换器分支，以对应输出局部特征和全局特征；
25.利用特征融合模块对局部特征和全局特征进行特征融合，以通过卷积神经网络分支或转换器分支输出特征融合结果。
26.可选地，方法还包括：
27.将待分割图像分别输入卷积神经网络分支的第一卷积神经网络层和转换器分支的第一转换器层，以输出第一局部特征和第一全局特征；
28.利用第一特征融合模块对第一局部特征和第一全局特征进行特征融合，以输出第一融合特征；
29.对第一融合特征进行下采样，以获取下采样数据；
30.将下采样数据分别输入卷积神经网络分支的第二卷积神经网络层和转换器分支的第二转换器层，以输出第二局部特征和第二全局特征；
31.利用第二特征融合模块对第二局部特征和第二全局特征进行特征融合，以获取第二融合特征；
32.将第二融合特征输入到解码模块，以输出图像分割结果。
33.可选地，方法还包括：
34.将第一融合特征输入到解码模块；
35.对第二融合特征进行上采样，以获取上采样数据；
36.对上采样数据和第一融合特征进行特征融合，以输出图像分割结果。
37.可选地，每个卷积神经网络层包括两个残差模块，方法还包括：
38.对局部特征依序进行第一卷积处理、下采样处理和第一正则化处理，以输出第一处理数据；
39.对全局特征依序进行上采样处理、第二卷积处理和第二正则化处理，以输出第二处理数据，其中，特征融合结果包括第一处理数据和第二处理数据。
40.第三方面，还提出了一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行如上所述的基于联邦学习的图像分割方法。
41.第四方面，还提出了一种存储介质，在存储介质上存储了程序指令，程序指令在运
行时用于执行如上所述的基于联邦学习的图像分割方法。
42.根据上述技术方案，服务器首先对图像分割模型进行初始化并下发到至少两个客户端，接着自至少两个客户端接收利用自身本地数据对图像分割模型训练后获得的客户端本地模型参数，对所接收到的多个客户端本地模型参数进行聚合操作以获得全局模型参数，之后利用全局模型参数对图像分割模型进行更新，最后再次将更新后的图像分割模型下发至前述至少两个客户端，以使客户端利用接收到的更新后的图像分割模型执行图像分割。由此，可以在各客户端持有的本地数据不出本地的情况下，在服务器将各方的数据进行融合，保证了各方数据的隐私性，同时还有效降低了通信负载。进一步地，上述技术方案能够充分挖掘数据之间的特征信息，寻找数据之间的联系，同时改进图像分割模型结构，达到提升分割准确性的效果，能够获取更加准确的例如果梗、葡萄串、葡萄叶、枝干的分割效果，通过对葡萄果梗位置的确定，可以更准确的确定采摘点，在复杂环境下实现精准采摘，保证采摘果实的完整性，保证收益。
43.本发明的基于联邦学习的图像分割方法，本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
44.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
45.图1示出了根据本发明一个实施例的一种基于联邦学习的图像分割方法的示意性流程图；
46.图2示出了根据本发明另一个实施例的一种基于联邦学习的图像分割方法的示意性流程图；
47.图3示出了根据本发明一个实施例的对图像分割模型训练的示意性流程图；
48.图4示出了根据本发明一个实施例的利用特征融合模块进行特征融合的示意性流程图；以及
49.图5示出了根据本发明一个实施例的电子设备的示意性框图。
具体实施方式
50.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
51.根据本发明的第一方面，提出了一种基于联邦学习的图像分割方法，用于服务器。图1示出了根据本发明一个实施例的基于联邦学习的图像分割方法100的示意性流程图。如图1所示，方法100可以包括以下步骤。
52.步骤s110，将经初始化的图像分割模型下发至至少两个客户端。
53.示例性地，图像分割模型可以是任何现有的或未来的可以实现图像分割的模型。对图像分割模型进行初始化操作，例如清空模型中数据等，之后将经初始化的图像分割模型下发至至少两个客户端，可选地，客户端可以是各个采摘园等。为了便于描述和理解，在下文中，以至少两个客户端是两个为例进行相关描述。
54.步骤s120，自至少两个客户端接收客户端本地模型参数，其中，客户端本地模型参数是客户端基于所接收到的经初始化的图像分割模型以及自身本地数据经过训练后获得的。
55.在步骤s110后，客户端在接收到经初始化的图像分割模型之后可以基于自身本地数据对该经初始化的图像分割模型进行训练，训练结果即为客户端本地模型参数。可以理解，对于每个客户端而言，由于自身本地数据不同，其获得的客户端本地模型参数也不同。其中，自身本地数据可以包括待分割图像以及针对待分割图像的标注结果等，在此不做限定。服务器可以在客户端执行训练操作之后，由两个客户端分别接收对应的客户端本地模型参数。
56.步骤s130，对客户端本地模型参数进行参数聚合，以获取全局模型参数。
57.在接收到两个客户端本地模型参数之后，可以对所接收到的本地模型参数进行聚合操作，可以理解，聚合操作可以表示对数据进行进一步整理筛选等操作，以生成两个客户端本地模型参数的集合，即全局模型参数的过程。其中，可以利用任何现有的或未来的参数聚合方式对客户端本地模型参数进行参数聚合，在此不做限定。
58.具体地，服务器可以根据测试数据对各个客户端的图像分割模型进行测试，以得到不同的分割准确率miou值，具体地，可以通过以下公式计算miou值：
59.其中，k+1表示进行分割的类别和背景的数量和，p
ii
表示像素类别预测正确，p
ij
表示像素预测错误，即类别i预测成类别j，同理，p
ij
也表示像素预测错误，类别j预测成类别i。在获得多个准确率miou值之后，可以对不同的准确率值进行归一化处理，作为相应本地模型参数的权重，之后对所有本地模型进行权重求和，可以获得全局模型参数。
60.在前述计算miou值的过程中，如果某个客户端的miou值连续低于预设阈值超过指定次数，则可以将该客户端丢弃。可选地，指定次数可以根据经验或实际需求进行任意合理设置例如设置为2次或更多次等。
61.步骤s140，基于全局模型参数对图像分割模型进行参数更新。
62.可以理解，可以将全局模型参数视为一个大的集合，在这个集合里包括来自至少两个客户端的、对图像分割模型进行训练的中间参数，即客户端本地模型参数，将其中的每个客户端本地模型参数视为这个大集合的一个子集，换言之，上述聚合操作实现了对至少两个客户端的模型训练操作的汇总，由此，在该步骤中，基于汇总后得到的全局模型参数对图像分割模型进行参数更新相当于将更多的参数更新到图像分割模型中，以增加图像分割
模型能够学习的数据集中的数据量。可以理解，上述训练过程可以重复多次执行，对应地，在训练过程执行多次的情况下，可以产生多个训练结果，即能够获得多个聚合后的全局模型参数，因此能够利用多个全局模型参数对图像分割模型进行持续更新，换言之，上述训练过程不中断，图像分割模型的参数就会持续更新。
63.步骤s150，将经更新的图像分割模型下发至至少两个客户端，以使至少两个客户端基于经更新的图像分割模型进行图像分割。
64.在对图像分割模型更新后，将经更新的图像分割模型下发至前述的两个客户端里，可以使得客户端利用经更新的图像分割模型对农作物例如葡萄进行图像分割，具体检测方法在此不做限定，例如可以将待分割图像输入到图像分割模型中，进而可以输出图像分割结果。
65.根据上述技术方案，服务器首先对图像分割模型进行初始化并下发到至少两个客户端，接着自至少两个客户端接收利用自身本地数据对图像分割模型训练后获得的客户端本地模型参数，对所接收到的多个客户端本地模型参数进行聚合操作以获得全局模型参数，之后利用全局模型参数对图像分割模型进行更新，最后再次将更新后的图像分割模型下发至前述至少两个客户端，以使客户端利用接收到的更新后的图像分割模型执行图像分割。由此，可以在各客户端持有的本地数据不出本地的情况下，在服务器将各方的数据进行融合，保证了各方数据的隐私性，同时还有效降低了通信负载。进一步地，上述技术方案能够充分挖掘数据之间的特征信息，寻找数据之间的联系，同时改进图像分割模型结构，达到提升分割准确性的效果，能够获取更加准确的例如果梗、葡萄串、葡萄叶、枝干的分割效果，通过对葡萄果梗位置的确定，可以更准确的确定采摘点，在复杂环境下实现精准采摘，保证采摘果实的完整性，保证收益。
66.可选地，步骤s140基于全局模型参数对图像分割模型进行参数更新可以包括：在经更新的图像分割模型收敛后，停止参数更新。
67.如前所述，对图像分割模型的训练过程是不断进行的，为了节约系统运行成本，避免资源浪费，可以在图像分割模型收敛后停止训练，即停止后续的参数更新，反之，在图像分割模型未收敛的情况下，持续对图像分割模型的训练操作，直至图像分割模型收敛为止。可以利用任何现有的或未来的判断方法对图像分割模型是否收敛进行判断，在此不做限定。
68.可选地，所接收到的客户端本地模型参数是经过加密的，在对客户端本地模型参数进行参数聚合之前，方法还可以包括：对客户端本地模型参数进行解密操作，以获得解密参数。
69.可以理解，客户端可以利用任何加密技术对所发送的客户端本地模型参数进行加密，对应地，服务器与客户端达成解密协议，能够对所接收到的经加密的客户端本地模型参数进行解密操作，进而获得解密参数。其中，解密参数可以包括各个客户端更新模型的权重。
70.由此，有效保证了数据传输的安全性及私密性。
71.根据本发明的第二方面，还提出了一种基于联邦学习的图像分割方法，用于客户端。图2示出了根据本发明另一个实施例的基于联邦学习的图像分割方法200。如图2所示，方法200可以包括以下步骤。
72.步骤s210，自服务器接收初始化的图像分割模型。
73.如前所述，图像分割模型可以是任何能够执行图像分割功能的卷积神经网络，在此不做限定。可以理解，下文所述的服务器均为前述技术方案所述的服务器。
74.步骤s220，基于本地数据对初始化的图像分割模型进行训练，以获得客户端本地模型参数。
75.示例性地，客户端首先获取待分割图像，用户利用输入装置针对待分割图像制作分割区域标签，具体地，对于葡萄图像而言，用户可以利用输入装置在图像上标注果梗、叶片、果粒等以获取分割结果。在获取待分割图像之后，可以将其输入至初始化的图像分割模型中，以对该图像分割模型进行训练，可以获得训练结果——客户端本地模型参数。如前所述，对于每一个客户端而言，可以分别获得各自的客户端本地模型参数。
76.步骤s230，将客户端本地模型参数发送至服务器。
77.在根据上述步骤对图像分割模型进行训练后可以获得客户端本地模型参数，之后，每个客户端将其获取的客户端本地模型参数分别上传至服务器。
78.步骤s240，自服务器接收更新后的图像分割模型，其中，更新后的图像分割模型是利用对来自至少两个客户端的客户端本地模型参数进行聚合后获得全局模型参数对图像分割模型进行参数更新后得到的。
79.在每个客户端将各自的客户端本地模型参数发送至服务器后，如前所述，服务器可以对多个客户端本地模型参数进行聚合，以获得全局模型参数，之后利用该全局模型参数对初始化的图像分割模型进行参数更新，同理可知，在后续服务器接收到新的客户端本地模型参数之后，又可以聚合获得新的全局模型参数，利用该新的全局模型参数可以对前面已经更新的图像分割模型再次进行参数更新，可以理解，这种更新过程在训练停止后可以同步停止。进一步地，客户端可以自服务器接收到更新后的图像分割模型。同样地，上述更新过程不断进行，对应地，客户端也能够不断接收到持续更新的图像分割模型。
80.步骤s250，利用更新后的图像分割模型进行图像分割。
81.客户端可以利用更新后的图像分割模型对待分割图像进行图像分割，具体分割方法在此不做限定，例如可以将待分割图像输入到图像分割模型中，进而可以输出对应的图像分割结果。
82.由此，客户端无需向服务器发送各自的本地数据，即不需要将各自数据传输到集中的节点，一方面极大的减轻了数据的传输量，对传输要求的性能大大降低，在一定程度上保证了数据的安全，另一方面，仅向其发送对图像分割模型进行训练的中间参数，即客户端本地模型参数即可，利用多个遮挡葡萄图像数据持有方的数据，即不同品种、不同栽种场景的图像进行训练，充分利用其中的信息，通过不断在客户端与服务器之间进行模型参数交互的方式实现共享模型，从而保证通信数据的安全性，在提高数据的利用率的同时还能够很好地保障客户端数据的隐私性。换言之，能使服务器能够充分利用不同客户端的数据对图像分割模型进行更新，进而使得客户端能够利用其他客户端的数据实现图像分割，极大程度上扩充了图像分割的数据集，使得图像分割模型能够基于足够大的数据集学习到更多的特征以提升图像分割结果的准确性。
83.图3示出了根据本发明一个实施例的对图像分割模型训练的示意性流程图。如图3所示，图像分割模型包括编码模块(encoder)和解码模块(decoder)，编码模块包括卷积神
经网络分支、转换器分支和多个特征融合模块(ffm)，卷积神经网络分支包括多个卷积神经网络层，转换器分支包括与卷积神经网络的层数相等的多个转换器层。
84.在该实施例中，步骤s220基于本地数据对初始化的图像分割模型进行训练可以包括以下步骤。
85.步骤s221，将待分割图像分别输入卷积神经网络分支和转换器分支，以对应输出局部特征和全局特征。
86.如图3所示，可以将同一张待分割图像同时输入到卷积神经网络分支和转换器分支，具体地，编码模块中最左侧的分支为卷积神经网络分支，最右侧分支为转换器分支，在图像输入到上述分支后，可以理解的是，对应分支能够分别输出各自的特征提取结果，即卷积神经网络分支能够输出提取到的局部特征，转换器分支能够输出提取到的全局特征。具体地，转换器分支可以包括layernorm(ln)层、多头注意力模块(msa)、残差连接和具有gelu非线性的两个全连接层mlp。其目标函数可以表示为：
87.z
l
＝mlp(ln(msa(ln(z
l―1
))+z
l―1
))+z
l
,其中，z
l
表示为第l层。
88.步骤s222，利用特征融合模块对局部特征和全局特征进行特征融合，以通过卷积神经网络分支或转换器分支输出特征融合结果。
89.ffm模块可以将卷积神经网络分支与转换器分支在不同层之间的参数进行特征融合，进而输出特征融合结果。
90.根据上述技术方案，可以利用卷积神经网络所擅长的提取局部特征，利用转换器分支所擅长的提取全局特征，进而利用特征融合模块协调两个分支之间参数传递的不一致，保证整个编码模块可以正常执行，由此可以有效提升图像分割模型的性能，提升分割结果的准确性。
91.可选地，方法还可以包括以下步骤。
92.步骤s410，将待分割图像分别输入卷积神经网络分支的第一卷积神经网络层和转换器分支的第一转换器层，以输出第一局部特征和第一全局特征。
93.示例性地，可以将卷积神经网络分支中最上面的卷积神经网络层视为第一卷积神经网络层，对应地，将转换器分支中最上面的转换器层视为第一转换器层。在将待分割图像分别输入到第一卷积神经网络层和第一转换器层之后，可以对应输出第一局部特征和第一全局特征。
94.步骤s420，利用第一特征融合模块对第一局部特征和第一全局特征进行特征融合，以输出第一融合特征。
95.示例性地，以特征融合模块最先接收到第一卷积神经网络层所输出的第一局部特征为例进行以下描述。特征融合模块所接收到的第一局部特征的特征映射维度为c*h*w，其中，c表示特征图的通道，h表示特征图的高度，w表示特征图的宽度，若想与第一全局特征进行特征融合，需要保证二者传递的形式一致，即将第一局部特征的特征映射维度c*h*w转换为转换器层对应的特征映射维度k*e，其中，k表示patchembedding的大小，e表示patchembedding的维度。具体地，可以将c转换为e，将h*w转换为k，进而将格式转换后的特征与第一全局特征相融合以生成第一融合特征到第一转换器层。类似地，第一转换器在提取到第一全局特征后，也可以向特征融合模块输入第一全局特征，特征融合模块在接收到第一全局特征之后，可以将其特征映射维度由k*e转换为c*h*w，进而将格式转换后的特征
与第一局部特征相融合同样可以生成第一融合特征到第一卷积神经网络层。具体地，所获得的第一融合特征可以是尺度为原图的1/4的特征图。
96.步骤s430，对第一融合特征进行下采样，以获取下采样数据。
97.在获得第一融合特征之后，可以对第一融合特征进行下采样，其中，下采样可以表示对特征图进行缩放处理，例如可以将其缩小为原图的1/8、1/16、1/32等，对应地，特征图的维度分别为256、512、1024。在进行下采样操作之后可以获取下采样数据。在该实施例中，对第一融合特征进行下采样，以使特征图缩小为原图的1/8。
98.步骤s440，将下采样数据分别输入卷积神经网络分支的第二卷积神经网络层和转换器分支的第二转换器层，以输出第二局部特征和第二全局特征。
99.之后，将下采样数据分别输入到第二卷积神经网络层和第二转换器层，进而可以输出第二局部特征和第二全局特征。可以理解，第二卷积神经网络层可以包括除第一卷积神经网络层的任意卷积神经网络层。同理，第二转换器层可以包括除第一转换器层的任意转换器层。
100.步骤s450，利用第二特征融合模块对第二局部特征和第二全局特征进行特征融合，以获取第二融合特征。
101.上文已经对第一局部特征、第一全局特征以及第一特征融合模块之间的数据处理、传递进行了相关描述，本领域普通技术人员可以理解如何利用第二特征融合模块对第二局部特征和第二全局特征进行特征融合，以获取第二融合特征，为了简洁在此不再赘述。由此，可以分别获得尺度分别为原图的1/8、1/16以及1/32的特征图的第二融合特征。
102.替代地，还可以将最下面一层卷积神经网络层视为第二卷积神经网络层，将最下面一层转换器层视为第二转换器层。对应地，可以确定其余层均为第一卷积神经网络层和第一转换器层，对应地，在该实施例中，第一融合特征为原图的1/4、1/8、1/16的特征图，第二融合特征为原图的1/32的特征图。
103.步骤s460，将第二融合特征输入到解码模块，以输出图像分割结果。
104.以最下面一层卷积神经网络层为第二卷积神经网络层，最下面一层转换器层为第二转换器层为例进行以下说明。在获取第二融合特征之后可以将其输入到解码模块，进而可以输出图像分割结果，此处为现有技术，不做过多说明。
105.由此，可以通过不同分支之间参数的连续交互，在最大程度上保留全局特征和局部特征，有效提升了图像分割模型的性能。
106.可选地，方法还可以包括以下步骤。
107.步骤s510，将第一融合特征输入到解码模块。
108.如前所述可以获得第一融合特征，在一个实施例中，第一融合特征为原图的1/4、1/8、1/16的特征图，第二融合特征为原图的1/32的特征图。
109.步骤s520，对第二融合特征进行上采样，以获取上采样数据。
110.对尺度为原图的1/32的特征图进行上采样，可以获取上采样数据。可以理解，所获取到的上采样数据为尺度是原图的1/4的特征图。
111.步骤s530，对上采样数据和第一融合特征进行特征融合，以输出图像分割结果。
112.示例性地，利用图3所示的fuse模块可以对上采样数据与第一融合特征进行特征融合，进而输出图像分割结果，本领域普通技术人员可以理解此处的具体实施方式，在此不
做具体展开。
113.由此，通过上述技术方案有效利用多尺度特征图进行上采样进行数据缺失弥补，保证了图像分割过程中的有效数据量，为图像分割结果的准确性提供另一层保障。同时，采用特征金字塔模型将不同层提取到的特征进行融合，可以充分获得全局信息。
114.可选地，每个卷积神经网络层包括两个残差模块。图4示出了根据本发明一个实施例的利用特征融合模块进行特征融合的示意性流程图。如图4所示，特征融合模块可以包括1*1卷积神经网络、下采样操作模块、正则化模块等。其中，图4的最左侧的两个residual block即为残差模块。在该实施例中，方法还可以包括：
115.对局部特征依序进行第一卷积处理、下采样处理和第一正则化处理，以输出第一处理数据。
116.具体地，参见图4，自图4的左上方起，可以首先利用第一1*1卷积神经网络模块(1*1conv)对局部特征进行卷积处理，之后进行下采样处理，其中，下采样模块中可以包括reshape操作模块、avgpooling操作模块，再接着，利用第一正则化模块layernorm进行第一正则化处理，具体模块处理过程在此不做限定。通过上述操作可以输出第一处理数据到转换器层(transformer block)。
117.对全局特征依序进行上采样处理、第二卷积处理和第二正则化处理，以输出第二处理数据，其中，特征融合结果包括第一处理数据和第二处理数据。
118.示例性地，转换器层输出自身提取到的全局特征，到特征融合模块，首先利用上采样模块对全局特征进行上采样处理，其中，上采样模块包括reshape操作模块、interpolating操作模块。接着利用第二1*1卷积神经网络模块(1*1conv)进行卷及处理，最后利用第二正则化模块batchnorm进行第二正则化处理。
119.由此，上述特征融合模型算法简单，并且能够在最大程度上保留全局特征和局部特征，有效提升了图像分割模型的性能。
120.根据本发明的第三方面，还提供了一种电子设备。图5示出了根据本发明一个实施例的电子设备500的示意性框图。如图5所示，电子设备500包括处理器510和存储器520，其中，存储器520中存储有计算机程序指令，计算机程序指令被处理器510运行时用于执行如上所述的基于联邦学习的图像分割方法。
121.根据本发明的第四方面，还提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行如上所述的基于联邦学习的图像分割方法。存储介质例如可以包括平板电脑的存储部件、计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
122.本领域普通技术人员通过阅读上述有关基于联邦学习的图像分割方法的相关描述可以理解电子设备以及存储介质的具体细节以及有益效果，为了简洁在此不再赘述。
123.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和/或设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通
讯连接，可以是电性，机械或其它的形式。
124.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
125.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
126.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
127.以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：
1.一种基于联邦学习的图像分割方法，其特征在于，用于服务器，包括：将经初始化的图像分割模型下发至至少两个客户端；自所述至少两个客户端接收客户端本地模型参数，其中，所述客户端本地模型参数是所述客户端基于所接收到的所述经初始化的图像分割模型以及自身本地数据经过训练后获得的；对所述客户端本地模型参数进行参数聚合，以获取全局模型参数；基于所述全局模型参数对所述图像分割模型进行参数更新；将经更新的图像分割模型下发至所述至少两个客户端，以使所述至少两个客户端基于所述经更新的图像分割模型进行图像分割。2.如权利要求1所述的基于联邦学习的图像分割方法，其特征在于，所述基于所述全局模型参数对所述图像分割模型进行参数更新，包括：在所述经更新的图像分割模型收敛后，停止所述参数更新。3.如权利要求2所述的基于联邦学习的图像分割方法，其特征在于，所接收到的所述客户端本地模型参数是经过加密的，在所述对所述客户端本地模型参数进行参数聚合之前，所述方法还包括：对所述客户端本地模型参数进行解密操作，以获得解密参数。4.一种基于联邦学习的图像分割方法，其特征在于，用于客户端，包括：自服务器接收初始化的图像分割模型；基于本地数据对所述初始化的图像分割模型进行训练，以获得客户端本地模型参数；将所述客户端本地模型参数发送至所述服务器；自所述服务器接收更新后的图像分割模型，其中，所述更新后的图像分割模型是利用对来自至少两个所述客户端的客户端本地模型参数进行聚合后获得全局模型参数对所述图像分割模型进行参数更新后得到的；利用所述更新后的图像分割模型进行图像分割。5.如权利要求4所述的基于联邦学习的图像分割方法，其特征在于，所述图像分割模型包括编码模块和解码模块，所述编码模块包括卷积神经网络分支、转换器分支和多个特征融合模块，所述卷积神经网络分支包括多个卷积神经网络层，所述转换器分支包括与所述卷积神经网络的层数相等的多个转换器层，所述基于本地数据对所述初始化的图像分割模型进行训练，包括：将待分割图像分别输入所述卷积神经网络分支和所述转换器分支，以对应输出局部特征和全局特征；利用所述特征融合模块对所述局部特征和所述全局特征进行特征融合，以通过所述卷积神经网络分支或所述转换器分支输出特征融合结果。6.如权利要求5所述的基于联邦学习的图像分割方法，其特征在于，所述方法还包括：将所述待分割图像分别输入所述卷积神经网络分支的第一卷积神经网络层和所述转换器分支的第一转换器层，以输出第一局部特征和第一全局特征；利用第一特征融合模块对所述第一局部特征和所述第一全局特征进行特征融合，以输出第一融合特征；对第一融合特征进行下采样，以获取下采样数据；
将所述下采样数据分别输入所述卷积神经网络分支的第二卷积神经网络层和所述转换器分支的第二转换器层，以输出第二局部特征和第二全局特征；利用第二特征融合模块对所述第二局部特征和所述第二全局特征进行特征融合，以获取第二融合特征；将所述第二融合特征输入到所述解码模块，以输出图像分割结果。7.如权利要求6所述的基于联邦学习的图像分割方法，其特征在于，所述方法还包括：将所述第一融合特征输入到所述解码模块；对所述第二融合特征进行上采样，以获取上采样数据；对所述上采样数据和所述第一融合特征进行特征融合，以输出图像分割结果。8.如权利要求5至7任一项所述的基于联邦学习的图像分割方法，其特征在于，每个所述卷积神经网络层包括两个残差模块，所述方法还包括：对所述局部特征依序进行第一卷积处理、下采样处理和第一正则化处理，以输出第一处理数据；对所述全局特征依序进行上采样处理、第二卷积处理和第二正则化处理，以输出第二处理数据，其中，所述特征融合结果包括所述第一处理数据和所述第二处理数据。9.一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至8任一项所述的基于联邦学习的图像分割方法。10.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至8任一项所述的基于联邦学习的图像分割方法。

技术总结
本发明提供一种基于联邦学习的图像分割方法及相关设备。方法用于服务器，包括：将经初始化的图像分割模型下发至至少两个客户端；自至少两个客户端接收客户端本地模型参数，客户端本地模型参数是客户端基于所接收到的经初始化的图像分割模型以及自身本地数据经过训练后获得的；对客户端本地模型参数进行参数聚合，以获取全局模型参数；基于全局模型参数对图像分割模型进行参数更新；将经更新的图像分割模型下发至至少两个客户端，以使至少两个客户端基于经更新的图像分割模型进行图像分割。保证了各方数据的隐私性，有效降低了通信负载。充分挖掘数据之间的特征信息，寻找数据之间的联系，同时改进图像分割模型结构，达到提升分割准确性的效果。升分割准确性的效果。升分割准确性的效果。


技术研发人员：王金海 张宗印 罗陆锋
受保护的技术使用者：佛山科学技术学院
技术研发日：2023.04.26
技术公布日：2023/8/1