一种基于特征分离与重组的小样本图像语义分割方法

1.本发明涉及计算机视觉技术领域，尤其涉及一种基于特征分离与重组的小样本图像语义分割方法。


背景技术：

2.近年来，深度学习在视觉、文本和语音等领域取得了突破性的进展，很大程度上得益于大量带标注的训练样本。然而，数据的标注费时费力，尤其对于语义分割任务需要大量像素级别的稠密标注，成本极高。虽然利用弱监督的方法在一定程度上可以降低标注数据收集成本高的问题，但该类方法对于未知类的泛化性能不高。小样本学习可以从带标注信息的少量样本中学习匹配规则，快速泛化到未知新类的分割任务中，在一定程度上可以缓解数据标注成本高的问题。
3.现有的小样本图像语义分割方法大多采用支持分支和查询分支的双分支网络结构，利用支持分支和查询分支分别将支持图片和查询图片映射到深度特征空间，通过深层次地学习支持集中每张图片的深度语义特征，建立指导查询图片分割的规则。虽然现有的深度学习模型的分割性能不断提高，但该类方法仅利用目标前景的深度语义特征指导查询图片分割，对于查询图片包含的信息没有充分挖掘，使得所学类特定语义表示的鲁棒性和可靠性不强，难以精确地分割出查询图片中的未知新类目标。


技术实现要素：

4.为克服现有基础的不足，本发明提出一种充分利用支持图片的背景信息和进一步挖掘目标信息的小样本图像语义分割方法，来学习高鲁棒性、高可靠性的语义特征表示，进一步提升小样本图像语义分割的性能。
5.本发明的技术方案是这样实现的，一种基于特征分离与重组的小样本图像语义分割方法，包括步骤：
6.s1，特征提取，利用主干网络将支持图片和查询图片映射到深度特征空间；
7.s2，特征分离，利用支持图片的真实掩码将支持特征分离为支持目标前景特征和支持背景特征，将查询特征分离为等大小的伪目标前景特征和伪背景特征；
8.s3，特征重组，通过建立支持目标前景特征自注意力、伪目标前景特征自注意力、支持目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力，将支持分支和查询分支的目标前景特征进行语义重组，通过建立支持背景特征和查询伪背景特征的交叉注意力，将支持分支和查询分支的背景特征进行语义重组；
9.s4，原型学习，在重组后的前景特征和背景特征图上利用全局平均池化生成前景和背景区域对应的特征原型；
10.s5，无参数度量，通过计算查询特征、支持特征和特征原型之间的相似度，指导查询图片和支持图片中的目标进行分割。
11.进一步地，步骤s1所述的主干网络采用共享权重的预训练vgg-16、resnet-50和
resnet-101网络，将支持图片和查询图片映射到深度特征空间。
12.进一步地，步骤s2所述的查询特征分离是将包含前景和背景的原始查询特征作为伪目标前景特征和伪背景特征的初始特征，并分别与支持目标前景特征和支持背景特征建立交互，将包含前景和背景的原始查询特征分离为伪目标前景特征和伪背景特征。
13.进一步地，步骤s3中所述的特征重组包括步骤：
14.s31，建立目标前景特征的自注意力，所述目标前景特征的自注意力计算如公式(1)所示，
[0015][0016]
s32，建立伪目标前景特征的自注意力，所述伪目标前景特征自注意力计算如公式(2)所示，
[0017][0018]
s33，建立支持目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力，将支持分支和查询分支的目标前景特征进行语义重组，所述前景交叉注意力计算如公式(3)所示，
[0019][0020]
s34，建立支持背景特征和查询伪背景特征的交叉注意力，将支持分支和查询分支的背景特征进行语义重组，所述背景交叉注意力计算如公式(4)所示，
[0021][0022]
其中，f
sup_fg
表示目标前景特征的自注意力；f
que_fg
表示伪目标前景特征自注意力；f
cs_fg
表示目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力；ffs表示支持目标前景特征；ffq表示查询伪目标前景特征；fbs表示支持背景特征；fbq表示查询伪背景特征；d表示特征维度。
[0023]
进一步地，步骤s4中所述的原型学习包括步骤：
[0024]
s41，在重组后的前景特征图上利用全局平均池化生成前景区域对应的特征原型，所述前景特征原型计算如公式(5)所示，
[0025][0026]
s42：在重组后的背景特征图上利用全局平均池化生成背景区域对应的特征原型，所述背景特征原型计算如公式(6)所示，
[0027][0028]
s43：将前景特征原型和背景特征原型拼接，获得原型集p＝{p_fg}∪{p_bg}。
[0029]
其中，p_fg表示前景特征原型；p_bg表示背景特征原型；k表示支持图片的总数；(
·
)表示真值函数；mk表示第k张支持图片对应的掩码；c表示第k张支持图片对应的类标
签。
[0030]
进一步地，步骤s5所述的无参数度量包括步骤：
[0031]
s51：计算查询图片映射到深度特征空间(x,y)处的特征fq
(x,y)
与每一原型的余弦相似度s
q(x,y)
，所述相似度计算如公式(7)所示，
[0032][0033]
s52：计算支持图片映射到深度特征空间(x,y)处的特征fs
(x,y)
与每一原型的余弦相似度s
s(x,y)
，所述相似度计算如公式(8)所示，
[0034][0035]
s53：利用argmax(
·
)函数选取每一位置(x,y)处的特征与原型集p之间的最大相似度值，并将所有位置处的最大相似度值拼接，利用双线性插值生成查询图片和支持图片的掩码，生成的掩码可表示为公式(9)，
[0036]m′
＝∑
x,y
bil(argmax(s
(x,y)
))
ꢀꢀꢀ
(9)
[0037]
其中，fq
(x,y)
表示查询图片映射到深度特征空间(x,y)处的特征表示；fs
(x,y)
表示支持图片映射到深度特征空间(x,y)处的特征表示；m
′
表示生成的掩码；bil表示双线性插值；
[0038]
s54：计算预测的支持图片掩码和真实支持图片掩码之间的交叉熵损失lss→s，计算预测的查询图片掩码和真实查询图片掩码之间的交叉熵损失lss→q，利用支持分支和查询分支的双损失来端到端优化网络模型，所述的双损失计算如公式(10)所示，
[0039][0040]
其中，h和w为支持图片的长和宽；α为可学习参数；为真实的支持掩码，为预测的支持掩码；为真实的查询掩码，仅用在训练阶段，为预测的查询掩码。
[0041]
进一步地或更进一步地，步骤s3中所述的支持背景特征是利用vision transformer将支持背景特征图划分为n＝(h/σ)
×
(w/σ)个patch块后的平均特征，其中，n表示划分的patch块个数；h和w为支持图片的长和宽，σ表示卷积核的大小。
[0042]
本发明的有益效果在于，与现有技术相比，本发明不仅可以实现查询特征的特征分离，还可以实现分离特征与支持特征的重组，提高了类特定语义表示的鲁棒性和可靠性。此外，本发明公开的语义分割方法还可以实现支持和查询双分支输入图片的语义分割，为自然场景、医学图像等领域的分割提供了一种新思路。
附图说明
[0043]
图1为本发明一种基于特征分离与重组的小样本图像语义分割方法流程图；
[0044]
图2为本发明一种基于特征分离与重组的小样本图像语义分割方法的原型学习流程图。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
本发明的一种基于特征分离与重组的小样本图像语义分割方法流程如图1所示，本发明的技术方案思路是：利用主干网络将支持图片和查询图片映射到深度特征空间，并借助支持图片的真实掩码将支持特征分离为支持目标前景特征和支持背景特征，将查询特征分离为等大小的伪目标前景特征和伪背景特征。其次，通过建立支持目标前景特征自注意力、伪目标前景特征自注意力、支持目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力，将支持分支和查询分支的目标前景特征进行语义重组，通过建立支持背景特征和查询伪背景特征的交叉注意力，将支持分支和查询分支的背景特征进行语义重组。再次，在重组后的前景特征和背景特征图上利用全局平均池化生成前景和背景区域对应的特征原型。最后，通过计算查询特征、支持特征和特征原型之间的相似度，指导查询图片和支持图片中的目标进行分割。
[0047]
本发明的一种基于特征分离与重组的小样本图像语义分割方法，详细包括步骤
[0048]
s1：特征提取，利用主干网络将支持图片和查询图片映射到深度特征空间，其中，所述的主干网络采用共享权重的预训练vgg-16、resnet-50和resnet-101网络，将支持图片和查询图片映射到深度特征空间。
[0049]
s2：特征分离，利用支持图片的真实掩码将支持特征分离为支持目标前景特征和支持背景特征，将查询特征分离为等大小的伪目标前景特征和伪背景特征，其中，所述的查询特征分离是将包含前景和背景的原始查询特征作为伪目标前景特征和伪背景特征的初始特征，并分别与支持目标前景特征和支持背景特征建立交互，将包含前景和背景的原始查询特征分离为伪目标前景特征和伪背景特征。
[0050]
s3：特征重组，通过建立支持目标前景特征自注意力、伪目标前景特征自注意力、支持目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力，将支持分支和查询分支的目标前景特征进行语义重组，通过建立支持背景特征和查询伪背景特征的交叉注意力，将支持分支和查询分支的背景特征进行语义重组。
[0051]
对于前述特征重组步骤的主要流程为：
[0052]
s31：建立目标前景特征的自注意力，所述目标前景特征的自注意力计算如公式(1)所示，
[0053][0054]
s32：建立伪目标前景特征的自注意力，所述伪目标前景特征自注意力计算如公式(2)所示，
[0055][0056]
s33：建立支持目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力，将支持分支和查询分支的目标前景特征进行语义重组，所述前景交叉注意力计算如公式
(3)所示，
[0057][0058]
s34：建立支持背景特征和查询伪背景特征的交叉注意力，将支持分支和查询分支的背景特征进行语义重组，其中，支持背景特征是利用vision transformer将支持背景特征图划分为n＝(h/σ)
×
(w/σ)个patch块后的平均特征，其中，n表示划分的patch块个数；h和w为支持图片的长和宽，σ表示卷积核的大小。所述背景交叉注意力计算如公式(4)所示，
[0059][0060]
其中，f
sup_fg
表示目标前景特征的自注意力；f
que_fg
表示伪目标前景特征自注意力；f
cs_fg
表示目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力；ffs表示支持目标前景特征；ffq表示查询伪目标前景特征；fbs表示支持背景特征；fbq表示查询伪背景特征；d表示特征维度。
[0061]
s4：原型学习，在重组后的前景特征和背景特征图上利用全局平均池化生成前景和背景区域对应的特征原型，原型学习的流程如图2所示。
[0062]
对于前述原型学习步骤的主要流程为：
[0063]
s41：在重组后的前景特征图上利用全局平均池化生成前景区域对应的特征原型，所述前景特征原型计算如公式(5)所示，
[0064][0065]
s42：在重组后的背景特征图上利用全局平均池化生成背景区域对应的特征原型，所述背景特征原型计算如公式(6)所示，
[0066][0067]
s43：将前景特征原型和背景特征原型拼接，获得原型集p＝{p_fg}∪{p_bg}。
[0068]
其中，p_fg表示前景特征原型；p_bg表示背景特征原型；k表示支持图片的总数；表示真值函数；mk表示第k张支持图片对应的掩码；c表示第k张支持图片对应的类标签。
[0069]
s5：无参数度量，通过计算查询特征、支持特征和特征原型之间的相似度，指导查询图片和支持图片中的目标进行分割。
[0070]
对于前述无参数度量步骤的主要流程为：
[0071]
s51：计算查询图片映射到深度特征空间(x,y)处的特征fq
(x,y)
与每一原型的余弦相似度s
q(x,y)
，所述相似度计算如公式(7)所示，
[0072][0073]
s52：计算支持图片映射到深度特征空间(x,y)处的特征fs
(x,y)
与每一原型的余弦相似度s
s(x,y)
，所述相似度计算如公式(8)所示，
[0074][0075]
s53：利用argmax(
·
)函数选取每一位置(x,y)处的特征与原型集p之间的最大相似度值，并将所有位置处的最大相似度值拼接，利用双线性插值生成查询图片和支持图片的掩码，生成的掩码可表示为公式(9)，
[0076]m′
＝∑
x,y
bil(argmax(s
(x,y)
))
ꢀꢀꢀ
(9)
[0077]
其中，fq
(x,y)
表示查询图片映射到深度特征空间(x,y)处的特征表示；fs
(x,y)
表示支持图片映射到深度特征空间(x,y)处的特征表示；m
′
表示生成的掩码；bil表示双线性插值。
[0078]
s54：计算预测的支持图片掩码和真实支持图片掩码之间的交叉熵损失lss→s，计算预测的查询图片掩码和真实查询图片掩码之间的交叉熵损失lss→q，利用支持分支和查询分支的双损失来端到端优化网络模型，所述的双损失计算如公式(10)所示，
[0079][0080]
其中，h和w为支持图片的长和宽；α为可学习参数；为真实的支持掩码，为预测的支持掩码；为真实的查询掩码，仅用在训练阶段，为预测的查询掩码。
[0081]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种基于特征分离与重组的小样本图像语义分割方法，其特征在于，包括步骤：s1，特征提取，利用主干网络将支持图片和查询图片映射到深度特征空间；s2，特征分离，利用支持图片的真实掩码将支持特征分离为支持目标前景特征和支持背景特征，将查询特征分离为等大小的伪目标前景特征和伪背景特征；s3，特征重组，通过建立支持目标前景特征自注意力、伪目标前景特征自注意力、支持目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力，将支持分支和查询分支的目标前景特征进行语义重组，通过建立支持背景特征和查询伪背景特征的交叉注意力，将支持分支和查询分支的背景特征进行语义重组；s4，原型学习，在重组后的前景特征和背景特征图上利用全局平均池化生成前景和背景区域对应的特征原型；s5，无参数度量，通过计算查询特征、支持特征和特征原型之间的相似度，指导查询图片和支持图片中的目标进行分割。2.如权利要求1所述的基于特征分离与重组的小样本图像语义分割方法，其特征在于，步骤s1所述的主干网络采用共享权重的预训练vgg-16、resnet-50和resnet-101网络，将支持图片和查询图片映射到深度特征空间。3.如权利要求1所述的基于特征分离与重组的小样本图像语义分割方法，其特征在于，步骤s2所述的查询特征分离是将包含前景和背景的原始查询特征作为伪目标前景特征和伪背景特征的初始特征，并分别与支持目标前景特征和支持背景特征建立交互，将包含前景和背景的原始查询特征分离为伪目标前景特征和伪背景特征。4.如权利要求1所述的基于特征分离与重组的小样本图像语义分割方法，其特征在于，步骤s3中所述的特征重组包括步骤：s31，建立目标前景特征的自注意力，所述目标前景特征的自注意力计算如公式(1)所示，s32，建立伪目标前景特征的自注意力，所述伪目标前景特征自注意力计算如公式(2)所示，s33，建立支持目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力，将支持分支和查询分支的目标前景特征进行语义重组，所述前景交叉注意力计算如公式(3)所示，s34，建立支持背景特征和查询伪背景特征的交叉注意力，将支持分支和查询分支的背景特征进行语义重组，所述背景交叉注意力计算如公式(4)所示，
其中，f
sup_fg
表示目标前景特征的自注意力；f
que_fg
表示伪目标前景特征自注意力；f
cs_fg
表示目标前景特征自注意力和伪目标前景特征自注意力的交叉注意力；ff
s
表示支持目标前景特征；ff
q
表示查询伪目标前景特征；fb
s
表示支持背景特征；fb
q
表示查询伪背景特征；d表示特征维度。5.如权利要求1所述的基于特征分离与重组的小样本图像语义分割方法，其特征在于，步骤s4中所述的原型学习包括步骤：s41，在重组后的前景特征图上利用全局平均池化生成前景区域对应的特征原型，所述前景特征原型计算如公式(5)所示，s42：在重组后的背景特征图上利用全局平均池化生成背景区域对应的特征原型，所述背景特征原型计算如公式(6)所示，s43：将前景特征原型和背景特征原型拼接，获得原型集p＝{p_fg}∪{p_bg}。其中，p_fg表示前景特征原型；p_bg表示背景特征原型；k表示支持图片的总数；表示真值函数；m
k
表示第k张支持图片对应的掩码；c表示第k张支持图片对应的类标签。6.如权利要求1所述的基于特征分离与重组的小样本图像语义分割方法，其特征在于，步骤s5所述的无参数度量包括步骤：s51：计算查询图片映射到深度特征空间(x,y)处的特征fq
(x,y)
与每一原型的余弦相似度s
q(x,y)
，所述相似度计算如公式(7)所示，s52：计算支持图片映射到深度特征空间(x,y)处的特征fs
(x,y)
与每一原型的余弦相似度s
s(x,y)
，所述相似度计算如公式(8)所示，s53：利用argmax(
·
)函数选取每一位置(x,y)处的特征与原型集p之间的最大相似度值，并将所有位置处的最大相似度值拼接，利用双线性插值生成查询图片和支持图片的掩码，生成的掩码可表示为公式(9)，m
′
＝∑
x,y
bil(argmax(s
(x,y)
))
ꢀꢀ
(9)其中，fq
(x,y)
表示查询图片映射到深度特征空间(x,y)处的特征表示；fs
(x,y)
表示支持图片映射到深度特征空间(x,y)处的特征表示；m
′
表示生成的掩码；bil表示双线性插值；s54：计算预测的支持图片掩码和真实支持图片掩码之间的交叉熵损失ls
s
→
s
，计算预测的查询图片掩码和真实查询图片掩码之间的交叉熵损失ls
s
→
q
，利用支持分支和查询分支的双损失来端到端优化网络模型，所述的双损失计算如公式(10)所示，
其中，h和w为支持图片的长和宽；α为可学习参数；为真实的支持掩码，为预测的支持掩码；为真实的查询掩码，仅用在训练阶段，为预测的查询掩码。7.如权利要求1或4所述的基于特征分离与重组的小样本图像语义分割方法，其特征在于，步骤s3中所述的支持背景特征是利用vision transformer将支持背景特征图划分为n＝(h/σ)
×
(w/σ)个patch块后的平均特征，其中，n表示划分的patch块个数；h和w为支持图片的长和宽，σ表示卷积核的大小。

技术总结
本发明公开了一种基于特征分离与重组的小样本图像语义分割方法，包括步骤：特征提取，利用主干网络将支持图片和查询图片映射到深度特征空间；特征分离，将查询特征分离为等大小的伪目标前景特征和伪背景特征；特征重组，将支持分支和查询分支的背景特征进行语义重组；原型学习，利用全局平均池化生成前景和背景区域对应的特征原型；无参数度量，通过计算查询特征、支持特征和特征原型之间的相似度，指导查询图片和支持图片中的目标进行分割。本发明不仅可以实现查询特征的特征分离，还可以实现分离特征与支持特征的重组，提高了特征表达的可靠性，实现支持和查询双分支输入图片的语义分割，为自然场景、医学图像等领域的分割提供了一种新思路。提供了一种新思路。提供了一种新思路。


技术研发人员：常兆斌 路永钢
受保护的技术使用者：兰州大学
技术研发日：2023.07.13
技术公布日：2023/9/26