一种基于集合匹配的实例分割的方法与流程

1.本发明属于计算机视觉中图像分割技术领域，具体地，涉及一种基于集合匹配的实例分割方法。


背景技术：

2.图像分割按任务细分分为语义分割和实例分割，目前实例分割主流方案都需要先对图像进行目标检测后再进行像素级的细分类，如mask-rcnn和cascade mask r-cnn等，但此类方案中目标检测步骤都是“两阶段”目标检测，且都需要锚点anchor机制、非极大值抑制nms、目标框的检测和回归，结构较为复杂且推理速度较慢。
3.近两年较为创新得方法虽然进行了“两阶段”到“一说明书(20230707)阶段的”改进，推理时间有所减少，但仍然需要检测框、锚点机制和nms等作为预测实例掩码的前置操作。目前，使用计算机视觉中实例分割的方案如：
4.(1)利用目标检测模型如faster-rcnn、fcos先检测实例的目标框，再对目标框进行前景背景分割，操作复杂，推理速度慢，且仅能学习到实例局部的信息，无法学习到全局的信息，从而导致分割精确率的降低；
5.(2)对语义分割任务输出掩码的后加工，方案整体复杂性较低，但实践结果显示由于聚类产生的实例结果和类别数量有关系，故导致在实例目标数量较多的场景准确率较低，多实例分割效果较差，整体准确率较低。


技术实现要素：

6.针对现有技术中存在的问题，本发明提供了了一种基于集合匹配的实例分割方法，集合匹配发生在实例分割模型训练时实例标签掩码集合和预测实例掩码之间，本发明能通过集合匹配实现实例标签和预测实例掩码的一对一配对，从而使得模型避免了先进行目标检测再进行实例分割方案存在的算法过于复杂、推理速度慢等问题，同时也能解决先语义分割再聚类方案中无法较好的支持多实例分割和分割准确率较低的问题。
7.为实现上述技术目的，本发明采用如下技术方案：一种基于集合匹配的实例分割方法，具体包括如下步骤：
8.步骤s1、在图像集中的图像标注掩码，将标注掩码转换成标注实例集合；
9.步骤s2、构建实例分割模型；
10.步骤s3、将标注掩码的图像输入实例分割模型中采用梯度下降法进行训练，直至交叉熵损失函数收敛，完成对实例分割模型的训练；
11.步骤s4、将待检测的图像输入到训练好的实例分割模型中，预测出实例分割结果。
12.进一步地，所述标注实例集合s
t
＝{y1,...,yj,...,yn,...yn}，其中，n表示图像中对应的目标实例个数，yj表示标注实例集合中第j个目标实例的二值图像，n表示标注实例集合长度，y
n+1
,...yn均表示空掩码。
13.进一步地，所述二值图像的获取过程为：根据每一个标注掩码，得到目标实例为白
色、背景为黑色的二值图像。
14.进一步地，所述实例分割模型包括依次连接的全卷积的主干网络、掩码输出卷积网络和集合匹配网络，所述全卷积的主干网络用于提取图像上的特征图，所述掩码输出卷积网络用于预测实例掩码集合，所述集合匹配网络用于预测实例掩码集合和标注实例集合的元素进行一致性评价指标配对。
15.进一步地，所述全卷积的主干网络为enet、unet、segnet中的一种。
16.进一步地，所述掩码输出卷积网络的输出通道数和标注实例集合s
t
中元素个数一致。
17.进一步地，步骤s3包括如下子步骤：
18.步骤s3.1、将图像集中的一张图像输入到全卷积的主干网络中，得到特征图；
19.步骤s3.2、将特征图输入至掩码输出卷积网络，得到预测实例掩码集合；
20.步骤s3.3、在集合匹配网络中使用集合匹配算法对预测实例掩码集合和标注实例集合的元素根据一致性评价指标进行配对；
21.步骤s3.4、通过梯度下降法重复步骤s3.1-s3.3，直至交叉熵损失函数收敛，完成对实例分割模型的训练。
22.进一步地，步骤s3.3的具体过程为：
23.步骤s3.3.1、设置标注实例集合s
p
的初始标号和预测实例掩码集合s
t
的初始标号l(yj)＝0，其中，e
ij
表示s
p
中第i个元素xi与s
t
中第j个元素yj的一致性评价指标；
24.步骤s3.3.2、根据边集e
l
＝{xiyj|l(xi)+l(yj)＝e
ij
}、子图g
l
＝(s
p
,s
tk
,e
l
)求出匹配m，m∈e且匹配m中任意两条边都不相邻，其中，e表示预测实例掩码集合s
t
和标注实例集合s
p
中各元素之间的一致性评价指标构成的边集；
25.步骤s3.3.3、如果标注实例集合s
p
中所有元素均与匹配m有连接，则输出匹配m；否则执行步骤s3.3.4；
26.步骤s3.3.4、在标注实例集合s
p
中找出一个与匹配m不连接的元素x0，令a
←
{x0}，其中，表示空集；
27.步骤s3.3.5、若与a中节点相邻接的节点集合且则更新标注实例集合s
p
的标号、预测实例掩码集合s
t
的标号：其中，v表示xi或yj，a表示在s
t
中除当前g
l
里已存在的和a相邻的节点的节点中和a节点相连的最小权值，并通过步骤s3.3.2更新匹配m，否则执行步骤s3.3.6；
28.步骤s3.3.6、取若y与匹配m有连接，则从m中找出y的配对点x，令a
←
a∪{x}，b
←
b∪{y}，执行步骤s3.3.5；否则执行步骤s3.3.7；
29.步骤s3.3.7、在e中找出以x0为起点、以y为终点的路径，且此路径边交替出现、不
出现在m中，得到从x0到y的增广路p，令m
←
m+e(p)，扩增匹配m，执行步骤s3.3.3，其中，e(p)表示从x0到y通过增广路p构成的子匹配。
30.进一步地，所述s
p
中第i个元素xi与s
t
中第j个元素yj的一致性评价指标e
ij
为：
[0031][0032]
进一步地，所述交叉熵损失函数为：
[0033][0034]
其中，n表示标注实例集合长度，w表示图像的宽，h表示图像的高，表示匹配的预测实例掩码集合s
t
中第n个元素坐标为(w，h)的预测概率值，表示匹配的标注实例集合s
p
中第n个元素坐标为(w，h)的概率值。
[0035]
与现有技术相比，本发明具有如下有益效果：本发明基于集合匹配的实例分割方法不需要预测候选框的步骤，直接对特征图进行分割实例的预测，因此也不需要锚点机制和nms来去除多余候选框，流程简单，计算复杂度低；本发明使用集合匹配算法对预测实例掩码集合和标注实例集合的元素根据一致性评价指标进行配对，提高了实例匹配的准确率和鲁棒性。
附图说明
[0036]
图1为本发明基于集合匹配的实例分割方法的流程图；
[0037]
图2为本发明中实例分割模型的训练示意图。
具体实施方式
[0038]
下面结合附图对本发明的技术方案作进一步地解释说明。
[0039]
如图1为本发明基于集合匹配的实例分割方法的流程图，该实例分割方法具体包括如下步骤：
[0040]
步骤s1、在图像集中的图像标注掩码，将标注掩码转换成标注实例集合；本发明中标注实例集合s
t
＝{y1,...,yj,...,yn,...yn}，其中，n表示图像中对应的目标实例个数，yj表示标注实例集合中第j个目标实例的二值图像，yj的维度为(h,w)，h、w分别是图像的高和宽，n表示标注实例集合长度，y
n+1
,...yn均表示为了补全集合s
t
使得集合长度达到n而增加的空掩码，每个空掩码中无实例前景信息。本发明中二值图像的获取过程为：根据每一个标注掩码，得到目标实例为白色、背景为黑色的二值图像。
[0041]
步骤s2、构建实例分割模型；具体地，实例分割模型包括依次连接的全卷积的主干网络、掩码输出卷积网络和集合匹配网络，全卷积的主干网络用于提取图像上的特征图，全卷积的主干网络为enet、unet、segnet中的一种，应包含下采样及上采样的操作；掩码输出卷积网络用于预测实例掩码集合，掩码输出卷积网络的输出通道数也为n，使得输出的预测实例掩码集合s
p
中的元素个数与标注实例集合s
t
中元素个数一致，s
p
＝{x1,...,xi,...xn}，
xi的维度为(h,w)，h、w分别是图像的高和宽，且集合匹配网络用于预测实例掩码集合和标注实例集合的元素进行一致性评价指标配对。
[0042]
步骤s3、将标注掩码的图像输入实例分割模型中采用梯度下降法进行训练，直至交叉熵损失函数收敛，完成对实例分割模型的训练；具体地，如图2，包括如下子步骤：
[0043]
步骤s3.1、将图像集中的一张图像输入到全卷积的主干网络中，得到特征图；
[0044]
步骤s3.2、将特征图输入至掩码输出卷积网络，得到预测实例掩码集合；
[0045]
步骤s3.3、在集合匹配网络中使用集合匹配算法对预测实例掩码集合和标注实例集合的元素根据一致性评价指标进行配对，避免实例分割模型先进行目标检测再进行实例分割导致算法过于复杂、推理速度慢等问题，同时也能解决先语义分割再聚类方案中无法较好的支持多实例分割和分割准确率较低的问题。具体包括如下子步骤：
[0046]
步骤s3.3.1、设置标注实例集合s
p
的初始标号和预测实例掩码集合s
t
的初始标号l(yj)＝0，其中，e
ij
表示s
p
中第i个元素xi与s
t
中第j个元素yj的一致性评价指标，
[0047]
步骤s3.3.2、根据边集e
l
＝{xiyj|l(xi)+l(yj)＝e
ij
}、子图g
l
＝(s
p
,s
tk
,e
l
)求出匹配m，m∈e且匹配m中任意两条边都不相邻，其中，e表示预测实例掩码集合s
t
和标注实例集合s
p
中各元素之间的一致性评价指标构成的边集；
[0048]
步骤s3.3.3、如果标注实例集合s
p
中所有元素均与匹配m有连接，则输出匹配m；否则执行步骤s3.3.4；
[0049]
步骤s3.3.4、在标注实例集合s
p
中找出一个与匹配m不连接的元素x0，令a
←
{x0}，其中，表示空集；
[0050]
步骤s3.3.5、若与a中节点相邻接的节点集合且则更新标注实例集合s
p
的标号、预测实例掩码集合s
t
的标号：其中，v表示xi或yj，a表示在s
t
中除当前g
l
里已存在的和a相邻的节点的节点中和a节点相连的最小权值，并通过步骤s3.3.2更新匹配m，否则执行步骤s3.3.6；
[0051]
步骤s3.3.6、取若y与匹配m有连接，则从m中找出y的配对点x，令a
←
a∪{x}，b
←
b∪{y}，执行步骤s3.3.5；否则执行步骤s3.3.7；
[0052]
步骤s3.3.7、在e中找出以x0为起点、以y为终点的路径，且此路径边交替出现、不出现在m中，得到从x0到y的增广路p，令m
←
m+e(p)，扩增匹配m，执行步骤s3.3.3，其中，e(p)表示从x0到y通过增广路p构成的子匹配。
[0053]
步骤s3.4、通过梯度下降法重复步骤s3.1-s3.3，直至交叉熵损失函数收敛，完成对实例分割模型的训练；本发明中交叉熵损失函数为：
[0054][0055]
其中，n表示标注实例集合长度，w表示图像的宽，h表示图像的高，表示匹配的预测实例掩码集合s
t
中第n个元素坐标为(w，h)的预测概率值，表示匹配的标注实例集合s
p
中第n个元素坐标为(w，h)的真实值。
[0056]
步骤s4、将待检测的图像输入到训练好的实例分割模型中，预测出实例分割结果。
[0057]
本发明相较于传统的先检测框再进行分割的方法，省去预测候选框、锚点机制、nms等复杂流程，计算复杂度低。根据技术方案可知，本方法不需要预测候选框的步骤，直接对特征图进行分割实例的预测，因此也不需要锚点机制和nms来去除多余候选框，流程简单，计算复杂度低。相较于其他对语义分割任务输出掩码的后加工的方法，现有技术是基于聚类的方法，属于无监督的方式对实例进行匹配，而本方法提出的匹配方式引入了一致性评价指标，对实例匹配的准确率可显著提高，鲁棒性高。
[0058]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

技术特征：
1.一种基于集合匹配的实例分割方法，其特征在于，具体包括如下步骤：步骤s1、在图像集中的图像标注掩码，将标注掩码转换成标注实例集合；步骤s2、构建实例分割模型；步骤s3、将标注掩码的图像输入实例分割模型中采用梯度下降法进行训练，直至交叉熵损失函数收敛，完成对实例分割模型的训练；步骤s4、将待检测的图像输入到训练好的实例分割模型中，预测出实例分割结果。2.根据权利要求1所述的一种基于集合匹配的实例分割方法，其特征在于，所述标注实例集合s
t
＝{y1,...,y
j
,...,y
n
,...y
n
}，其中，n表示图像中对应的目标实例个数，y
j
表示标注实例集合中第j个目标实例的二值图像，n表示标注实例集合长度，y
n+1
,...y
n
均表示空掩码。3.根据权利要求2所述的一种基于集合匹配的实例分割方法，其特征在于，所述二值图像的获取过程为：根据每一个标注掩码，得到目标实例为白色、背景为黑色的二值图像。4.根据权利要求1所述的一种基于集合匹配的实例分割方法，其特征在于，所述实例分割模型包括依次连接的全卷积的主干网络、掩码输出卷积网络和集合匹配网络，所述全卷积的主干网络用于提取图像上的特征图，所述掩码输出卷积网络用于预测实例掩码集合，所述集合匹配网络用于预测实例掩码集合和标注实例集合的元素进行一致性评价指标配对。5.根据权利要求4所述的一种基于集合匹配的实例分割方法，其特征在于，所述全卷积的主干网络为enet、unet、segnet中的一种。6.根据权利要求4所述的一种基于集合匹配的实例分割方法，其特征在于，所述掩码输出卷积网络的输出通道数和标注实例集合s
t
中元素个数一致。7.根据权利要求1所述的一种基于集合匹配的实例分割方法，其特征在于，步骤s3包括如下子步骤：步骤s3.1、将图像集中的一张图像输入到全卷积的主干网络中，得到特征图；步骤s3.2、将特征图输入至掩码输出卷积网络，得到预测实例掩码集合；步骤s3.3、在集合匹配网络中使用集合匹配算法对预测实例掩码集合和标注实例集合的元素根据一致性评价指标进行配对；步骤s3.4、通过梯度下降法重复步骤s3.1-s3.3，直至交叉熵损失函数收敛，完成对实例分割模型的训练。8.根据权利要求7所述的一种基于集合匹配的实例分割方法，其特征在于，步骤s3.3的具体过程为：步骤s3.3.1、设置标注实例集合s
p
的初始标号和预测实例掩码集合s
t
的初始标号l(y
j
)＝0，其中，e
ij
表示s
p
中第i个元素x
i
与s
t
中第j个元素y
j
的一致性评价指标；步骤s3.3.2、根据边集e
l
＝{x
i
y
j
|l(x
i
)+l(y
j
)＝e
ij
}、子图g
l
＝(s
p
,s
tk
,e
l
)求出匹配m，m∈e且匹配m中任意两条边都不相邻，其中，e表示预测实例掩码集合s
t
和标注实例集合s
p
中各元素之间的一致性评价指标构成的边集；步骤s3.3.3、如果标注实例集合s
p
中所有元素均与匹配m有连接，则输出匹配m；否则执行步骤s3.3.4；
步骤s3.3.4、在标注实例集合s
p
中找出一个与匹配m不连接的元素x0，令a
←
{x0}，其中，表示空集；步骤s3.3.5、若与a中节点相邻接的节点集合且则更新标注实例集合s
p
的标号、预测实例掩码集合s
t
的标号：其中，v表示x
i
或y
j
，a表示在s
t
中除当前g
l
里已存在的和a相邻的节点的节点中和a节点相连的最小权值，并通过步骤s3.3.2更新匹配m，否则执行步骤s3.3.6；步骤s3.3.6、取若y与匹配m有连接，则从m中找出y的配对点x，令a
←
a∪{x}，b
←
b∪{y}，执行步骤s3.3.5；否则执行步骤s3.3.7；步骤s3.3.7、在e中找出以x0为起点、以y为终点的路径，且此路径边交替出现、不出现在m中，得到从x0到y的增广路p，令m
←
m+e(p)，扩增匹配m，执行步骤s3.3.3，其中，e(p)表示从x0到y通过增广路p构成的子匹配。9.根据权利要求8所述的一种基于集合匹配的实例分割方法，其特征在于，所述s
p
中第i个元素x
i
与s
t
中第j个元素y
j
的一致性评价指标e
ij
为：10.根据权利要求7所述的一种基于集合匹配的实例分割方法，其特征在于，所述交叉熵损失函数为：其中，n表示标注实例集合长度，w表示图像的宽，h表示图像的高，表示匹配的预测实例掩码集合s
t
中第n个元素坐标为(w，h)的预测概率值，表示匹配的标注实例集合s
p
中第n个元素坐标为(w，h)的概率值。

技术总结
本发明公开了一种基于集合匹配的实例分割方法，具体包括如下步骤：在图像集中的图像标注掩码，将标注掩码转换成标注实例集合；构建实例分割模型；将标注掩码的图像输入实例分割模型中采用梯度下降法进行训练，直至交叉熵损失函数收敛，完成对实例分割模型的训练；将待检测的图像输入到训练好的实例分割模型中，预测出实例分割结果。本发明使用集合匹配算法对预测实例掩码集合和标注实例集合的元素根据一致性评价指标进行配对，提高了实例匹配的准确率和鲁棒性。准确率和鲁棒性。准确率和鲁棒性。


技术研发人员：叶文武
受保护的技术使用者：中电鸿信信息科技有限公司
技术研发日：2023.07.07
技术公布日：2023/10/6