一种基于动态非极大值抑制的厨余垃圾检测方法及系统

1.本发明属于数字图像处理技术领域，具体涉及一种基于动态非极大值抑制的厨余垃圾检测方法及系统。


背景技术：

2.近年来，人均垃圾年产量已高达440kg，其中厨余垃圾占到40％，占比最重、也最受关注。实行厨余垃圾无害化也面临着两大挑战，首先，由于厨余垃圾成分复杂，包含塑料、金属、玻璃等杂质的特点，若不对其进行分拣除杂，将会极大地影响后续厨余垃圾消纳处置；其次，现有的厨余垃圾分拣方式还是以人工分拣为主，存在着环境脏乱差、分拣费时费力等窘迫境地。因此，研究高效的厨余垃圾智能检测算法是实行厨余垃圾自动化分拣迫切所需的。
3.非极大值抑制作为目标检测算法的必要后处理步骤，通过按置信度分数对所有候选框进行排序，并迭代删除超过所设候选框与真实边界框的交并比阈值的候选框，从而剔除冗余候选框。传统的nms(non maximum supression，非极大值抑制)方法对整个检测过程仅凭个人经验设置固定的筛选阈值，忽视了不同时刻检测场景的独特性，由于不同时刻传送带上检测场景复杂度不同，当检测场景复杂时，若所设阈值过低，将导致漏检；当检测场景单一时，若所设阈值过高，将引起重复检测，这些错误都将造成分拣错误，进而影响后续厨余垃圾消纳处置。


技术实现要素：

4.为了缓解厨余垃圾检测中的漏检或重复检测问题，本发明提出了一种基于动态非极大值抑制的厨余垃圾检测方法及系统。
5.一种基于动态非极大值抑制的厨余垃圾检测方法，包括以下步骤：
6.s1、预设厨余垃圾训练集、目标检测网络和nms交并比阈值集，采用预设的厨余垃圾训练集对目标检测网络进行训练，得到训练后的目标检测网络，从预设的厨余垃圾训练集中每次选取一张图像输入至训练后的目标检测网络并结合nms交并比阈值集进行测试，得到厨余垃圾训练集中每张图像的dnms值；
7.s2、获取厨余垃圾训练集中的每张图像的目标数目ni、同类别目标平均中心点间距离di，构建每张图像的dnms值与对应的目标数目ni、同类别目标平均中心点间距离di之间的映射关系，得到映射关系式；
8.s3、构建nms回归网络，将nms回归网络和训练后的目标检测网络组成厨余垃圾检测网络，将厨余垃圾训练集中的每张图像的目标数目ni、同类别目标平均中心点间距离di作为标签，通过标签和厨余垃圾训练集对厨余垃圾检测网络采用两阶段训练策略进行训练，并使用损失函数监督训练过程，得到厨余垃圾检测模型；
9.s4、获取真实场景下的厨余垃圾待检测图像，将厨余垃圾待检测图像输入厨余垃圾检测模型，并结合映射关系式进行处理，输出厨余垃圾待检测图像预测的nms交并比阈值
和候选框，根据预测的nms交并比阈值对候选框进行过滤，得到厨余垃圾待检测图像的预测框。
10.优选地，s1中从预设的厨余垃圾训练集中每次选取一张图像输入至训练后的目标检测网络并结合nms交并比阈值集进行测试，得到厨余垃圾训练集中每张图像的dnms值，具体包括：
11.s11、从预设的厨余垃圾训练集中任意选取一张图像输入至训练后的目标检测网络，测试选取的图像在nms交并比阈值集中的每一个nms交并比阈值处对应的类别平均精度，由此得到选取的图像在nms交并比阈值集上对应的多个类别平均精度；
12.s12、从多个类别平均精度中选取最高类别平均精度对应的nms交并比阈值，并从最高类别平均精度对应的nms交并比阈值中选取最小的nms交并比阈值，作为选取图像的dnms值；
13.s13、从预设的厨余垃圾训练集中再次选取另外一张图像输入至训练后的目标检测网络，直到厨余垃圾训练集中的每张图像都被选取，经过步骤s11至s12处理，得到厨余垃圾训练集中的每张图像的dnms值。
14.优选地，s11中得到选取的图像在nms交并比阈值集上对应的多个类别平均精度，类别平均精度的计算公式具体为：
[0015][0016]
其中，β＝0.05:0.05:0.95
[0017]
式中，为厨余垃圾训练集中第i张图像在nms交并比阈值β处的类别平均精度，ci为厨余垃圾训练集中第i张图像的目标类别数目，c为厨余垃圾训练集中第i张图像中的第c个目标类别，c＝1,2，...,ci，为厨余垃圾训练集中第i张图像中第c个目标类别的预测框数目，k为厨余垃圾训练集中第i张图像在第c个目标类别上的第k个预测框，预测框数目，k为厨余垃圾训练集中第i张图像在第c个目标类别上的第k个预测框，为厨余垃圾训练集中第i张图像在第k个预测框处的召回率，pi为厨余垃圾训练集中第i张图像的精确率，β为nms交并比阈值，β＝0.05:0.05:0.95表示nms交并比阈值范围为0.05～0.95，取值间隔为0.05。
[0018]
优选地，s12中从最高类别平均精度对应的nms交并比阈值中选取最小的nms交并比阈值，作为选取的图像的dnms值，dnms值的具体公式为：
[0019][0020]
式中，dnmsi为厨余垃圾训练集中第i张图像在最高类别平均精度下的最小的nms交并比阈值，为厨余垃圾训练集中第i张图像在nms交并比阈值β处的类别平均精度，β为nms交并比阈值，β＝0.05:0.05:0.95表示nms交并比阈值范围为0.05～0.95，取值间隔为0.05。
[0021]
优选地，s2具体包括：
[0022]
s21、读取厨余垃圾训练集中每张图像对应的标签信息，标签信息包括每张图像中目标的类别和坐标位置；
[0023]
s22、统计每张图像对应的目标数目ni，根据目标的类别和坐标位置获取同类别目
标的中心点坐标，并由欧氏距离计算出同类别目标平均中心点间距离di；
[0024]
s23、采用最小二乘法得到每张图像的dnms值与对应的目标数目ni、同类别目标平均中心点间距离di之间的映射关系式。
[0025]
优选地，s3中的nms回归网络包括依次连接的特征提取模块、特征融合模块和nms回归模块，nms回归模块包括依次连接的第一block模块，第二block模块和全连接层，第一block模块包括依次连接的第一卷积层、第一归一化层、第一激活函数层，第二block模块包括依次连接的第二卷积层、第二归一化层、第二激活函数层和平均池化层。
[0026]
优选地，s1中的目标检测网络包括特征提取模块和特征融合模块，s3中的nms回归网络和目标检测网络共用特征提取模块和特征融合模块，s3中将厨余垃圾训练集中的每张图像的目标数目ni、同类别目标平均中心点间距离di作为标签，通过标签和厨余垃圾训练集对厨余垃圾检测网络采用两阶段训练策略进行训练，并使用损失函数监督训练过程，得到厨余垃圾检测模型，具体包括：
[0027]
s31、对厨余垃圾检测网络中的目标检测网络进行预训练权重初始化，然后将其冻结；
[0028]
s32、对厨余垃圾检测网络中的nms回归网络随机初始化并单独训练，通过特征提取模块对厨余垃圾训练集中的每张图像进行逐层次特征提取，生成逐层次的特征图；
[0029]
s33、通过特征融合模块对逐层次的特征图进行特征融合，输出逐层次的融合特征图；
[0030]
s34、将逐层次的融合特征图中的顶层融合特征图输入至nms回归模块，nms回归模块对顶层融合特征图进行特征大小和通道数的调整，输出每张图像的目标数目ni、同类别目标平均中心点间距离di的训练值；
[0031]
s35、根据每张图像的目标数目ni、同类别目标平均中心点间距离di的训练值和标签，结合nms回归网络的损失函数计算nms回归网络的损失值，反向传播梯度来更新nms回归网络参数；
[0032]
s36、待nms回归网络的损失收敛时，将目标检测网络解冻，对目标检测网络和nms网络进行联合训练，得到厨余垃圾检测模型。
[0033]
优选地，s35中nms回归网络的损失函数具体为：
[0034][0035][0036]
式中，li为厨余垃圾训练集中第i张图像的损失，为smooth l1损失，xi为损失函数的自变量，ni为厨余垃圾训练集中第i张图像的目标数目，ni'为厨余垃圾训练集中第i张图像的目标数目的训练值，di为厨余垃圾训练集中第i张图像的同类别目标平均中心点间距离，di'为厨余垃圾训练集中第i张图像的同类别目标平均中心点间距离的训练值。
[0037]
优选地，s4具体包括：
[0038]
s41、获取真实场景下的厨余垃圾待检测图像，将待检测图像输入厨余垃圾检测模
型，厨余垃圾检测模型中的nms回归网络对待检测图像进行处理，输出待检测图像的目标数目、同类别目标平均中心点间距离的预测值；
[0039]
s42、将待检测图像的目标数目、同类别目标平均中心点间距离的预测值输入映射关系式，得到待检测图像的nms交并比阈值；
[0040]
s43、厨余垃圾检测模型中的目标检测网络对待检测图像进行处理，输出待检测图像的多个候选框；
[0041]
s44、根据待检测图像的nms交并比阈值按照预设的置信度分数对多个候选框进行排序，并迭代删除超过nms交并比阈值的候选框，得到厨余垃圾待检测图像的预测框。
[0042]
一种基于动态非极大值抑制的厨余垃圾检测系统，包括图像采集模块、mcu信号处理模块、厨余垃圾检测模块以及显示模块，mcu信号处理模块分别与图像采集模块、厨余垃圾检测模块以及显示模块连接，其中：
[0043]
图像采集模块用于实时采集厨余垃圾待检测图像，并将厨余垃圾待检测图像发送至mcu信号处理模块；
[0044]
mcu信号处理模块用于将厨余垃圾待检测图像输入至厨余垃圾检测模块；
[0045]
厨余垃圾检测模块采用基于动态非极大值抑制的厨余垃圾检测方法对厨余垃圾待检测图像进行处理，得到厨余垃圾待检测图像的预测框，并将预测框通过mcu信号处理模块发送至显示模块；
[0046]
显示模块用于接收并显示厨余垃圾待检测图像的预测框。
[0047]
上述一种基于动态非极大值抑制的厨余垃圾检测方法及系统，首先预设厨余垃圾图像训练集、nms交并比阈值集和目标检测网络，采用预设的厨余垃圾训练集对目标检测网络进行训练，得到训练后的目标检测网络，从厨余垃圾图像训练集中每次选取一张图像输入至训练后的目标检测网络中并在nms交并比阈值集中的每个nms交并比阈值处进行测试，得到每张图像在每个nms交并比阈值处对应的类别平均精度，选取使每张图像类别平均精度达到最高时的最小nms交并比阈值，作为每张图像的dnms值；然后获取训练集中每张图像的目标数目与每张图像的同类别目标平均中心点间距离，构建厨余垃圾图像训练集中每张图像的dnms值与每张图像的目标数目、同类别目标平均中心点间距离之间的映射关系式；接着搭建nms回归网络，将训练后的目标检测网络和nms回归网络组成厨余垃圾检测网络，将厨余垃圾训练集中每张图像的目标数目、同类别目标平均中心点间距离作为标签，与厨余垃圾图像共同输入至厨余垃圾检测网络进行训练，并使用回归损失函数监督nms回归网络的训练过程，得到厨余垃圾检测模型；将厨余垃圾检测模型应用于真实场景下的厨余垃圾检测，可动态的预测每张厨余垃圾待检测图像的预测框，避免了仅凭个人经验对整个测试集设置统一、固定的nms交并比阈值，可有效缓解漏检或重复检测，提升检测精度；另外，通过构建一个轻量化的nms回归网络，可嵌入至主流的目标检测网络中，具有较强的普适性和灵活性。
附图说明
[0048]
图1是本发明一实施例中一种基于动态非极大值抑制的厨余垃圾检测方法的基本流程图；
[0049]
图2是本发明一实施例中nms回归网络的网络结构示意图；
[0050]
图3是本发明一实施例中厨余垃圾检测网络的网络结构示意图；
[0051]
图4是本发明一实施例中一种基于动态非极大值抑制的厨余垃圾检测方法和现有方法在厨余垃圾测试集上的第一组测试结果对比图；
[0052]
图5是本发明一实施例中一种基于动态非极大值抑制的厨余垃圾检测方法和现有方法在厨余垃圾测试集上的第二组测试结果对比图；
[0053]
图6是本发明一实施例中一种基于动态非极大值抑制的厨余垃圾检测系统的结构示意图。
具体实施方式
[0054]
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
[0055]
一种基于动态非极大值抑制的厨余垃圾检测方法，包括以下步骤：
[0056]
s1、预设厨余垃圾训练集、目标检测网络和nms交并比阈值集，采用预设的厨余垃圾训练集对目标检测网络进行训练，得到训练后的目标检测网络，从预设的厨余垃圾训练集中每次选取一张图像输入至训练后的目标检测网络并结合nms交并比阈值集进行测试，得到厨余垃圾训练集中每张图像的dnms值；
[0057]
s2、获取厨余垃圾训练集中的每张图像的目标数目ni、同类别目标平均中心点间距离di，构建每张图像的dnms值与对应的目标数目ni、同类别目标平均中心点间距离di之间的映射关系，得到映射关系式；
[0058]
s3、构建nms回归网络，将nms回归网络和训练后的目标检测网络组成厨余垃圾检测网络，将厨余垃圾训练集中的每张图像的目标数目ni、同类别目标平均中心点间距离di作为标签，通过标签和厨余垃圾训练集对厨余垃圾检测网络采用两阶段训练策略进行训练，并使用损失函数监督训练过程，得到厨余垃圾检测模型；
[0059]
s4、获取真实场景下的厨余垃圾待检测图像，将厨余垃圾待检测图像输入厨余垃圾检测模型，并结合映射关系式进行处理，输出厨余垃圾待检测图像预测的nms交并比阈值和候选框，根据预测的nms交并比阈值对候选框进行过滤，得到厨余垃圾待检测图像的预测框。
[0060]
具体地，参见图1，图1为本发明一实施例中一种基于动态非极大值抑制的厨余垃圾检测方法的基本流程图。
[0061]
(1)预设厨余垃圾训练集和目标检测网络，目标检测网络为现有技术，包括依次连接的特征提取模块、特征融合模块、区域候选框生成模块和目标检测头模块，其中特征提取模块用于提取厨余垃圾图像的多尺度特征，特征融合模块将提取的多尺度特征进行融合，得到融合后的多尺度特征，区域候选框生成模块接收融合后的多尺度特征，生成候选框样本，目标检测头模块输出候选框。采用预设的厨余垃圾训练集对目标检测网络进行训练，得到训练后的目标检测网络，预设多个nms交并比阈值，多个nms交并比阈值共同组成nms交并比阈值集，从厨余垃圾图像训练集中每次取一张图像输入至训练后的目标检测网络，测试选取的每一张图像在不同的nms交并比阈值处对应的类别平均精度，选取类别平均精度最高时的最小nms交并比阈值作为每张图像的dnms值；
[0062]
(2)获取厨余垃圾训练集中每张图像的目标数目ni、每张图像的同类别目标平均
中心点间距离di，构建厨余垃圾训练集中的每张图像的dnms值与目标数目ni、同类别目标平均中心点间距离di之间的映射关系式；
[0063]
(3)构建nms回归网络，nms回归网络包括特征提取模块、特征融合模块和nms回归模块，其中nms回归网络和目标检测网络共用特征提取模块和特征融合模块，通过nms回归网络和训练后的目标检测网络组建厨余垃圾检测网络，将厨余垃圾训练集中每张图像的目标数目ni和同类别目标平均中心点间距离di作为标签，将厨余垃圾图像训练集中每张图像和对应的标签共同输入至厨余垃圾检测网络进行训练，得到厨余垃圾检测模型；
[0064]
(4)将厨余垃圾检测模型应用于真实场景下的厨余垃圾待检测图像，并结合映射关系式进行处理，输出厨余垃圾待检测图像的预测框。
[0065]
在一个实施例中，s1中从预设的厨余垃圾训练集中每次选取一张图像输入至训练后的目标检测网络并结合nms交并比阈值集进行测试，得到厨余垃圾训练集中每张图像的dnms值，具体包括：
[0066]
s11、从预设的厨余垃圾训练集中任意选取一张图像输入至训练后的目标检测网络，测试选取的图像在nms交并比阈值集中的每一个nms交并比阈值处对应的类别平均精度，由此得到选取的图像在nms交并比阈值集上对应的多个类别平均精度；
[0067]
s12、从多个类别平均精度中选取最高类别平均精度对应的nms交并比阈值，并从最高类别平均精度对应的nms交并比阈值中选取最小的nms交并比阈值，作为选取图像的dnms值；
[0068]
s13、从预设的厨余垃圾训练集中再次选取另外一张图像输入至训练后的目标检测网络，直到厨余垃圾训练集中的每张图像都被选取，经过步骤s11至s12处理，得到厨余垃圾训练集中的每张图像的dnms值。
[0069]
具体地，从厨余垃圾训练集中任意选取一张图像均输入至训练后的目标检测网络，并在nms交并比阈值集中的每个交并比阈值处进行测试，得到选取的图像在每个nms交并比阈值下的类别平均精度，然后找出选取的图像在最高类别平均精度时对应的nms交并比阈值，由于类别平均精度最高时对应的nms交并比阈值可能不止一个，比如在nms交并比阈值等于0.2或0.25时，对应的类别平均精度可能都是0.9，此时，选取类别平均精度最高时的最小的nms交并比阈值保存，因此只需要选择0.2这个nms交并比阈值保存下来，作为选取的图像的dnms值，因为在同等类别平均精度下，nms交并比阈值越小，通常产生的预测框数目也越少，更有利于缓解重复检测，从厨余垃圾训练集中再次选取另外一张图像，直到厨余垃圾训练集中的所有图像都被选取，经过同前所述的方式进行处理，得到厨余垃圾训练集中每张图像的dnms值。
[0070]
在一个实施例中，s11中得到选取的图像在nms交并比阈值集上对应的多个类别平均精度，类别平均精度的计算公式具体为：
[0071][0072]
其中，β＝0.05:0.05:0.95
[0073]
式中，为厨余垃圾训练集中第i张图像在nms交并比阈值β处的类别平均精度，ci为厨余垃圾训练集中第i张图像的目标类别数目，c为厨余垃圾训练集中第i张图像中
的第c个目标类别，c＝1,2，...,ci，为厨余垃圾训练集中第i张图像中第c个目标类别的预测框数目，k为厨余垃圾训练集中第i张图像在第c个目标类别上的第k个预测框，预测框数目，k为厨余垃圾训练集中第i张图像在第c个目标类别上的第k个预测框，为厨余垃圾训练集中第i张图像在第k个预测框处的召回率，pi为厨余垃圾训练集中第i张图像的精确率，β为nms交并比阈值，β＝0.05:0.05:0.95表示nms交并比阈值范围为0.05～0.95，取值间隔为0.05。
[0074]
具体地，厨余垃圾训练集中的第i张图像在nms交并比阈值β处的类别平均精度为第i张图像在目标类别数目为ci、第c个目标类别上对应的预测框数目为时精度的平均值。
[0075]
在一个实施例中，s12中从最高类别平均精度对应的nms交并比阈值中选取最小的nms交并比阈值，作为选取的图像的dnms值，dnms值的具体公式为：
[0076][0077]
式中，dnmsi为厨余垃圾训练集中第i张图像在最高类别平均精度下的最小的nms交并比阈值，为厨余垃圾训练集中第i张图像在nms交并比阈值β处的类别平均精度，β为nms交并比阈值，β＝0.05:0.05:0.95表示nms交并比阈值范围为0.05～0.95，取值间隔为0.05。
[0078]
具体地，设置nms交并比阈值范围为0.05～0.95，nms交并比阈值的取值间隔为0.05，由此得到多个nms交并比阈值：0.05,0.1,0.15,...,0.90,0.95，多个nms交并比阈值构成nms交并比阈值集。将厨余垃圾训练集中的单张图像输入至训练后的目标检测网络，测试单张图像在每个nms交并比阈值下对应的类别平均精度，并从中选取最高的类别平均精度，由于最高的类别平均精度可能会对应多个nms交并比阈值，从多个nms交并比阈值中选取最小的nms交并比阈值，此时得到单张图像在类别平均精度最高时的最小的nms交并比阈值，将类别平均精度最高时的最小的nms交并比阈值作为单张图像的dnms值。
[0079]
在一个实施例中，s2具体包括：
[0080]
s21、读取厨余垃圾训练集中每张图像对应的标签信息，标签信息包括每张图像中目标的类别和坐标位置；
[0081]
s22、统计每张图像对应的目标数目ni，根据目标的类别和坐标位置获取同类别目标的中心点坐标，并由欧氏距离计算出同类别目标平均中心点间距离di；
[0082]
s23、采用最小二乘法得到每张图像的dnms值与对应的目标数目ni、同类别目标平均中心点间距离di之间的映射关系式。
[0083]
具体地，读取厨余垃圾训练集中每张图像的标签信息，标签信息包括每张图像中目标的类别和坐标位置，统计得出每张图像的目标数目ni，根据目标的类别和坐标位置获取同类别目标的中心点坐标，根据欧氏距离计算出同类别目标平均中心点间距离di，由最小二乘法可求出每张图像的dnms值与对应的目标数目ni、同类别目标平均中心点间距离di之间的映射关系表达式，具体为：
[0084][0085]
式中，ni为厨余垃圾训练集中第i张图像的目标数目，di为厨余垃圾训练集中第i张图像的同类别目标的平均中心点间距离。
[0086]
在一个实施例中，s3中的nms回归网络包括依次连接的特征提取模块、特征融合模块和nms回归模块，nms回归模块包括依次连接的第一block模块，第二block模块和全连接层，第一block模块包括依次连接的第一卷积层、第一归一化层、第一激活函数层，第二block模块包括依次连接的第二卷积层、第二归一化层、第二激活函数层和平均池化层。
[0087]
具体地，参见图2和图3，图2为本发明一实施例中nms回归网络的网络结构示意图，图3为本发明一实施例中厨余垃圾检测网络的网络结构示意图。
[0088]
图2中的nms回归网络包括特征提取模块、特征融合模块和nms回归模块，由图3可以看出，目标检测网络和nms回归网络共用特征提取模块和特征融合模块。nms回归模块包括两组block模块以及全连接层，第一block模块包括第一卷积层(对应图2中的1
×
1的卷积层)、第一归一化层、第一激活函数层(对应图2中的归一化、激活层)，第二block模块包括第二卷积层(对应图2中的3
×
3的卷积层)、第二归一化层、第二激活函数层(对应图2中的归一化、激活层)和一个2
×
2的平均池化层。其中，第一block模块用于降维以减少参数计算量，第二block模块用于进行特征大小和通道数的调整，全连接层用于输出目标数目ni和同类别目标的平均中心点间距离di的预测值，再通过dnmsi(ni,di)的映射关系式得到预测的nms交并比阈值。
[0089]
在一个实施例中，s1中的目标检测网络包括特征提取模块和特征融合模块，s3中的nms回归网络和目标检测网络共用特征提取模块和特征融合模块，s3中将厨余垃圾训练集中的每张图像的目标数目ni、同类别目标平均中心点间距离di作为标签，通过标签和厨余垃圾训练集对厨余垃圾检测网络采用两阶段训练策略进行训练，并使用损失函数监督训练过程，得到厨余垃圾检测模型，具体包括：
[0090]
s31、对厨余垃圾检测网络中的目标检测网络进行预训练权重初始化，然后将其冻结；
[0091]
s32、对厨余垃圾检测网络中的nms回归网络随机初始化并单独训练，通过特征提取模块对厨余垃圾训练集中的每张图像进行逐层次特征提取，生成逐层次的特征图；
[0092]
s33、通过特征融合模块对逐层次的特征图进行特征融合，输出逐层次的融合特征图；
[0093]
s34、将逐层次的融合特征图中的顶层融合特征图输入至nms回归模块，nms回归模块对顶层融合特征图进行特征大小和通道数的调整，输出每张图像的目标数目ni、同类别目标平均中心点间距离di的训练值；
[0094]
s35、根据每张图像的目标数目ni、同类别目标平均中心点间距离di的训练值和标签，结合nms回归网络的损失函数计算nms回归网络的损失值，反向传播梯度来更新nms回归网络参数；
[0095]
s36、待nms回归网络的损失收敛时，将目标检测网络解冻，对目标检测网络和nms
网络进行联合训练，得到厨余垃圾检测模型。
[0096]
具体地，参见图3，图3为本发明一实施例中厨余垃圾检测网络的网络结构示意图。
[0097]
图3所示的厨余垃圾检测网络包括nms回归网络和目标检测网络，其中nms回归网络包括特征提取模块，特征融合模块和nms回归模块，目标检测网络包括特征提取模块，特征融合模块、区域候选框生成模块和目标检测头模块，其中nms回归网络和目标检测网络共用特征提取模块和特征融合模块。
[0098]
采取两阶段训练策略对厨余垃圾检测网络进行训练和微调：
[0099]
第一阶段对nms回归网络进行训练：
[0100]
首先对目标检测网络进行训练权重初始化，也就是利用目标检测网络训练好后得到的权重文件对目标检测网络进行初始化操作，完成后将其冻结；
[0101]
然后对nms回归网络进行训练，通过特征提取模块对厨余垃圾训练集中的每张图像进行逐层次特征提取，生成逐层次的特征图fi，特征融合模块对逐层次的特征图进行特征融合，输出逐层次的融合特征图fi'(例如，对第i张图像进行第一层次的特征提取，生成第一层次特征图f1、第二层次特征图f2,...，第五层次特征图f5，特征融合模块分别对第一层次特征图f1、第二层次特征图f2,...，第五层次特征图f5进行特征融合，相应生成第一层次融合特征图f1'、第二层次融合特征图f2',...，第五层次融合特征图f5')，将得到的逐层次的融合特征图中的顶层融合特征图(例如前面的第五层次特征图f5')输入至nms回归模块，nms回归模块对逐层次融合特征图中的顶层融合特征图进行特征大小和通道数的调整，输出每张图像的目标数目ni、同类别目标平均中心点间距离di的训练值，根据目标数目ni、同类别目标平均中心点间距离di的训练值和标签，结合nms回归网络的损失函数计算nms回归网络的损失值，反向传播梯度来更新nms回归网络参数，当nms回归网络的损失收敛时，对目标检测网络进行解冻；
[0102]
第二阶段为联合训练，对第一阶段得到的训练后的nms回归网络和目标检测网络进行联合训练，并对超出理论范围的输出异常值进行处理，得到厨余垃圾检测模型。
[0103]
厨余垃圾检测网络训练配置如下：选择adamw作为优化器，学习率为0.0001，权重衰减为0.05，训练总批次为16，最大迭代周期为12。
[0104]
在一个实施例中，s35中nms回归网络的损失函数具体为：
[0105][0106][0107]
式中，li为厨余垃圾训练集中第i张图像的损失，为smooth l1损失，xi为损失函数的自变量，ni为厨余垃圾训练集中每张图像的目标数目，ni'为厨余垃圾训练集中每张图像的目标数目的训练值，di为厨余垃圾训练集中每张图像的同类别目标平均中心点间距离，di'为厨余垃圾训练集中每张图像的同类别目标平均中心点间距离的训练值。
[0108]
具体地，在对nms回归网络进行单独训练时，采用回归损失函数计算nms回归网络在训练过程中的损失值，反向传播并更新nms回归网络的网络参数，当计算得到的损失值收敛时，结束训练过程，得到训练后的nms回归网络。
[0109]
在一个实施例中，s4具体包括：
[0110]
s41、获取真实场景下的厨余垃圾待检测图像，将待检测图像输入厨余垃圾检测模型，厨余垃圾检测模型中的nms回归网络对待检测图像进行处理，输出待检测图像的目标数目、同类别目标平均中心点间距离的预测值；
[0111]
s42、将待检测图像的目标数目、同类别目标平均中心点间距离的预测值输入映射关系式，得到待检测图像的nms交并比阈值；
[0112]
s43、厨余垃圾检测模型中的目标检测网络对待检测图像进行处理，输出待检测图像的多个候选框；
[0113]
s44、根据待预测图像的nms交并比阈值按照预设的置信度分数对多个候选框进行排序，并迭代删除超过nms交并比阈值的候选框，得到厨余垃圾待检测图像的预测框。
[0114]
具体地，得到厨余垃圾检测模型后，预设置信度分数，将厨余垃圾待检测图像输入至厨余垃圾检测模型，经过nms回归网络处理，并结合映射关系式，得到待检测图像的nms交并比阈值；经过目标检测网络处理，得到待检测图像的多个候选框，采用nms交并比阈值按照预设的置信度分数对多个候选框进行排序，并迭代删除超过nms交并比阈值的候选框，得到厨余垃圾待检测图像的预测框。
[0115]
在一个实施例中，将本发明提出的一种基于动态非极大值抑制的厨余垃圾检测方法与四种现有方法进行对比，现有方法包括weightednms、d-iou nms、softnms、adaptive nms。
[0116]
表1
[0117][0118]
参见表1，表1为采用本发明方法与现有方法在测试集上得到的类别平均精度结果。
[0119]
厨余垃圾检测网络测试配置如下：区域候选框生成网络nms交并比阈值为0.7，目标检测头网络nms置信度分数阈值为0.05。
[0120]
从表1可以看到，本发明中的方法得到的类别平均精度更高，表现出比其他方法更优的量化结果。
[0121]
参见图4和图5，图4为本发明一实施例中一种基于动态非极大值抑制的厨余垃圾检测方法和现有方法在厨余垃圾测试集上的第一组测试结果对比图；图5为本发明一实施例中一种基于动态非极大值抑制的厨余垃圾检测方法和现有方法在厨余垃圾测试集上的第二组测试结果对比图。
[0122]
图4(a)为采用weightednms方法的第一组测试结果，图4(b)为采用d-iou nms方法的第一组测试结果，图4(c)为采用softnms方法的第一组测试结果，图4(d)为采用adaptive nms方法的第一组测试结果，图4(e)为采用本方法的第一组测试结果，图4(f)为真实标签结果。
[0123]
图5(a)为采用weightednms方法的第二组测试结果，图5(b)为采用d-iounms方法的第二组测试结果，图5(c)为采用softnms方法的第二组测试结果，图5(d)为采用adaptive nms方法的第二组测试结果，图5(e)为采用本方法的第二组测试结果，图5(f)为真实标签结果。
[0124]
从量化和可视化结果可以看出，本发明提出的一种基于动态非极大值抑制的厨余垃圾检测方法对于重复检测和漏检缓解能力更强，测试结果更接近真实标签结果。
[0125]
在一个实施例中，一种基于动态非极大值抑制的厨余垃圾检测系统，包括图像采集模块、mcu信号处理模块、厨余垃圾检测模块以及显示模块，mcu信号处理模块分别与图像采集模块、厨余垃圾检测模块以及显示模块连接，其中：
[0126]
图像采集模块用于实时采集厨余垃圾待检测图像，并将厨余垃圾待检测图像发送至mcu信号处理模块；
[0127]
mcu信号处理模块用于将厨余垃圾待检测图像输入至厨余垃圾检测模块；
[0128]
厨余垃圾检测模块采用基于动态非极大值抑制的厨余垃圾检测对厨余垃圾待检测图像进行处理，得到厨余垃圾待检测图像的预测框，并将预测框通过mcu信号处理模块发送至显示模块；
[0129]
显示模块用于接收并显示厨余垃圾待检测图像的预测框。
[0130]
具体地，参见图6，图6为本发明一实施例中一种基于动态非极大值抑制的厨余垃圾检测系统的结构示意图。
[0131]
在图6中，基于动态非极大值抑制的厨余垃圾检测系统包括图像采集模块、mcu信号处理模块、厨余垃圾检测模块以及显示模块，图像采集模块采集厨余垃圾待检测图像并将其通过mcu信号处理模块输入至厨余垃圾检测模块，厨余垃圾检测模块对采用基于动态非极大值抑制的厨余垃圾检测方法对其处理，输出待检测图像的预测框，将预测框通过mcu信号处理模块发送至显示模块显示。
[0132]
上述一种基于动态非极大值抑制的厨余垃圾检测方法及系统，首先预设厨余垃圾图像训练集、nms交并比阈值集和目标检测网络，采用预设的厨余垃圾训练集对目标检测网络进行训练，得到训练后的目标检测网络，从厨余垃圾图像训练集中每次选取一张图像输入至训练后的目标检测网络中并在nms交并比阈值集中的每个nms交并比阈值处进行测试，得到每张图像在每个nms交并比阈值处对应的类别平均精度，选取使每张图像类别平均精度达到最高时的最小nms交并比阈值，作为每张图像的dnms值；然后获取训练集中每张图像的目标数目与每张图像的同类别目标平均中心点间距离，构建厨余垃圾图像训练集中每张图像的dnms值与每张图像的目标数目、同类别目标平均中心点间距离之间的映射关系式；接着搭建nms回归网络，将训练后的目标检测网络和nms回归网络组成厨余垃圾检测网络，将厨余垃圾训练集中每张图像的目标数目、同类别目标平均中心点间距离作为标签，与厨余垃圾图像共同输入至厨余垃圾检测网络进行训练，并使用回归损失函数监督nms回归网络的训练过程，得到厨余垃圾检测模型；将厨余垃圾检测模型应用于真实场景下的厨余垃
圾检测，可动态的预测每张厨余垃圾待检测图像的预测框，避免了仅凭个人经验对整个测试集设置统一、固定的nms交并比阈值，可有效缓解漏检或重复检测，提升检测精度；另外，通过构建一个轻量化的nms回归网络，可嵌入至主流的目标检测网络中，具有较强的普适性和灵活性。
[0133]
以上对本发明所提供的一种基于动态非极大值抑制的厨余垃圾检测方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

技术特征：
1.一种基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述方法包括：s1、预设厨余垃圾训练集、目标检测网络和nms交并比阈值集，采用预设的厨余垃圾训练集对所述目标检测网络进行训练，得到训练后的目标检测网络，从预设的厨余垃圾训练集中每次选取一张图像输入至所述训练后的目标检测网络并结合所述nms交并比阈值集进行测试，得到所述厨余垃圾训练集中每张图像的dnms值；s2、获取所述厨余垃圾训练集中的每张图像的目标数目n
i
、同类别目标平均中心点间距离d
i
，构建每张图像的dnms值与对应的目标数目n
i
、同类别目标平均中心点间距离d
i
之间的映射关系，得到映射关系式；s3、构建nms回归网络，将所述nms回归网络和所述训练后的目标检测网络组成厨余垃圾检测网络，将所述厨余垃圾训练集中的每张图像的目标数目n
i
、同类别目标平均中心点间距离d
i
作为标签，通过所述标签和所述厨余垃圾训练集对所述厨余垃圾检测网络采用两阶段训练策略进行训练，并使用损失函数监督训练过程，得到厨余垃圾检测模型；s4、获取真实场景下的厨余垃圾待检测图像，将所述厨余垃圾待检测图像输入所述厨余垃圾检测模型，并结合所述映射关系式进行处理，输出所述厨余垃圾待检测图像预测的nms交并比阈值和候选框，根据所述预测的nms交并比阈值对所述候选框进行过滤，得到所述厨余垃圾待检测图像的预测框。2.如权利要求1所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述s1中从预设的厨余垃圾训练集中每次选取一张图像输入至所述训练后的目标检测网络并结合所述nms交并比阈值集进行测试，得到所述厨余垃圾训练集中每张图像的dnms值，具体包括：s11、从预设的厨余垃圾训练集中任意选取一张图像输入至所述训练后的目标检测网络，测试选取的图像在所述nms交并比阈值集中的每一个nms交并比阈值处对应的类别平均精度，由此得到选取的图像在所述nms交并比阈值集上对应的多个类别平均精度；s12、从多个所述类别平均精度中选取最高类别平均精度对应的nms交并比阈值，并从所述最高类别平均精度对应的nms交并比阈值中选取最小的nms交并比阈值，作为选取图像的dnms值；s13、从预设的厨余垃圾训练集中再次选取另外一张图像输入至所述训练后的目标检测网络，直到所述厨余垃圾训练集中的每张图像都被选取，经过步骤s11至s12处理，得到所述厨余垃圾训练集中的每张图像的dnms值。3.如权利要求2所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述s11中得到选取的图像在所述nms交并比阈值集上对应的多个类别平均精度，所述类别平均精度的计算公式具体为：其中，β＝0.05:0.05:0.95式中，为厨余垃圾训练集中第i张图像在nms交并比阈值β处的类别平均精度，c
i
为厨余垃圾训练集中第i张图像的目标类别数目，c为厨余垃圾训练集中第i张图像中的第c个目标类别，c＝1,2，...,c
i
，为厨余垃圾训练集中第i张图像中第c个目标类别的预测框
数目，k为厨余垃圾训练集中第i张图像在第c个目标类别上的第k个预测框，为厨余垃圾训练集中第i张图像在第k个预测框处的召回率，p
i
为厨余垃圾训练集中第i张图像的精确率，β为nms交并比阈值，β＝0.05:0.05:0.95表示nms交并比阈值范围为0.05～0.95，取值间隔为0.05。4.如权利要求3所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述s12中从所述最高类别平均精度对应的nms交并比阈值中选取最小的nms交并比阈值，作为选取的图像的dnms值，所述dnms值的具体公式为：式中，dnms
i
为厨余垃圾训练集中第i张图像在最高类别平均精度下的最小的nms交并比阈值，为厨余垃圾训练集中第i张图像在nms交并比阈值β处的类别平均精度，β为nms交并比阈值，β＝0.05:0.05:0.95表示nms交并比阈值范围为0.05～0.95，取值间隔为0.05。5.如权利要求4所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述s2具体包括：s21、读取厨余垃圾训练集中每张图像对应的标签信息，所述标签信息包括每张图像中目标的类别和坐标位置；s22、统计每张图像对应的目标数目n
i
，根据所述目标的类别和坐标位置获取同类别目标的中心点坐标，并由欧氏距离计算出同类别目标平均中心点间距离d
i
；s23、采用最小二乘法得到每张图像的dnms值与对应的目标数目n
i
、同类别目标平均中心点间距离d
i
之间的映射关系式。6.如权利要求5所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述s3中的nms回归网络包括依次连接的特征提取模块、特征融合模块和nms回归模块，所述nms回归模块包括依次连接的第一block模块，第二block模块和全连接层，所述第一block模块包括依次连接的第一卷积层、第一归一化层、第一激活函数层，所述第二block模块包括依次连接的第二卷积层、第二归一化层、第二激活函数层和平均池化层。7.如权利要求6所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，s1中的所述目标检测网络包括特征提取模块和特征融合模块，所述s3中的nms回归网络和所述目标检测网络共用所述特征提取模块和特征融合模块，所述s3中将所述厨余垃圾训练集中的每张图像的目标数目n
i
、同类别目标平均中心点间距离d
i
作为标签，通过所述标签和所述厨余垃圾训练集对所述厨余垃圾检测网络采用两阶段训练策略进行训练，并使用损失函数监督训练过程，得到厨余垃圾检测模型，具体包括：s31、对所述厨余垃圾检测网络中的目标检测网络进行预训练权重初始化，然后将其冻结；s32、对所述厨余垃圾检测网络中的nms回归网络随机初始化并单独训练，通过所述特征提取模块对所述厨余垃圾训练集中的每张图像进行逐层次特征提取，生成逐层次的特征图；s33、通过所述特征融合模块对所述逐层次的特征图进行特征融合，输出逐层次的融合特征图；
s34、将所述逐层次的融合特征图中的顶层融合特征图输入至所述nms回归模块，所述nms回归模块对所述顶层融合特征图进行特征大小和通道数的调整，输出每张图像的目标数目n
i
、同类别目标平均中心点间距离d
i
的训练值；s35、根据每张所述图像的目标数目n
i
、同类别目标平均中心点间距离d
i
的训练值和标签，结合所述nms回归网络的损失函数计算所述nms回归网络的损失值，反向传播梯度来更新nms回归网络参数；s36、待所述nms回归网络的损失收敛时，将所述目标检测网络解冻，对所述目标检测网络和所述nms网络进行联合训练，得到厨余垃圾检测模型。8.如权利要求7所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述s35中所述nms回归网络的损失函数具体为：其中，式中，l
i
为厨余垃圾训练集中第i张图像的损失，为smoothl1损失，x
i
为损失函数的自变量，n
i
为厨余垃圾训练集中第i张图像的目标数目，n
i
'为厨余垃圾训练集中第i张图像的目标数目的训练值，d
i
为厨余垃圾训练集中第i张图像的同类别目标平均中心点间距离，d
i
'为厨余垃圾训练集中第i张图像的同类别目标平均中心点间距离的训练值。9.如权利要求8所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述s4具体包括：s41、获取真实场景下的厨余垃圾待检测图像，将所述待检测图像输入所述厨余垃圾检测模型，所述厨余垃圾检测模型中的nms回归网络对所述待检测图像进行处理，输出所述待检测图像的目标数目、同类别目标平均中心点间距离的预测值；s42、将所述待检测图像的目标数目、同类别目标平均中心点间距离的预测值输入所述映射关系式，得到所述待检测图像的nms交并比阈值；s43、所述厨余垃圾检测模型中的目标检测网络对所述待检测图像进行处理，输出所述待检测图像的多个候选框；s44、根据所述待检测图像的nms交并比阈值按照预设的置信度分数对多个所述候选框进行排序，并迭代删除超过所述nms交并比阈值的候选框，得到厨余垃圾待检测图像的预测框。10.一种基于动态非极大值抑制的厨余垃圾检测系统，其特征在于，所述系统包括图像采集模块、mcu信号处理模块、厨余垃圾检测模块以及显示模块，所述mcu信号处理模块分别与所述图像采集模块、厨余垃圾检测模块以及显示模块连接，其中：所述图像采集模块用于实时采集厨余垃圾待检测图像，并将厨余垃圾待检测图像发送至所述mcu信号处理模块；所述mcu信号处理模块用于将所述厨余垃圾待检测图像输入至所述厨余垃圾检测模块；所述厨余垃圾检测模块采用如权利要求1至9任一项所述的基于动态非极大值抑制的
厨余垃圾检测方法对所述厨余垃圾待检测图像进行处理，得到厨余垃圾待检测图像的预测框，并将所述预测框通过所述mcu信号处理模块发送至所述显示模块；所述显示模块用于接收并显示所述厨余垃圾待检测图像的预测框。

技术总结
本发明公开了一种基于动态非极大值抑制的厨余垃圾检测方法及系统，将厨余垃圾训练集按单张图像输入至预先训练好的目标检测网络并结合不同的NMS交并比阈值进行测试，得到单张图像的DNMS值；获取厨余垃圾训练集中单张图像的目标数目N


技术研发人员：方乐缘 丁帅予 冯浩 汤琳
受保护的技术使用者：湖南大学
技术研发日：2023.05.26
技术公布日：2023/9/20