一种基于多尺度特征融合的小目标检测方法与流程

1.本发明涉及一种小目标检测方法，尤其涉及一种基于多尺度特征融合的小目标检测方法。


背景技术：

2.传统卷积网络通常采用从上到下的单行结构。对于大物体而言，其语义信息将出现在较深的特征图中；而对于小物体，其语义信息出现在较浅的特征图中，随着网络的加深，其细节信息可能会完全消失，由于未对待重建图像的多尺度特征进行关注，导致图像中包含小目标时检测的效果不理想。而transformer结构抛弃了传统的cnn和rnn，整个网络结构完全是由attention机制组成。但是现有detr结构，未从多尺度特征的角度进行设计，导致小目标检测准确率不高。在环境监测及特定环境进行散落或垃圾品质识别的场景下，该检测方法效果极为有限。因此，有必要提供一种基于多尺度特征融合的小目标检测方法。


技术实现要素：

3.本发明要解决的技术问题是提供一种基于多尺度特征融合的小目标检测方法，不影响中大型目标检测的同时，实时检测图像中的小目标且提高其检测精度。
4.本发明为解决上述技术问题而采用的技术方案是提供一种基于多尺度特征融合的小目标检测方法，包括如下步骤：
5.s1：采集训练图像，在图像中标记出物体位置并标注物体分类，得到物体分类及位置的数据集；截取训练图像中的所有小目标的图像作为增强的训练图像，并在增强的训练图像中标注小目标的位置以及分类；
6.s2：建立检测网络模型，所述模型包括主干网络、transformer网络和分类预测网络；所述主干网络用于特征提取，所述transformer网络包括transformer编码器和transformer解码器；所述分类预测网络包括三层感知前馈网络ffn。
7.s3：将训练图像输入到检测网络模型中进行训练，得到训练好的检测网络模型；
8.s4：将待识别图像输入到检测网络模型得到检测结果。
9.进一步地，所述步骤s2包括：
10.s21：将训练图像输入到主干网络进行特征提取，得到特征图，对特征图采用sincos模式进行2d位置编码，生成多尺度位置编码；
11.s22：将所述特征图以及所述多尺度位置编码输入到transformer编码器；
12.s23：将transformer编码器的输出与多尺度目标查询真值输入到transformer解码器中；
13.s24：将transformer解码器的输出输入到分类预测网络，得到目标识别结果；
14.s25：根据目标识别结果与训练图像中物体分类及位置的数据集进行对比调整优化网络参数；
15.s26：根据学习率调整策略，重复步骤s21-s25，完成识别模型训练。
16.进一步地，所述步骤s24中目标识别结果为指定长度为n的无序集合，集合中每个元素包含物体类别及其坐标；其中n表示整个数据集中图片上最多物体的数目，如果图片中物体不够n个，则采用no object填充，表示该元素为背景。
17.进一步地，所述步骤s25中根据目标识别结果与训练图像中物体分类及位置的数据集进行对比，包括：计算损失函数，使用giou计算网络损失，使用adam作为网络的优化器，求取损失后进行反向传播更新网络参数，重复完成迭代优化直到训练完毕。
18.进一步地，所述步骤s26中学习率调整策略通过学习率衰减的方式使用reducelronplateau调整学习策略。
19.进一步地，所述步骤s2中主干网络使用resnet-50作为基准网络。
20.本发明对比现有技术有如下的有益效果：本发明提供的基于多尺度特征融合的小目标检测方法，获取训练图像中的所有小目标作为增强训练图像,同时保留原始图像和增强图像的方式进行数据扩增，输入到多尺度特征提取网络中，提取特征，然后通过transformer网络进行编码与解码，计算损失函数，求取损失后进行反向传播更新网络参数，重复完成迭代优化直到训练完毕；不影响中大型目标检测的同时，实时检测图像中的小目标且提高其检测精度。
附图说明
21.图1为本发明实施例中的基于多尺度特征融合的小目标检测方法流程图；
22.图2为本发明实施例中的基于多尺度特征融合的小目标检测方法示意图；
23.图3为本发明实施例中的基于多尺度特征融合的小目标检测示意图。
具体实施方式
24.下面结合附图和实施例对本发明作进一步的描述。
25.图1为本发明实施例中的基于多尺度特征融合的小目标检测方法流程图；图2为本发明实施例中的基于多尺度特征融合的小目标检测方法示意图；图3为本发明实施例中的基于多尺度特征融合的小目标检测示意图。
26.请参见图1-图3，本发明实施例的基于多尺度特征融合的小目标检测方法，包括如下步骤：
27.s1：采集训练图像，在图像中标记出物体位置并标注物体分类，得到物体分类及位置的数据集；截取训练图像中的所有小目标的图像作为增强的训练图像，并在增强的训练图像中标注小目标的位置以及分类；
28.s2：建立检测网络模型，所述模型包括主干网络、transformer网络和分类预测网络；所述主干网络用于特征提取，主干网络使用resnet-50作为基准网络；所述transformer网络包括transformer编码器和transformer解码器；所述分类预测网络包括三层感知前馈网络ffn。
29.步骤s2具体包括：
30.s21：将训练图像输入到主干网络进行特征提取，得到特征图，对特征图采用sincos模式进行2d位置编码，生成多尺度位置编码；
31.s22：将所述特征图以及所述多尺度位置编码输入到transformer编码器；
32.s23：将transformer编码器的输出与多尺度目标查询真值输入到transformer解码器中；
33.s24：将transformer解码器的输出输入到分类预测网络，得到目标识别结果；目标识别结果为指定长度为n的无序集合，集合中每个元素包含物体类别及其坐标；其中n表示整个数据集中图片上最多物体的数目，如果图片中物体不够n个，则采用no object填充，表示该元素为背景。
34.s25：根据目标识别结果与训练图像中物体分类及位置的数据集进行对比调整优化网络参数；根据目标识别结果与训练图像中物体分类及位置的数据集进行对比，包括：计算损失函数，使用giou计算网络损失，使用adam作为网络的优化器，求取损失后进行反向传播更新网络参数，重复完成迭代优化直到训练完毕。
35.s26：根据学习率调整策略，重复步骤s21-s25，完成识别模型训练。学习率调整策略通过学习率衰减的方式使用reducelronplateau调整学习策略。
36.s3：将训练图像输入到检测网络模型中进行训练，得到训练好的检测网络模型；
37.s4：将待识别图像输入到检测网络模型得到检测结果。
38.综上所述，本发明实施例的基于多尺度特征融合的小目标检测方法，获取训练图像中的所有小目标作为增强训练图像,同时保留原始图像和增强图像的方式进行数据扩增，输入到多尺度特征提取网络中，提取特征，然后通过transformer网络进行编码与解码，计算损失函数，求取损失后进行反向传播更新网络参数，重复完成迭代优化直到训练完毕；不影响中大型目标检测的同时，实时检测图像中的小目标且提高其检测精度。
39.虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

技术特征：
1.一种基于多尺度特征融合的小目标检测方法，其特征在于，包括如下步骤：s1：采集训练图像，在图像中标记出物体位置并标注物体分类，得到物体分类及位置的数据集；截取训练图像中的所有小目标的图像作为增强的训练图像，并在增强的训练图像中标注小目标的位置以及分类；s2：建立检测网络模型，所述模型包括主干网络、transformer网络和分类预测网络；所述主干网络用于特征提取，所述transformer网络包括transformer编码器和transformer解码器；所述分类预测网络包括三层感知前馈网络ffn；s3：将训练图像输入到检测网络模型中进行训练，得到训练好的检测网络模型；s4：将待识别图像输入到检测网络模型得到检测结果。2.如权利要求1所述的基于多尺度特征融合的小目标检测方法，其特征在于，所述步骤s2包括：s21：将训练图像输入到主干网络进行特征提取，得到特征图，对特征图采用sincos模式进行2d位置编码，生成多尺度位置编码；s22：将所述特征图以及所述多尺度位置编码输入到transformer编码器；s23：将transformer编码器的输出与多尺度目标查询真值输入到transformer解码器中；s24：将transformer解码器的输出输入到分类预测网络，得到目标识别结果；s25：根据目标识别结果与训练图像中物体分类及位置的数据集进行对比调整优化网络参数；s26：根据学习率调整策略，重复步骤s21-s25，完成识别模型训练。3.如权利要求2所述的基于多尺度特征融合的小目标检测方法，其特征在于，所述步骤s24中目标识别结果为指定长度为n的无序集合，集合中每个元素包含物体类别及其坐标；其中n表示整个数据集中图片上最多物体的数目，如果图片中物体不够n个，则采用no object填充，表示该元素为背景。4.如权利要求2所述的基于多尺度特征融合的小目标检测方法，其特征在于，所述步骤s25中根据目标识别结果与训练图像中物体分类及位置的数据集进行对比，包括：计算损失函数，使用giou计算网络损失，使用adam作为网络的优化器，求取损失后进行反向传播更新网络参数，重复完成迭代优化直到训练完毕。5.如权利要求2所述的基于多尺度特征融合的小目标检测方法，其特征在于，所述步骤s26中学习率调整策略通过学习率衰减的方式使用reducelronplateau调整学习策略。6.如权利要求1所述的基于多尺度特征融合的小目标检测方法，其特征在于，所述步骤s2中主干网络使用resnet-50作为基准网络。

技术总结
本发明公开了一种基于多尺度特征融合的小目标检测方法，包括如下步骤：采集训练图像，在图像中标记出物体位置并标注物体分类，得到物体分类及位置的数据集；建立检测网络模型；将训练图像输入到检测网络模型中进行训练，得到训练好的检测网络模型；将待识别图像输入到检测网络模型得到检测结果。本发明获取训练图像中的所有小目标作为增强训练图像,同时保留原始图像和增强图像的方式进行数据扩增，输入到多尺度特征提取网络中，提取特征，然后通过transformer网络进行编码与解码，计算损失函数，求取损失后进行反向传播更新网络参数，重复完成迭代优化直到训练完毕；不影响中大型目标检测的同时，实时检测图像中的小目标且提高其检测精度。其检测精度。其检测精度。


技术研发人员：徐哲 刘华海 孙国梁 祝涵 王偲卓 陆曦 华克龙 吴健 陆怡敏 曹悦
受保护的技术使用者：上海城投环境（集团）有限公司
技术研发日：2023.03.16
技术公布日：2023/8/1