一种基于目标增强的红外无人机小目标检测方法

1.本发明涉及图像处理及机器视觉技术领域，具体为一种基于目标增强的红外无人机小目标检测方法。


背景技术：

2.随着计算机视觉技术的发展，小型无人机目标检测技术在视频监控、刑事侦查、目标打击和快速定位等领域得到了广泛应用。目前的空域监控技术相对落后，无法对小型飞行器如小型无人机实施快速目标定位及追踪，尤其在近几年出现的民用小型无人机产品系列呈现出突飞猛进式增长的大背景下，小型化无人机产品在为人们带来便利的同时，同时也为城市安全和空间信息安全带来了诸多挑战，因而小型无人机等小型飞行目标仍然是空域侦察的难点和重点。
3.中国专利公开号为“cn11751106b”，名称为“一种无人机检测方法及系统”，该方法的具体步骤是首先采集无人机视频，其次根据所述无人机视频确定第k帧图片，再次将所述第k帧图片输入检测模型中进行无人机位置检测，获得第k帧图片对应的第一目标位置检测结果；然后利用kcf进行无人机位置跟踪，获得第k帧图片对应的第二目标位置检测结果；最后根据第k帧图片对应的所述第一目标位置检测结果和所述第二目标位置检测结果确定无人机目标位置。该方法对目标尺度变化的适应性差，导致不能完整的获取目标信息，且该方法的鲁棒性低、虚警率高，导致目标检测丢失率高。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了一种基于目标增强的红外无人机小目标检测方法，解决现有红外无人机目标检测方法中目标易丢失、鲁棒性低和虚警率高等问题。
6.(二)技术方案
7.本发明为了实现上述目的具体采用以下技术方案：
8.一种基于目标增强的红外无人机小目标检测方法，该方法具体包括如下步骤：
9.步骤1，准备数据集：在地/空背景下红外图像飞机小目标检测跟踪数据中，选取部分空中及地面背景下的红外无人机小目标，对红外小目标图像数据进行预处理，构建数据集；
10.步骤2，构建网络模型：整个网络由主干网络、颈部网络和检测头组成；主干网络依次由卷积块一、卷积块二、高效卷积模块一、下采样模块一、高效卷积模块二、下采样模块二、高效卷积模块三、下采样模块三和高效卷积模块四组成；颈部网络由卷积块三、卷积块四、卷积块五、高效卷积模块五、高效卷积模块六、下采样模块四、高效卷积模块七、下采样模块四和高效卷积模块八组成；检测头由卷积块六、卷积块七和卷积块八组成；输入图像进行基于多尺度对比测量后将图像输入卷积块一，卷积块一对输入图像进行下采样输出后进入卷积块二，由卷积块二下采样输出后进入高效卷积模块一，高效卷积模块一输出的图像
经过下采样模块一将下采样后的图像输入到高效卷积模块二，同理，高效卷积模块二输出的图像经过下采样模块二将下采样后的图像输入到高效卷积模块三，高效卷积模块三输出的图像经过下采样模块三将下采样后的图像输入到高效卷积模块四；高效卷积模块四输出的图像输入到卷积块五中，经过上采样后，与高效卷积模块三输出后输入到卷积块四中输出的图像相加处理，输入到高效卷积模块五中，再次经过上采样后，与高效卷积模块二输出后输入到卷积块三中的图像进行相加处理，输入到高效卷积模块六中，经过下采样模块四后，与高效卷积模块五所输出的图像进行相加处理再输入到高效卷积模块七中，再经过下采样模块五后，与卷积块五改进的空间金字塔池化后的图像进行相加处理，输入到高效卷积模块八中；最后，高效卷积模块六、高效卷积模块七和高效卷积模块八输出到卷积块六、卷积块七和卷积块八，得到检测头；
11.步骤3，训练数据集：将步骤1中经过预处理后的数据集输入到步骤2中构建的网络模型中进行训练；
12.步骤4，选择和最小化损失函数最优评价指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存目标检测网络模型，得到目标检测结果；选择最优评价指标衡量模型检测精度和性能，使用召回率(recall)、精确度(precision)和平均精度均值(mean average precision，map)作为评价模型好坏的指标；
13.步骤5，保存模型：将最终确定的模型进行训练并保存，之后在需要进行地/空背景下无人机红外小目标检测时，直接将图像输入到本发明所构建的网络模型中即可。
14.进一步地，所述步骤1中在地/空背景下红外图像飞机小目标检测跟踪数据中选取部分空中及地面背景下的红外无人机小目标，对图像进行预处理，将处理好的图像组成训练数据集。
15.进一步地，所述步骤2中下采样模块一、下采样模块二、下采样模块三、下采样模块四和下采样模块五为最大池化和下采样卷积块相加得到，而没有直接使用池化层的简单叠加，最大程度保留有用信息的同时，保证了局部网络的运算速度，卷积块五为改进的空间金字塔池化，可以进行不同尺度的最大池化处理，能够提取不同尺寸的空间特征信息。
16.进一步地，所述步骤2中基于多尺度的对比度测量方法，通过将输入图片进行多尺度对比度测量，将测量结果归一化后与原图相乘，再进行阈值分割与杂波滤除，最后与原图叠加得到增强结果。
17.进一步地，所述步骤3中训练数据集：将步骤1中经过预处理后的数据集输入到步骤2中构建的网络模型中进行训练，首先，输入红外无人机小目标图像，进行预处理操作；其次，使用对比度增强算法对图像进行目标增强，再将图像输入到本发明所构建的网络中进行特征提取，获取输入数据的特征图；然后，将预训练的网络模型应用到测试图片中，在检测头中获得预测的结果。
18.(三)有益效果
19.与现有技术相比，本发明提供了一种基于目标增强的红外无人机小目标检测方法，具备以下有益效果：
20.本发明引入了基于多尺度的对比度测量的目标增强算法，该算法不仅可以在增强目标信息的同时抑制背景信息，还可以增强被噪声点侵蚀的目标、处理复杂背景下的小目
标。
21.本发明在高效卷积模块中引入了改进的扩展的高效层聚合网络，能够在不破坏原有梯度路径的情况下不断提高增强网络学习的能力，提高了检测速度。
22.本发明加入了分组卷积和深度可分离卷积，将通道和区域分离，相较普通算法，减少了参数量，达到了提高准确性的同时降低鲁棒性的效果。
23.本发明在卷积块五中引入了改进的空间金字塔池化，通过不同尺度的最大池化处理，提取不同尺寸的空间特征信息，减少计算量的同时，提升了网络的平均精度和平均精度均值。
附图说明
24.图1为本发明流程图；
25.图2为本发明目标增强算法流程图；
26.图3为本发明目标检测算法结构图；
27.图4为本发明高效卷积模块结构图；
28.图5为现有技术和本发明提出方法的相关指标对比图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.实施例1
31.如图1-5所示，本发明一个实施例提出的一种基于目标增强的红外无人机小目标检测方法，该方法具体包括如下步骤：
32.步骤1，准备数据集：选取地/空背景下红外图像弱小飞机目标检测跟踪数据中的部分空中及地面背景下的红外无人机小目标数据集；且对红外小目标图像数据进行预处理；
33.步骤2，构建网络模型：整个网络由主干网络、颈部网络和检测头组成；主干网络依次由卷积块一、卷积块二、高效卷积模块一、下采样模块一、高效卷积模块二、下采样模块二、高效卷积模块三、下采样模块三和高效卷积模块四组成；颈部网络由卷积块三、卷积块四、卷积块五、高效卷积模块五、高效卷积模块六、下采样模块四、高效卷积模块七、下采样模块四和高效卷积模块八组成；检测头由卷积块六、卷积块七和卷积块八组成；输入图像进行基于多尺度对比测量后将图像输入卷积块一，卷积块一对输入图像进行下采样输出后进入卷积块二，由卷积块二下采样输出后进入高效卷积模块一，高效卷积模块一输出的图像经过下采样模块一将下采样后的图像输入到高效卷积模块二，同理，高效卷积模块二输出的图像经过下采样模块二将下采样后的图像输入到高效卷积模块三，高效卷积模块三输出的图像经过下采样模块三将下采样后的图像输入到高效卷积模块四；高效卷积模块四输出的图像输入到卷积块五中，经过上采样后，与高效卷积模块三输出后输入到卷积块四中输出的图像相加处理，输入到高效卷积模块五中，再次经过上采样后，与高效卷积模块二输出
后输入到卷积块三中的图像进行相加处理，输入到高效卷积模块六中，经过下采样模块四后，与高效卷积模块五所输出的图像进行相加处理再输入到高效卷积模块七中，再经过下采样模块五后，与卷积块五改进的空间金字塔池化后的图像进行相加处理，输入到高效卷积模块八中；最后，高效卷积模块六、高效卷积模块七和高效卷积模块八输出到卷积块六、卷积块七和卷积块八，得到检测头。
34.下采样模块一、下采样模块二、下采样模块三、下采样模块四和下采样模块五为最大池化和下采样卷积块相加得到，而没有直接使用池化层的简单叠加，最大程度保留有用信息的同时，保证了局部网络的运算速度，卷积块五为改进的空间金字塔池化，可以进行不同尺度的最大池化处理，能够提取不同尺寸的空间特征信息。
35.基于多尺度的对比度测量方法，通过将输入图片进行多尺度对比度测量，将测量结果归一化后与原图相乘，再进行阈值分割与杂波滤除，最后与原图叠加得到增强结果。该算法不仅可以在增强目标信息的同时抑制背景信息，还可以增强被噪声点侵蚀的目标、处理复杂背景下的小目标。
36.在改进的扩展的高效层聚合网络加入了分组卷积和深度可分离卷积，这两种卷积能够在减少参数量的同时，提高目标检测算法的检测速度和准确率。而扩展的高效层聚合网络能够在不破坏原有梯度路径的情况下不断提高增强网络学习的能力，从而学习更加丰富的特征。
37.步骤3，训练数据集：将步骤1中经过预处理后的数据集输入到步骤2中构建的网络模型中进行训练，首先，输入红外无人机小目标图像，进行预处理操作；其次，使用对比度增强算法对图像进行目标增强，再将图像输入到本发明所构建的网络中进行特征提取，获取输入数据的特征图；然后，将预训练的网络模型应用到测试图片中，在检测头中获得预测的结果。
38.步骤4，选择和最小化损失函数最优评价指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存目标检测网络模型，得到目标检测结果；选择最优评价指标衡量模型检测精度和性能，使用召回率(recall)、精确度(precision)和平均精度均值(mean average precision，map)作为评价模型好坏的指标。
39.最小化损失函数为分类损失和位置损失的权重之和，将分类损失和位置损失结合，可以更好地衡量模型预测的好坏。分类损失采用焦点损失，解决正负样本之间的不平衡性。位置损失采用完全边界框交并比损失，完全边界框交并比损失是在距离边界框交并比损失的基础上增加了检测框尺度的损失，增加了长和宽的损失，这样预测框就会更加符合真实框。
40.步骤5，保存模型：将最终确定的模型进行训练并保存，之后在需要进行地/空背景下无人机红外小目标检测时，直接将图像输入到本发明所构建的网络模型中即可。
41.实施例2
42.如图1所示，一种基于目标增强的红外无人机小目标检测方法，该方法具体包括如下步骤：
43.步骤1，准备数据集；
44.选取地/空背景下红外图像弱小飞机目标检测跟踪数据中的部分空中及地面背景
下的红外无人机小目标数据集，即数据集1到数据集10共6494张分辨率为256
×
256的地面和空中背景下的红外无人机的小目标图像；且对红外小目标图像数据进行预处理。
45.步骤2，构建网络模型；
46.整个网络由主干网络、颈部网络和检测头组成；主干网络依次由卷积块一、卷积块二、高效卷积模块一、下采样模块一、高效卷积模块二、下采样模块二、高效卷积模块三、下采样模块三和高效卷积模块四组成；颈部网络由卷积块三、卷积块四、卷积块五、高效卷积模块五、高效卷积模块六、下采样模块四、高效卷积模块七、下采样模块四和高效卷积模块八组成；检测头由卷积块六、卷积块七和卷积块八组成；输入图像进行基于多尺度对比测量后将图像输入卷积块一，卷积块一对输入图像进行下采样输出后进入卷积块二，由卷积块二下采样输出后进入高效卷积模块一，高效卷积模块一输出的图像经过下采样模块一将下采样后的图像输入到高效卷积模块二，同理，高效卷积模块二输出的图像经过下采样模块二将下采样后的图像输入到高效卷积模块三，高效卷积模块三输出的图像经过下采样模块三将下采样后的图像输入到高效卷积模块四；高效卷积模块四输出的图像输入到卷积块五中，经过上采样后，与高效卷积模块三输出后输入到卷积块四中输出的图像相加处理，输入到高效卷积模块五中，再次经过上采样后，与高效卷积模块二输出后输入到卷积块三中的图像进行相加处理，输入到高效卷积模块六中，经过下采样模块四后，与高效卷积模块五所输出的图像进行相加处理再输入到高效卷积模块七中，再经过下采样模块五后，与卷积块五改进的空间金字塔池化后的图像进行相加处理，输入到高效卷积模块八中；最后，高效卷积模块六、高效卷积模块七和高效卷积模块八输出到卷积块六、卷积块七和卷积块八，得到检测头。
47.下采样模块一、下采样模块二、下采样模块三、下采样模块四和下采样模块五为最大池化和下采样卷积块相加得到，而没有直接使用池化层的简单叠加，最大程度保留有用信息的同时，保证了局部网络的运算速度，卷积块五为改进的空间金字塔池化，可以进行不同尺度的最大池化处理，能够提取不同尺寸的空间特征信息。
48.基于多尺度的对比度测量方法，通过将输入图片进行多尺度对比度测量，将测量结果归一化后与原图相乘，再进行阈值分割与杂波滤除，最后与原图叠加得到增强结果。该算法不仅可以在增强目标信息的同时抑制背景信息，还可以增强被噪声点侵蚀的目标、处理复杂背景下的小目标。
49.高效卷积模块中引入了分组卷积和深度可分离卷积，这两种卷积能够在减少参数量的同时，提高了目标检测算法的检测速度和准确率。而扩展的高效层聚合网络能够在不破坏原有梯度路径的情况下不断提高增强网络学习的能力，从而学习更加多样性的特征。
50.步骤3，训练数据集；
51.将步骤1中经过预处理后的数据集输入到步骤2中构建的网络模型中进行训练，首先，输入红外无人机小目标图像，进行预处理操作；其次，使用对比度增强算法对图像进行目标增强，再将图像输入到本发明所构建的网络中进行特征提取，获取输入数据的特征图；然后，将预训练的网络模型应用到测试图片中，在检测头中获得预测的结果。
52.步骤4，选择最小化损失函数值和最优评价指标；
53.选择和最小化损失函数最优评价指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训
练完成，保存目标检测网络模型，得到目标检测结果；选择最优评价指标衡量模型检测精度和性能，使用召回率(recall)、精确度(precision)和平均精度均值(mean average precision，map)作为评价模型好坏的指标。
54.最小化损失函数为分类损失和位置损失的权重之和，将分类损失和位置损失结合，可以更好地衡量模型预测的好坏。总损失函数定义为：l＝lf+l
ciou
。
55.分类损失采用焦点损失，解决正负样本之间的不平衡性。位置损失采用完全边界框交并比损失，完全边界框交并比损失是在距离边界框交并比损失的基础上增加了检测框尺度的损失，增加了长和宽的损失，这样预测框就会更加符合真实框。焦点损失的公式如下：
56.lf＝-α
t
(1-p
t
)log(p
t
)
57.其中，p
t
代表模型预测某类别的概率(即置信度)；α
t
是用来平衡正负样本数量的，本发明α
t
的值设置为0.5。
58.位置损失采用完全边界框交并比损失，完全边界框交并比损失是在距离边界框交并比损失的基础上增加了检测框尺度的损失，增加了长和宽的损失，这样预测框就会更加的符合真实框。完全边框交并比损失的惩罚项公式如下：
[0059][0060]
其中，b，b
gt
分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点的欧氏距离，c代表的是能够同时包含预测框和真实框的最小区域的对角线距离，α为权重函数，v用来度量长宽比的相似性，v的定义为：
[0061][0062]
完全边框交并比损失的完整公式如下：
[0063][0064]
使用召回率(recall)、精确度(precision)和平均精度均值(mean average precision，map)作为评价模型好坏的指标，召回率、精确度、平均精度均值分别定义如下：
[0065][0066][0067][0068]
其中，tp表示被模型预测为正类的正样本，fn表示被模型预测为负类的正样本，fp表示被模型预测为正类的负样本，api表示第i类的平均精度值,c表示总类别数目
[0069]
步骤5，保存模型；
[0070]
模型起始的学习率设置为0.0001，批次设置为20，在迭代2000次后，总损失率稳定
在0.005左右不再下降时训练停止；直到训练次数达到设定阈值或损失函数的值达到设定范围内即可认为模型参数已预训练完成，保存目标检测网络模型，之后在需要进行地/空背景下无人机红外小目标检测时，直接将图像输入到本发明所构建的网络模型中即可。
[0071]
其中，分组卷积、深度可分离卷积、激活函数、归一化层等实现是本领域技术人员公知的算法，具体流程和方法可在相应的教科书或技术文献中查阅。
[0072]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于目标增强的红外无人机小目标检测方法，其特征在于：该方法具体包括如下步骤：步骤1，准备数据集：选取地/空背景下红外图像弱小飞机目标检测跟踪数据中的部分空中及地面背景下的红外无人机小目标数据集；且对红外小目标图像数据进行预处理；步骤2，构建网络模型：整个网络由主干网络、颈部网络和检测头组成；主干网络依次由卷积块一、卷积块二、高效卷积模块一、下采样模块一、高效卷积模块二、下采样模块二、高效卷积模块三、下采样模块三和高效卷积模块四组成；颈部网络由卷积块三、卷积块四、卷积块五、高效卷积模块五、高效卷积模块六、下采样模块四、高效卷积模块七、下采样模块四和高效卷积模块八组成；检测头由卷积块六、卷积块七和卷积块八组成；输入图像进行基于多尺度对比测量后将图像输入卷积块一，卷积块一对输入图像进行下采样输出后进入卷积块二，由卷积块二下采样输出后进入高效卷积模块一，高效卷积模块一输出的图像经过下采样模块一将下采样后的图像输入到高效卷积模块二，同理，高效卷积模块二输出的图像经过下采样模块二将下采样后的图像输入到高效卷积模块三，高效卷积模块三输出的图像经过下采样模块三将下采样后的图像输入到高效卷积模块四；高效卷积模块四输出的图像输入到卷积块五中，经过上采样后，与高效卷积模块三输出后输入到卷积块四中输出的图像相加处理，输入到高效卷积模块五中，再次经过上采样后，与高效卷积模块二输出后输入到卷积块三中的图像进行相加处理，输入到高效卷积模块六中，经过下采样模块四后，与高效卷积模块五所输出的图像进行相加处理再输入到高效卷积模块七中，再经过下采样模块五后，与卷积块五改进的空间金字塔池化后的图像进行相加处理，输入到高效卷积模块八中；最后，高效卷积模块六、高效卷积模块七和高效卷积模块八输出到卷积块六、卷积块七和卷积块八，得到检测头；步骤3，训练数据集：将步骤1中经过预处理后的数据集输入到步骤2中构建的网络模型中进行训练；步骤4，选择和最小化损失函数最优评价指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存目标检测网络模型，得到目标检测结果；选择最优评价指标衡量模型检测精度和性能，使用召回率(recall)、精确度(precision)和平均精度均值(meanaverageprecision，map)作为评价模型好坏的指标；步骤5，保存模型：将最终确定的模型进行训练并保存，之后在需要进行地/空背景下无人机红外小目标检测时，直接将图像输入到本发明所构建的网络模型中即可。2.根据权利要求1所述的一种基于目标增强的红外无人机小目标检测方法，其特征在于：所述步骤1中在地/空背景下红外图像飞机小目标检测跟踪数据中选取部分空中及地面背景下的红外无人机小目标，对图像进行预处理，将处理好的图像组成训练数据集。3.根据权利要求1所述的一种基于目标增强的红外无人机小目标检测方法，其特征在于：所述步骤2中下采样模块一、下采样模块二、下采样模块三、下采样模块四和下采样模块五为最大池化和下采样卷积块相加得到，而没有直接使用池化层的简单叠加，最大程度保留有用信息的同时，保证了局部网络的运算速度，卷积块五为改进的空间金字塔池化，可以进行不同尺度的最大池化处理，能够提取不同尺寸的空间特征信息。4.根据权利要求1所述的一种基于目标增强的红外无人机小目标检测方法，其特征在
于：所述步骤2中基于多尺度的对比度测量方法，通过将输入图片进行多尺度对比度测量，将测量结果归一化后与原图相乘，再进行阈值分割与杂波滤除，最后与原图叠加得到增强结果。5.根据权利要求1所述的一种基于目标增强的红外无人机小目标检测方法，其特征在于：所述步骤3中训练数据集：首先，输入红外无人机小目标图像，进行预处理操作；其次，使用对比度增强算法对图像进行目标增强，再将图像输入到本发明所构建的网络中进行特征提取，获取输入数据的特征图；然后，将预训练的网络模型应用到测试图片中，在检测头中获得预测的结果。

技术总结
本发明属于图像处理及机器视觉技术领域，尤其为一种基于目标增强的红外无人机小目标检测方法，该方法具体包括如下步骤：步骤1，准备数据集：在地/空背景下红外图像飞机小目标检测跟踪数据中，选取部分空中及地面背景下的红外无人机小目标，对红外小目标图像数据进行预处理，构建数据集。本发明引入了基于多尺度的对比度测量的目标增强算法，该算法不仅可以在增强目标信息的同时抑制背景信息，还可以增强被噪声点侵蚀的目标、处理复杂背景下的小目标。标。标。


技术研发人员：詹伟达 洪洋 郭人仲 蒋一纯 刘大鹍 韩登
受保护的技术使用者：长春理工大学重庆研究院
技术研发日：2023.06.05
技术公布日：2023/8/31