红外弱小目标实时检测方法及装置

1.本文件涉及红外弱小目标实时检测技术领域，尤其涉及红外弱小目标实时检测方法及装置。


背景技术：

2.无人机、新型制导弹药等低空、慢速、弱小目标在作战中大放异彩，红外侦测预警系统是应对上述低慢小目标的首选。然而，在战场环境下，上述目标呈现信噪比低(成像尺寸小、亮度低、噪声大)、信息量少(纹理、形状等特征消失)、背景复杂多变等特征，如何快速有效侦测这些红外弱小目标，进而采取有效对抗措施，一直是侦测预警、红外制导、要地安防等军民领域竞相研究的难点和热点；
3.传统红外弱小目标检测方法主要分为基于滤波、人类视觉系统(human visual system,hvs)和低秩稀疏恢复三类，此三类算法主要通过检测和分析场景的特点来人工设计目标特征进行检测，对特定场景适用性较好，但复杂场景下应用的鲁棒性较差。近年来，随着深度学习方法快速发展，基于卷积神经网络(convolutional neural networks,cnn)的目标检测技术展现出强大的特征提取能力和泛化能力，相继出现了rcnn、faster-rcnn等基于候选区域的两阶段目标检测算法和ssd、yolo系列等基于回归的单阶段目标检测算法，在多种可见光目标数据集上取得良好的检测成绩，并被广泛应用于多种目标检测任务之中。
4.鉴于基于深度学习目标检测算法在可见光目标检测方面的优异性，人们开始将其引入到红外弱小目标检测中。li等在yolov3基础上通过在各残差块的通道和空间维度中引入注意力机制，实现红外弱小目标检测。zhang等提出基于全卷积回归网络的低空红外弱小目标检测算法，实现了在复杂运动背景下准确地检测出弱小目标。xi等提出一种稀疏跳过连接块用以构建检测模型主干，增强红外弱小目标响应并抑制背景响应。wang等提出一种用于红外小目标检测的从粗到细的内部注意力感知网络，实现精确检测红外弱小目标，抑制各种误报源。李海军等通过引入坐标注意力机制和自适应空间特征融合测量提高对红外弱小船检目标的检测能力。赵晓枫等在yolov3基础上结合全局感知机制，实现了对地面红外目标精准检测。然而，以上研究主要集中于如何提高红外弱小目标检测精度，忽略了网络参数冗余、检测速度慢等问题。
5.在实际军事应用中，考虑检测精度的同时，也需思量嵌入式平台设备部署的制约条件，更需要满足其对系统响应速度的要求。因此，维持红外弱小目标检测高精度的同时实现模型轻量化、检测实时性，变得尤为重要。yolo-tiny系列、mobiledets系列等为轻量型的单阶段目标检测模型，具有参数量小、速度增快的优势，但模型深层语义信息提取不足，检测精度不理想。


技术实现要素：

6.本发明提供一种红外弱小目标实时检测方法及装置通过引入线性操作，改变常规
卷积方式，大幅降低网络参数量；设计基于上下文感知的双向特征融合模块，丰富全局特征信息，提高模型特征提取能力；进一步利用目标时域运动特征，实现目标位置预测与虚警滤除，有效解决了轻量化与精度难以维持平衡的问题。
7.本发明提供了一种红外弱小目标实时检测方法，其特征在于，包括：
8.s1、采集红外弱小目标的序列红外图像逐帧输入预设的轻量型感知检测网络，通过轻量型感知检测网络提取目标空间特征，生成目标检测候选区；
9.s2、获取序列红外图像中前特定帧图像经过预设的轻量型感知检测网络生成的检测结果，记作时域输入数据集；
10.s3、将时域输入数据集输入预设的时域轨迹预测模块，时域轨迹预测模块对时域输入数据集进行关联候选目标运动轨迹、轨迹筛选以及轨迹预测操作后获取目标预测位置；
11.s4、将目标预测位置与目标检测候选区进行关联匹配后，获取红外弱小目标的实时检测结果。
12.本发明提供了一种红外弱小目标实时检测装置，包括：
13.感知检测网络模块，用于将序列红外图像逐帧输入预设的轻量型感知检测网络，通过所述轻量型感知检测网络提取目标空间特征，生成目标检测候选区；
14.时域输入数据集生成模块，用于获取序列红外图像中前特定帧图像经过预设的轻量型感知检测网络生成的检测结果，记作时域输入数据集；
15.时域轨迹预测模块，用于将时域输入数据集输入预设的时域轨迹预测模块，所述时域轨迹预测模块对时域输入数据集进行关联候选目标运动轨迹、轨迹筛选以及轨迹预测操作后获取目标预测位置；
16.目标匹配模块，用于将目标预测位置与目标检测候选区进行关联匹配后，获取实时检测结果。
17.本发明实施例通过预设的轻量型感知检测网络改变常规卷积方式，大幅降低网络参数量，通过预设的时域轨迹预测模块，通过设计基于上下文感知的双向特征融合模块，丰富全局特征信息，提高模型特征提取能力，通过预设的时域轨迹预测模块利用目标时域运动特征，实现目标位置预测与虚警滤除，有效解决了轻量化与精度难以维持平衡的问题。
附图说明
18.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例的一种红外弱小目标实时检测方法的流程图；
20.图2为本发明实施例的轻量型感知检测网络的示意图；
21.图3为本发明实施例的ghost模块卷积过程的示意图；
22.图4为本发明实施例的ghost瓶颈结构示意图；
23.图5为本发明实施例的多尺度融合的示意图；
24.图5(a)为本发明实施例的fpn的示意图；
25.图5(b)为本发明实施例的cam-panet示意图；
26.图6为本发明实施例的cam模块的示意图；
27.图7为本发明实施例的时域轨迹预测模块的示意图；
28.图8为本发明实施例的红外数据集示例图；
29.图8(a)为本发明实施例的天空背景的红外数据集示例图；
30.图8(b)为本发明实施例的复杂地面背景的红外数据集示例图；
31.图9为本发明实施例的天空背景下的弱小目标检测对比示意图；
32.图9(a)本发明实施例的天空背景下的标记对照图；
33.图9(b)本发明实施例的天空背景下本发明实施例提供的算法的示意图；
34.图9(c)本发明实施例的天空背景下的yolov4的示意图；
35.图9(d)本发明实施例的天空背景下的yolov4-tiny的示意图；
36.图10为本发明实施例的复杂地面背景的弱小目标检测对比示意图；
37.图10(a)为本发明实施例的复杂地面背景的标记对照图；
38.图10(b)为本发明实施例的复杂地面背景下本发明实施例提供的算法的示意图；
39.图10(c)为本发明实施例的复杂地面背景的yolov4的示意图；
40.图10(d)为本发明实施例的复杂地面背景的yolov4-tiny的示意图；
41.图11为本发明实施例的消融实验p-r曲线图；
42.图11(a)为本发明实施例的yolov4-tiny的p-r曲线图；
43.图11(b)为本发明实施例的yolov4-tiny+ghostnet的p-r曲线图；
44.图11(c)为本发明实施例的ghostnet+cam-panet的p-r曲线图；
45.图11(d)为本发明实施例的ghostnet+cam-panet+track的p-r曲线图。
具体实施方式
46.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
47.方法实施例
48.本发明实施例提供了一种红外弱小目标实时检测方法，图1为本发明实施例的一种红外弱小目标实时检测方法的流程图，根据图1所示，本发明实施例的一种红外弱小目标实时检测方法，具体包括：
49.s1、采集红外弱小目标的序列红外图像逐帧输入预设的轻量型感知检测网络，通过轻量型感知检测网络提取目标空间特征，生成目标检测候选区；
50.轻量型感知检测网络ghost-yolo-tiny以yolov4-tiny为基础架构，轻量型感知检测网络主要包含backbone骨干网络、neck颈部网络和head头部预测网络三部分，如图2所示为本发明实施例的轻量型感知检测网络的示意图。backbone骨干网络采用轻量化网络模块ghostnet，提取不同层次特征信息，生成多层特征图；neck颈部网络构建基于上下文感知的双向特征融合模块，增强模型对全局上下文信息感知能力，并引入上采样与下采样并行的
双向特征聚合路径，充分利用浅层细粒度特征信息，提高目标特征利用率；head目标预测网络将由常规的三种检测尺度设置为更适合弱小目标检测的52
×
52、104
×
104两种输出特征尺度，从而提高红外弱小目标检测精度和速度。
51.下面对backbone骨干网络以及neck颈部网络进行具体说明：
52.1、骨干网络的构建
53.常规卷积提取红外图像特征时产生大量灰度特征图，灰度图色域区分度小，使得特征图出现大量冗余，冗余特征图的存在对提升模型性能有限，但使用常规卷积生成冗余特征图造成模型计算量大大增加，降低检测速度。为构建轻量化模型，将ghostnet作为主干特征提取网络，通过改变常规卷积生成特征图的方式，使用更低的参数量获取冗余特征信息，实现减少模型计算量，并保证模型特征提取效果。其中ghost模块卷积过程如图3所示，第一步将输入特征层经标准卷积conv获得浓缩特征层，第二步利用线性操作获得浓缩特征层的相似特征层，第三步将浓缩特征层和相似特征层进行concat拼接得到最终输出特征层。
54.假设输入特征层为h
×w×cin
，输出特征层为h
′×w′×cout
，卷积核尺寸大小为k
×
k，把输入特征层分为n份。
55.常规卷积处理，计算量为：
56.n
×h′×w′×c×k×k57.公式1；
58.ghost模块处理，计算量为：
[0059][0060]
ghost模块计算量分为两部分：标准卷积和深度卷积，对比常规卷积和ghost模块计算量，可看出ghost模型压缩率为n，计算量得到明显降低。两个ghost模块的堆叠构成一个ghost bottleneck瓶颈结构，依据步长stride＝1和stride＝2，可分为两种情况，如图4所示为ghost瓶颈结构示意图。其中第一个ghost模块用来扩充通道数，第二个ghost模块用来减少通道数，以便使用残差边与输入通道数匹配，最终使用ghost bottleneck构建ghostnet网络，ghostnet网络参数表如表1所示。
[0061]
表1ghostnet网络参数表
[0062][0063]
2、基于上下文感知的双向特征融合的构建
[0064]
多尺度特征融合策略通过将不同层次特征进行融合处理可以有效提高小目标检测精度。特征金字塔结构fpn是经典的实现特征融合方法，图5(a)为fpn结构示意图；通过一条自顶向下的上采样路径，充分利用深层特征，将深层语义信息融入浅层特征层中。但由于红外弱小目标轮廓、纹理特征极不明显，深层特征层经下采样次数较多，目标特征丢失严重，存在融合过程中特征利用度低、融合效果差的问题。为了保留多尺度信息并增强特征的表达能力，本发明实施例提出基于上下文感知的双向特征融合模块cam-panet，如图5(b)所示，通过丰富上下文信息和增强对细粒度特征信息利用，提高网络的特征提取能力。
[0065]
cam-panet模块的输入来自骨干网络提取的多尺度特征图，在骨干网络中共生成208
×
208、104
×
104、52
×
52、26
×
26四种尺度的特征图{c2,c3,c4,c5}，但因c2特征图中噪声信息复杂，故选择{c3,c4,c5}作为输入有效特征层。有效特征层首先经上采样操作处理得到{p3,p4,p5}，将深层特征信息融入浅层中，丰富各层语义信息。随后，加强网络对上下文感知能力，将c5特征层输入cam上下文感知模块，获取不同尺度的上下文信息，并将其融入p5中，使得输出特征图{p3,p4,p5}中均充沛全局上下文信息。此外，借鉴pan网络思想，设计双向特征融合结构，在自顶向下的基础上，增添一条自底向上的路径，经下采样将n3缩至与n4尺度一致，利用相加操作将n3浅层细粒度特征融入n4中，从而有效提高对高分辨率信息的利用度，弥补了深层特征层缺乏浅层信息的不足。总体而言，cam-panet结构令各尺度特征图都具备较强的上下文感知能力和细粒度特征信息，使得特征融合效果得以加强。
[0066]
其中cam模块利用不同层次的上下文信息解决局部特征缺失问题。cam模块结构图如图6所示，将输入特征层(h
×w×
c)经四个并行的尺寸为2，4，6，8的空洞卷积处理，得到对应含有不同尺度上下文信息的四个分支特征{f1,f2,f3,f4}；随后采用concat拼接方式将分支特征进行融合，融合后的特征图t大小为h
×w×
4c；使用1
×
1卷积对特征图降维至通道数为c，并采用3
×
3卷积对降维后的特征进行对应分支映射，得到特征各分支的权重矩阵如式3所示。
[0067][0068]
其中，i表示第i分支，w为分支权重，δ为激活函数，为分支映射矩阵。最后将得到的四个分支特征进行加权特征融合，得到最终输出全局上下文特征r，计算公式如式4所示。
[0069][0070][0071]
s2、获取序列红外图像中前特定帧图像经过预设的轻量型感知检测网络生成的检测结果，记作时域输入数据集；
[0072]
s3、将时域输入数据集输入预设的时域轨迹预测模块，时域轨迹预测模块对时域输入数据集进行关联候选目标运动轨迹、轨迹筛选以及轨迹预测操作后获取目标预测位置；
[0073]
由于红外背景下的弱小目标与背景噪声的区分度小，初检测结果中会存在大量虚警。基于此，构建时域轨迹预测模块，利用序列图像间的时序相关性，关联候选目标轨迹，并依据目标运动轨迹特征进行筛选，剔除初检测结果中的虚警轨迹，最后对后续帧的目标位置进行预测，降低算法复杂度。图7为本发明实施例的时域轨迹预测模块的示意图；根据图7可知构建时域轨迹预测模块具体包括：
[0074]
s31、关联目标轨迹。
[0075]
真实目标具有运动连续性，相邻两帧中目标位置不会发生突变。目标在第k帧中的位置为(x,y)，则该目标在第k+1帧中的位置应该在以(x,y)为中心的邻域范围内。若该邻域范围内存在目标，则进行目标关联，若不存在目标，则该帧中无目标可关联。
[0076]
s32、轨迹筛选
[0077]
真实目标与虚警噪声运动轨迹t的特征主要区别在于：真实目标的运动具有连续性，运动方向和速度不会突变，运动轨迹较为平滑；噪声的出现往往具有随机性和独立性，同一噪声点的位置基本不变。本发明实施例利用目标运动方向、目标位置特征和目标轨迹长度三方面特征实现轨迹筛选，各特征计算公式如下。
[0078][0079]
其中，(xi,yi)表示第i条轨迹ti上的目标质心坐标，n代表目标个数，计算所得β为轨迹运动方向角。
[0080]di
＝(x
i-x
i-1
)2+(y
i-y
i-1
)2[0081]
公式6；
[0082]
[0083]
其中，(xi,yi)表示目标质心位置，di为目标帧间移动像素，f为均方差。
[0084][0085]
其中，l表示关联总帧数，在此取l＝15，k为关联到的轨迹长度。
[0086]
s33、轨迹预测
[0087]
根据以上目标运动轨迹特征实现轨迹筛，保留下一条真实目标运动轨迹。在后续帧中，利用卡尔曼滤波器方法进行轨迹预测，预测下一帧中目标位置。
[0088]
s4、将目标预测位置与目标检测候选区进行关联匹配后，获取红外弱小目标的实时检测结果，步骤s4具体包括：
[0089]
为剔除后续帧中的检测虚警，将目标预测位置与目标检测候选区位置进行匹配。若目标检测位置在目标检测候选区邻域范围内，二者得以匹配，候选区域位置得以保留，将其他偏离预测位置的目标检测候选区进行滤除。若预测位置与所有目标检测候选区均无法匹配，则出现了目标漏检，将目标预测位置信息进行补全，从而提高目标检测准确度。
[0090]
下面以具体的实例对本发明所提出的红外弱小目标实时检测方法进行验证，步骤如下：
[0091]
1、构建不同背景下红外弱小目标数据集
[0092]
为充分验证所提算法对不同背景下红外弱小目标检测的有效性，本发明实施例择取天空和复杂地面两种背景下的红外序列图像作为实验数据集，如图8所示。其中，图8(a)天空背景红外数据由课题组实际拍摄的约800米外飞行的无人机目标视频，图像序列共1427帧；图8(b)为复杂地面背景的图像数据选自公开红外弱小目标数据集，共3126帧。将上述4553帧图像构建的数据集按照训练集：测试集：验证集＝8:1:1的比例进行训练。
[0093]
2、评价指标与训练参数
[0094]
为客观评价算法性能，以查准率(p，precision)、召回率(r，recall)、平均精度值(map，average precision)以及模型大小等为评价指标，将本发明实施例算法与几种主流算法进行对比实验。同时，通过消融实验，进一步验证各模块对检测性能的提升效果。
[0095]
在网络模型训练时，均采用adam优化器动态优化网络训练参数，初始设置学习率为0.001，batch size为8，冻结骨干网络训练50个epoch；随后将主干特征提取网络解冻训练，设置学习率为0.0001，batch size为16，训练150个epoch，完成训练。实验所用计算机具体配置内容如表2所示。
[0096]
表2实验环境配置
[0097][0098]
3、天空背景下红外弱小目标检测实验
[0099]
图9是本发明实施例模型和yolov4、yolov4-tiny模型在以天空为背景的红外数据集中对弱小目标的检测结果，图9(a)本发明实施例的天空背景下的标记对照图；图9(b)本发明实施例的天空背景下的本发明实施例提供的算法的示意图；图9(c)本发明实施例的天空背景下的yolov4的示意图；图9(d)本发明实施例的天空背景下的yolov4-tiny的示意图；图中真实目标仅有一个，如图9(a)标记对照图所示。天空背景下虚警较少，但在yolov4、yolov4-tiny的检测结果中存在错检漏检的现象，而在本发明实施例模型检测结果中基本可以实现目标精准检测，并有较高的检测精度。
[0100]
4、复杂地面背景下红外弱小目标检测实验
[0101]
为了进一步验证本发明实施例算法的鲁棒性与复杂场景兼容性，将以俯拍的复杂地面为背景进行红外弱小目标检测。图10是本发明实施例模型和yolov4、yolov4-tiny模型在以复杂地面为背景的红外数据集中对弱小目标的检测结果。图10(a)为本发明实施例的复杂地面背景的标记对照图；
[0102]
图10(b)为本发明实施例的复杂地面背景的本发明实施例提供的算法的示意图；图10(c)为本发明实施例的复杂地面背景的yolov4的示意图；图10(d)为本发明实施例的复杂地面背景的yolov4-tiny的示意图；
[0103]
在以下三个场景中对于yolov4及yolov4-tiny的检测结果中均出现多个检测结果，虚警率较高。如在第1行中，yolov4检测出两个目标，与对照图作对比发现，其中包含一个虚警，而在本发明实施例模型中可以实现精准检测真正目标。同样的在第2、3行中本发明实施例模型具有更高的检测精度和更精准的定位，有效剔除了虚警。表明，在复杂背景下本发明实施例目标检测模型仍有较高的检测能力，算法鲁棒性较强，能适应复杂场景变化。
[0104]
5、检测效果对比与分析
[0105]
将本发明实施例算法与目标检测算法进行对比实验，实验结果如表3所示。本发明实施例算法针对红外弱小目标检测的map值达81.46％，比主流单阶段检测算法ssd、yolov4、yolov5、yolov7分别高44.07％、8.98％、10.26％、42.76％,可看出本发明实施例模型在检测精度上具有明显提升。模型参数量衡量一个模型是否为轻量型，本发明实施例模型参数量为12.84mb，比轻量型模型yolov3-tiny、yolov4-tiny、efficientdet、mobiledets的参数量分别降低了11.98mb、9.57mb、2.65mb和1.76mb。本发明实施例模型帧数为58.3fps，当帧数达到30fps以上时，可判断模型达到实时检测标准。根据所得实验数据可以说明本模型属于轻量型模型，同时具有较高的红外弱小目标检测性能，可达到实时检测要求。
[0106]
表3不同目标检测模型对比实验结果
[0107][0108]
6消融实验
[0109]
为分析本发明实施例算法中各个模块对红外弱小目标检测的性能影响，进行了消融实验，实验结果如表4所示。第一组实验为基准模型yolov4-tiny的结果，此时map值为49.74％，第二组实验为基准模型结合时域轨迹预测模块后的检测结果，map值上涨10.15％，表明本发明实施例设计的时序轨迹预测模块对虚警目标滤除效果明显。第三组实验为将基准模型骨干网络替换为ghostnet模型，此时参数量有效降低了8.09mb，并且map值增长了10.05％，表明ghostnet模型对于红外弱小目标特征的提取能力更强。第四组实验在第三组实验基础上引入基于上下文感知的双向特征融合模块，此时模型检测召回率、查全率和检测精度有明显提升，map值可达70.27％，说明该模块可以有效利用特征信息，提高红外特征信息利用率。第五组实验增加时域轨迹预测模块，模型检测精度得到进一步提升，precision、recall、ap分别为88.63％、85.18％、81.46％。
[0110]
图11为四组消融实验的p-r曲线可视化结果，图11(a)为本发明实施例的yolov4-tiny的p-r曲线图；图11(b)为本发明实施例的yolov4-tiny+ghostnet的p-r曲线图；图11(c)为本发明实施例的ghostnet+cam-panet的p-r曲线图；图11(d)为本发明实施例的ghostnet+cam-panet+track的p-r曲线图。训练过程中recall和precision所围曲线面积不断增大，即map值得到有效提升，可以看出本发明实施例算法的各个模块对红外弱小目标检测性能有明显提升。
[0111]
表4消融实验
[0112][0113]
通过采用本发明实施例具备如下有益效果：
[0114]
通过轻量型时域感知网络的红外弱小目标检测模型通过改变主干网络特征提取方式降低冗余参数量，并构建基于上下文感知的双向特征融合模块，使用不同尺寸空洞卷积提取最后一层有效层上下文特征，增加浅层细粒度信息利用度，补充到特征融合之中，从而加强模型对弱小目标的特征提取能力，提高模型检测能力；设计时域轨迹预测模块，利用目标运动轨迹信息进一步剔除检测虚警，降低噪声干扰。在天空和复杂地面背景下进行验证，实验结果表明，本发明实施例提供的算法与当前主流目标检测算法相比，在精度、召回率与查准率等多种性能上得到明显提升，具备实时检测性能，研究成果可为解决红外侦测领域目标实时高效检测问题提供技术支撑。
[0115]
装置实施例
[0116]
本发明提供了一种红外弱小目标实时检测装置，包括：
[0117]
感知检测网络模块，用于将序列红外图像逐帧输入预设的轻量型感知检测网络，通过轻量型感知检测网络提取目标空间特征，生成目标检测候选区；
[0118]
时域输入数据集生成模块，用于获取序列红外图像中前特定帧图像经过预设的轻量型感知检测网络生成的检测结果，记作时域输入数据集；
[0119]
时域轨迹预测模块，用于将时域输入数据集输入预设的时域轨迹预测模块，时域轨迹预测模块对时域输入数据集进行关联候选目标运动轨迹、轨迹筛选以及轨迹预测操作后获取目标预测位置；
[0120]
目标匹配模块，用于将目标预测位置与目标检测候选区进行关联匹配后，获取实时检测结果。
[0121]
感知检测网络模块具体包括：骨干网络模块、颈部网络模块以及头部网络模块；
[0122]
骨干网络模块具体用于：将ghostnet作为主干特征提取网络进行卷积操作生成各尺度特征图；
[0123]
颈部网络模块具体用于：通过引入cam增强上下文感知模块，构建上下文感知的双向特征融合模块cam-panet，通过上下文感知的双向特征融合模块cam-panet使得各尺度特
征图都具备上下文感知能力和细粒度特征信息；
[0124]
其中，骨干网络模块具体包括：
[0125]
将序列红外图像作为输入特征层经标准卷积conv获得浓缩特征层；
[0126]
利用线性操作获得浓缩特征层的相似特征层；
[0127]
将浓缩特征层和相似特征层进行concat拼接得到最终输出特征层；
[0128]
颈部网络具体包括：
[0129]
将输入特征层h
×w×
c经四个并行的尺寸为2，4，6，8的空洞卷积处理，得到对应含有不同尺度上下文信息的四个分支特征{f1,f2,f3,f4}；
[0130]
采用concat拼接方式将分支特征进行融合，融合后的特征图t大小为h
×w×
4c；
[0131]
使用1
×
1卷积对特征图降维至通道数为c，并采用3
×
3卷积对降维后的特征进行对应分支映射，得到特征通过公式1获取各分支的权重矩阵；
[0132][0133]
最后将得到的四个分支特征进行加权特征融合，通过公式2得到最终输出全局上下文特征r，
[0134][0135]
其中，i表示第i分支，w为分支权重，δ为激活函数，为分支映射矩阵。
[0136]
时域轨迹预测模块具体包括：
[0137]
关联目标轨迹模块，用于判断序列红外图像中第k+1帧中的位置是否在第k帧中位置的领域范围内，若在邻域范围内，则进行目标关联，否则不进行目标关联；
[0138]
轨迹筛选模块，用于利用弱小目标运动方向、目标位置特征和目标轨迹长度三方面特征实现轨迹筛选，具体包括：通过公式3获取弱小目标运动方向，通过公式4和公式5获取目标位置特征，通过公式6获取目标轨迹长度；
[0139][0140]
其中，(xi,yi)表示第i条轨迹ti上的目标质心坐标，n代表目标个数，β为轨迹运动方向角；
[0141]di
＝(x
i-x
i-1
)2+(y
i-y
i-1
)2[0142]
公式4；
[0143][0144]
其中，(xi,yi)表示目标质心位置，di为目标帧间移动像素，f为均方差；
[0145][0146]
其中，l表示关联总帧数，k为关联到的轨迹长度；
[0147]
轨迹预测模块，用于利用卡尔曼滤波器方法进行轨迹预测，预测下一帧中弱小目标位置；
[0148]
目标匹配模块具体用于：
[0149]
将目标预测位置与目标检测候选区进行关联匹配，若目标检测位置在目标检测候选区邻域范围内，二者得以匹配，则将目标检测候选区位置进行保留，将其他偏离预测位置的目标检测候选区进行滤除；若目标预测位置与所有目标检测候选区均无法匹配，则将目标预测位置信息进行补全。
[0150]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种红外弱小目标实时检测方法，其特征在于，包括：s1、采集红外弱小目标的序列红外图像逐帧输入预设的轻量型感知检测网络，通过所述轻量型感知检测网络提取目标空间特征，生成目标检测候选区；s2、获取所述序列红外图像中前特定帧图像经过所述预设的轻量型感知检测网络生成的检测结果，记作时域输入数据集；s3、将所述时域输入数据集输入预设的时域轨迹预测模块，所述时域轨迹预测模块对所述时域输入数据集进行关联候选目标运动轨迹、轨迹筛选以及轨迹预测操作后获取目标预测位置；s4、将所述目标预测位置与所述目标检测候选区进行关联匹配后，获取红外弱小目标的实时检测结果。2.根据权利要求1所述的方法，其特征在于，所述步骤s1中的预设的轻量型感知检测网络的构建步骤具体包括：建立骨干网络、建立颈部网络以及建立头部网络；所述建立骨干网络具体包括：将ghostnet作为主干特征提取网络进行卷积操作生成各尺度特征图；所述建立颈部网络具体包括：通过引入cam增强上下文感知模块，构建上下文感知的双向特征融合模块cam-panet，通过所述上下文感知的双向特征融合模块cam-panet使得所述各尺度特征图都具备上下文感知能力和细粒度特征信息。3.根据权利要求2所述的方法，其特征在于，所述将ghostnet作为主干特征提取网络进行卷积操作生成各尺度特征图具体包括：将所述序列红外图像作为输入特征层经标准卷积conv获得浓缩特征层；利用线性操作获得所述浓缩特征层的相似特征层；将所述浓缩特征层和所述相似特征层进行concat拼接得到最终输出特征层。4.根据权利要求2所述的方法，其特征在于，所述引入cam增强上下文感知模块的步骤具体包括：将输入特征层h
×
w
×
c经四个并行的尺寸为2，4，6，8的空洞卷积处理，得到对应含有不同尺度上下文信息的四个分支特征{f1，f2，f3，f4}；采用concat拼接方式将所述分支特征进行融合，融合后的特征图t大小为h
×
w
×
4c；使用1
×
1卷积对特征图降维至通道数为c，并采用3
×
3卷积对降维后的特征进行对应分支映射，得到特征通过公式1获取各分支的权重矩阵；最后将得到的四个分支特征进行加权特征融合，通过公式2得到最终输出全局上下文特征r，其中，i表示第i分支，w为分支权重，δ为激活函数，为分支映射矩阵。5.根据权利要求1所述的方法，其特征在于，所述步骤s3中的预设的时域轨迹预测模块
的构建步骤具体包括：s31、判断所述序列红外图像中第k+1帧中的位置是否在第k帧中位置的领域范围内，若在所述邻域范围内，则进行目标关联，否则不进行目标关联；s32、利用弱小目标运动方向、目标位置特征和目标轨迹长度三方面特征实现轨迹筛选；s33、利用卡尔曼滤波器方法进行轨迹预测，预测下一帧中弱小目标位置。6.根据权利要求5所述的方法，其特征在于，所述步骤s32具体包括：通过公式3获取弱小目标运动方向，通过公式4和公式5获取目标位置特征，通过公式6获取目标轨迹长度；其中，(x
i
，y
i
)表示第i条轨迹t
i
上的目标质心坐标，n代表目标个数，β为轨迹运动方向角；d
i
＝(x
i-x
i-1
)2+(y
i-y
i-1
)2公式4；其中，(x
i
，y
i
)表示目标质心位置，d
i
为目标帧间移动像素，f为均方差；其中，l表示关联总帧数，k为关联到的轨迹长度。7.根据权利要求1所述的方法，其特征在于，所述步骤s4具体包括：将所述目标预测位置与所述目标检测候选区进行关联匹配，若所述目标检测位置在所述目标检测候选区邻域范围内，二者得以匹配，则将所述目标检测候选区位置进行保留，将其他偏离预测位置的目标检测候选区进行滤除；若所述目标预测位置与所有目标检测候选区均无法匹配，则将所述目标预测位置信息进行补全。8.一种红外弱小目标实时检测装置，其特征在于，包括：感知检测网络模块，用于将序列红外图像逐帧输入预设的轻量型感知检测网络，通过所述轻量型感知检测网络提取目标空间特征，生成目标检测候选区；时域输入数据集生成模块，用于获取所述序列红外图像中前特定帧图像经过所述预设的轻量型感知检测网络生成的检测结果，记作时域输入数据集；时域轨迹预测模块，用于将所述时域输入数据集输入预设的时域轨迹预测模块，所述时域轨迹预测模块对所述时域输入数据集进行关联候选目标运动轨迹、轨迹筛选以及轨迹预测操作后获取目标预测位置；目标匹配模块，用于将所述目标预测位置与所述目标检测候选区进行关联匹配后，获
公式4；其中，(x
i
，y
i
)表示目标质心位置，d
i
为目标帧间移动像素，f为均方差；其中，l表示关联总帧数，k为关联到的轨迹长度；轨迹预测模块，用于利用卡尔曼滤波器方法进行轨迹预测，预测下一帧中弱小目标位置；所述目标匹配模块具体用于：将所述目标预测位置与所述目标检测候选区进行关联匹配，若所述目标检测位置在所述目标检测候选区邻域范围内，二者得以匹配，则将所述目标检测候选区位置进行保留，将其他偏离预测位置的目标检测候选区进行滤除；若所述目标预测位置与所有目标检测候选区均无法匹配，则将所述目标预测位置信息进行补全。

技术总结
本发明提供了一种红外弱小目标实时检测方法及装置，其中，方法包括：采集红外弱小目标的序列红外图像逐帧输入预设的轻量型感知检测网络，生成目标检测候选区；获取序列红外图像中前特定帧图像经过预设的轻量型感知检测网络生成的检测结果，并输入预设的时域轨迹预测模块，时域轨迹预测模块对时域输入数据集进行关联候选目标运动轨迹、轨迹筛选以及轨迹预测操作后获取目标预测位置；将目标预测位置与目标检测候选区进行关联匹配后，获取红外弱小目标的实时检测结果。以解决红外弱小目标检测中轻量化与精度难以维持平衡的问题。中轻量化与精度难以维持平衡的问题。中轻量化与精度难以维持平衡的问题。


技术研发人员：黄富瑜 孙立辉 李向荣 李莉
受保护的技术使用者：河北经贸大学
技术研发日：2023.02.10
技术公布日：2023/7/31