一种基于自监督对比学习的雷达目标识别方法

1.本发明属于目标识别领域，特别涉及一种雷达图像目标识别技术。


背景技术：

2.在遥感图像处理中，成像雷达微波遥感探测的主要信息是目标与微波波段电磁波相互作用后反射的微波信息。因此，由成像雷达所获取的雷达图像包含目标物体的形状和散射信息，可以很好的表征特定的目标特征。在众多成像雷达中，合成孔径雷达(synthetic aperture radar,sar)是一种重要的微波遥感成像系统，其可采集全天候和昼夜高分辨率的图像，而sar自动目标识别(automatic target recognition,atr)技术则是sar应用中关键的挑战之一。因此，sar atr在军事和民用领域的应用均具有重要的意义。
3.深度卷积神经网络(convolutional neural network,cnn)的出现使图像处理的性能得到了提高。得益于其强大的特征学习能力，cnn在sar atr领域中也取得了一定进展。但是，此类方法需要大量的标记数据集来训练模型，而大多数sar图像数据集是未标记或稀疏标记的，这会造成训练深层网络时的过度拟合。文献“chen,sizhe,et al."target classification using the deep convolutional networks for sar images."ieee transactions on geoscience and remote sensing 54.8(2016):4806-4817.”中提出了一种全卷积网络，将所有全连接层替换为卷积层。该方法通过减少模型参数来减少过度拟合，但其识别性能随着减少标记的训练样本而显著降低。由于sar图像相较于光学图像更难以获得，且手动标记sar图像数据耗时耗力，现有的雷达图像数据中只有少部分为带标签数据，仍存在大量未标签的雷达数据。
4.自监督对比学习通过估计目标之间的相似性来学习数据的一般特征，这种类型的学习可以在没有先验信息的情况下对相似的目标进行分类，并将它们与不同的目标区分开。文献“ciga,ozan,tony xu,and anne louise martel."self supervised contrastive learning for digital histopathology."machine learning with applications 7(2022):100198.”和文献“g
ü
ldenring,ronja,and lazaros nalpantidis."self-supervised contrastive learning on agricultural images."computers and electronics in agriculture 191(2021):106510.”表明了自监督对比学习在数字医学病理图像和农业图像上都取得了一定的成就。若能够充分利用未标签的雷达图像数据，自监督对比学习在推进sar图像目标识别上具有广阔的前景。


技术实现要素：

5.为解决上述技术问题，本发明提出一种自监督对比学习的雷达目标识别方法，利用大量未标签雷达样本提取有效目标特征信息。
6.本发明采用的技术方案为：一种基于自监督对比学习的雷达目标识别方法，包括：
7.s1、构建预训练模型，所述预训练模型包括：在线网络与目标网络，在线网络包括骨干网络、第一多层感知器层、第二多层感知器层；目标网络包括骨干网络与第三多层感知
器层；
8.s2、对于一张输入的未标签的雷达图像，通过两种不同的增强方式后得到两个交叉增强样本；
9.s3、将步骤s2得到的两个交叉增强样本分别输入在线网络、目标网络；通过计算在线网络与目标网络各自输出的相似性损失，根据相似性损失更新在线网络的网络权重，再由在线网络中与目标网络中相同的网络架构部分的权重，对应更新目标网络的网络权重；
10.s4、根据训练完成的预训练模型中的骨干网络构建微调分类网络；微调分类网络的输入为带标签的雷达目标图像样本；所述微调分类网络包括：训练完成的预训练模型中的骨干网络、平均池化操作层、flatten层、全连接层、softmax层，最后对softmax层的输出采用交叉熵损失进行微调，得到最终的分类结果。
11.本发明的有益效果：本发明为了充分利用现有未标签数据样本的目标特征信息，探究自监督对比学习在sar图像目标识别领域的潜力；利用大量未标签雷达样本提取有效目标特征信息，解决雷达图像样本标签稀缺而导致的网络学习不充分的问题，从而提升网络在少量带标签的数据样本下对雷达目标的识别性能；本发明方法包括两个阶段，在第一阶段的预训练中将未标签的雷达图像数据样本输入网络，通过两种不同的增强方式获取交叉增强样本，分别通过自监督对比学习框架下的在线网络和目标网络，预训练网络模型。利用相似性损失，最大化同一类目标的相似特征的同时，弱化不同类目标的相似特征，提升提取特征的有效性。第二阶段迁移网络权重后，输入带标签的雷达图像数据样本，微调网络，最终实现自监督对比学习下sar目标的精准识别；实验结果表明，与其它目标识别方法相比，本发明方法可以在利用大量无标签的雷达样本数据的条件下，有效地提高小样本的雷达目标识别网络的准确度和鲁棒性。
附图说明
12.图1为本发明方法的框架及训练流程示意图。
具体实施方式
13.为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。
14.步骤一：输入未标签的雷达目标图像样本数据集设一张输入的雷达图像为x，通过随机两种不同方式增强后得到交叉增强样本x
t
和x
t'
，如下式所示：
[0015][0016][0017]
其中，和为两种不同的样本增强方式。
[0018]
在本发明方法的自监督对比学习训练阶段中，采用的数据增强方式有5种，分别为随机裁切、翻转、平移、颜色抖动，以及高斯噪声。和将以一定的概率执行以上的数据增强方式，表1中列出了两种数据增强的参数设置。
[0019]
表1数据增强过程中的参数设置
[0020][0021]
步骤二：两个增强样本x
t
和x
t'
分别通过如图1所示的在线网络和目标网络，设在线网络可更新权重为θ，目标网络可更新权重为ξ。增强样本之一x
t'
输入目标网络，首先通过骨干网络f
ξ
[
·
]提取雷达目标信息并嵌入到目标特征空间，从而得到提取的特征信息y
ξ
；随后通过多层感知器层(multilayer perceptron，mlp)g
ξ
[
·
]得到特征空间的映射z
ξ
。
[0022]
图1中的在线网络与目标网络均为现有已知技术，可以参考：j.-b.grill,f.strub,f.altch
′
e,c.tallec,p.richemond,e.buchatskaya,c.doersch,b.avila pires,z.guo,m.gheshlaghi azar et al.,"bootstrap your own latent-a new approach to self-supervised learning,"advances in neural information processing systems,vol.33,pp.21 271
–
21 284,2020.本发明在此不做详细阐述。
[0023]
另一个增强样本x
t
输入在线网络，同样首先通过相同架构的骨干网络f
θ
[
·
]提取雷达目标信息并嵌入到目标特征空间得到特征信息y
θ
，本发明方法中，在线网络和目标网络所采用的骨干网络均为resnet50；然后通过相同结构的mlp层g
θ
[
·
]得到特征空间的映射z
θ
。相较于目标网络，在线网络在得到特征映射后再次通过了一个mlp层q
θ
[
·
]得到一个对目标网络特征映射的预测结果q
θ
[z
θ
]。最后，利用相似性损失更新网络权重，从而最大化同一类目标的相似特征，弱化不同类目标的相似特征。相似性损失为归一化后的在线网络预测和目标网络映射之间的均方误差，可由下式表示：
[0024][0025]
其中，《
·
,
·
》运算指两者内积，||
·
||2运算指l2归一化，为q
θ
(z
θ
)的数学期望，为z
ξ
的数学期望。
[0026]
每一次训练后，相似性损失用于更新在线网络的网络权重，再由在线网络中与目标网络中相同的网络架构部分的权重，对应更新目标网络的网络权重，可由下式表示：
[0027][0028]
ξ
←
τξ+(1-τ)θ，
ꢀꢀꢀꢀꢀꢀ
(5)
[0029]
其中，η为学习率，τ为目标衰减率。式(4)用于更新在线网络的参数，optimizer指网络优化器，表示均方误差损失对参数θ的梯度；式(5)用于更新目标网络的参数。
[0030]
在实验阶段，当使用雷达图像预训练自监督网络时，学习率η设为0.6；当使用光学
图像预训练自监督网络时，学习率η设为0.48。每次迭代的目标衰减率τ可由下式表示：
[0031]
τ＝1-(1-τ
initial
)
·
(cos(πk/k)+1)/2，
ꢀꢀ
(6)
[0032]
其中，τ
initial
为目标衰减率的初始值，始终设为0.996，k为目前所指的训练轮次，k为最大训练轮次。在实验预训练阶段，训练的迭代轮次值设置为200。
[0033]
通过以上的预训练过程，使得网络模型能够有效提取目标特征，最大化同类目标间的相似特征，并弱化不同类目标间相似特征。再通过步骤三中的网络训练微调，实现目标的类内特征相聚，类间特征分离。
[0034]
步骤三：迁移预训练模型中在线网络的骨干网络参数，包含实验部分所采用的resnet50网络每层的权重参数，并如图1所示，在其后添加分类器，输入带标签的雷达目标图像样本，设有nc类雷达目标，则使用nc维的独热向量y表示类别标签。该分类网路的输出为类别标签的条件概率分布，可由下式表示：
[0035][0036]
其中，x
l
表示输入微调网络的带标签的雷达图像，ζ为包含权重w和偏置b的一系列可更新参数，可由下式表示：
[0037]
ζ＝wx+b。
ꢀꢀ
(8)
[0038]
利用交叉熵损失对分类网络进行微调，从而实现雷达图像目标识别，损失函数可由下式表示：
[0039][0040]
其中，yc为真值独热标签，fc(x
l
,ζ)为分类器的特征映射函数，以获取包含每个目标类别概率的向量。
[0041]
本发明方法在网络微调阶段使用雷达数据集mstar的标签图像信息，预训练阶段使用未标签的雷达图像和光学图像数据集imagenet分别预训练模型，识别准确率如表2所示，与其他sar图像识别技术方法的识别性能比较如表3所示。
[0042]
表2不同预训练模型下的识别准确率(％)对比
[0043][0044]
表3不同sar目标识别方法的性能比较(％)
[0045][0046]
表3中将本发明方法的识别性能与一些典型的sar目标识别方法的性能进行了比较，pca+svm指将主成分分析和支持向量机结合的传统机器学习方法，lc-ksvd指一种标签一致化的用于稀疏表示的超完备字典设计算法，dnn指普通深度神经网络，cnn指卷积神经网络，gan-cnn指结合生成对抗网络的卷积神经网络识别方法。本发明方法-1和本发明方法-2的区别为分别使用雷达图像和光学图像imagenet预训练模型。可以看出，本发明方法的实验获得了相对较高的识别精度，验证了自监督对比学习在sar目标识别领域的有效性。
[0047]
imagenet虽然是与雷达图像不同的光学图像，但是其所预训练的模型微调结果胜于mstar所预训练的模型，这得益于imagenet的数据量是mstar的数十倍，若能充分利用大量现存的无标签雷达目标图像，利用分布相似的雷达图像对模型进行预训练，则识别性能可以进一步提升。
[0048]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

技术特征：
1.一种基于自监督对比学习的雷达目标识别方法，其特征在于，包括：s1、构建预训练模型，所述预训练模型包括：在线网络与目标网络，在线网络包括骨干网络、第一多层感知器层、第二多层感知器层；目标网络包括骨干网络与第三多层感知器层；s2、对于一张输入的未标签的雷达图像，通过两种不同的增强方式后得到两个交叉增强样本；s3、将步骤s2得到的两个交叉增强样本分别输入在线网络、目标网络；通过计算在线网络与目标网络各自输出的相似性损失，根据相似性损失更新在线网络的网络权重，再由在线网络中与目标网络中相同的网络架构部分的权重，对应更新目标网络的网络权重；s4、根据训练完成的预训练模型中的骨干网络构建微调分类网络；微调分类网络的输入为带标签的雷达目标图像样本；所述微调分类网络包括：训练完成的预训练模型中在线网络的骨干网络、平均池化操作层、flatten层、全连接层、softmax层，最后对softmax层的输出采用交叉熵损失进行微调，得到最终的分类结果。2.根据权利要求1所述的一种基于自监督对比学习的雷达目标识别方法，其特征在于，步骤s2中具体通过随机的方式选择以下增强方式中的2种对输入的未标签的雷达图像进行增强：随机裁切、翻转、平移、颜色抖动，以及高斯噪声。3.根据权利要求2所述的一种基于自监督对比学习的雷达目标识别方法，其特征在于，步骤s3中的相似性损失为归一化后的在线网络预测和目标网络映射之间的均方误差；相似性损失表达式为：其中，表示相似性损失，<
·
,
·
>运算指两者内积，||
·
||2运算指l2归一化，z
θ
为在线网络特征空间的映射，q
θ
[z
θ
]为在线网络对目标网络特征映射的预测结果，为q
θ
(z
θ
)的数学期望，z
ξ
为目标网络特征空间的映射，为z
ξ
的数学期望。4.根据权利要求3所述的一种基于自监督对比学习的雷达目标识别方法，其特征在于，步骤s4中微调分类网络对应的损失函数为：其中，y
c
为真值独热标签，f
c
(x,θ)为分类器的特征映射函数，以获取包含每个目标类别概率的向量。

技术总结
本发明公开一种自监督对比学习的雷达目标识别方法，应用于目标识别领域，针对SAR图像目标识别中，带标签数据样本量有限的问题，本发明方法包含两个阶段，第一阶段在自监督对比学习网络下对无标签的雷达交叉增强样本进行训练，每个输入样本以不同的方式增强为两个交叉增强样本，该网络通过相似性损失来更新权重，从而最大化同类目标的相似特征并最小化不同类目标的相似特征，实现网络对同一类别目标相似特征的有效提取；第二阶段通过迁移第一阶段的网络权重，并在其后加入一个分类器，利用少量带标签的雷达样本微调网络，从而实现雷达目标识别技术。目标识别技术。目标识别技术。


技术研发人员：张寅 裴季方 刘小钰 黄钰林 王陈炜 霍伟博 杨海光 杨建宇
受保护的技术使用者：电子科技大学
技术研发日：2023.05.16
技术公布日：2023/8/1