利用开集半监督学习技术进行电磁信号个体识别方法

1.本发明涉及电磁信号识别处理，尤其涉及利用开集半监督学习技术进行电磁信号个体识别的方法。


背景技术：

2.在无线通信领域，通过对各种电磁信号进行识别，可以获取大量有用信息，但由于不同种类的无线电设备的大量使用，电磁环境变得日益复杂(频域的覆盖范围宽、时域作用时间长、空域分布多变、信号的特征多样等)，传统的电磁信号识别方法对复杂的信号表达能力不佳，不能有效的对不同电磁信号进行识别分类。
3.充分利用深度学习或机器学习技术可以有效解决传统通信手段处理信号样本难以对电磁态势产生有效认知的困难，但是在利用深度学习进行大数据处理与深层感知的过程中仍旧存在矛盾与局限性。在一些军事或安全领域的应用场景下，由于非合作与安全问题，往往只能获得非常有限的样本数据。这就导致了有标签数据小样本问题，即已标记的样本量非常少，难以训练出具有较高泛化能力的模型。
4.半监督学习是指利用大量无标签样本和少量有标签样本训练模型的一种学习方式，这种方法可以有效解决有标签小样本问题，提高模型识别性能。然而，由于现有的半监督学习方法统一建立在一个理想场景，即无标签数据中的所有样例与已标注数据属于理想同分布状态，这也就导致当目标分类外的数据夹杂在无标签数据中一同用于训练分类模型时，得到的机器学习模型仍旧不具备现实场景中应用所必须的鲁棒性与可靠性。


技术实现要素：

5.针对现有技术中在现实场景无法使用半监督学习对电磁信号进行稳健识别的问题，本发明提出利用开集半监督学习技术进行电磁信号个体识别的方法，通过自监督预训练方式训练作为第一模型的大型分类网络，让规模更大的模型能够更加充分的学习无标签数据的内在关系并提升网络特征提取能力；将更接近识别样本特性的小规模分类网络模型作为第二模型，在半监督学习时，筛除目标分类外的无标签数据，使训练数据中同类样本的特征分布更加紧凑，同时在半监督学习中结合模型蒸馏的方式，使小规模分类网络模型学习到大型网络模型对于数据特征的泛化性和鲁棒性。从上述三个方面同时入手，降低在现实情况下由目标分类外的数据对半监督学习网络识别准确率造成的影响，对电磁信号实现稳健识别。具体技术方案如下：
6.一种利用开集半监督学习技术进行电磁信号个体识别方法，所述方法包括下述步骤：
7.获取电磁信号样本为第一训练数据集，第一训练数据集为开集，由有标签数据和无标签数据构成，无标签数据由目标分类内的无标签数据和目标分类外的无标签数据构成；
8.利用第一训练数据集，采用simclr自监督学习算法对第一模型进行训练；
9.使用训练后的第一模型筛除目标分类外的无标签数据，将目标分类内的无标签数据和有标签数据作为第二训练数据集；
10.冻结训练好的第一模型权重，为第一模型增加软标签生成层构成第三模型，将有标签数据输入第三模型进行微调训练；
11.利用训练好的第三模型获取第一训练数据集中每个数据的软标签，将获得软标签的有标签数据、目标分类内的无标签数据、以及满足设定条件的目标分类外的无标签数据作为第三训练数据集；
12.利用第三训练数据集，使第二模型通过模型蒸馏学习获得第三模型的特征表达，得到蒸馏损失ls，利用第二训练数据集对第二模型进行半监督学习，得到半监督学习损失lm；
13.将蒸馏损失ls和半监督学习损失lm加权求和作为损失误差loss对第二模型进行训练，训练好的第二模型能够用于电磁信号个体识别；其中：
14.loss＝lm+λsls15.式中：λs为warmup线性自增值。
16.在上述技术方案中，第一模型包括编码器和映射端，映射端用于辅助编码器训练收敛；编码器由输入层与特征提取层构成，映射端由非线性全连接网络构成；特征提取层输出的特征向量输入映射端，以得到用于自监督学习算法计算损失的数据表示。
17.在上述技术方案中，利用第一训练数据集，采用simclr自监督学习算法对第一模型进行训练，包括下述步骤：
18.对第一训练数据集中的每个数据进行数据增强处理，一次数据增强处理包括复数域随机翻转与复数域随机旋转处理，从而得到两组数据增强数据xi和x
n+i
；
19.对第一训练数据集中的每个数据，将数据增强处理后的两组数据xi和x
n+i
输入第一模型，获得两组非线性特征zi和z
n+i
，计算这两组非线性特征的余弦相似度sim(zi，z
n+i
)、sim(z
n+i
，zi)；
20.基于余弦相似度sim(zi，z
n+i
)、sim(z
n+i
，zi)，计算学习损失l
i，n+i
和l
n+i，i
，进而计算平均损失作为模型反向传播的最终损失误差l：
[0021][0022][0023][0024]
式中：τ为温度超参数，n为第一训练数据集中的数据总数。
[0025]
在上述技术方案中，使用训练后的第一模型筛除目标分类外的无标签数据，实现步骤包括：
[0026]
将有标签数据输入训练后的第一模型得到特征向量；
[0027]
利用属于同一类别的特征向量，求得各类别的原型表示(prototypical representations)vc：
[0028][0029]
式中：n表示识别目标的类别个数，nc表示属于第c种类别的电磁信号的数据个数，c为类别标识，zk为第k个属于第c种类别的电磁信号对应的特征向量；
[0030]
将每个无标签数据输入训练后的第一模型得到相应的特征向量zu，计算其与各类别的余弦相似度：
[0031][0032]
基于余弦相似度，将无标签数据集划分为目标分类内的无标签数据和目标分类外的无标签数据。在一种实施方式中，采用下述划分原则：
[0033]
将高于等于阈值t的无标签数据确定为目标分类内的无标签数据，否则为目标分类外的无标签数据，阈值t设置为：
[0034]
t＝μ
l-s
×
σ
l
[0035]
其中：μ
l
为有标签数据余弦相似度得分的均值，σ
l
为有标签数据余弦相似度得分的标准差，s为超参数。
[0036]
在上述技术方案中，软标签生成层为一个全连接层，将有标签数据输入第三模型进行微调训练；所述微调训练为在训练中不改变训练好的第一模型的参数值，优化全连接层参数，直至第三模型收敛。
[0037]
在上述技术方案中，设定条件为置信度得分大于等于置信度阈值；置信度得分为当一个电磁信号数据输入第三模型时，第三模型输出该数据对应的各个类别的概率的最大值；将有标签数据的置信度得分均值设定为置信度阈值。
[0038]
在一种实施方式中，蒸馏损失ls计算如下：
[0039]
ls＝mean(l
mse
)
[0040][0041]
式中：
[0042]
为计算p
pre
(y|xi)与p
soft
(y|xi)的均方误差损失，p
pre
(y|xi)为第二模型基于类别标签y对输入数据xi得到的预测结果，p
soft
(y|xi)为第三模型基于类别标签y对输入数据xi得到的预测结果；mean为对所有数据的均方误差损失计算均值。
[0043]
在一种实施方式中，半监督学习损失lm的计算步骤包括：
[0044]
对每个无标签数据，进行k次数据增强处理，一次数据增强处理包括复数域随机翻转与复数域随机旋转处理，得到k组数据增强后的数据；
[0045]
对每个无标签数据，将其对应的k组数据增强后的数据依次输入第二模型，输出k
组预测结果对应的概率pk，从而获得每个无标签数据对应的一致性概率分布
[0046][0047]
将概率分布以幂函数的方式归一化，得到预测结果将该预测结果对应的电磁信号的种类作为伪标签：
[0048][0049]
式中：n为电磁信号类别总数，t为超参数，是幂函数归一化的温度值；
[0050]
将有标签数据和具有伪标签的无标签数据进行拼接重排形成混合数据w，之后将w从前向后取与相同长度的数据并与进行混合操作，得到的数据作为新的有标签数据l
′
，再将w的剩余数据与带有伪标签的数据进行混合操作，得到新的伪标签数据u
′
；
[0051]
利用得到的有标签数据l
′
和伪标签数据u
′
分别计算有监督损失l
x
和无监督损失lu，对二者加权求和得到最终的半监督学习损失误差lm：
[0052]
lm＝l
x
+λulu[0053]
式中：λu为warmup线性自增值。
[0054]
在上述技术方案中，混合操作的一种实施方式为：将一对带有标签或伪标签的数据(x1，p1)和(x2，p2)，通过下述方式混合得到增强样本(x
′
，p
′
)，其中：
[0055]
x
′
＝λ
′
x1+(1-λ
′
)x2[0056]
p
′
＝λ
′
p1+(1-λ
′
)p2[0057]
式中：
[0058]
x1、x2为电磁信号样本，p1、p2为标签或伪标签，λ
′
是通过超参数α生成的符合beta分布的随机参数，生成方法如下：
[0059]
λ～beta(α，α)
[0060]
λ
′
＝max(λ，1-λ)
附图说明
[0061]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0062]
图1为在一种实施方式中利用开集半监督学习技术进行电磁信号个体识别方法的流程示意图；
[0063]
图2为一种实施方式中的simclr自监督学习流程图；
[0064]
图3为一种实施方式中半监督学习数据增强与伪标签预测部分算法流程图；
[0065]
图4为一种实施方式中半监督学习随机混合与损失函数计算部分算法流程图；
[0066]
图5为一种实施方式中的流程总体框图；
[0067]
图6为一种实施方式中训练后的模型测试准确率曲线图和一般算法训练后模型的测试准确率曲线图；
[0068]
图7为一种实施方式中训练后模型与同领域对比方法训练后模型的测试准确率曲线图。
具体实施方式
[0069]
术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。
[0070]
流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
[0071]
目前基于少量标注数据与大量无标注数据训练分类模型的半监督学习技术已经取得巨大进展，现代半监督学习方法通常都假设都标记和未标记的数据具有相同的类别分布，然而现实中，未标注数据通常展现为开集范式，即数据集中可能包含目标分类外的未知样本，当类外样本夹杂在无标签数据中一同用于训练分类模型时，由于现有半监督学习技术不具备面对开集无标签数据下的稳健学习能力，因此模型的识别精度会被该类数据严重影响。本发明方法有效的缓解了半监督学习方法在遭遇类外样本时导致的识别准确率下降问题，在开集场景下令模型能够稳健学习，提升了半监督学习在现实场景下的鲁棒性与可靠性。
[0072]
为解决上述技术问题，在一种实施方式中，采用一种利用开集半监督学习技术进行电磁信号个体识别方法的技术方案。结合图1所示，方法包括下述步骤：
[0073]
s100、获取电磁信号样本为第一训练数据集，第一训练数据集为开集，由有标签数据和无标签数据构成，无标签数据由目标分类内的无标签数据和目标分类外的无标签数据构成。
[0074]
在一种实施方式中，利用电磁频谱检测设备获取11类无人机射频信号数据，数据由少量有标签数据、大量无标签数据(包括目标分类外的无标签数据)、少量有标签测试数据构成。“少量”和“大量”并非对数量的限定，两者彼此是个相对概念，具体数量的多少并不会对本发明提出的方法产生影响。
[0075]
电磁频谱采集设备的采样率为200khz(千赫兹)，采集环境信噪比范围为0～20db(分贝)，载波频率为1090mhz，采集到的射频信号表现方式为iq信号，数据总量为44900组，iq信号数据格式为2
×
128(i路/q路各128个采样点)。
[0076]
将六类信号作为识别目标，总量为24900组；五类信号作为ood(目标分类外的无标签数据)数据，总量为20000组。在六类识别目标中：无标签数据24000组；有标签数据一共900组，其中的300组作为训练数据，剩余600组作为测试数据。所有目标分类外的无标签数据都作为训练数据，无标签训练数据数量共计44000组(识别目标中的无标签数据有24000组，目标分类外的无标签数据有20000组)。
[0077]
s102、利用第一训练数据集，采用simclr自监督学习算法对第一模型进行训练。
[0078]
在一种实施方式中：第一模型的构建方式如下：先构建常见的神经网络分类模型，修改分类模型中的卷积核、步长等参数使其适配于电磁信号数据，将该分类模型进行模型
裁剪，去除该模型用于分类的全连接层(dense)，保留输入层和特征提取层作为自监督学习中的编码器(encoder)，在特征提取层之后加入用于辅助模型收敛的非线性映射端。
[0079]
以编码器示例性具体结构讲述其处理过程：输入层对训练数据维度进行扩增至1
×2×
128。特征提取层将维度扩增后的数据经卷积层进行升维后下采样至16
×1×
128，卷积层中卷积核对应的大小为2
×
15，经过批标准化层(batchnormalization)与线性整流函数激活层(relu activation)后，再经过池化大小为1
×
2、步长为1
×
2的最大值池化层(maxpooling)下采样至16
×1×
64，然后将数据送入四个参数相同的残差模块。残差块层数分别是[3，4，6，3]。通过所有残差模块的数据结构分别将升维并下采样至32
×1×
32，64
×1×
16，128
×1×
8，256
×1×
4，所述残差模块按顺序包含以下内容：(1)卷积层，卷积核大小1
×
1；(2)批标准化层；(3)卷积层，卷积核大小1
×
3；(3)批标准化层；(4)卷积层，卷积核大小1
×
1；(5)批标准化层、(6)下采样层(与该残差模块的输入下采样并求和)；(7)relu激活层。数据在通过四层残差模块后，经过二维全局平均池化层(globalaveragepooling2d)降维至一维长度为256的特征向量。
[0080]
以映射端示例性具体结构讲述其处理过程：映射端由非线性全连接网络构成，包括两层密集连接层，输入输出通道为256
×
256，在两层之间为relu激活层，用以为映射端提供非线性特征。将特征提取器输出的长度为256的特征向量输入该映射端便得到最终用于自监督学习算法计算损失的数据表示(representation)
[0081]
编码器及映射端训练算法为自监督学习simclr算法，该算法借鉴对比学习的思想，旨在鼓励模型学习如何区分数据的相似与不相似，算法整体流程由4步组成。下面结合图2进行详述。
[0082]
s102.1、对第一训练数据集中的每个数据进行数据增强处理，一次数据增强处理包括复数域随机翻转与复数域随机旋转处理，从而得到两组数据增强数据xi和x
n+i
。
[0083]
上述步骤s102.1利用随机数据增强的方式为原始数据添加扰动，数据增强方法为本发明针对电磁信号特征设计的复数域随机翻转与复数域随机旋转两种方式。
[0084]
复数域随机翻转为将电磁信号的样本点映射到复数空间后再进行翻转操作，对于给定的电磁信号数据(i，q)，本发明中定义将i路数据取反的操作为水平翻转操作，q路数据取反为垂直翻转，随机是指随机选取水平翻转和垂直翻转操作。下述示例为进行水平翻转后得到扩增信号样本(i
′
，q
′
)：
[0085][0086]
复数域随机旋转是需要先将iq数据映射到复数域，再基于复数域样本点的分布态势，将其按照以原点为中心的顺/逆时针旋转，达到对电磁iq数据复数域旋转增强的效果。在复数域通过围绕原点对电磁信号样本(i，q)进行旋转操作，便可以得到扩增信号样本(i
′
，q
′
)如下：
[0087][0088]
上式中，θ为旋转的角度，在一种实施方式中，电磁信号增强的旋转角度被设置为
{0，π/2，π，3π/2}的随机选取。
[0089]
将步骤101中采集的所有数据，除去测试用例，对所有训练数据(有标签数据指输入模型的数据部分)做两组数据增强，从而一个训练数据可以得到两组扰动后样本xi和x
n+i
。
[0090]
s102.2、对第一训练数据集中的每个数据，将数据增强处理后的两组数据xi和x
n+i
输入第一模型，获得两组非线性特征zi和z
n+i
，计算这两组非线性特征的余弦相似度sim(zi，z
n+i
)、sim(z
n+i
，zi)。
[0091]
对上面编码器的示例性结构，将数据增强后的扰动样本xi和x
n+i
输入编码器，会得到两组长度为256的特征向量hi和h
n+i
，将特征向量hi和h
n+i
输入非线性映射端，能够在特征映射过程中引入非线性，得到两组长度为256的非线性特征zi和z
n+i
。
[0092]
利用特征表示zi和z
n+i
计算扰动样本之间的余弦相似度sim(zi，z
n+i
)、sim(z
n+i
，zi)，将它们作为扰动样本之间的相似度量：
[0093][0094]
接下来需要将该种度量转化为用于收敛网络的损失函数，该自监督算法模型使用归一化温度标度交叉熵损失(normalized temperature-scaled cross-entropy loss，nt-xent loss)这一对比学习损失函数：
[0095][0096][0097]
式中：τ为温度超参数，它能够控制输入并扩展余弦相似度，该参数示例性的可设置为0.5。n为第一训练数据集中的数据总数。
[0098]
计算每个batch里所有训练数据的数据增强样本对的平均损失作为模型反向传播的最终损失误差：
[0099][0100]
利用最终损失误差l训练第一模型至收敛，保存编码器与映射端的网络参数供下面步骤使用。
[0101]
s103、使用训练后的第一模型筛除目标分类外的无标签数据，将目标分类内的无标签数据和有标签数据作为第二训练数据集。
[0102]
以上面采集的电磁信号数据示例为例。将经过自监督预训练后的第一模型作为特征提取器，将300组有标签数据输入特征提取器得到相应的特征向量，利用属于同一类别的特征向量，求得各类别的原型表示(prototypical representations)vc：
[0103][0104]
式中：n表示识别目标的类别个数，nc表示属于第c种类别的电磁信号的数据个数，c为类别标识，zk为第k个属于第c种类别的电磁信号对应的特征向量。
[0105]
再将所有无标签数据输入特征提取器得到相应的特征向量zu，然后利用各类别的原型表示，计算所有无标签数据的特征向量zu与各目标类别的余弦相似度sim(zu，vc)，作为无标签数据对于目标类别的置信度得分：
[0106][0107]
将余弦相似度中置信度最高的分类作为无标注数据的预测分类，同时也得到了无标签数据的相似度最大值得分，通过对各分类的相似度得分设定阈值将无标签数据集划分为目标分类内的无标签数据和目标分类外的无标签数据，其中阈值的设定方式为3-sigma原则，将阈值设置为：
[0108]
t＝μ
l-s
×
σ
l
[0109]
其中：μ
l
为有标签数据余弦相似度得分的均值，σ
l
为有标签数据余弦相似度得分的标准差，s为超参数，s示例性的取值为1。
[0110]
将高于等于阈值t的无标签数据确定为目标分类内的无标签数据，否则为目标分类外的无标签数据。
[0111]
s104、冻结训练好的第一模型权重，为第一模型增加软标签生成层构成第三模型，将有标签数据输入第三模型进行微调训练。
[0112]
软件签生成层的一种实施方式是一个全连接层。实施时，首先为第一模型初始化一个全连接层构成第三模型，用来生成软标签(soft label)，然后利用有标签数据对第三模型进行微调训练。
[0113]
在微调过程中，冻结从第一模型中继承来的所有权重，只训练全连接层，自此便得到一个完整的具有泛化性的大型分类网络第三模型。
[0114]
s105、利用训练好的第三模型获取第一训练数据集中每个数据的软标签，将获得软标签的有标签数据、目标分类内的无标签数据、以及满足设定条件的目标分类外的无标签数据作为第三训练数据集。
[0115]
利用第三模型为所训练数据计算软标签，用以帮助第二模型通过模型蒸馏学习第三模型对于数据特征的提取能力和泛化性。计算方式为，将第三模型输出的六类置信度数据经过归一化指数函数(softmax)计算，得到六类预测的概率分布。
[0116]
上述方式得到的软标签分为两类，一类为有标签数据的软标签，另一类为无标签数据的软标签。但是这些软标签并不会都用来计算损失，步骤103中无标签数据被分为目标分类内的无标签数据和目标分类外的无标签数据两个部分。在后面计算蒸馏损失时，将使用全部的有标签数据、全部的目标分类内的无标签数据的软标签以及部分的目标分类外的无标签数据。部分的目标分类外的无标签数据是根据置信度得分来选择确定，其中置信度得分定义为当一个电磁信号数据x输入模型时，模型输出该数据对应的各个类别的概率的
最大值：
[0117]
c(x)＝max(p(i|x))。
[0118]
式中：c(x)为电磁信号数据x对应的置信度得分，p(y|x)为电磁信号数据x对应类别标签为y的概率。针对上述示例，目标类别为6种，这里的y的类别标签有6种，选择其中的概率最大值作为电磁信号数据x对应的置信度得分。
[0119]
考虑到数据特征的差异性与神经网络的不可解释性，考虑到基于认为经验的启发式设定在算法迁移性上略有不足，将有标签数据的置信度得分均值作置信度阈值τ
t
。置信度得分大于等于置信度阈值的目标分类外的无标签数据为筛选出的用于蒸馏学习的数据，其软标签用于计算蒸馏损失，即：
[0120][0121]
s106、利用第三训练数据集，使第二模型通过模型蒸馏学习获得第三模型的特征表达，得到蒸馏损失ls，利用第二训练数据集对第二模型进行半监督学习，得到半监督学习损失lm。
[0122]
用于电磁信号分类的第二模型由输入层、特征提取层、全连接层组成，所述输入层对训练样本数据维度进行扩增，增加通道数维度至1
×2×
128。所述特征提取层中，首先维度扩增后的数据经过卷积层进行升维并下采样至32
×1×
128，所述卷积核大小为2
×
15，经过批标准化层(batchnormalization)与线性整流函数激活层(relu activation)后，再经过池化大小为1
×
2、步长为1
×
2的最大值池化层(maxpooling)下采样至32
×1×
64；数据再经由卷积核为1
×
3的卷积层升维并下采样至64
×1×
64，再同样经过批标准化层与relu激活层后，通过池化大小为1
×
2、步长为1
×
2的最大值池化层将数据下采样至64
×1×
32；然后将数据送入四个参数相同的残差模块，通过所有残差模块的数据结构维持不表，所述的残差模块按顺序包含以下内容：(1)输入数据(1)卷积层，卷积核大小1
×
3、(2)批标准化层、(3)relu激活层、(4)卷积层，卷积核大小1
×
3、(5)批标准化层、(6)矩阵求和层(与残差模块的输入求和)、(7)relu激活层。数据在通过四层残差模块后，经过卷积核大小为1
×
3的卷积层下采样至64
×1×
30，经过二维全局平均池化层(globalaveragepooling2d)降维至一维长度为64的特征数据，最后通过密集连接层(dense)上采样至长度为128的数据，经由relu激活函数计算得到长度为128的特征向量。所述全连接层为一层全连接网络(fully connected layer)，经过全连接层后特征被降维至长度为6的预测值，将该预测值送入归一化指数函数(softmax)函数即可得到网络最终的预测概率。
[0123]
s106.1蒸馏损失ls的计算。
[0124]
将有标签数据、分布内无标签数据、筛选通过的目标分类外的数据的软标签记录下来，再将上述数据送入作为小型分类网络的第二模型，得到各目标类别预测概率，利用各目标类别预测概率与软标签计算均方误差损失：
[0125][0126]
式中：p
pre
(y|xi)为第二模型基于类别标签y对输入数据xi得到的预测结果，p
soft
(y|xi)为第三模型基于类别标签y对输入数据xi得到的预测结果。
[0127]
对所有样本的均方误差损失计算均值得到最后的蒸馏损失ls＝mean(l
mse
)。
[0128]
s106.2、半监督学习损失lm的计算。
[0129]
示例性地，通过mixmatch算法计算半监督学习损失误差。mixmatch算法可用算法pi-model、fixmatch等代替。
[0130]
在半监督学习算法中，主要分为四个部分：无标签数据增强、伪标签结果预测、数据混合增强(mixup)、半监督损失函数计算。
[0131]
s106.2.1、无标签数据增强。
[0132]
对每个无标签数据，进行k次数据增强处理，一次数据增强处理包括复数域随机翻转与复数域随机旋转处理，得到k组数据增强后的数据{x1，...，xk}。
[0133]
s106.2.2、伪标签结果预测。
[0134]
结合图3所示。对每个无标签数据，将其对应的k组数据增强后的数据{x1，...，xk}输入第二模型，输出k组预测结果对应的概率pk，通过均值化操作，获得每个无标签数据对应的一致性概率分布
[0135][0136]
通过锐化操作，将概率分布以幂函数的方式归一化，得到预测结果将该预测结果对应的电磁信号的种类作为伪标签：
[0137][0138]
式中：n为电磁信号类别总数，t为超参数，是锐化函数的温度值，锐化后的概率分布会更加接近深度学习中期望的狄拉克分布(dirac，或常说的“one-hot”分布)。
[0139]
s106.2.3、数据混合增强(mixup)。
[0140]
将有标签数据和具有伪标签的无标签数据进行拼接重排(比如把两个集合连接到一起然后打乱)形成混合数据w，之后将w从前向后取与相同长度的数据并与进行混合操作，得到的数据作为新的有标签数据l
′
，再将w的剩余数据与带有伪标签的数据进行混合操作，得到新的伪标签数据u
′
。
[0141]
混合操作实现如下：
[0142]
将一对带有标签或伪标签的数据(x1，p1)和(x2,p2)，通过下述方式混合得到增强样本(x
′
，p
′
)，其中：
[0143]
x
′
＝λ
′
x1+(1-λ
′
)x2[0144]
p
′
＝λ
′
p1+(1-λ
′
)p2[0145]
式中：
[0146]
x1、x2为电磁信号样本，p1、p2为标签或伪标签，λ
′
是通过超参数α生成的符合beta分布的随机参数，α的示例设置值为0.75，生成方法如下：
[0147]
λ～beta(α，α)
[0148]
λ
′
＝max(λ，1-λ)。
[0149]
s106.2.4、半监督损失函数计算。
[0150]
结合图4所示。利用得到的有标签数据l
′
和伪标签数据u
′
分别计算有监督损失和半监督损失，对二者加权求和得到最终的半监督学习损失误差。
[0151]
具体地，使用有标签数据的标准交叉熵损失作为有监督损失项：
[0152][0153]
其中，|l
′
|为数据l
′
中的样本数量，l为l
′
中的数据，p为l的标签，p(y|z)为第二模型对数据l预测为目标种类y的概率，h(p，p(y|l))为p(y|l)与p的交叉熵。
[0154]
使用一致性正则化项作为无监督损失项，它保障模型对于同一原始数据的不同扰动版本输出一致。
[0155][0156]
上式中|u
′
|为数据u
′
中的样本数量，q为数据u
′
中u的伪标签，p(y|u)第二模型对数据u预测为目标种类i的概率。
[0157]
使用mse作为无监督项的损失函数，利用其有界且对不正确的预测结果不敏感，以利于对无标签数据的半监督学习以及预测不确定性的度量。
[0158]
将有监督项目损失和无监督项损失加权求和得到最终的半监督学习损失误差lm：
[0159]
lm＝l
l
+λulu[0160]
式中：λu为自定参数，示例性地使用warmup线性自增值，即在十轮训练中从0至1呈线性增长。
[0161]
s107、将蒸馏损失ls和半监督学习损失lm加权求和作为损失误差loss对第二模型进行训练，训练好的第二模型能够用于电磁信号个体识别；其中：
[0162]
loss＝lm+λsls[0163]
式中：λs为warmup线性自增值，示例性地使用warmup线性自增值，即在十轮训练中从0至1呈线性增长。
[0164]
上述实施方法整体框图参见图5所示。
[0165]
在得到训练好的第二模型后，可将上面采集到的测试数据输入，以测试其对目标分类外数据的抗干扰性能。将得到的预测结果与标签对比，统计正确概率，和直接使用半监督学习网络进行性能对比。
[0166]
具体结果如图6所示，“mixmatch无ood数据”表示在无标签数据不存在ood样本的情况下，通过半监督学习的算法流程在测试集上得到的准确率，在模型收敛之后，准确率在80％附近；“mixmatch有ood数据”表示在存在ood无标签数据的情况下，通过半监督学习的算法流程训练模型后分类模型在测试集上得到的准确率，在分类模型收敛之后，识别准确率下降大约10％，最高识别率为71％。由此可以看出，存在ood数据时，模型识别性能显著下降，这也证明了常规的半监督学习方法存在现实场景下抗干扰能力差、无法稳健学习的问题。“本发明有ood数据”表示在存在ood无标签数据的情况下，通过本发明方法训练后得到的模型在测试集上得到的准确率，在分类模型收敛之后，识别准确率回升大约10％，最高识别率为80％。同时，模型的收敛速度也快于传统半监督算法，且模型收敛曲线更为光滑。
[0167]
与同领域方法的对比实验结果如图7所示，此图表示本发明与ds3l、uasd两种算法在相同条件下的对比试验结果，实验中三种方法皆在无标签数据中存在o0d样本的情况下进行。其中，“ds3l有ood数据”表示使用ds3l算法流程在测试集上得到的准确率，在分类模型收敛后能够达到最高77％的准确率，但是该算法在模型收敛后识别率曲线仍旧存在较大的震荡现象；“uasd有o0d数据”表示使用uasd算法训练模型后在测试集上得到的识别准确率，在分类模型收敛后能够实现最高74％的识别准确率，从收敛后曲线能够看出，该算法同样存在一定的震荡现象；“本发明有ood数据”表示通过本发明方法训练后得到的模型在测试集上得到的准确率，在分类模型收敛之后，识别准确率最高为80％，同时收敛后曲线平滑，不存在震荡现象。与同领域方法的对比中可以看出，在识别准确率上，本发明技术方案中获得的对电磁信号的识别模型具备更好的识别性能；在鲁棒性上，本发明训练出的模型具备更为稳定平滑的收敛曲线，由此得出本发明相较同领域技术同时在性能与鲁棒性上有更好的表现。
[0168]
从结果上看，本发明方法在开集半监督学习场景下，大幅减少了ood数据对模型准确率带来的负面影响，为半监督学习方法提供了更强的抗干扰性能，使模型能够稳健的挖掘并学习数据的特征，进而通过该种稳健的半监督学习技术实现了高鲁棒和高可靠的电磁信号识别。
[0169]
综上，本发明在获得对电磁信号识别的模型过程中，充分利用预训练的特征提取优势，将未知干扰的无标签数据进行筛选，保留下筛选后的目标分类内的无标签数据用于半监督学习，降低了模型训练过程中由于学习到错误的目标分类外数据带来的负面影响。同时，利用simclr自监督算法使用规模更大的网络以学习到更多的特征之间潜在的联系，而为了减少分类过程总潜在的过拟合问题，利用模型蒸馏的方式取代传统的模型微调，在降低分类识别模型的规模的同时，仍旧能够充分学习大规模分类模型的泛化性能，并且将模型蒸馏算法思想与开放集半监督学习结合，基于分布外无标签数据的特点，有选择性地使用对模型可能存在正向增益的目标分类外的无标签数据进行蒸馏学习，在减少目标分类外的数据带来性能负面影响的基础上，进一步增强了模型的泛化性和稳定性。
[0170]
需注意得是，上述实施中残差模块可以替换为其它网络模型，比如密集连接网络、cnn等。
[0171]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本公开可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用cpu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本公开而言更多情况下，软件程序实现是更佳的实施方式。
[0172]
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

技术特征：
1.一种利用开集半监督学习技术进行电磁信号个体识别方法，其特征在于，所述方法包括下述步骤：获取电磁信号样本为第一训练数据集，第一训练数据集为开集，由有标签数据和无标签数据构成，无标签数据由目标分类内的无标签数据和目标分类外的无标签数据构成；利用第一训练数据集，采用simclr自监督学习算法对第一模型进行训练；使用训练后的第一模型筛除目标分类外的无标签数据，将目标分类内的无标签数据和有标签数据作为第二训练数据集；冻结训练好的第一模型权重，为第一模型增加软标签生成层构成第三模型，将有标签数据输入第三模型进行微调训练；利用训练好的第三模型获取第一训练数据集中每个数据的软标签，将获得软标签的有标签数据、目标分类内的无标签数据、以及满足设定条件的目标分类外的无标签数据作为第三训练数据集；利用第三训练数据集，使第二模型通过模型蒸馏学习获得第三模型的特征表达，得到蒸馏损失l
s
，利用第二训练数据集对第二模型进行半监督学习，得到半监督学习损失l
m
；将蒸馏损失l
s
和半监督学习损失l
m
加权求和作为损失误差loss对第二模型进行训练，训练好的第二模型能够用于电磁信号个体识别；其中：loss＝l
m
+λ
s
l
s
式中：λ
s
为warmup线性自增值。2.根据权利要求1所述的方法，其特征在于：第一模型包括编码器和映射端，映射端用于辅助编码器训练收敛；编码器由输入层与特征提取层构成，映射端由非线性全连接网络构成；特征提取层输出的特征向量输入映射端，以得到用于自监督学习算法计算损失的数据表示。3.根据权利要求1所述的方法，其特征在于，利用第一训练数据集，采用simclr自监督学习算法对第一模型进行训练，包括下述步骤：对第一训练数据集中的每个数据进行数据增强处理，一次数据增强处理包括复数域随机翻转与复数域随机旋转处理，从而得到两组数据增强数据x
i
和x
n+i
；对第一训练数据集中的每个数据，将数据增强处理后的两组数据x
i
和x
n+i
输入第一模型，获得两组非线性特征z
i
和z
n+i
，计算这两组非线性特征的余弦相似度sim(z
i
，z
n+i
)、sim(z
n+i
，z
i
)；基于余弦相似度sim(z
i
，z
n+i
)、sim(z
n+i
，z
i
)，计算学习损失l
i，n+i
和l
n+i，i
，进而计算平均损失作为第一模型反向传播的最终损失误差l：损失作为第一模型反向传播的最终损失误差l：
式中：τ为温度超参数，n为第一训练数据集中的数据总数。4.根据权利要求1所述的方法，其特征在于，使用训练后的第一模型筛除目标分类外的无标签数据，实现步骤包括：将有标签数据输入训练后的第一模型得到特征向量；利用属于同一类别的特征向量，求得各类别的原型表示(prototypical representations)v
c
：式中：n表示识别目标的类别个数，n
c
表示属于第c种类别的电磁信号的数据个数，c为类别标识，z
k
为第k个属于第c种类别的电磁信号对应的特征向量；将每个无标签数据输入训练后的第一模型得到相应的特征向量z
u
，计算其与各类别的余弦相似度：基于余弦相似度，将无标签数据集划分为目标分类内的无标签数据和目标分类外的无标签数据。5.根据权利要求4所述的方法，其特征在于，将无标签数据集划分为目标分类内的无标签数据和目标分类外的无标签数据，划分依据为：将高于等于阈值t的无标签数据确定为目标分类内的无标签数据，否则为目标分类外的无标签数据，阈值t设置为：t＝μ
l-s
×
σ
l
其中：μ
l
为有标签数据余弦相似度得分的均值，σ
l
为有标签数据余弦相似度得分的标准差，s为超参数。6.根据权利要求1所述的方法，其特征在于：软标签生成层为一个全连接层，将有标签数据输入第三模型进行微调训练；所述微调训练为在训练中不改变训练好的第一模型的参数值，优化全连接层参数，直至第三模型收敛。7.根据权利要求1所述的方法，其特征在于：设定条件为置信度得分大于等于置信度阈值；置信度得分为当一个电磁信号数据输入模型时，模型输出该数据对应的各个类别的概率的最大值；将有标签数据的置信度得分均值设定为置信度阈值。8.根据权利要求1所述的方法，其特征在于，蒸馏损失l
s
计算如下：l
s
＝mean(l
mse
)
式中：为计算p
pre
(i|x
i
)与p
soft
(i|x
i
)的均方误差损失，p
pre
(y|x
i
)为第二模型基于类别标签y对输入数据x
i
得到的预测结果，p
soft
(i|x
i
)为第三模型基于类别标签y对输入数据x
i
得到的预测结果；mean为对所有数据的均方误差损失计算均值。9.根据权利要求1所述的方法，其特征在于，半监督学习损失l
m
的计算步骤包括：对每个无标签数据，进行k次数据增强处理，一次数据增强处理包括复数域随机翻转与复数域随机旋转处理，得到k组数据增强后的数据；对每个无标签数据，将其对应的k组数据增强后的数据依次输入第二模型，输出k组预测结果对应的概率p
k
，从而获得每个无标签数据对应的一致性概率分布，从而获得每个无标签数据对应的一致性概率分布将概率分布以幂函数的方式归一化，得到预测结果将该预测结果对应的电磁信号的种类作为伪标签：式中：n为电磁信号类别总数，t为超参数，是幂函数归一化的温度值；将有标签数据和具有伪标签的无标签数据进行拼接重排形成混合数据w，之后将w从前向后取与相同长度的数据并与进行混合操作，得到的数据作为新的有标签数据l
′
，再将w的剩余数据与带有伪标签的数据进行混合操作，得到新的伪标签数据u
′
；利用得到的有标签数据l
′
和伪标签数据u
′
分别计算有监督损失l
x
和无监督损失l
u
，对二者加权求和得到最终的半监督学习损失误差l
m
：l
m
＝l
x
+λ
u
l
u
式中：λ
u
为warmup线性自增值。10.根据权利要求9所述的方法，其特征在于，混合操作实现如下：将一对带有标签或伪标签的数据(x1，p1)和(x2，p2)，通过下述方式混合得到增强样本(x
′
，p
′
)，其中：x
′
＝λ
′
x1+(1-λ
′
)x2p
′
＝λ
′
p1+(1-λ
′
)p2式中：x1、x2为电磁信号样本，p1、p2为标签或伪标签，λ
′
是通过超参数α生成的符合beta分布的随机参数，生成方法如下：λ～beta(α，α)λ
′
＝max(λ，1-λ)。

技术总结
本发明涉及利用开集半监督学习技术进行电磁信号个体识别的方法，属于电磁信号识别处理领域。本发明技术方案通过自监督预训练方式训练作为第一模型的大型分类网络，让其更加充分的学习无标签数据的内在关系并提升网络特征提取能力；将更接近识别样本特性的小规模分类网络模型作为第二模型，并在半监督学习时，利用预训练模型的特征提取能力筛除目标分类外的无标签数据，减少分布外无标签数据的负面影响，同时采用模型蒸馏的方式，使小规模分类网络模型学习到大型网络模型对于数据特征的泛化性和鲁棒性。通过上述三个方面，降低在现实情况下由目标分类外的数据对半监督学习网络识别准确率造成的影响，实现对电磁信号的稳健识别。健识别。健识别。


技术研发人员：齐佩汉 王天洋 姜涛 李赞
受保护的技术使用者：西安电子科技大学
技术研发日：2023.03.16
技术公布日：2023/9/23