一种船舶遥感图像的细粒度小样本分类方法及系统与流程

1.一种船舶遥感图像的细粒度小样本分类方法及系统，用于船舶图像的分类，属于目标识别技术领域。


背景技术：

2.随着全球经济一体化，测量和监测人类在海上的活动如海上运输、商业贸易、港口建设、海上安全和反非法运动等，变得越来越重要。通过遥感图像对船舶进行分类是海洋监测的基本技术之一，在民用和军事上都有广泛的应用。
3.近年来，基于深度学习的细粒度图像分类在一定程度上取得了巨大的成功，但是涉及到的学习模型需要大量的标注数据和复杂的迭代去训练大量的特征参数；然而获取船舶图像的成本往往很高，而且对于某些类型的舰船，由于其特殊性，图像数量比较稀少，使得获得大量的标注数据是非常不易的。目前更倾向于使用小样本学习对新的图像类别进行分类，使用少量的标注样本就能对新的图像类别进行分类，小样本学习研究方法主要分为三类：基于数据增强的小样本学习、基于优化的小样本学习和基于度量的小样本学习。
4.基于数据增强的方法主要通过挖掘图像中物体潜在属性或语义信息来合成特征，或者直接通过图像生成技术扩充小样本数据集，缓解小样本学习因数据不足产生的过拟合问题，但是这类方法思想比较直接，很难避免在增强数据中引入过多的噪声，过多的噪声对模型的训练会造成干扰。基于优化的方法的核心是让模型学会微调，该类方法主要分为两条路线:一是通过辅助数据先学习一个好的模型初始化，在这个初始化的基础上模型可以通过少量的梯度更新适应新的小样本任务；二是学习一个好的优化器，将现有的替换为学到的新的优化器，使模型能更好地适应新的小样本任务。总体而言，基于优化的方法存在一定的域偏移现象，并且也没有很好地针对细粒度图像分类的场景来进行网络设计。基于度量的方法的核心是通过特征提取器来学习特征，然后通过度量分类模块度量查询图像特征与支持图像特征的距离，将距离最近的样本类别作为其识别结果，大多采用episode训练方法，使用辅助集训练网络，在新类集上进行测试，优势是在执行新任务时，模型能够保持原先的参数不变而直接使用，更加的方便快捷；基于度量的方法已经成为解决小样本细粒度分类问题的一种更有前途的方法。
5.然而，基于度量的小样本图像分类方法用于船舶分类仍然存在很大挑战，存在如下技术问题：
6.1.获取大量的船舶图像的成本高，从而不易获得大量的标注数据，且采用具有大量参数的深度神经网络模型很容易过拟合，从而易造成分类精度差；
7.2.船舶图像包含比较复杂的背景，例如港口、海杂波等，以及图像中有多条不同的船舶同时存在，对目标船舶区域的提取造成了严重的干扰；
8.3.不同船舶之间的类内多样性和类间相似性也使船舶分类较为困难。


技术实现要素：

9.本发明的目的在于提供一种船舶遥感图像的细粒度小样本分类方法及系统，解决现有技术获取大量的船舶图像的成本高，从而不易获得大量的标注数据，且采用具有大量参数的深度神经网络模型很容易过拟合，从而易造成分类精度差。
10.为了实现上述目的，本发明采用的技术方案为：
11.一种船舶遥感图像的细粒度小样本分类方法，包括如下步骤：
12.s1、获取船舶图像构成船舶数据集；
13.s2、对船舶数据集中的各船舶图像进行预处理；
14.s3、构建船舶目标细粒度小样本的特征提取模块和度量分类模块，并基于预处理得到的船舶数据集对特征提取模块和度量分类模块进行训练；
15.s4、基于训练后的特征提取模块和度量分类模块，对待分类船舶图像进行分类，得到目标船舶图像。
16.进一步，所述步骤2的具体步骤为：
17.步骤2.1、类别划分：
18.基于船舶图像人为筛选出类别四船舶图像互不重合的25类船舶图像作为船舶数据集，各类别船舶图像中包含支持图像样本和查询图像样本，支持图像样本为有数据标签的船舶图像，查询图像样本为无数据标签的船舶图像，数据标签是指船舶图像中各船舶标记有对应的标签；将船舶数据集划分为训练集、验证集和测试集，分别包括在类别船舶图像为15：5：5，其中，训练集包括提康德罗加级导弹巡洋舰、阿利
·
伯克级导弹驱逐舰、尼米兹航空母舰、集装箱船、黄蜂级两栖攻击舰、医疗船、独立级战舰、中途级航空母舰、自由级战舰、油船、大隅级两栖登陆舰、阿武隈级护卫舰、小鹰级航空母舰、萨克拉门托级支援舰主日向级直升机驱逐舰15类船舶图像；验证集包括惠特贝岛船坞登陆舰、沙船、豪华游艇、基德级驱逐舰、村雨级多用途驱逐舰5类船舶图像，测试集包括圣安东尼奥级船坞运输舰、起重船、朝雾级驱逐舰、库兹涅佐夫级航空母舰和出云级直升机驱逐舰5类船舶图像；
19.步骤2.2、图像预处理：
20.人为统计船舶图像中所有船舶尺寸信息并求出船舶图像中所有船舶尺寸均值，并对均值以上的船舶图像进行下采样，使得所有船舶图像的大小为84
×
84；
21.然后对所有船舶图像依次进行随机翻转和颜色抖动处理，处理后保存各船舶图像尺寸信息和船舶图像像素值信息，即得到预处理的船舶数据集。
22.进一步，所述步骤3中的特征提取模块包括依次相连接的骨干网络和轻量化自适应任务注意力模块。
23.进一步，所述骨干网络用于获得支持图像样本和查询图像样本的特征图的conv4模块或resnet12模块；
24.所述述conv4模块由四个卷积块依次相连接组成，每个卷积块由64个通道的3
×
3卷积、批归一化、relu非线性依次相连接组成，前三个卷积块的各层之间使用2
×
2最大池化层对支持图像样本和查询图像样本进行下采样，第一个卷积块输入的支持图像样本和查询图像样本的大小为84
×
84，第四个卷积块输出的特征图的大小为64
×
10
×
10；
25.所述resnet12模块由四个依次对支持图像样本和查询图像样本进行处理的阶段组成，每个阶段包含一个残差块，四个阶段的残差块的宽度分别为64、160、320和640；每个
残差块由3个3
×
3卷积层、批归一化和非饱和激活函数leaky relu依次相连接组成，负斜率系数为0.1；第一个残差块输入的支持图像样本和查询图像样本的大小为84
×
84，第四个残差块输出的特征图的大小为64
×
10
×
10。
26.进一步，所述轻量化自适应任务注意力模块通过骨干网络输出的特征图沿着通道和空间维度生成三维权重，即通过使用能量函数测量骨干网络输出的特征图中的一个目标描述符和目标描述符外的描述符之间的线性可分性，以使每个描述符能够沿着通道和空间维度得到唯一的三维权重w
t
；具体为：
27.计算各通道中目标描述符外的第j个描述符zj的均值和方差，公式为：
[0028][0029][0030]
其中，μ
t
和分别表示各通道中第t个目标描述符外的第j个描述符zj的均值和方差，m表示每个通道都有m个能量函数e
t
，m＝h
×
w，h指特征图的高度，w指特征图的宽度；
[0031]
依据单个通道中所有像素都遵循相同的分布，基于均值和方差求解得到能量函数中的权重和偏移量；
[0032][0033][0034]
其中，w
t
和b
t
分别表示特征图x∈rc×h×w的单通道中的第t个目标描述符权重和偏移量，λ表示正则化；
[0035]
将权重和偏移量代入到能量函数，得到能量值，能量值越小，目标描述符和目标描述符外的描述符的区别越明显，基于此区别，对每一个特征图，能够自适应提取出最重要的特征区域，即提取出具有代表性的特征图；
[0036]
能量函数的公式为：
[0037][0038]
其中，c表示每个描述符的通道数，y
t
、y0代表互不相等的变量，y
t
取值为1，y0取值为-1。
[0039]
进一步，所述步骤3中的度量分类模块包括依次相连接的布朗距离协方差度量模块和双原型模块，布朗距离协方差度量模块的输入为特征提取模块的输出。
[0040]
进一步，所述布朗距离协方差度量模块包括bdc模块和度量模块，具体的处理步骤为：
[0041]
将特征提取模块的输出具有代表性的特征图输入bdc模块，得到分别表征支持图像样本信息和查询图像样本信息的支持bdc矩阵和查询bdc矩阵，公式为：
[0042][0043][0044]
其中，表示支持bdc矩阵，表示查询bdc矩阵，表示支持欧几里德距离矩阵，表示查询欧几里德距离矩阵，1∈rd×d是每个元素为1的矩阵，d表示具有代表性的特征图的通道数；
[0045]
将支持bdc矩阵和查询bdc矩阵输入度量模块中，度量模块将支持bdc矩阵作为支持原型，通过计算支持原型和查询bdc矩阵之间的距离，即指支持原型和查询bdc矩阵之间的内积，并基于距离获得查询图像样本的相似性得分pq，基于相似性得分pq，通过交叉熵计算得到布朗距离协方差度量模块的l
ori
损失来更新梯度；支持原型的公式为：
[0046][0047]
其中，xi表示第i个支持图像特征，sm是ds中第m类标记的样例集合，ds表示整个支持图像样本集，k表示k个支持图像样本数；
[0048]
查询图像样本的相似性得分pq的公式为：
[0049][0050]
式中，τ是可学习比例参数，tr(
·
)表示矩阵迹，
·
为表示查询bdc矩阵，qi表示第i个查询图像特征，c表示查询图像样本或者支持图像样本的类别总数，t表示转置，表示支持原型和查询bdc矩阵之间的距离；
[0051]
l
ori
损失公式为：
[0052][0053]
其中，q表示q个查询图像样本数,cq表示具有c类的q个查询图像样本总数，即为c
×
q。
[0054]
进一步，所述双原型模块包括正向反馈阶段和逆向反馈阶段，具体的处理步骤为：
[0055]
在正向反馈阶段，通过计算支持bdc矩阵与支持原型之间的距离来获得支持图像样本的相似性得分ps，由于支持图像的标签已知，基于似性得分ps，通过交叉熵计算得到正向反馈阶段的l
pos
损失引导网络将已知信息正向反馈到原型，生成更具有代表性的原型；
[0056]
支持图像样本的相似性得分ps的公式为：
[0057][0058]
其中，表示支持bdc矩阵与支持原型之间的距离；
[0059]
l
pos
损失公式为：
[0060][0061]
其中，ck表示具有c类的k个支持图像样本总数，即为c
×
k；
[0062]
在逆向反馈阶段，将查询图像样本的相似性得分pq视为查询原型，将查询原型与支持bdc矩阵进行计算来反向预测支持图像样本基于反向预测支持图像样本通过交叉熵计算得到逆向反馈阶段的l
rev
损失迫使网络进行反向学习，获得通用特征，以加强准确原型的生成；
[0063]
查询原型和反向预测的支持图像样本的公式分别为：
[0064][0065][0066]
其中，cqm表示查询图像样本集的c类中包含类别m的查询图像样本的总数，即c
×
qm，qm表示包含类别m的查询图像样本数，表示第m类的第i个查询图像样本，表示第m类的查询原型
[0067]
l
rev
损失公式如下：
[0068][0069]
双原型模块对布朗距离协方差度量模块进行正向反馈阶段和逆向反馈阶段处理后，将三个损失函数进行线性组合来更新模型参数，以生成准确原型，然后计算准确原型和查询bdc矩阵之间的距离得到查询图像样本的相似性得分，再基于相似性得分利用softmax函数对查询图像样本进行分类；
[0070]
三个损失函数线性组合的方式为：
[0071]
l＝l
ori
+αl
pos
+βl
rev
[0072]
α和β是权衡超参数，l是总的损失函数。
[0073]
一种船舶遥感图像的细粒度小样本分类系统，包括：
[0074]
采集模块：用于获取船舶图像构成船舶数据集；
[0075]
预处理模块：用于对船舶数据集中的各船舶图像进行预处理；
[0076]
构建及训练模块：用于构建船舶目标细粒度小样本的特征提取模块和度量分类模块，并基于预处理得到的船舶数据集对特征提取模块和度量分类模块进行训练；
[0077]
分类模块：用于基于训练后的特征提取模块和度量分类模块，对待分类船舶图像进行分类，得到目标船舶图像。
[0078]
进一步，所述构建及训练模块中的特征提取模块包括依次相连接的骨干网络和轻量化自适应任务注意力模块；度量分类模块包括依次相连接的布朗距离协方差度量模块和双原型模块，布朗距离协方差度量模块的输入为特征提取模块的输出。
[0079]
与现有技术相比，本发明的优点在于：
[0080]
一、本发明采用特征提取模块和度量分类模块对船舶图像进行分类(即利用支持图像样本的已知标签来分类出查询样本的类别)，以得到目标船舶图像，其利用轻量化的自适应任务注意力(lata)模块，无需添加额外网络参数条件下，帮助模型有效的抑制复杂背景区域的影响，自适应的捕捉目标区域特征，同时利用了布朗距离协方差(bdc)度量模块，考虑了联合分布(即测量嵌入特征的联合特征函数和边际的乘积之间的差异来学习图像表征，生成的支持bdc矩阵和查询bdc矩阵采用了联合分布)，可以自然的处理图像之间非线性关系，具有较强的统计相关性建模的能力，因而实现了同类样本相关性的提高，利用双原型模块生成更准确的支持原型(准确原型)，进一步校准了船舶图像之间的信息差异，从而有效降低类内外观变化大、类间外观变化小造成的影响，以有效提升船舶图像的分类能力；即本发明通过使用骨干网来生成有代表性的特征图并使用lata模块(轻量化自适应任务注意力模块)，通过沿空间和通道方向生成三维权重，帮助模型自适应地获取感兴趣的特征区域，再由bdc度量模块(布朗距离协方差度量模块)生成支持bdc矩阵等，将支持bdc矩阵视为支持原型表征，但其通常没有足够的辨别力来表示查询的类别分布差异，因此，再通过双原型模块充分利用支持图像和查询图像的相关信息来生成更准确的原型，从而能够进一步校准船舶图像之间的信息差异，加强同类样本之间的相关性和异类样本的可分离性；
[0081]
二、本发明采用特征提取模块和度量分类模块对船舶图像进行分类实现对船舶准确、高效的分类，无论是在军事还是民用方面均具有重要应用，具有明显的经济和社会效益。
附图说明
[0082]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0083]
图1为本发明的分类流程图；
[0084]
图2为本发明度量分类模块的网络结构示意图；
[0085]
图3为本发明中轻量化自适应任务注意(lata)模块的网络结构示意图；
[0086]
图4为传统方法与本发明方法的可视化结果图，图4(a)为船舶遥感图像的原始图像，图4(b)为未添加轻量化自适应任务注意力模块的传统方法的可视化结果，图4(c)为本发明方法的可视化结果图。
[0087]
图5为t-sne可视化图，图5(a)为传统网络的分类结果示意图，图5(b)为添加轻量化自适应任务注意(lata)模块后的网络的分类结果示意图，图5(c)为轻量化自适应任务注意为(lata)模块和双原型模块后的网络的分类结果示意图，其中，antonio表示圣安东尼奥级船坞运输舰、asagin表示朝雾级驱逐舰、crane表示起重船、kuznetsow表示库兹涅佐夫级航空母舰、lzumo表示出云级直升机驱逐舰。
具体实施方式
[0088]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0089]
本发明的基本思路是，首先利用特征提取模块，即骨干网络和轻量化自适应任务注意力(lata)模块，提取出具有代表性的特征图。然后，利用度量分类模块，即bdc度量分类模块和双原型模块，获取更加准确的原型，迫使网络让同类样本的距离更近和异类样本的距离更远，从而提高模型的分类能力。
[0090]
一种船舶遥感图像的细粒度小样本分类方法，包括如下步骤：
[0091]
s1、获取船舶图像构成船舶数据集；
[0092]
s2、对船舶数据集中的各船舶图像进行预处理；
[0093]
具体步骤为：
[0094]
步骤2.1、类别划分：
[0095]
基于船舶图像人为筛选出类别四船舶图像互不重合的25类船舶图像作为船舶数据集，各类别船舶图像中包含支持图像样本和查询图像样本，支持图像样本为有数据标签的船舶图像，查询图像样本为无数据标签的船舶图像，数据标签是指船舶图像中各船舶标记有对应的标签；将船舶数据集划分为训练集、验证集和测试集，分别包括在类别船舶图像为15：5：5，其中，训练集包括提康德罗加级导弹巡洋舰、阿利
·
伯克级导弹驱逐舰、尼米兹航空母舰、集装箱船、黄蜂级两栖攻击舰、医疗船、独立级战舰、中途级航空母舰、自由级战舰、油船、大隅级两栖登陆舰、阿武隈级护卫舰、小鹰级航空母舰、萨克拉门托级支援舰主日向级直升机驱逐舰15类船舶图像；验证集包括惠特贝岛船坞登陆舰、沙船、豪华游艇、基德级驱逐舰、村雨级多用途驱逐舰5类船舶图像，测试集包括圣安东尼奥级船坞运输舰、起重船、朝雾级驱逐舰、库兹涅佐夫级航空母舰和出云级直升机驱逐舰5类船舶图像；
[0096]
此船舶数据集包括若干个小样本分类任务数据，所述小样本分类任务数据包含支持集和查询集，所述支持图像样本集包含支持图像样本，查询图像样本集包含查询图像样本。一个任务通常被表述为一个c-way-k-shot分类问题，包含c个类，每个类有k个支持图像样本和q个查询图像样本。
[0097]
步骤2.2、图像预处理：
[0098]
人为统计船舶图像中所有船舶尺寸信息并求出船舶图像中所有船舶尺寸均值，并对均值以上的船舶图像进行下采样，使得所有舰船图像的大小为84
×
84；
[0099]
然后对所有船舶图像依次进行随机翻转和颜色抖动处理，处理后保存各船舶图像尺寸信息和船舶图像像素值信息。
[0100]
s3、构建船舶目标细粒度小样本的特征提取模块和度量分类模块，并基于预处理得到的船舶数据集对特征提取模块和度量分类模块进行训练；
[0101]
特征提取模块包括依次相连接的骨干网络和轻量化自适应任务注意力模块，特征提取模块是利用骨干网络将输入图像转换为相应的特征图。利用轻量化自适应任务注意力模块沿着通道和空间维度生成三维权重，在无需添加额外网络参数条件下，有效减少复杂背景干扰，自适应的得到更具有代表性的特征图。
[0102]
所述骨干网络用于获得支持图像样本和查询图像样本的特征图的conv4模块或resnet12模块；
[0103]
所述述conv4模块由四个卷积块依次相连接组成，每个卷积块由64个通道的3
×
3卷积、批归一化、relu非线性依次相连接组成，前三个卷积块的各层之间使用2
×
2最大池化层对支持图像样本和查询图像样本进行下采样，第一个卷积块输入的支持图像样本和查询图像样本的大小为84
×
84，第四个卷积块输出的特征图的大小为64
×
10
×
10；
[0104]
所述resnet12模块由四个依次对支持图像样本和查询图像样本进行处理的阶段组成，每个阶段包含一个残差块，四个阶段的残差块的宽度分别为64、160、320和640；每个残差块由3个3
×
3卷积层、批归一化和非饱和激活函数leaky relu依次相连接组成，负斜率系数为0.1；第一个残差块输入的支持图像样本和查询图像样本的大小为84
×
84，第四个残差块输出的特征图的大小为64
×
10
×
10。
[0105]
所述轻量化自适应任务注意力模块通过骨干网络输出的特征图沿着通道和空间维度生成三维权重，即通过使用能量函数测量骨干网络输出的特征图中的一个目标描述符和目标描述符外的描述符之间的线性可分性，以使每个描述符能够沿着通道和空间维度得到唯一的三维权重w
t
；具体为：
[0106]
计算各通道中目标描述符外的第j个描述符zj的均值和方差，公式为：
[0107][0108][0109]
其中，μ
t
和分别表示各通道中第t个目标描述符外的第j个描述符zj的均值和方差，m表示每个通道都有m个能量函数e
t
，m＝h
×
w，h指特征图的高度，w指特征图的宽度；
[0110]
依据单个通道中所有像素都遵循相同的分布，基于均值和方差求解得到能量函数中的权重和偏移量；
[0111][0112][0113]
其中，w
t
和b
t
分别表示特征图x∈rc×h×w的单通道中的第t个目标描述符权重和偏移量，λ表示正则化；
[0114]
将权重和偏移量代入到能量函数，得到能量值，能量值越小，目标描述符和目标描述符外的描述符的区别越明显，基于此区别，对每一个特征图，能够自适应提取出最重要的特征区域，即提取出具有代表性的特征图；
[0115]
能量函数的公式为：
[0116][0117]
其中，c表示每个描述符的通道数，y
t
、y0代表互不相等的变量，y
t
取值为1，y0取值为-1。
[0118]
度量分类模块包括依次相连接的布朗距离协方差度量模块(bdc度量模块)和双原型模块，布朗距离协方差度量模块的输入为特征提取模块的输出。度量分类模块将获取的具有代表性特征图输入到bdc度量模块，输出bdc矩阵来表征图像信息，因为两幅图像间相
似度可被计算为对应的bdc矩阵距离(支持bdc矩阵和查询bdc矩阵)，因而实现了同类样本相关性的提高。利用双原型模块进一步校准了图像之间信息差异，加强同类样本之间的相关性和异类样本的可分离性。
[0119]
所述布朗距离协方差度量模块包括bdc模块和度量模块，具体的处理步骤为：
[0120]
将特征提取模块的输出具有代表性的特征图输入bdc模块，得到分别表征支持图像样本信息和查询图像样本信息的支持bdc矩阵和查询bdc矩阵，公式为：
[0121][0122][0123]
其中，表示支持bdc矩阵，表示查询bdc矩阵，表示支持欧几里德距离矩阵，表示查询欧几里德距离矩阵，1∈rd×d是每个元素为1的矩阵，d表示具有代表性的特征图的通道数；
[0124]
将支持bdc矩阵和查询bdc矩阵输入度量模块中，度量模块将支持bdc矩阵作为支持原型，通过计算支持原型和查询bdc矩阵之间的距离，即指支持原型和查询bdc矩阵之间的内积，并基于距离获得查询图像样本的相似性得分pq，基于相似性得分pq，通过交叉熵计算得到布朗距离协方差度量模块的l
ori
损失来更新梯度；支持原型的公式为：
[0125][0126]
其中，xi表示第i个支持图像特征，sm是ds中第m类标记的样例集合，ds表示整个支持图像样本集，k表示k个支持图像样本数；
[0127]
查询图像样本的相似性得分pq的公式为：
[0128][0129]
式中，τ是可学习比例参数，tr(
·
)表示矩阵迹，
·
为表示查询bdc矩阵，qi表示第i个查询图像特征，c表示查询图像样本或者支持图像样本的类别总数，t表示转置，表示支持原型和查询bdc矩阵之间的距离；
[0130]
l
ori
损失公式为：
[0131][0132]
其中，q表示q个查询图像样本数,cq表示具有c类的q个查询图像样本总数，即为c
×
q。
[0133]
所述双原型模块包括正向反馈阶段和逆向反馈阶段，具体的处理步骤为：
[0134]
在正向反馈阶段，通过计算支持bdc矩阵与支持原型之间的距离来获得支持图像样本的相似性得分ps，由于支持图像的标签已知，基于似性得分ps，通过交叉熵计算得到正向反馈阶段的l
pos
损失引导网络将已知信息正向反馈到原型，生成更具有代表性的原型；
way-1-shot任务进行抽样，我们随机选取了5个类别，每个类别有1个支持图像样本和16个随机选择的查询图像样本；同样，每个5-way-5-shot任务包含5个支持图像样本和16个查询图像样本。在评估过程中，我们从原测试集中统一抽样情节或任务来评估模型的性能。试验中分别建立了5-way-1-shot和5-shot设置，两者都有15个查询图像；试验结果报告了5个2000次的平均准确率，可信区间为95％。
[0154]
试验结果如表1所示，可得知：对于fgscr数据集，在同等条件下，本发明方法明显优于对比的传统分类方法。
[0155]
与使用conv4架构作为主干的方法相比，本发明的方法在1-shot和5-shot设置下获得了最先进的性能；与基线方法deepbdc相比，本发明的方法在1-shot设置下获得了4.46％的性能提升，在5-shot设置下获得了5.64％的性能提升；与目前最先进的方法fa-frn相比，本发明的方法在1-shot设置下获得了3.69％的性能提升，在5-shot设置下获得了0.91％的性能提升。
[0156]
与使用resnet12架构作为主干的方法相比，本发明的方法在1-shot和5-shot设置下都获得了最先进的性能。与deepbdc相比，本发明的方法在1-shot设置下获得了3.46％的性能提升，在5-shot设置下获得了2.11％的性能提升。与fa-frn相比，本发明的方法在1-shot设置下获得了1.7％的性能提升，在5-shot设置下获得了0.83％的性能提升。
[0157]
表1传统方法与本发明的对比表
[0158]
方法骨干网络1-shot5-shotprotonetconv440.10
±
0.3462.16
±
0.32relationnetconv442.83
±
0.1656.24
±
0.12frnconv445.47
±
0.1771.20
±
0.13matanetconv444.70
±
0.6074.50
±
0.43fa-frnconv446.76
±
0.1774.58
±
0.12deepbdcconv445.99
±
0.3669.85
±
0.32本发明conv451.37
±
0.3975.49
±
0.26protonetresnet1249.19
±
0.3871.11
±
0.28renetresnet1241.93
±
0.3962.97
±
0.30frnresnet1254.49
±
0.1776.80
±
0.13fa-frnresnet1256.91
±
0.1679.50
±
0.11deepbdcresnet1255.15
±
0.3578.22
±
0.29本发明resnet1258.61
±
0.3780.33
±
0.26
[0159]
传统方法与本发明方法的可视化结果图如图4所示，该传统方法中未添加轻量化自适应任务注意模块，图4(a)为船舶遥感图像的原始图像，图4(b)为传统方法的可视化结果，图4(c)为本发明方法的可视化结果图，可得知：本发明方法添加了轻量化自适应任务注意模块后，船舶遥感图像的判别信息的提取效果明显提升，大大提升了船舶遥感图像的分类速度和准确度。
[0160]
我们指出双模块能够迫使网络让同类样本的距离更近和异类样本的距离更远，从而提高模型的分类能力。我们用t-sne对fgscr数据集在5way-5shot任务下的特征空间进行了可视化，以验证我们的说法。
[0161]
如图5(a)所示，传统网络所形成的特征空间的判别能力很差，有些类别是混合的。如图5(b)所示，在加入lata模块后，异类之间的可分离性得到了改善，但有些同类之间仍然比较分散。如图5(c)所示，同时加入lata模块和双原型模块后，同类之间更加紧凑，大大增强了不同类别之间的可分离性，证明了我们观点的正确性。
[0162]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种船舶遥感图像的细粒度小样本分类方法，其特征在于，包括如下步骤：s1、获取船舶图像构成船舶数据集；s2、对船舶数据集中的各船舶图像进行预处理；s3、构建船舶目标细粒度小样本的特征提取模块和度量分类模块，并基于预处理得到的船舶数据集对特征提取模块和度量分类模块进行训练；s4、基于训练后的特征提取模块和度量分类模块，对待分类船舶图像进行分类，得到目标船舶图像。2.根据权利要求1所述的一种船舶遥感图像的细粒度小样本分类方法，其特征在于：所述步骤2的具体步骤为：步骤2.1、类别划分：基于船舶图像人为筛选出类别四船舶图像互不重合的25类船舶图像作为船舶数据集，各类别船舶图像中包含支持图像样本和查询图像样本，支持图像样本为有数据标签的船舶图像，查询图像样本为无数据标签的船舶图像，数据标签是指船舶图像中各船舶标记有对应的标签；将船舶数据集划分为训练集、验证集和测试集，分别包括在类别船舶图像为15：5：5，其中，训练集包括提康德罗加级导弹巡洋舰、阿利
·
伯克级导弹驱逐舰、尼米兹航空母舰、集装箱船、黄蜂级两栖攻击舰、医疗船、独立级战舰、中途级航空母舰、自由级战舰、油船、大隅级两栖登陆舰、阿武隈级护卫舰、小鹰级航空母舰、萨克拉门托级支援舰主日向级直升机驱逐舰15类船舶图像；验证集包括惠特贝岛船坞登陆舰、沙船、豪华游艇、基德级驱逐舰、村雨级多用途驱逐舰5类船舶图像，测试集包括圣安东尼奥级船坞运输舰、起重船、朝雾级驱逐舰、库兹涅佐夫级航空母舰和出云级直升机驱逐舰5类船舶图像；步骤2.2、图像预处理：人为统计船舶图像中所有船舶尺寸信息并求出船舶图像中所有船舶尺寸均值，并对均值以上的船舶图像进行下采样，使得所有船舶图像的大小为84
×
84；然后对所有船舶图像依次进行随机翻转和颜色抖动处理，处理后保存各船舶图像尺寸信息和船舶图像像素值信息，即得到预处理的船舶数据集。3.根据权利要求1所述的一种船舶遥感图像的细粒度小样本分类方法，其特征在于：所述步骤3中的特征提取模块包括依次相连接的骨干网络和轻量化自适应任务注意力模块。4.根据权利要求3所述的一种船舶遥感图像的细粒度小样本分类方法，其特征在于：所述骨干网络用于获得支持图像样本和查询图像样本的特征图的conv4模块或resnet12模块；所述述conv4模块由四个卷积块依次相连接组成，每个卷积块由64个通道的3
×
3卷积、批归一化、relu非线性依次相连接组成，前三个卷积块的各层之间使用2
×
2最大池化层对支持图像样本和查询图像样本进行下采样，第一个卷积块输入的支持图像样本和查询图像样本的大小为84
×
84，第四个卷积块输出的特征图的大小为64
×
10
×
10；所述resnet12模块由四个依次对支持图像样本和查询图像样本进行处理的阶段组成，每个阶段包含一个残差块，四个阶段的残差块的宽度分别为64、160、320和640；每个残差块由3个3
×
3卷积层、批归一化和非饱和激活函数leakyrelu依次相连接组成，负斜率系数为0.1；第一个残差块输入的支持图像样本和查询图像样本的大小为84
×
84，第四个残差块输出的特征图的大小为64
×
10
×
10。
5.根据权利要求4所述的一种船舶遥感图像的细粒度小样本分类方法，其特征在于：所述轻量化自适应任务注意力模块通过骨干网络输出的特征图沿着通道和空间维度生成三维权重，即通过使用能量函数测量骨干网络输出的特征图中的一个目标描述符和目标描述符外的描述符之间的线性可分性，以使每个描述符能够沿着通道和空间维度得到唯一的三维权重w
t
；具体为：计算各通道中目标描述符外的第j个描述符z
j
的均值和方差，公式为：的均值和方差，公式为：其中，μ
t
和分别表示各通道中第t个目标描述符外的第j个描述符z
j
的均值和方差，m表示每个通道都有m个能量函数e
t
，m＝h
×
w，h指特征图的高度，w指特征图的宽度；依据单个通道中所有像素都遵循相同的分布，基于均值和方差求解得到能量函数中的权重和偏移量；权重和偏移量；其中，w
t
和b
t
分别表示特征图x∈r
c
×
h
×
w
的单通道中的第t个目标描述符权重和偏移量，λ表示正则化；将权重和偏移量代入到能量函数，得到能量值，能量值越小，目标描述符和目标描述符外的描述符的区别越明显，基于此区别，对每一个特征图，能够自适应提取出最重要的特征区域，即提取出具有代表性的特征图；能量函数的公式为：其中，c表示每个描述符的通道数，y
t
、y0代表互不相等的变量，y
t
取值为1，y0取值为-1。6.根据权利要求1-5任意一项所述的一种船舶遥感图像的细粒度小样本分类方法，其特征在于：所述步骤3中的度量分类模块包括依次相连接的布朗距离协方差度量模块和双原型模块，布朗距离协方差度量模块的输入为特征提取模块的输出。7.根据权利要求6所述的一种船舶遥感图像的细粒度小样本分类方法，其特征在于：所述布朗距离协方差度量模块包括bdc模块和度量模块，具体的处理步骤为：将特征提取模块的输出具有代表性的特征图输入bdc模块，得到分别表征支持图像样本信息和查询图像样本信息的支持bdc矩阵和查询bdc矩阵，公式为：本信息和查询图像样本信息的支持bdc矩阵和查询bdc矩阵，公式为：
其中，表示支持bdc矩阵，表示查询bdc矩阵，表示支持欧几里德距离矩阵，表示查询欧几里德距离矩阵，1∈r
d
×
d
是每个元素为1的矩阵，d表示具有代表性的特征图的通道数；将支持bdc矩阵和查询bdc矩阵输入度量模块中，度量模块将支持bdc矩阵作为支持原型，通过计算支持原型和查询bdc矩阵之间的距离，即指支持原型和查询bdc矩阵之间的内积，并基于距离获得查询图像样本的相似性得分p
q
，基于相似性得分p
q
，通过交叉熵计算得到布朗距离协方差度量模块的l
ori
损失来更新梯度；支持原型的公式为：其中，x
i
表示第i个支持图像特征，s
m
是d
s
中第m类标记的样例集合，d
s
表示整个支持图像样本集，k表示k个支持图像样本数；查询图像样本的相似性得分p
q
的公式为：式中，τ是可学习比例参数，tr(
·
)表示矩阵迹，
·
为表示查询bdc矩阵，q
i
表示第i个查询图像特征，c表示查询图像样本或者支持图像样本的类别总数，t表示转置，表示支持原型和查询bdc矩阵之间的距离；l
ori
损失公式为：其中，q表示q个查询图像样本数,cq表示具有c类的q个查询图像样本总数，即为c
×
q。8.根据权利要求7所述的一种船舶遥感图像的细粒度小样本分类方法，其特征在于：所述双原型模块包括正向反馈阶段和逆向反馈阶段，具体的处理步骤为：在正向反馈阶段，通过计算支持bdc矩阵与支持原型之间的距离来获得支持图像样本的相似性得分p
s
，由于支持图像的标签已知，基于似性得分p
s
，通过交叉熵计算得到正向反馈阶段的l
pos
损失引导网络将已知信息正向反馈到原型，生成更具有代表性的原型；支持图像样本的相似性得分p
s
的公式为：其中，表示支持bdc矩阵与支持原型之间的距离；l
pos
损失公式为：其中，ck表示具有c类的k个支持图像样本总数，即为c
×
k；
在逆向反馈阶段，将查询图像样本的相似性得分p
q
视为查询原型，将查询原型与支持bdc矩阵进行计算来反向预测支持图像样本基于反向预测支持图像样本通过交叉熵计算得到逆向反馈阶段的l
rev
损失迫使网络进行反向学习，获得通用特征，以加强准确原型的生成；查询原型和反向预测的支持图像样本的公式分别为：的公式分别为：其中，cq
m
表示查询图像样本集的c类中包含类别m的查询图像样本的总数，即c
×
q
m
，q
m
表示包含类别m的查询图像样本数，表示第m类的第i个查询图像样本，表示第m类的查询原型l
rev
损失公式如下：双原型模块对布朗距离协方差度量模块进行正向反馈阶段和逆向反馈阶段处理后，将三个损失函数进行线性组合来更新模型参数，以生成准确原型，然后计算准确原型和查询bdc矩阵之间的距离得到查询图像样本的相似性得分，再基于相似性得分利用softmax函数对查询图像样本进行分类；三个损失函数线性组合的方式为：l＝l
ori
+αl
pos
+βl
rev
α和β是权衡超参数，l是总的损失函数。9.一种船舶遥感图像的细粒度小样本分类系统，其特征在于，包括：采集模块：用于获取船舶图像构成船舶数据集；预处理模块：用于对船舶数据集中的各船舶图像进行预处理；构建及训练模块：用于构建船舶目标细粒度小样本的特征提取模块和度量分类模块，并基于预处理得到的船舶数据集对特征提取模块和度量分类模块进行训练；分类模块：用于基于训练后的特征提取模块和度量分类模块，对待分类船舶图像进行分类，得到目标船舶图像。10.根据权利要求9所述的一种船舶遥感图像的细粒度小样本分类系统，其特征在于，所述构建及训练模块中的特征提取模块包括依次相连接的骨干网络和轻量化自适应任务注意力模块；度量分类模块包括依次相连接的布朗距离协方差度量模块和双原型模块，布朗距离协方差度量模块的输入为特征提取模块的输出。

技术总结
本发明提供了一种船舶遥感图像的细粒度小样本分类方法及系统，属于目标识别技术领域，解决现有技术获取大量的船舶图像的成本高，不易获得大量的标注数据，且若采用具有大量参数的深度神经网络模型很容易过拟合，从而易造成分类精度差。本发明包括获取船舶图像构成船舶数据集；对船舶数据集中的各船舶图像进行预处理；构建船舶目标细粒度小样本的特征提取模块和度量分类模块，并基于预处理得到的船舶数据集对特征提取模块和度量分类模块进行训练；基于训练后的特征提取模块和度量分类模块，对待分类船舶图像进行分类，得到目标船舶图像。本发明用于船舶图像的分类。本发明用于船舶图像的分类。本发明用于船舶图像的分类。


技术研发人员：高贵 周平 刘佳 姚力波 段定峰 刘涛 张晰 郭斐
受保护的技术使用者：航天东方红卫星有限公司
技术研发日：2023.06.02
技术公布日：2023/8/31