一种基于空间自注意的农业高光谱语义分类方法

1.本发明涉及农业高光谱图像分类技术领域，具体涉及一种空间自注意的农业高光谱语义分类方法。


背景技术：

2.光谱成像技术是一种对物体进行分光学处理后再进行成像的技术，它可以获取高分辨率、高质量的图像数据，并且可以针对物体的不同光谱特性进行分析和处理。该技术最初应用于空间科学研究中，随着技术的发展和应用领域的拓宽，如今已经广泛应用于医疗诊断、环境监测、食品安全、农业生产等领域。
3.高光谱图像技术在农作物分类领域的应用已经有了很大的发展。在过去，人们主要使用单一的机载高光谱影像来进行农作物分类研究。但是，随着遥感技术的不断发展，如今可以搭载在卫星上的高光谱传感器已经成为了当前农业高光谱遥感数据获取的主要平台。这些高光谱传感器可以同时获取多条光谱波段的信息，覆盖的频率范围较广，可达到数百条波段，从而提高了遥感数据的空间和光谱分辨率。
4.目前，针对高光谱图像在农作物分类领域的研究已经非常广泛，涉及了几乎所有农作物的分类和识别。同时，诸如机器学习、深度学习、人工智能等技术也被广泛应用于高光谱图像处理中。与此同时，为了更好地适应大规模、高效率的农业生产需求，研究人员也在不断探索如何结合互联网技术和信息化手段，提高农业高光谱图像分类的自动化程度和精确度。但是对于农业场景下作物的光谱相似度高、空间关联大的特点，现有的普通场景下的高光谱图像分类模型难以达到鲁棒的分类效果。因此，我们急需发明一种能够精细提取作物的空间光谱特征的方法用于农业场景下的高光谱图像分类。


技术实现要素：

5.本发明提出了一种基于空间自注意的农业高光谱语义分类方法，以解决普通场景下的高光谱图像分类模型难以达到鲁棒的农业分类效果的技术问题。
6.为解决上述技术问题，本发明提供了一种基于空间自注意的农业高光谱语义分类方法，包括以下步骤：步骤s1：将输入的原始农业高光谱图数据通过主成分分析法pca进行降维；步骤s2：将降维后的数据提取固定大小的patch块；步骤s3：将所述patch块输入三维空间非局部自注意模块生成三维空间相关性特征图；将所述三维空间相关性特征图输入三维卷积层并重排生成特征立方体；将所述特征立方体输入二维空间非局部自注意模块生成二维空间相关性特征图；将所述二维空间相关性特征图输入二维卷积层得到二维特征图；步骤s4：将所述二维特征图进行展平，得到一维特征向量；步骤s5：将所述一维特征向量输入高斯加权特征表示器生成语义token；步骤s6：将全零向量作为可学习的分类token与所述语义token与进行融合，并嵌
入位置信息，得到融合后的语义token；步骤s7：将融合后的语义token输入encoder模块对可学习的分类token进行训练，得到学习后的分类token；步骤s8：将学习后的分类token作为分类向量输入基于softmax的线性分类器中，得到分类结果。
7.优选地，步骤s3中所述三维空间非局部自注意模块生成三维空间相关性特征图的方法包括以下步骤：步骤s311：将输入的patch块x∈rc×d×h×w通过1x1卷积分别映射到三个张量q1、k1和v1，所述张量q1和张量k1的通道数相同，所述张量v1的通道数与x相同，r表示特征图，c表示通道数，d表示高光谱图像的光谱维度，h和w分别表示空间维度的高度和宽度；步骤s312：计算所述张量q1和张量k1的相似度矩阵；步骤s313：将所述相似度矩阵进行softmax归一化操作得到注意力权重矩阵；步骤s314：将所述注意力权重矩阵与张量v1进行加权求和得到特征向量；步骤s315：将所述特征向量与所述patch块x相加得到三维空间相关性特征图。
8.优选地，步骤s3中所述二维空间非局部自注意模块生成二维空间相关性特征图的方法包括以下步骤：步骤s321：将特征立方体b∈rc×h×w通过1x1卷积分别映射到三个张量q2、k2和v2，所述张量q2和张量k2的通道数相同，所述张量v2的通道数与b相同，c表示通道数，h和w分别表示空间维度的高度和宽度；步骤s322：计算所述张量q2和张量k2的相似度矩阵；步骤s323：将所述相似度矩阵进行softmax归一化操作得到注意力权重矩阵；步骤s324：将所述注意力权重矩阵与张量v2进行加权求和得到特征向量；步骤s325：将所述特征向量与所述特征立方体b相加得到三维空间相关性特征图。
9.优选地，计算相似度矩阵的表达式为：；式中，z(i,j)表示每个q中位置i与每个k中位置j之间的相似度，
·
表示点积运算。
10.优选地，所述注意力权重矩阵p(i,j)的表达式为：；式中，exp表示进行指数运算，表示对所有的k进行求和。
11.优选地，步骤s5中生成语义token的方法包括以下步骤：步骤s51：利用初始化高斯分布的权重矩阵乘以所述一维特征向量，得到语义组；步骤s52：将所述语义组的转置乘以所述一维特征向量生成语义token。
12.优选地，所述农业高光谱语义分类方法还包括训练方法，所述训练方法通过划分训练数据集和测试数据集，并采用改进标签平滑交叉熵损失函数l
ploss
进行训练。
13.优选地，所述改进标签平滑交叉熵损失函数l
ploss
的表达式为：
；式中，λ表示一个正参数，i表示正确的类别，ce(i)表示i的标准交叉熵损失，n表示类别的数量，p
t
表示对目标地面真实类的预测概率。
14.优选地，所述训练方法通过adam算法进行优化，设置学习率、批量大小和训练迭代次数，以得到权重参数和偏置参数。
15.本发明还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述的一种基于空间自注意的农业高光谱语义分类方法。
16.本发明的有益效果至少包括：通过使用空间自注意机制，使模型更加关注数据空间内部存在的相关性，以提取丰富的空间上下文信息。同时利用transformer模型的encoder模块提取高光谱图像中丰富的语义信息。另外，作为附加技术特征，我们基于标签平滑交叉熵损失函数设计了一种改进的损失函数，用以加强学习地物类别真实预测的概率，使网络对于农业高光谱图像中类别十分相似的样本具有更强的容错能力以及更好的鲁棒性，进一步加强网络的学习能力。
附图说明
17.图1为本发明实施例的方法流程图；图2为本发明实施例中三维空间非局部自注意模块流程示意图；图3为本发明实施例中二维空间非局部自注意模块流程示意图；图4为本发明实施例中高斯加权特征表示器流程示意图。
具体实施方式
18.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
19.本发明不对具体数值进行限定，仅用于对本发明实施例进行说明。
20.本发明实施例提供了一种基于空间自注意的农业高光谱语义分类方法，如图1所示，包括以下步骤：步骤s1：将输入的原始农业高光谱图数据通过主成分分析法pca进行降维。
21.步骤s2：将降维后的数据提取固定大小的patch块，本发明实施例中patch块大小设置为13x13x30。
22.步骤s3：将所述patch块输入三维空间非局部自注意模块生成三维空间相关性特征图；将所述三维空间相关性特征图输入三维卷积层并重排生成特征立方体；将所述特征立方体输入二维空间非局部自注意模块生成二维空间相关性特征图；将所述二维空间相关
性特征图输入二维卷积层得到二维特征图。
23.三维空间非局部自注意模块nl_3d是一种基于注意力机制的深度学习模块，用于三维数据中存在的长距离依赖关系问题，增加了对光谱序列维度上相关性的建模。
24.具体地，如图2所示，nl_3d的输入是一系列三维数据块即patch块组成的输入特征图x∈rc×d×h×w，其中c表示通道数，d表示高光谱图像的光谱维度，h和w分别表示空间维度的高度和宽度；它首先将x分别通过1x1卷积映射到三个张量q1，k1，v1中，其中张量q1和张量k1的通道数相同，张量v1的通道数与输入特征图x相同；图2中reshape操作表示对特征图进行重排以方便计算。
25.计算q1和k1的相似度矩阵z，即计算每个q1中位置i与每个k1中位置j之间的相似度，表达式为：；其中
·
表示点积操作，z(i,j)表示每个张量q中位置i与每个张量k中位置j之间的相似度。
26.再将得到的相似度矩阵进行softmax归一化操作得到注意力权重矩阵p：；其中p表示张量q中第i个位置和张量k中第j个位置之间的注意力权重，exp表示进行指数运算，表示对所有的k进行求和。
27.利用归一化后的注意力权重对v进行加权求和。对于每个q位置i，利用注意力权重对所有k位置的v进行加权求和，得到特征向量y：；最后再与原输入特征图x相加得到三维空间相关性特征图x
out
：x
out
=y
⨁
x；其中
⨁
代表逐元素相加。
28.总体来说，nl_3d利用注意力机制能够建模跨通道、空间和光谱波段的长程依赖关系，从而实现全局特征的提取和传递。
29.本发明实施例中，三维卷积层采用8个大小为3x3x3的卷积核，以生成8个大小为11x11x28的特征图，之后经过reshape重排操作得到11x11x224大小的特征立方体；之后输入二维空间非局部自注意模块nl_2d。
30.具体地，如图3所示，二维空间非局部自注意模块nl_2d的输入为特征立方体x∈rc×h×w，通过1x1卷积分别映射到三个张量q2、k2和v2，张量q2和张量k2的通道数相同，张量v2的通道数与特征立方体x相同，之后采用nl_3d相同的方法进行计算，得到二维空间相关性特征图；通过二维空间非局部自注意模块nl_2d学习到局部与全局之间的依赖关系，并在各个位置上执行统一的操作，能够充分建模高光谱图像二维空间内的空间上下文相关。
31.之后采用64个大小为3
×
3的卷积核，生成64个大小为9x9的二维特征图。
32.步骤s4：64个大小为9x9的二维特征图，得到64个大小为1
×
81的一维特征向量即x∈r
81x64
。
33.步骤s5：将所述一维特征向量输入高斯加权特征表示器生成语义token。
34.具体地，如图4所示，利用初始化高斯分布的权重矩阵w∈r
64
×4乘以所述一维特征向量r
81x64
，得到语义组a∈r
81
×4，其实w∈r
64
×4中的4表示设置的token的数量；将所述语义组a∈r
81
×4的转置乘以所述一维特征向量x∈r
81x64
，生成语义token，即t∈r4×
64
，表达式为：；；步骤s6：将全零向量作为可学习的分类token与所述语义token与进行融合，并嵌入位置信息pe0，得到融合后的语义token，即t
输入
∈r5×
64
。
35.步骤s7：将融合后的语义token输入encoder模块对可学习的分类token进行训练，得到学习后的分类token。
36.本发明实施例中encoder模块采用transformer模型的编码器模块，主要用于进行特征的提取，这个模块具有相同的输入和输出大小。
37.步骤s8：将学习后的分类token，即t0∈r1×
64
作为分类向量输入基于softmax的线性分类器中，得到分类结果。
38.本发明为了进一步增加上述方法的辨别准确性，在训练过程中采用的损失函数是在标签平滑交叉熵的基础上对第一项多项式进行调整，我们将改进后的loss取名ploss，设p
t
是模型对目标地面真实类别的预测概率，详细推理步骤如下：首先，(1
−
p
t
)i的交叉熵(cross-entropy，ce)损失的泰勒展开为：；利用梯度下降法优化交叉熵损失需要采用p
t
的梯度：；我们基于标签光滑交叉熵(label smoothing cross-entropy， lsce)，调整了交叉熵的第一个多项式系数。这样，就可以更多地学习农业场景下作物类别真实预测标签的概率。该公式表示如下：；式中，λ表示一个正参数，i表示正确的类别，ce(i)表示i的标准交叉熵损失，n表示类别的数量，p
t
表示对目标地面真实类的预测概率。
39.在训练网络模型时，采用使用adam算法进行优化，学习率设置为10-3
，批量大小设置为64，训练100轮迭代，通过训练模型从而得到网络的权重参数w和偏置参数b。
40.为了评估本发明方法的有效性，使用上述训练的网络计算测试数据集中样本并计算三个评价指标，它们分别是：总体精度oa、平均精度aa和kappa系数κ，这三个指标的值越
大，分类结果就越好。
41.在两个公共农业高光谱分类数据集，indian pines数据集以及whu-hi-longkou数据集上选择了几种具有代表性的方法进行比较实验：resnet，dpyresnet，contextualnet(cnet)，a2s2k，ssrn，ssftt和本发明提出的方法。为了评估我们提出的ploss损失的有效性，我们在inidan pines数据集上将其与常见的两种具有竞争力的交叉熵损失（cross-entropy）以及标签平滑交叉熵损失（label-smoothing cross-entropy）进行对比，在实验中我们把标签平滑交叉熵损失和ploss损失的超参数λ均设置为0.1。同时，对于不同方法中训练集和测试机的划分，我们保持了一致，以体现实验的公平性。
42.本发明与其他方法在indian pines数据集上的比较实验结果如表1所示，本发明与其他方法在whu-hi-hanchuan数据集上的比较实验结果如表2所示，本发明提出的ploss损失函数与其他常见分类损失在indian pines数据集上的比较实验结果如表3所示。
43.；；
；从上述的表格中可以看出，本发明所提出的方法和损失函数，均优于其它方法，准确性更强。
44.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
45.应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于空间自注意的农业高光谱语义分类方法，其特征在于：包括以下步骤：步骤s1：将输入的原始农业高光谱图数据通过主成分分析法pca进行降维；步骤s2：将降维后的数据提取固定大小的patch块；步骤s3：将所述patch块输入三维空间非局部自注意模块生成三维空间相关性特征图；将所述三维空间相关性特征图输入三维卷积层并重排生成特征立方体；将所述特征立方体输入二维空间非局部自注意模块生成二维空间相关性特征图；将所述二维空间相关性特征图输入二维卷积层得到二维特征图；步骤s4：将所述二维特征图进行展平，得到一维特征向量；步骤s5：将所述一维特征向量输入高斯加权特征表示器生成语义token；步骤s6：将全零向量作为可学习的分类token与所述语义token与进行融合，并嵌入位置信息，得到融合后的语义token；步骤s7：将融合后的语义token输入encoder模块对可学习的分类token进行训练，得到学习后的分类token；步骤s8：将学习后的分类token作为分类向量输入基于softmax的线性分类器中，得到分类结果。2.根据权利要求1所述的一种基于空间自注意的农业高光谱语义分类方法，其特征在于：步骤s3中所述三维空间非局部自注意模块生成三维空间相关性特征图的方法包括以下步骤：步骤s311：将输入的patch块x∈r
c
×
d
×
h
×
w
通过1x1卷积分别映射到三个张量q1、k1和v1，所述张量q1和张量k1的通道数相同，所述张量v1的通道数与x相同，r表示特征图，c表示通道数，d表示高光谱图像的光谱维度，h和w分别表示空间维度的高度和宽度；步骤s312：计算所述张量q1和张量k1的相似度矩阵；步骤s313：将所述相似度矩阵进行softmax归一化操作得到注意力权重矩阵；步骤s314：将所述注意力权重矩阵与张量v1进行加权求和得到特征向量；步骤s315：将所述特征向量与所述patch块x相加得到三维空间相关性特征图。3.根据权利要求2所述的一种基于空间自注意的农业高光谱语义分类方法，其特征在于：步骤s3中所述二维空间非局部自注意模块生成二维空间相关性特征图的方法包括以下步骤：步骤s321：将特征立方体b∈r
c
×
h
×
w
通过1x1卷积分别映射到三个张量q2、k2和v2，所述张量q2和张量k2的通道数相同，所述张量v2的通道数与b相同，c表示通道数，h和w分别表示空间维度的高度和宽度；步骤s322：计算所述张量q2和张量k2的相似度矩阵；步骤s323：将所述相似度矩阵进行softmax归一化操作得到注意力权重矩阵；步骤s324：将所述注意力权重矩阵与张量v2进行加权求和得到特征向量；步骤s325：将所述特征向量与所述特征立方体b相加得到三维空间相关性特征图。4.根据权利要求3所述的一种基于空间自注意的农业高光谱语义分类方法，其特征在于：计算相似度矩阵的表达式为：；式中，z(i,j)表示每个张量q中位置i与每个张量k中位置j之间的相似度，
·
表示点积
运算。5.根据权利要求4所述的一种基于空间自注意的农业高光谱语义分类方法，其特征在于：所述注意力权重矩阵p(i,j)的表达式为：；式中，exp表示进行指数运算，表示对所有的k进行求和。6.根据权利要求1所述的一种基于空间自注意的农业高光谱语义分类方法，其特征在于：步骤s5中生成语义token的方法包括以下步骤：步骤s51：利用初始化高斯分布的权重矩阵乘以所述一维特征向量，得到语义组；步骤s52：将所述语义组的转置乘以所述一维特征向量生成语义token。7.根据权利要求1所述的一种基于空间自注意的农业高光谱语义分类方法，其特征在于：所述农业高光谱语义分类方法还包括训练方法，所述训练方法通过划分训练数据集和测试数据集，并采用改进标签平滑交叉熵损失函数l
ploss
进行训练。8.根据权利要求7所述的一种基于空间自注意的农业高光谱语义分类方法，其特征在于：所述改进标签平滑交叉熵损失函数l
ploss
的表达式为：；式中，λ表示一个正参数，i表示正确的类别，ce(i)表示i的标准交叉熵损失，n表示类别的数量，p
t
表示对目标地面真实类的预测概率。9.根据权利要求8所述的一种基于空间自注意的农业高光谱语义分类方法，其特征在于：所述训练方法通过adam算法进行优化，设置学习率、批量大小和训练迭代次数，以得到权重参数和偏置参数。10.一种终端设备，其特征在于：包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现权利要求1-9任一所述的一种基于空间自注意的农业高光谱语义分类方法。

技术总结
本发明提供一种基于空间自注意的农业高光谱语义分类方法，将输入的原始农业高光谱图数据通过主成分分析法进行降维；将降维后的数据提取固定大小块输入到非局部注意力组合模块中，依次经过NL_3D、3D卷积、NL_2D、2D卷积操作获得输出的二维特征图；将二维特征图进行展平，得到一维特征向量；将一维特征向量输入高斯加权特征表示器生成语义Token；将可学习的分类Token与语义Token与进行融合，并嵌入位置信息，得到融合后的语义Token；将融合后的语义Token输入Encoder模块对可学习的分类Token进行训练，得到学习后的分类Token并作为分类向量输入线性分类器中，得到分类结果。得到分类结果。得到分类结果。


技术研发人员：陈亚雄 张波 黄锵锵 李志恒 熊盛武
受保护的技术使用者：武汉理工大学三亚科教创新园
技术研发日：2023.07.27
技术公布日：2023/9/26