基于空间-光谱自适应学习和像素级滤波的高光谱图像分类方法

1.本发明属于遥感图像处理领域，具体涉及一种基于空间-光谱自适应学习和像素级滤波的高光谱图像分类方法。


背景技术：

2.高光谱图像因其丰富的空间信息和数百个连续窄带的光谱信息而在遥感领域受到极大关注。因此，高光谱图像包含的信息可以用来表示物体的分布和区分类别。近年来，高光谱技术广泛应用于各种领域，如地球观测、资源管理、化学成像和环境监测。高光谱图像分类的目的是预测每个像素点的类别。
3.在过去，大量的方法使用手工制作的特征来实现hsi分类。然而，传统的特征提取方法是基于数据特征本身的设计，因此不能匹配不同类型的数据。而深度学习模型以端到端方式进行训练，能够学习不同类型的输入数据的特征，并输出预测结果来完成高光谱图像分类任务。在早期阶段，人们的注意力集中在高光谱图像的光谱信息上，并提出了大量的基于像素点向量的方法用于高光谱图像分类。然而，有研究表明，考虑空间信息可以进一步提高分类的准确性。一些方法将注意力集中在光谱或空间维度，并通过注意力加权的特征实现高光谱图像分类。
4.然而，上述方法主要对空间邻域或整个空间范围的特征展开研究，而不是在像素级的尺度上。事实上，每一个高光谱图像的像素都包含丰富的、有判别性的特征，即像素级特征。像素级特征可以被看作是描述所有空间上的全局信息的像素。因此，充分利用所有空间像素点中所包含的信息可以提高高光谱图像中的边缘和不容易区分的区域的分类精度。


技术实现要素：

5.本发明提出一种基于空间-光谱自适应学习和像素级滤波的高光谱图像分类方法，为像素点预测所属的类别，提出了基于空间-光谱自适应学习的像素级滤波结构，通过在像素点级别选择自适应的滤波核，从而实现对高光谱图像的像素点级别分类。
6.实现本发明目的的技术解决方案为：第一方面，本发明提供一种基于空间-光谱自适应学习的像素级滤波的高光谱图像分类方法，包括以下步骤：
7.第一步，设计一个空间-光谱像素级别特征提取网络，输入为高光谱图像块，经过多层卷积结构获得判别性的特征图；
8.第二步，构造一个过完备的由多个滤波基组成的字典，用于组成每个像素点对应的滤波核；
9.第三步，使用经处理后的第一步的特征作为指导，针对像素点自适应地选择滤波核；
10.第四步，利用第三步选择的像素点级别的滤波核对被滤波的高光谱图像实现滤波操作；
11.第五步，对滤波后的高光谱特征图送入全连接层，经分类器得到最终像素点的类别预测。
12.第二方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。
13.第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。
14.本发明与现有技术相比，其显著特点在于：(1)设计了一个新的空间-光谱特征提取结构，充分考虑了原始高光谱图像的空间和光谱信息。此外，提取的像素级特征作为指导，从生成的滤波字典中自适应地选择滤波核；(2)利用自适应选择的滤波核实现对高光谱图像的分类。充分利用了不同像素点包含的判别性信息。
15.本发明以有监督方式利用高光谱图像进行网络参数的学习。高光谱图像被用作空间-光谱像素级特征提取过程的输入，以学习每个像素对应的鉴别性特征。这个过程的输出结果可以作为从预定义的字典中自适应选择滤波核的指导。
16.通过简单卷积操作得到的高光谱图像特征图使用自适应滤波核来实现像素级的自适应滤波。消融实验证明了我们提出的模块的有效性，它可以获得跨通道相关性、局部邻域相似性和滤波操作后更多不同的特征。此外，所提出的像素级滤波方法也有望在图像去噪和图像去块领域发挥作用。
17.下面结合附图对本发明作进一步详细描述。
附图说明
18.图1是本发明的方法流程图。
19.图2是本发明提出的内容编码网络结构图。
20.图3不同方法在数据集上的分类结果，其中(a)伪彩色图像(b)真值图(c)svm(d)residual network(resnet)(e)cbam(f)eca-net(g)a2s2k-resnet(h)regularized spectral
–
spatial global learning(rssgl)(i)本发明方法。
具体实施方式
21.本发明提出了一种空间-光谱自适应学习的像素级滤波方法，以充分考虑不同空间位置的像素的判别信息，从而解决高光谱图像分类问题，它主要由一个空间-光谱自适应学习模块和一个像素级滤波模块组成。具体来说，前者的目的是获得每个像素点的联合空间-光谱判别特征，并将其作为自适应选择滤波核的指导。后者使用自适应的滤波核来实现对高光谱图像的像素级滤波，以学习不同像素点所包含的判别特征并用于分类任务。如图1、图2所示，该方法步骤如下：
22.第一步，设计一个空间-光谱像素级别特征提取网络，输入为高光谱图像块，经过多层卷积结构获得判别性的特征图。具体过程为：
23.(1)设计一个空间-光谱像素级别特征提取网络，它由4个阶段组成，每个阶段分别包含3，4，6，3个瓶颈块。对于每个瓶颈块，由三个卷积层和一个空间-光谱像素级特征提取过程组成。我们定义空间-光谱像素级特征提取过程的输入数据为y，那么定义该过程特征
函数如下：
24.x
bottleneck,i
＝ssp(x
bottle,i
；θs)
25.其中，x
bottle,i
表示输入的特征图，ssp(x
bottle,i
；θs)，即x
bottleneck,i
表示经空间-光谱像素级特征提取过程的输出特征图，θs为参数，i表示每个阶段包含的瓶颈块的数量。
26.(2)为了学习空间-光谱判别性的特征，我们引入注意力机制，步骤如下：
27.①
将输入特征图x
group
经gap操作，即通过对每个通道压缩空间维度来保持通道信息的完整性：
[0028][0029]
其中，s为x
group
的空间长/宽，x
gap
为经gap操作的输出特征；
[0030]
②
为了学习跨通道的注意力加权交互信息，使用通道注意力机制：
[0031][0032]
其中，表示核大小为1
×1×
k的3-d卷积操作，x
spectral
为加权后的通道注意力特征，表示按照特征图的通道维度进行乘积运算，σ表示sigmoid激活函数；
[0033]
③
为了学习空间维度的注意力加权特征，使用空间注意力机制：
[0034][0035]
其中，f7×7表示核大小为7
×
7的2-d卷积操作，gn表示group norm组正则化操作，gmp表示global maximum pooling全局最大池化操作，cat表示按通道拼接操作，x
spatial
为加权后的空间注意力特征；
[0036]
④
使用bn归一化融合空间和通道加权后的特征，得到最后的输出特征：
[0037]
regroup＝bn(x
spectral
+x
spatial
)
[0038]
其中，bn表示batch norm批正则化操作，regroup表示融合后的空间-光谱特征，作为整个空间-光谱像素级别特征提取过程的输出。
[0039]
第二步，构建过完备的滤波字典。根据滤波的性质以及复杂度和有效性考虑，我们选择滤波字典由51个gaussian滤波核和21个difference of gaussians(dog)滤波核组成。高斯滤波核由高斯(gaussian)经不同缩放、旋转和伸长操作生成，高斯的差异组成高斯差分(dog)。两者分别有很强的表示图像的能力和保持地物边缘和纹理等细节信息的能力。
[0040]
第三步，根据特征的指导，像素点自适应地选择滤波核。具体过程为：
[0041]
(1)将第一步学习到的像素点的正则化的特征λ作为指导，通过线性组合的方式从滤波字典d中自适应地选择像素点级别的滤波核fi：
[0042][0043]
其中，i表示空间内第i个像素点，l表示滤波字典的滤波基数量，λ
i,l
表示特征λ中第i个像素点的第l个通道，它作为选择滤波字典的系数，d
l
表示字典d中第l个滤波基；
[0044]
(2)将像素点的滤波核reshape为方便后续操作的形式：
[0045][0046]
其中，k为滤波核的空间大小，f为reshape后的像素点滤波核。
[0047]
第四步，利用选择的像素点级别的滤波核对被滤波的高光谱图像实现滤波操作。具体过程为：
[0048][0049]
其中，p
′i′
,j
′
表示被滤波的高光谱图像位置为(i
′
,j
′
)的像素点，fi′
,j
′
是对应位置的自适应滤波核，w和h为空间的宽和高，y
filter
为滤波结果。
[0050]
第五步，对滤波后的高光谱特征图送入全连接层，经分类器得到最终像素点的类别预测。
[0051]
本发明的效果可通过以下仿真实验进一步说明：
[0052]
仿真条件
[0053]
仿真实验pavia university(up)数据集：由610
×
340像素和115个光谱波段组成，波长范围为0.43-0.86μm。其中12个波段由于受噪声影响被去除，因此一般使用的是剩下103个光谱波段。它包括树、沥青道路(asphalt)、砖块(bricks)、牧场(meadows)等。地面实况包括9个类别，而且并不都是互斥的。我们选择1％的标记样本作为训练样本，其他样本作为测试样本。在这里，我们使用up数据集来验证所提出的方法在高光谱图像分类中的可行性，并比较了六种分类方法在分类准确性上的表现，仿真实验均在windows 11操作系统下配置环境为amd ryzen 5600x(3.7ghz)和rtx 3060gpu，程序使用python与pycharm 2021进行编写。
[0054]
本发明采用的评价指标是总体准确率(oa，overall accuracy)，平均准确率(aa，average accuracy)和统计学卡帕系数(kappa，κ)。
[0055]
仿真内容
[0056]
本发明采用up数据集检验算法的性能。为测试本发明算法的性能，将提出的基于空间-光谱自适应学习和像素级滤波的高光谱图像分类方法与目前国际上流行的高光谱分类方法对比。对比方法包括：svm，resnet，cbam，eca-net，a2s2k-resnet，rssgl。
[0057]
仿真实验结果分析
[0058]
表1为up数据集在不同分类方法下的不同评价指标的对比结果，由表1可以看出，在up数据集中，本发明所提出的基于空间-光谱自适应学习和像素级滤波的高光谱图像分类方法，在细节特征和总体分类情况上有很好的效果，与svm，resnet，cbam，eca-net，a2s2k-resnet，rssgl相比，分类结果的精度有提高。本发明方法在up数据集的效果图如图3所示，以上真实数据集的仿真实验结果表明了本发明方法的有效性。
[0059]
表1.up数据集的不同算法定量评价(oa,aa,kappa)
[0060]

技术特征：
1.一种基于空间-光谱自适应学习的像素级滤波的高光谱图像分类方法，其特征在于，包括以下步骤：第一步，设计一个空间-光谱像素级别特征提取网络，输入为高光谱图像块，经过多层卷积结构获得判别性的特征图；第二步，构造一个过完备的由多个滤波基组成的字典，用于组成每个像素点对应的滤波核；第三步，使用经处理后的第一步的特征作为指导，针对像素点自适应地选择滤波核；第四步，利用第三步选择的像素点级别的滤波核对被滤波的高光谱图像实现滤波操作；第五步，对滤波后的高光谱特征图送入全连接层，经分类器得到最终像素点的类别预测。2.根据权利要求1所述的基于空间-光谱自适应学习的像素级滤波的高光谱图像分类方法，其特征在于，第一步引入注意力机制，通过空间-光谱像素级别特征提取过程学习所有像素点的特征，具体过程为：(1)设计一个空间-光谱像素级别特征提取网络，它由4个阶段组成，每个阶段分别包含3，4，6，3个瓶颈块；对于每个瓶颈块，由三个卷积层和一个空间-光谱像素级特征提取过程组成；定义空间-光谱像素级特征提取过程的输入数据为x，那么定义该过程特征函数如下：x
bottleneck,i
＝ssp(x
bottle,i
；θ
s
)其中，x
bottle,i
表示输入的特征图，ssp(x
bottle,i
；θ
s
)，即x
bottleneck,i
表示经空间-光谱像素级特征提取过程的输出特征图，θ
s
为参数，i表示每个阶段包含的瓶颈块的数量；(2)引入注意力机制，用于学习空间-光谱判别性的特征，步骤如下：
①
将输入特征图x
group
经global average pooling操作，即通过对每个通道压缩空间维度来保持通道信息的完整性：其中，s为x
group
的空间长/宽，x
gap
为经gap操作的输出特征；
②
使用通道注意力机制，学习跨通道的注意力加权交互信息：其中，表示核大小为1
×1×
k的3-d卷积操作，x
spectral
为加权后的通道注意力特征，表示按照特征图的通道维度进行乘积运算，σ表示sigmoid激活函数；
③
使用空间注意力机制，学习空间维度的注意力加权特征：其中，f7×7表示核大小为7
×
7的2-d卷积操作，gn表示group norm组正则化操作，gmp表示global maximum pooling全局最大池化操作，cat表示按通道拼接操作，x
spatial
为加权后的空间注意力特征；
④
使用batch norm归一化融合空间和通道加权后的特征，得到最后的输出特征：
regroup＝bn(x
spectral
+x
soatial
)其中，bn表示batch norm批正则化操作，regroup表示融合后的空间-光谱特征，作为整个空间-光谱像素级别特征提取过程的输出。3.根据权利要求1所述的基于空间-光谱自适应学习的像素级滤波的高光谱图像分类方法，其特征在于，第二步构建过完备的滤波字典，滤波字典由51个gaussian滤波核和21个dog滤波核组成。4.根据权利要求2所述的基于空间-光谱自适应学习的像素级滤波的高光谱图像分类方法，其特征在于，第三步像素点自适应地选择滤波核，具体过程为：(1)将第一步学习到的像素点的正则化的特征λ作为指导，通过线性组合的方式从滤波字典d中自适应地选择像素点级别的滤波核f
i
：其中，i表示空间内第i个像素点，l表示滤波字典的滤波基数量，λ
i,l
表示特征λ中第i个像素点的第l个通道，它作为选择滤波字典的系数，d
l
表示字典d中第l个滤波基；(2)将像素点的滤波核reshape为方便后续操作的形式：其中，k为滤波核的空间大小，f为reshape后的像素点滤波核。5.根据权利要求4所述的基于空间-光谱自适应学习的像素级滤波的高光谱图像分类方法，其特征在于，第四步利用选择的像素点级别的滤波核对被滤波的高光谱图像实现滤波操作，具体过程为：其中，p
′
i
′
,j
′
表示被滤波的高光谱图像位置为(i
′
,j
′
)的像素点，f
i
′
,j
′
是对应位置的自适应滤波核，w和h为空间的宽和高，y
filter
为滤波结果。6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的方法的步骤。7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法的步骤。

技术总结
本发明公开了一种基于空间-光谱自适应学习和像素级滤波的高光谱图像分类方法，该方法包括：构造提取空间-光谱特征的卷积网络结构；构建一个过完备的由滤波基构成的字典；基于像素点自适应选择滤波核；使用选择出的滤波核对原始高光谱图像进行滤波；对输出的图像进行分类，得出最终结果。本发明定义了一个自适应学习像素级滤波核的模型，可以很好的针对像素点进行滤波核的选择，因此自适应滤波操作能够提取出图像中更多的纹理、细节和代表的类别信息，能够适应各种各样的图像类型。能够适应各种各样的图像类型。能够适应各种各样的图像类型。


技术研发人员：刘芳 郜文菲 刘嘉 肖亮
受保护的技术使用者：南京理工大学
技术研发日：2023.06.15
技术公布日：2023/10/5