一种基于主动深度学习的高光谱图像分类方法

1.本发明涉及遥感图像处理技术领域，具体来说，涉及一种基于主动深度学习的高光谱图像分类方法。


背景技术：

2.目前深度学习模型广泛运用于高光谱图像分类领域。相较于传统的机器学习方法，深度学习有着很强的优势，以深度模型分布式特征表达能力代替传统人工设计的特征提取方式，能够解决高光谱数据结构多样化及复杂噪声所带来的多种问题，但其分类效果很大程度上取决于样本的质量和数量。在遥感图像分类中，训练样本往往是随机选择的样本，并没有经过模型的估计和筛选，这就使得训练样本之间存在很大的信息冗余，而且高光谱数据标注困难，需要耗费大量的时间，人力以及金钱。为了解决这些问题，主动学习就被应用于高光谱图像分类领域中。
3.主动学习是通过合适的策略主动筛选或生成最有价值的样本，然后让该领域专家对这些标记样本进行标注，并将其加入到训练数据集中。最后，模型在更新后的训练集上训练。因此在深度学习中引入主动学习策略能够使用很少的样本完成模型的训练。
4.与深度学习通过使用手工或者自动的方法千方百计地设计具有高性能特征提取能力的模型不同。主动学习是从数据集入手，主要通过设计精妙的查询规则从未标记的数据集中选择最佳样本并查询其标签，试图降低标注代价。因此，查询规则的设计对主动学习的性能是至关重要的。但当前的策略大多考虑的不全面，如常见的贝叶斯主动学习法，利用贝叶斯近似推断求解卷积神经网络的后验概率，以此来单独计算每一个未标记样本的互信息，从而挑选出前b个样本交给专家标注，再加入训练集训练模型，虽然在一定程度上减少了对样本数量的要求。但是通常未标记样本的信息量是单独进行评估的，而单个样本的信息点可能几乎相同，单纯地获取前b个信息量最高的样本可能会导致让专家给b个几乎相同的点加标签，即按照这样的方法挑选出的样本存在很大的样本冗余，不能在每一轮迭代训练时有效地提升模型性能，浪费了数据效率。因此探索更加合适的采样函数，挑选出信息量大，且相似性低的批样本是一个很好的研究方向。


技术实现要素：

5.针对相关技术中的上述技术问题，本发明提出了一种基于主动深度学习的高光谱图像分类方法。通过考虑样本的多样性，将采集函数的概念有效地扩展到样本点的集合中。该函数在挑选一批样本时考虑样本之间的相关性，将常用的bald(贝叶斯不一致主动学习)以特定的方式扩展为批bald采集函数，从而挑选出更有价值的样本(信息量高且样本间冗余度低)交给专家标注并将其用于模型训练，从而较快地提升模型的性能，降低相关领域专家的数据标注的工作量，提升数据标注效率。
6.为了解决上述技术问题，本发明通过以下技术方案予以实现：
7.一种基于主动深度学习的高光谱图像分类方法，包括：
8.步骤1：对高光谱图像进行预处理；
9.步骤2：对高光谱图像进行分块处理，将处理后的样本划分为候选集和测试集，建立初始状态下为空集的训练集；
10.步骤3：构建一个混合卷积神经网络的初始模型，所述的混合卷积神经网络模型包括输入层，隐含层和输出层；所述的隐含层包括特征提取层、全连接层和分类层，其中所述特征提取层由依次连接的3d卷积层、2d卷积层构成，所述特征提取层用于同时提取高光谱图像的光谱和空间维度的特征；
11.步骤4：从步骤3中划分的候选集合中，选择一批样本进行标注并加到训练集，作为初始训练数据集，并将剩下的未标记样本随机分为n个batch，每个batch有b个样本；
12.步骤5：使用训练集中的样本训练混合卷积神经网络模型的隐含层，并在训练完成时记录模型的性能；
13.步骤6：在剩余的未标记样本池中，按照所提出的主动学习策略，挑选出其中最有价值的一批样本(不确定性高且冗余度低)，获取标注后加入到训练样本集中；
14.步骤7：重复步骤5和6，直至达到所设定的训练样本数量；
15.步骤8：模型训练结束，根据每一步记录的模型分类精度，得出模型性能随训练样本数量的增多而增长的变化关系。
16.与现有技术相比，本发明所达到的有益效果是：
17.卷积神经网络被广泛运用于高光谱图像分类领域，相较于传统的机器学习算法需要做复杂的特征工程，深度学习可以不需要复杂的特征工程，直接输入原始数据，网络可以通过自动地提取特征，并且直接输入原始数据就可以得到结果，可以实现实际应用中端到端的需求。混合卷积神经网络相较于仅使用2d卷积或仅使用3d卷积，能够充分融合光谱和空间维度特征，且在一定程度上能够减少训练参数从而减少计算量，但这仍然需要大量的标记样本进行训练才能得到高精度的分类模型。因此针对高光谱图像样本标记困难的问题，将主动学习引入深度学习中进行研究很有意义。
18.在本发明中，首先是对高光谱图像进行了pca降维处理，避免了维数灾难的问题。混合3d卷积和2d卷积，以弥补现有方法不能充分利用光谱和空间维度特征，分类精度不佳，网络结构复杂，计算量大等问题。另外改进现有的贝叶斯主动学习采样函数，将采集函数的概念有效地扩展到样本点的集合中，在挑选一批样本时考虑样本之间的相关性，使得所选的样本更有益于模型的性能的提升。
附图说明
19.图1为本发明具体实施方式中方法流程图
20.图2为提出的卷积神经网络模型
具体实施方式
21.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
22.参见图1，本发明的具体步骤为：
23.(1)获取高光谱遥感图像，对高光谱图像进行预处理，并进行分块处理；
24.(2)搭建初始的混合卷积神经网络模型；
25.(3)划分样本候选集和训练集以及测试集，并将初始训练集设为空集；
26.(4)从步骤3划分的候选集中，选择一批样本进行标注并加入到训练集，作为初始训练数据集，并将剩下的未标记样本随机分为n个batch，每个batch有b个样本；
27.(5)使用训练集中的样本训练混合卷积神经网络模型，并在训练完成时记录模型的性能；
28.(6)在剩余的未标记样本池中，按照所提出的主动学习策略，挑选出其中最有价值的一批样本(不确定性高且冗余度低)，获取标注后加入到训练样本集中；
29.(7)重复步骤5和6，直至达到所设定的训练样本数量；
30.(8)模型训练结束，根据每一步记录的模型分类精度，得出模型性能随训练样本数量的增多而增长的变化关系。
31.进一步的，上述步骤(1)是使用pca对高光谱图像进行预处理，减少第三维数据的一些波段，只保留了对识别物体重要的空间信息。将维度为w
×h×
s的原高光谱图像x进行主成分变换成维度为w
×h×
b的新高光谱图像y；其中w为图像宽度，h为图像高度，s原图像的通道数，b为变换后的通道数。再将所述新的高光谱图像y裁剪为大小为重叠的三维小块w
×w×
b，小块的样本的的标签由中心像素的标签决定。
32.进一步的，上述步骤(2)中所述的混合卷积神经网络模型如图2所示，其中特征提取层由依次连接的三个3d卷积层，一个2d卷积层构成，用于同时提取高光谱图像的光谱和空间维度特征，减少模型训练参数并减少计算量。上述的全连接层使用mc dropout，以便在主动学习过程中使用贝叶斯近似推断。
33.进一步的，上述步骤(5)中，用训练集中的样本训练模型，高光谱样本分布经过三个3d卷积层，输出第一特征图，第一特征图经过一个2d卷积层，输出第二特征图，将第二特征图依次通过后端的两个全连接层和分类层，就能输出一轮训练时分类预测的高光谱图像。在3d卷积层和2d卷积层之间，首先通过经设置的一定大小和数量的卷积核，随后经过激励函数传入下一个卷积层。3d卷积和2d卷积均包括卷积运算和激活运算。
34.在3d-cnn中第i层第j个特征图在位置(x，y，z)处神经元的值的计算公式为：
[0035][0036]
上式中，f()是激活函数，d
l-1
是第l-1层特征图的个数，b
i，j
为第i层第j个特征图的偏置函数，w
i，j
为权值参数，内核深度为2η+1，宽度为2γ+1，高为2δ+1。同理，在2d卷积层的卷积计算公式为：
[0037][0038]
进一步的，上述步骤(6)中的采集函数是在贝叶斯主动学习的基础上进行改进，将采集函数的概念有效地扩展到样本点的集合中。该函数在挑选一批样本时考虑样本之间的相关性，将常用的bald以特定的方式扩展为批bald采集函数。具体来说就是将原来的bald中对单个样本进行不确定性估计，再排序，找出前b个不确定性高的样本，以这b个样本的不确定性之和当作这批样本的信息量，变成直接对包含有b个样本的一个batch的信息量进行估计(即估计多个样本点和模型参数之间的互信息来联合计算)。
[0039]
经典贝叶斯主动学习模型是由未标记的样本数据集u，当前训练集l，一个带模型
参数ω～p(ω|l)的贝叶斯模型m以及样本x和预测p(y|x，w，l)组成。p(ω|l)是使用贝叶斯公式获得的权值的后验概率。对于分类问题而言，使用softmax层作为卷积神经网络的分类层，则贝叶斯卷积神经网络的似然输出为：
[0040]
p(y＝c|x，ω)＝softmax(f
ω
(x))
[0041]
其中模型的输出预测为：
[0042]
p(y＝c|x，l)＝∫p(y＝c|x，ω)p(ω|l)dw
[0043]
在计算的过程中，由于后验概率p(ω|l)很难计算，可以采用近似推断的方式来近似求解。近似推断是指在深度学习模型训练和测试的时候，在每一层中加入dropout，然后对每层权重的后验分布使用蒙特卡洛采样，这样就能获得以softmax为分类层的每一类别概率的后验分布。该方法理论上是通过最小化简单分布q(ω)与深度学习模型真实后验p(ω|l)之间的kl散度来近似计算模型的真实的后验概率。
[0044]
在多分类问题中，通过使用蒙特卡洛采样对后验概率近似求解，得到模型的分类预测概率值为：
[0045][0046]
其中t是蒙特卡洛采样的总个数，t是第t次dropout，q(ω)为dropout分布。
[0047]
上述讲解了贝叶斯近似推断和不确定性估计，在此基础上，学者们结合信息论在主动学习上的应用，使用信息熵和互信息来评估预测概率的不确定性，用蒙特卡洛采样对后验概率近似求解，从而进一步度量样本的不确定性。一般贝叶斯网络贝叶斯主动学习模型在每一个采集过程中，使用一个采样函数a选取一批未标记样本集中的样本其中满足以下条件：
[0048][0049]
bald(bayesian active learning by disagreement)就是常用的一种贝叶斯主动学习算法，它利用信息熵的差值(互信息)来度量样本的信息量，信息熵的差值代表当某一样本的信息熵和总体的平均信息熵之间的差值，这一差值越大，越能说明相对于平均水平包含更多的信息量，它的数学定义为：
[0050]
u(x)＝h[p(yi|x，l)-e
p(ω|l)
h[p(yi|x，ω)]
[0051]
上述公式是计算样本在分类模型m下的函数值，为了使互信息大，左项必须高，右项必须低。左边的项是模型预测的熵，当模型的预测不确定时，就会很大，右边的项是模型预测的熵对模型参数后验值的期望，当模型从后验值得出的每个模型参数总体上是确定时，该项较小。由于似然函数p(yi|x，ω)很难求解，因此可以通过在后验中使用蒙特卡洛采样来近似求解。将输出预测∫p(y＝c|x，ω)q(ω)dw替换p(yi|x，l)。在经过的近似变换得到c分类任务中对样本不确定性的计算：
[0052]
[0053][0054]
其中即模型预测c类别的输出概率值，f是参数为ω的模型m。
[0055]
为了减少模型训练的时间，bald通常挑选互信息最高的前b个样本，将这b个样本的信息量相加作为该批次的总信息量：
[0056][0057]
所提出的主动学习采样策略为：
[0058]
将常用的bald以特定的方式扩展为批bald采集函数，寻找一个最佳批次。具体来说就是把上式中对单个样本不确定性的估计，再求和，变成直接对一批样本信息量进行估计(即估计多个样本点和模型参数之间的互信息来联合计算)：
[0059]a批bald
({x1，......xb}，p(ω|l))＝u(x1，......xb)
[0060]
为了理解如何计算一组点x1，......xb和模型参数w之间的互信息，可以用乘积概率空间中的联合随机变量x
1：b
和y
1：b
来表示x1，......xb和y1，......yb，并使用两个随机变量的互信息定义：
[0061]
u(x1，.......xb)＝h(y1，......yb，l)-e
p
(ω|l)h(y1，......yb|x1，......xb，ω)
[0062]
＝h(y
1：b
|x
1：b
，l)-e
p(ω|l)
h(y
1：b
|x
1：b
，ω)
[0063]
为了更加简洁，可以省略在x1，......xb和训练样本集l的作用，并用p(ω)代替p(ω|l)，这样采样函数就可以被表示为：
[0064]a批bald
({x1，......xn}，p(ω))＝h(y1，......yn)-e
p(ω)
[h[y1，......yn|ω)
[0065]
上式中由于任务模型的预测y对模型参数ω是条件独立的，因此方程的右项可以被直接分解，然后使用模型参数分布中的k个样本的mc dropout来近似求解期望：
[0066][0067]
又由于左项的联合分布中没有模型参数，因此不能够直接分解，可以利用等式p(y)＝e
p(ω)
[p(y|x)]以及通过对所有y
1：b
的可能结果进行求和来计熵：
[0068][0069]
在算法的每一次迭代过程，可以将p(y
1：n
|ω)分解成p(y
1：m-1
|ω)p(yn|ω)，将存储在大小为c
n-1
×
k的矩阵中，将存储在大小为c
×
k的矩阵中，因此得到以下的矩阵乘积：
[0070][0071]
通过使用批量矩阵乘法计算不同xn的联合熵，可以进一步加快计算速度，只用计算一次，我们可以通过使用递归地计算和这样就可以仅仅在算法开始时对
未标记池中的每一个样本进行采样计算其

技术特征：
1.一种基于主动深度学习的高光谱图像分类方法，其特征在于，该方法包括如下步骤：步骤1，对高光谱图像进行预处理；步骤2，对高光谱图像进行分块处理，将处理后的样本划分为候选集和测试集，建立初始状态下为空集的训练集；步骤3，构建一个混合卷积神经网络的初始模型，所述的混合卷积神经网络模型包括输入层，隐含层和输出层；所述的隐含层包括特征提取层、全连接层和分类层，其中所述特征提取层由依次连接的3d卷积层、2d卷积层构成，所述特征提取层用于同时提取高光谱图像的光谱和空间维度的特征；步骤4，从步骤3中划分的候选集合中，选择一批样本进行标注并加到训练集，作为初始训练数据集，并将剩下的未标记样本随机分为n个batch，每个batch有b个样本；步骤5，使用训练集中的样本训练混合卷积神经网络模型的隐含层，并在训练完成时记录模型的性能；步骤6，在剩余的未标记样本池中，按照所提出的主动学习策略，挑选出其中最有价值的一批样本(不确定性高且冗余度低)，获取标注后加入到训练样本集中；步骤7，重复步骤5和6，直至达到所设定的训练样本数量；步骤8，模型训练结束，根据每一步记录的模型分类精度，得出模型性能随训练样本数量的增多而增长的变化关系。2.根据权利要求1所述的基于主动深度学习的高光谱图像分类的方法，其特征在于：所述的混合卷积网络模型：三个3d卷积层，一个2d卷积层以及两个全连接层和softmax分类器依次串联，为了降低参数量，减少主动学习迭代时训练模型的时间，选择采用一层卷积一层池化的结构。并在两个全连接层中使用mc dropout，以使用贝叶斯近似推断计算不确定性，最后一个全连接层使用softmax分类输出。3.根据权利要求1所述的基于主动深度学习的高光谱图像分类的方法，其特征在于，步骤6中使用主动学习策略挑选高质量样本，所述的主动学习策略：是在贝叶斯主动学习的基础上进行改进，将采集函数的概念有效地扩展到样本点的集合中。该函数在挑选一批样本时考虑样本之间的相关性，将常用的bald以特定的方式扩展为批bald采集函数。具体来说就是将原来的bald中对单个样本进行不确定性估计，再排序，找出前b个不确定性高的样本，以这b个样本的不确定性之和当作这批样本的信息量，变成直接对包含有b个样本的一个batch的信息量进行估计(即估计多个样本点和模型参数之间的互信息来联合计算)。其中，经典的基于贝叶斯不确定性的互信息采样策略(bald)算法为是利用贝叶斯近似推断计算样本的不确定性，进而计算单个样本点和模型参数之间的互信息，挑选出互信息最高的前b个样本，加入到训练集中，将这b个样本的信息量相加作为该批次的总信息量：针对传统的深度贝叶斯主动学习算法存在的不足，本文使用了考虑样本多样性的一个新的深度贝叶斯主动学习采样策略，将采集函数的概念有效地扩展到样本点的集合中。该函数在挑选一批样本时考虑样本之间的相关性，将常用的bald以特定的方式扩展为批bald采集函数，寻找一个最佳批次。具体来说就是把原来式中的对单个样本不确定性的估计，再求和，变成直接对一批样本信息量进行估计(即估计多个样本点和模型参数之间的互信息来联合计算)：
a
批bald
({x1，......x
b
}，p(ω|l))＝u(x1，......x
b
)u(x1，.......x
b
)＝h(y1，......y
b
，l)-e
p(ω|l)
h(y1，......y
b
|x1，......x
b
，ω)为了更加简洁，可以省略在x1，......x
b
和训练样本集l的作用，并用p(ω)代替p(ω|l)，这样采样函数就可以被表示为：a
批bald
({x1，.....x
n
}，p(ω))＝h(y1，......y
n
)-e
p(ω)
[h[y1，......y
n
|ω)由于任务模型的预测y对模型参数ω是条件独立的，因此上述方程的右项可以被直接分解，然后使用模型参数分布中的k个样本的mc dropout来近似求解期望：而左项的联合分布中没有模型参数，因此不能够直接分解，可以利用等式p(y)＝e
p(ω)
[p(y|x)]以及通过对所有y
1：b
的可能结果进行求和来计熵：在算法的每一次迭代过程，可以将p(y
1：n
|ω)分解成p(y
1：n-1
|ω)p(y
n
|ω)，将存储在大小为c
n-1
×
k的矩阵中，将存储在大小为c
×
k的矩阵中，因此得到以下的矩阵乘积：通过使用批量矩阵乘法计算不同x
n
的联合熵，可以进一步加快计算速度，只用计算一次，我们可以通过使用递归地计算和这样就可以仅仅在算法开始时对未标记池中的每一个样本进行采样计算其

技术总结
本发明公开了一种基于主动深度学习的高光谱图像分类方法，将深度学习模型与主动学习结合。所提出的主动深度学习框架，使用混合卷积神经网络充分提取高光谱图像的光谱特征，并对已有的贝叶斯不一致主动学习(BALD)采样函数进行了一些改进。将采集函数的概念有效地扩展到样本点的集合中，从而挑选出更有价值的样本(信息量高且样本间冗余度低的样本)交给专家标注并将其用于模型训练，从而较快地提升模型的性能。在保障深度学习模型适用性的前提下，解决了高光谱影像训练数据少，标注困难的问题。问题。问题。


技术研发人员：张莎莎 王慧斌
受保护的技术使用者：河海大学
技术研发日：2022.03.11
技术公布日：2023/9/23