基于特征学习与协同表示网络的高光谱图像异常检测方法与流程

1.本发明属于高光谱图像处理技术领域，更具体地，涉及一种基于特征学习与协同表示网络的高光谱图像异常检测方法。


背景技术：

2.异常检测是指将目标信息(异常信息)从背景和噪声中分离。高光谱传感器能够同时采集到图像的光谱特征信息和空间特征信息，这使得高光谱图像在图像异常检测领域有突出优势。
3.高光谱异常检测算法的关键问题在于对背景的建模以及衡量像素到背景模型的距离。如最经典的rx(由reed和xiaoli yu提出)算法假设背景模型的数据分布符合高斯分布，在估计出背景高斯分布的参数后，目标像素与背景分布的马氏距离可作为衡量目标像素异常程度的异常值。
4.但是实际图像服从何种数据分布是难以确定的。因此除了直接假设背景的数据分布模型之外，也可以通过背景字典来对背景模型进行间接建模。背景字典是从图像背景像素中找到一组特殊的稀疏元素，这一组稀疏元素能够线性表示所有的背景像素。使用背景字典中的元素对目标像素进行表示，表示的误差即为衡量异常的标准。这类方法被称为基于表示的异常检测方法。
5.背景字典直接使用图像像素作为字典元素，或者以聚类算法计算得到的聚类中心作为字典元素。而使用背景字典中的元素根据一定的权重向量进行线性组合可以对目标像素进行表示，根据求解最优权重向量的目标函数的不同，可以分为协同表示、低秩表示与稀疏表示等异常检测方法。传统的基于表示的异常检测算法的关键问题在于背景字典容易被异常像素污染且权重向量求解耗时长。
6.近年来深度学习方法由于其卓越的特征学习能力被应用到高光谱图像异常检测领域中，深度神经网络在异常检测中的主要应用是作为特征提取器，对原始高光谱图像进行降维的同时提取特征。其中大多数研究采用生成模型，通过最小化原始光谱和重建光谱之间的误差来提取隐层空间或重建空间中的特征。随后，研究者们将传统的异常检测器应用在深度神经网络提取的特征上完成最后的检测。
7.深度神经网络的主要作用是对提取高光谱图像的光谱特征并对其进行降维，网络训练的目标函数并没有针对异常检测问题进行设计。特征提取部分与异常检测部分的分离使得深度神经网络无法发挥其优势。同时深度神经网络锁提取的特征着重于光谱特征而忽视了局部空间特征与全局特征，这两个特征也是区分异常的关键因素。因为图像中的异常是一个相对于全图中的背景区域而得到的概念，异常的重要特征就是其与背景的显著差异性。


技术实现要素：

8.针对现有技术的缺陷，本发明的目的在于提供一种基于特征学习与协同表示网络
的高光谱图像异常检测方法，旨在解决传统的基于表示的异常检测算法中背景字典容易被异常像素污染且权重向量求解耗时长的问题。
9.本发明提供了一种基于特征学习与协同表示网络的高光谱图像异常检测方法，包括下述步骤：
10.s1选择待处理的高光谱图像数据，并随机抽取所述高光谱图像数据的70％作为训练数据，剩下的30％作为测试数据；
11.s2构建网络结构；所述网络结构包括重建网络和协同表示网络，所述重建网络用于通过重建实现对高光谱图像数据的特征进行挖掘与降维处理；所述协同表示网络用于根据重建网络输出的中间特征获得重建图像c；
12.s3根据所述训练数据对所述网络结构进行训练后获得异常检测网络；
13.s4将所述测试数据输入至所述异常检测网络中，提取高光谱图像数据x的隐层特征图像z，并根据协同表示网络对所述隐层特征图像z进行重建获得重建图像c，通过计算所述重建图像c与所述隐层特征图像z中各个对应像素的欧氏距离获得异常检测图a。
14.现有基于图像重建的深度学习异常检测算法大都使用的是重建图与原图的误差作为衡量异常水平的依据，而我们认为原图像中波段数量多，信息冗余较多，不利于检测且求解耗时长。因此本发明采用自编码器的中间特征作为进行重建的对象，以中间特征与其重建图像之间的误差来评估异常水平，中间特征作为原始高光谱图像的一种密集表达形式，能够取得更好的检测效果，提高检测效率。
15.其中，采用pytorch架构搭建所述网络结构。
16.更进一步地，重建网络包括编码器和解码器；编码器包括用于提取图像的光谱特征与局部结构特征的卷积网络，以及用于通过计算每个像素与全局图像的相似度来提取图像的全局对比特征的自注意力模块；解码器用于在对所述网络结构进行训练时，通过对所述编码器输出的中间特征进行处理后获得重建图像r。
17.更进一步地，编码器中的卷积网络包括两个残差单元，其中第一个残差单元用于将特征数量由b降至b/2；第二个残差单元用于将特征数量由b/2降至k并获得输出特征v，尺寸为h
×w×
k；其中，k为中间特征z的特征维数，b为原始高光谱图像的波段数量，且k《《b。
18.其中，自注意力模块为z＝h(y)+v，+v表示残差连接，z为中间特征，y＝softmax(v
t
v)g(v)为自注意力图，v是输入高光谱图像的特征图，y为原始高光谱图像，h(*)代表一层卷积层，包含k个大小为1
×
1的卷积核。
19.在本发明使用的自编码器中，通过在用于生成中间特征的编码网络部分中加入了自注意力模块，传统的编码网络部分只有卷积层构成，由于卷积核的大小限制，提取的特征主要为局部空间特征，而自注意力模块的可以提取图像的全局相关性信息。由于异常目标最重要的一个特点为其与全图背景的差异性，且事先不知道目标的尺寸，无法针对性地设计卷积核的大小，卷积层提取的局部空间特征不能完全反应异常目标的特征，而自注意力模块提取的全局相关性特征则可以使得自编码器提取的中间特征更加完善、丰富，有利于更加精准的将图像异常检测出来。
20.更进一步地，协同表示网络包括：字典网络和权重网络，所述字典网络用于根据中间特征z生成全局背景字典d；所述权重网络用于根据中间特征z和全局背景字典d输出权重矩阵α，尺寸为h
×w×
k。
21.将传统的基于表示的高光谱异常检测方法以深度神经网络的形式进行实现；部分深度学习异常检测方法在利用自编码器生成中间特征之后，直接在中间特征上使用一些传统的统计的高光谱异常检测算法，检测算法与生成特征的自编码器网络是割裂的，无法影响自编码器网络参数的优化。基于协同表示神经网络的高光谱图像异常检测算法，将传统的基于表示的高光谱异常检测方法以深度神经网络的形式进行实现，利用神经网络生成字典与表达权重系数，并以协同表示方法的优化目标函数来设计损失函数。因此检测部分与自编码器部分共同训练、优化，自编码器生成的中间特征将更有利于更快的将图像异常检测出来。
22.更进一步地，采用损失函数对生成的字典元素进行约束；其中zi为中间特征z中第i个像素，dj为全局背景字典d中第j个像素，m为中间特征z的像素总数，n为那句背景字典d的像素总数。
23.更进一步地，重建图像c与中间特征z之间的误差将驱动作为权重网络与字典网络的优化。具体地，可以根据协同表示方法的优化目标函数来获得损失函数其中，优化目标函数为α为权重向量，y为原图像，xs为背景向量矩阵，zi为中间特征z中第i个像素，ci为重建图像c中第i个像素，αi为α的第i个权重向量，λ为训练时的超参数。
24.通过本发明所构思的以上技术方案，与现有技术相比，本发明将自编码器与自注意力模块相结合，更好地提取图像的全局特征，利用训练好的协同表示网络生成全局背景字典以及权重矩阵，对特征进行表示，通过表示结果与原特征图的误差图来检测异常目标，耗时短，精度高。
附图说明
25.图1是本发明实施例提供的基于特征学习与协同表示网络的高光谱图像异常检测方法的实现流程图；
26.图2是本发明实施例提供的高光谱图像异常检测方法中训练流程图；
27.图3是本发明实施例提供的残差单元的结构示意图；
28.图4是本发明实施例提供的自注意力机制模块的结构示意图；
29.图5是本发明实施例提供的权重网络结构的结构示意图。
具体实施方式
30.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
31.本发明基于高光谱异常检测算法设计了一种新型的异常检测网络，结合异常检测算法与深度神经网络的优势，可以获得更快、更好的检测效果。首先，通过神经网络提取高
光谱图像的不同特征，充分挖掘图像中的信息；然后利用神经网络学习生成背景字典与权重矩阵(所有像素权重向量的集合)；最后基于传统异常检测算法设计的目标优化函数，更能发挥深度神经网络的学习能力。
32.本发明提供的一种高光谱图像异常检测算法中，使用神经网络挖掘高光谱图像的光谱特征、局部空间结构特征以及全局对比特征；并以提取的特征图为基础进行异常检测，利用训练好的协同表示网络生成全局背景字典以及权重矩阵，对特征进行表示，通过表示结果与原特征图的误差图来检测异常目标。
33.本发明实施例提供的基于特征学习与协同表示网络的高光谱图像异常检测方法，如图1所示，包括如下步骤：
34.(1)选择数据集：
35.本发明实施例采用雄安新区马蹄湾村高光谱影像数据，由中国科学院上海技术物理研究所研制高分专项航空系统全谱段多模态成像光谱仪采集，光谱范围为400nm～1000nm，波段250个，图像尺寸为3750
×
1580像素，空间分辨率0.5m。原图较大，本发明对其进行分割成660张100
×
100的小图像，随机取其中70％进行训练，另外30％进行测试。
36.(2)构建网络：
37.根据技术方案中描述的网络结构与损失函数采用pytorch架构搭建网络，重建网络的中间特征维数k设置为15，字典网络的元素数量m设置为10。
38.(3)训练网络：
39.本发明通过adam优化方法对网络进行训练。利用“步长”策略调整学习率，初始学习率为0.0001，最大迭代次数为1 0000。此外，设置动量参数为0.9、衰退系数为0.001。损失函数l1的超参数δ＝0.5，损失函数l3的超参数λ＝3。重建网络将与协同表示网络共同训练。
40.(4)异常检测：
41.在训练完成之后，编码器提取高光谱图像x的隐层特征图像z，再有协同表示网络对z其进行重建得到重建图像c，最后计算c与z各个对应像素的欧氏距离得到检测图a。
42.如图2所示，网络分为两个部分，分别是重建网络与协同表示网络。重建网络用于高光谱图像数据的特征挖掘与降维，重建过程中的中间特征图像用于之后的异常检测。字典网络用于生成背景字典，权重网络特征图像生成权重矩阵，最后通过权重矩阵与全局背景字典相乘即得到基于表示的重建图像，基于表示的重建图像与中间特征图像各对应像素之间欧式距离将作为衡量异常水平的依据。
43.在本发明实施例中，重建网络具体包括：假设高光谱图像x其尺寸为h
×w×
b，h和w为空间上长与宽的像素数量，而b为波段数量。一般高光谱图像的波段数量b较大，虽然能反映更加真实的高光谱曲线，但也带来了一定的信息冗余，影响检测效果的同时加大计算量。因此首先使用自编码器对高光谱数据进行重建，采用重建过程的中间隐层特征来进行之后检测，中间特征可以反映高光谱数据的隐藏特征同时对数据进行降维，不仅更有利于之后的异常检测，减少了计算量。
44.高光谱数据x输入重建网络中，编码器接受输入将其转换为更加高效的隐层特征z，z尺寸为h
×w×
k，k为z的特征维数，且k《《b；解码器基于隐层特征z输出重建结果r，其尺寸与x一致。高光谱数据x与重建结果r越相似，表示重建网络的效果越好，z的特征学习能力与降维能力也越好。因此，采用的huber loss函数计算高光谱数据x与重建结果r之间的误
差，并根据误差反向传播算法调整编码器e中相应的权重参数以及偏置参数与解码器中相应的权重参数以及偏置参数。
45.重建网络的损失函数采用huber损失函数，表达如下：
46.δ为自定义的超参数。
47.一般的基于深度学习的方法在使用自编码器处理高光谱图像时，只采用简单的全连接层，以单个像素为输入，学习像素的光谱特征。这忽略了高光谱图像数据作为一个整体而包含的局部空间结构特征与全局特征，而这两种特征也是区分异常与背景的关键。
48.如图3所示，本发明重新设计了编码器的网络结构，重建网络直接以整个高光谱图像为输入，采用卷积网络和自注意力模块充分挖掘图像的光谱特征、局部空间结构特征以及全局特征。
49.编码器卷积网络为包含2个残差单元，残差单元结构如图3所示。编码器中每个残差单元包括2个卷积核大小为5
×
5的二维卷积层，卷积层后接线性整流单元激活函数。卷积层步长均为1，且通过填充保持输出空间尺寸不变。第一个残差单元将特征数量由b降至b/2，第二个残差单元再将特征数量由b/2降至k，得到输出特征v，尺寸为h
×w×
k。卷积层的作用是可以提取图像的光谱特征与局部结构特征。
50.自注意力模块如图4所示，其中v在输入自注意力模块时将尺寸由h
×w×
k转换为n
×
k，n＝h
×
w。自注意力图y的计算公式如图中公式，输出即为中间特征z。自注意力图计算了每个像素与全局图像的相似度，可以提取图像的全局对比特征。是一种计算图像中所有加权平均值的滤波算法，定义为：
[0051][0052]
其中，i是输出位置的索引；j是枚举所有可能位置的索引。x是输入信号；y是输出信号。g(*)函数用于计算xj的特征表示，函数f(*)用于计算xi与xj间的相似性。
[0053]
在应用中，将函数g(*)考虑为线性的：g(xj)＝wgxj，其中wg为待学习的权重矩阵。而对于函数其中,x
it
xj表示点积相似性，更适用于深度学习的网络。此时用于标准化。从整个输入v而言，计算过程可以表示如下：y＝softmax(v
t
v)g(v)
[0054]
因此整个自注意力模块的可以表示为：z＝h(y)+v；“+v”表示残差连接。残差连接使得本发明能够在任何预训练的模型中插入自注意力模块网络，在不改变其初始行为的情况下使网络效果表现得更好。
[0055]
解码器的卷积网络只包含1个残差单元，包括2个卷积核大小为5
×
5的二维卷积层，每个卷积层产生b个特征图。卷积层步长均为1，且通过填充保持输出空间尺寸不变。编码器可以将特征维数从k升到b，得到重建图像r，尺寸为h
×w×
k。解码器部分只在网络训练阶段需要，在测试和应用阶段则不需要。
[0056]
在本发明实施例中，字典网络用于是生成全局背景字典，需要在训练前指定背景
字典的元素数量。字典网络的输入为中间特征图像z，将其尺寸转换为k
×
n。输出为背景字典d尺寸为k
×
m，其中m为字典中的元素个数。字典网络内包含一个残差单元，使用卷积核大小为1的一维卷积层。为了使d中的元素更具有代表性，本发明设计了损失函数对生成的字典元素进行约束：其中zi为z中第i个像素，dj为d中第j个像素。
[0057]
在本发明实施例中，权重网络可以根据中间特征z与全局背景字典d输出权重矩阵α，尺寸为h
×w×
k。权重网络结构如图5所示，首先需要将全局背景字典d进行变形、重复之后拼接到中间特征z的特征维度，得到的拼接特征尺寸为h
×w×
(m+1)k，再将拼接特征输入卷积网络得到权重矩阵。卷积网络包含两个残差单元，使用卷积核大小为1
×
1的二维卷积层，第一个残差单元将特征数从(m+1)k降到m*k/2，第二个残差单元再将特征数从m*k/2降到m，输出结果尺寸h
×w×
m，再将结果变形为权重矩阵α，权重矩阵尺寸为n
×
m，其中n＝h
×
w。
[0058]
权重矩阵与全局背景字典相乘可以得到基于表示的重建图像c。重建图c与中间特征z之间的误差将驱动作为权重网络与字典网络的优化，依据协同表示方法的优化目标函数来设计损失函数，表达如下：
[0059]
其中zi为z中第i个像素，ci为c中第i个像素，αi为α的第i个权重向量，λ为训练时的超参数。
[0060]
最后在测试与应用阶段计算重建c与z各个对应像素的欧式距离得到异常检测图a。
[0061]
本发明实施例中，将自编码器与自注意力模块相结合，更好地提取图像的全局特征，利用训练好的协同表示网络生成全局背景字典以及权重矩阵，对特征进行表示，通过表示结果与原特征图的误差图来检测异常目标，耗时短，精度高。
[0062]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于特征学习与协同表示网络的高光谱图像异常检测方法，其特征在于，包括下述步骤：s1选择待处理的高光谱图像数据，并随机抽取所述高光谱图像数据的70％作为训练数据，剩下的30％作为测试数据；s2构建网络结构；所述网络结构包括重建网络和协同表示网络，所述重建网络用于通过重建实现对高光谱图像数据的特征进行挖掘与降维处理；所述协同表示网络用于根据重建网络输出的中间特征获得重建图像c；s3根据所述训练数据对所述网络结构进行训练后获得异常检测网络；s4将所述测试数据输入至所述异常检测网络中，提取高光谱图像数据x的隐层特征图像z，并根据协同表示网络对所述隐层特征图像z进行重建获得重建图像c，通过计算所述重建图像c与所述隐层特征图像z中各个对应像素的欧氏距离获得异常检测图a。2.如权利要求1所述的高光谱图像异常检测方法，其特征在于，采用pytorch架构搭建所述网络结构。3.如权利要求1或2所述的高光谱图像异常检测方法，其特征在于，所述重建网络包括编码器和解码器；所述编码器包括用于提取图像的光谱特征与局部结构特征的卷积网络，以及用于通过计算每个像素与全局图像的相似度来提取图像的全局对比特征的自注意力模块；所述解码器用于在对所述网络结构进行训练时，通过对所述编码器输出的中间特征进行处理后获得重建图像r。4.如权利要求3所述的高光谱图像异常检测方法，其特征在于，所述编码器中的卷积网络包括两个残差单元，其中第一个残差单元用于将特征数量由b降至b/2；第二个残差单元用于将特征数量由b/2降至k并获得输出特征v，尺寸为h
×
w
×
k；其中，k为中间特征z的特征维数，b为原始高光谱图像的波段数量，且k<<b。5.如权利要求3所述的高光谱图像异常检测方法，其特征在于，所述自注意力模块为z＝h(y)+v，其中，+v表示残差连接，z为中间特征，y为原始高光谱图像，h(*)代表一层卷积层，包含k个大小为1
×
1的卷积核。6.如权利要求1-5任一项所述的高光谱图像异常检测方法，其特征在于，所述协同表示网络包括：字典网络和权重网络，所述字典网络用于根据中间特征z生成全局背景字典d；所述权重网络用于根据中间特征z和全局背景字典d输出权重矩阵α，尺寸为h
×
w
×
k。7.如权利要求6所述的高光谱图像异常检测方法，其特征在于，采用损失函数对生成的字典元素进行约束；其中z
i
为中间特征z中第i个像素，d
j
为全局背景字典d中第j个像素，m为中间特征z的像素总数，n为那句背景字典d的像素总数。8.如权利要求1所述的高光谱图像异常检测方法，其特征在于，所述重建图像c与中间特征z之间的误差将驱动作为权重网络与字典网络的优化。9.如权利要求8所述的高光谱图像异常检测方法，其特征在于，根据协同表示方法的优
化目标函数来获得损失函数其中，优化目标函数为α为权重向量，y为原图像，x
s
为背景向量矩阵，z
i
为中间特征z中第i个像素，c
i
为重建图像c中第i个像素，α
i
为α的第i个权重向量，λ为训练时的超参数。

技术总结
本发明公开了一种基于特征学习与协同表示网络的高光谱图像异常检测方法，包括S1选择待处理的高光谱图像数据，并随机抽取70％作为训练数据，30％作为测试数据；S2构建网络结构；S3根据训练数据对网络结构进行训练后获得异常检测网络；S4将测试数据输入至异常检测网络中，提取高光谱图像数据的隐层特征图像，并根据协同表示网络对隐层特征图像进行重建获得重建图像，通过计算重建图像与隐层特征图像中各个对应像素的欧氏距离获得异常检测图。本发明将自编码器与自注意力模块相结合，更好地提取图像的全局特征，利用训练好的协同表示网络生成全局背景字典以及权重矩阵，对特征进行表示，通过表示结果与原特征图的误差图来检测异常目标，耗时短，精度高。精度高。精度高。


技术研发人员：欧阳彤彬
受保护的技术使用者：中国船舶集团有限公司第七〇九研究所
技术研发日：2023.01.03
技术公布日：2023/9/22