一种遥感图像目标检测方法与流程

1.本发明涉及遥感图像处理技术领域，特别涉及，一种遥感图像目标检测方法。


背景技术：

2.当前，国内外的传感器及其成像技术的迅猛发展，使得大量的新型遥感图像在实际应用方面更加广泛，并给遥感图像融合带来了更高的要求。在遥感图像融合中，由于成像过程的信噪比限制，大量遥感卫星无法直接得到高分辨率多光谱图像，从而对遥感图像进一步处理后获取的目标检测结果造成较大影响，基于现有技术，遥感图像融合过程中依然存在运算复杂；因图像r、g、b分量相关性强而导致光谱或空间畸变、使用局限性大，导致目标检测结果不准确的问题。


技术实现要素：

3.针对上述缺陷，本发明解决的技术问题在于，提供一种遥感图像目标检测方法，以解决现在技术所存在的因图像r、g、b分量相关性强而导致光谱或空间畸变、使用局限性大，目标检测结果不准确的问题。
4.本发明提供了一种遥感图像目标检测方法，包括：
5.步骤1、对遥感图像进行预处理及上采样，得到处理后的图像；
6.步骤2、基于加权最小二乘滤波法和非下采样剪切波变换法对处理后的图像进行分解，得到高频图像和低频图像；
7.步骤3、对分解后的高频图像采用绝对值最大法进行融合，对低频图像采用基于导向滤波的方法进行融合；
8.步骤4、基于非下采样剪切波逆变换和主元分析逆变换，对融合后的图像处理，得到最终的融合图像；
9.步骤5、基于注意力机制和卷积网络对融合后的图像进行目标检测。
10.优选地，所述步骤2的具体步骤包括：
11.步骤2.1、对处理后的多光谱图像进行主元分析正变换，获得多光谱图像的各分量c1，c2，
…
，cn；
12.步骤2.2、采用加权最小二乘滤波法提取全色图像的高频信息，将高频信息与第一分量结合得到空间多光谱分量c
1h
，将空间多光谱分量与全色图像进行直方图匹配，得到匹配后的全色图像
13.步骤2.3、采用非下采样剪切波变换对匹配后的全色图像和空间多光谱分量c
1h
分别进行多尺度多方向分解，得到各系数分解带和和和分别表示c
1h
在空间位置(i，j)处i级k个方向下分解的高频系数和低频系数，和分别表示在空间位置(i，j)处i级k个方向下分解的的高频系数
和低频系数。
14.优选地，所述步骤3中对低频图像处理的具体步骤包括：
15.步骤3.1、将全色图像的低频图像i作为导向图像，将多光谱图像分解得到的低频图像作为输入图像，构建滤波输出图像模型，所述滤波输出图像模型表示为：其中，qi为滤波输出图像，ii为导向图像，ak和bk为窗口ωk中具有固定数值的线性系数；
16.步骤3.2、基于最小化代价函数进行线性回归分析，得到ak和bk的函数分别表示为：其中μk和σ
k2
分别表示导向图像i在局部窗口ωk中的均值及方差，ω为局部窗口ωk中的像素个数，为滤波输入图像p在局部窗口ωk中的均值；
17.步骤3.3、对获取的ak和bk进行均值滤波，基于滤波后的系数优化滤波输出图像模型，优化后的模型函数表示为其中分别为ak和bk在窗口ωk中的均值，
18.优选地，所述步骤4的具体步骤包括：
19.步骤4.1、对融合后的低频图像和高频图像进行非下采样剪切波逆变换，得到融合后的高分辨率多光谱图像；
20.步骤4.2、将融合后的高分辨率多光谱图像和多光谱分量c2，
…
，cn进行主元分析逆变换，获得最终的融合图像。
21.优选地，所述步骤5的具体步骤包括：
22.步骤5.1、对遥感图像进行初步卷积，并对初步卷积后的结果采用深度可分离卷积进行线性组合；
23.步骤5.2、基于卷积注意力机制，对卷积后的图像进行特征提取；
24.步骤5.3、基于浅层网络和深层网络的特征，通过自上而下的方式进行特征融合，得到遥感图像目标检测的结果。
25.优选地，所述步骤1的具体步骤包括：
26.步骤1.1、对遥感图像数据进行精确的预处理，直至满足图像融合的基本要求，其中所述预处理包括几何校正、自动配准；
27.步骤1.2、应用双三次插值，对多光谱图像进行上采样处理，得到与全色图像对应像元一致的多光谱图像。
28.优选地，所述步骤2.2中采用加权最小二乘滤波法进行全色图像的高频信息提取的滤波函数表示为其中s表示输入图像，u表示滤波图像，下标p为像素点(x，y)对应的空间坐标，(u
p-s
p
)2表示在像素点处
对应的输入图像及滤波图像的最小化数据项，为正则项，a
x，p
(s)和a
y，p
(s)表示像素点(x，y)处的和两梯度的权重系数，λ为平衡数据项与正则项的正则化因子；
29.平滑权重系数表示为：其中，l表示输入图像s的对数亮度通道，α表示决定对输入图像s的梯度敏感度的指数，ε为常数。
30.优选地，所述步骤5.1中深度可分离卷积的具体步骤包括：使用卷积核大小为1的卷积来转换图像的通道；对转换后的图像使用深度卷积进行提取特征。
31.优选地，所述步骤5.2的具体步骤包括：
32.步骤5.2.1、把卷积后的图像的每个通道分别进行平均池化和最大池化，对池化后的结果进行相加得到输出，对所有通道的输出通过激活函数得到每个通道的权重；
33.步骤5.2.2、把卷积后的图像的每个通道分别进行最大池化和平均池化，对池化后的结果进行一次卷积操作得到空间注意力的权重图，将得到的权重图通过激活函数得到每个空间位置的权重；
34.步骤5.2.3、将每个通道的权重和每个空间位置的权重与原始图像结合，得到基于注意力机制进行特征提取后的遥感图像。
35.优选地，所述步骤3.2中最小化代价函数表示为
36.其中ε为归一化因子。
37.由上述方案可知，本发明提供的一种遥感图像目标检测方法充分利用主元分析的降维约简和非下采样剪切波的多尺度多方向性，提出两者相结合的融合方法，并引入加权最小二乘滤波对全色图像进行多尺度细节提取来增强空间信息。同时考虑非下采样剪切波的高、低频融合规则会严重影响融合效果，故对高低频图像采用不同的方法进行融合，兼顾了细节特征提取和能量信息保持，使得融合图像色彩自然，光谱性能好；在空间细节上，目标清晰，细节特征明显，在提高细节信息的同时，避免光谱失真。本发明解决现在技术所存在的运算复杂性和因图像r、g、b分量相关性强而导致光谱或空间畸变、使用局限性大，目标检测结果不准确的问题，作用效果显著，适于广泛推广。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明实施例提供的一种遥感图像目标检测方法的过程框图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.请参阅图1，现对本发明提供的一种遥感图像目标检测方法的一种具体实施方式进行说明。该种遥感图像目标检测方法的具体步骤包括：
42.s1、对遥感图像进行预处理及上采样，得到处理后的图像；
43.s1的具体步骤包括：
44.s1.1、对遥感图像数据进行精确的预处理，直至满足图像融合的基本要求，其中所述预处理包括几何校正、自动配准等；
45.图像融合的基本要求包括配准误差控制在0.3个像元以内，且所有图像重采样至8位。
46.s1.2、应用双三次插值，以4的上采样因子对多光谱图像进行上采样处理，得到与全色(pan)图像对应像元一致的多光谱(ms)图像。
47.s2、基于加权最小二乘滤波法和非下采样剪切波(nsst)变换法对处理后的图像进行分解，得到高频图像和低频图像；
48.s2的具体步骤包括：
49.s2.1、对处理后的多光谱图像进行主元分析(pca)正变换，获得多光谱图像的各分量c1，c2，
…
，cn；
50.s2.2、采用加权最小二乘滤波法提取全色图像的高频信息及空间细节信息，将高频信息与第一分量c1结合得到空间多光谱分量c
1h
，将空间多光谱分量与全色图像进行直方图匹配，得到匹配后的全色图像
51.采用加权最小二乘滤波法根据数据的偏差情况构建权重函数，解决异方差问题，进一步提高模型的估计精度，在多尺度上进行细节处理，在模糊和锐化之间做出最佳的折衷，使其在保持边缘特征的同时尽可能的平滑图像，有效的改善图像边缘处的晕轮或伪影现象。
52.s2.2中采用加权最小二乘滤波法进行全色图像的高频信息提取的滤波函数表示为其中s表示输入图像，u表示滤波图像，下标p为像素点(x，y)对应的空间坐标，(u
p-s
p
)2表示在像素点处对应的输入图像及滤波图像的最小化数据项，最小化数据项使s和u相似度尽可能高，减少图像信息损失，为正则项，取输出图像u偏导数平方的加权和最小值，可实现边缘保持及图像平滑，a
x，p
(s)和a
y，p
(s)表示像素点(x，y)处的和两梯度的权重系数，λ为平衡数据项与正则项的正则化因子，其值与平滑成正相关；
53.平滑权重系数表示为：其中，l表示输入图像s的对数亮度通道，a表示决定对输入图像s的梯度敏感度的指数，ε为常数(通常为0.0001)，避免被零除。
54.滤波函数用矩阵形式表示为：
55.其中w
x
和wy分别为a
x，p
(s)和a
y，p
(s)的对角阵，d
x
和dy是离散微分算子，分别表示前后向差分算子，最小化滤波函数中的u，定义线性系统的唯一解为：(i+λls)u＝s，其中表示非齐次拉普拉斯矩阵，用于从一组稀疏的约束推导出分段光滑调整图。u还可通过应用一个非线性算子f
λ
(s)得到，函数表示为u＝f
λ
(s)＝(i+λls)-1
s它依赖于s。由于该算子具有空间变异性，很难分析其频率响应，故将其限制在图像中不包含明显边缘的区域。具体来说，在s大致为常数区域，平滑权重a
x，p
(s)和a
y，p
(s)大致相等，即a
x，p
(s)≈a
y，p
(s)≈a，因此f
λ
(s)≈(i+λal)-1
s，其中为普通(齐次)拉普拉斯矩阵。平滑权重系数a
x，p
(s)和a
y，p
(s)在x和y方向上的梯度是分开的，故所得算子不具有旋转不变性，保持轴线对齐边缘稍多于角线边缘。但并不会造成伪影现象，且在规则格网上的图像离散表示本身是旋转变化的。
56.将多尺度加权最小二乘滤波提取后的所有空间细节信息注入至多光谱图像的第一主成分中的数学模型表示为其中c1为主元分析变换后的第一主成分，c
1h
表示注入高频信息后的第一主成分，w为增益系数，是c1标准差和主元分析标准差std
pan
的比值。
57.s2.3、采用非下采样剪切波变换对匹配后的全色图像和空间多光谱分量c
1h
分别进行多尺度多方向分解，得到各系数分解带和和和分别表示c
1h
在空间位置(i，j)处i级k个方向下分解的高频系数和低频系数，和分别表示在空间位置(i，j)处i级k个方向下分解的的高频系数和低频系数。
58.s3、对分解后的高频图像采用绝对值最大法进行融合，对低频图像采用基于导向滤波的方法进行融合；
59.该方法对多光谱图像和全色图像使用非下采样剪切波分解，对分解后的高频图像采用绝对值最大法进行融合，对低频图像采用基于导向滤波的方法进行融合。该方法有效利用了导向滤波的边缘保持性，且减少了传统多尺度分解造成的伪吉布斯现象。该方法使得融合后的图像能既能保持较好地光谱信息，又提升了图像的空间结构信息。
60.s3中对低频图像处理的具体步骤包括：
61.s3.1、将全色图像的低频图像i作为导向图像，将多光谱图像分解得到的低频图像作为输入图像，构建滤波输出图像模型，设导向滤波在以像素k为中心的大小为(2i+1)
×
(2i+1)的局部窗口中，滤波输出图像模型表示为：其中，qi为滤波输出图像，ii为导向图像，ak和bk为窗口ωk中具有固定数值的线性系数；
62.导向滤波核心思想是引导图像做线性变换，导向滤波的边缘保持性较好。
63.s3.2、基于最小化代价函数进行线性回归分析，得到ak和bk的函数分别表示为：其中μk和σ
k2
分别表示导向图像i在局部窗口ωk中的均值及方差，ω为局部窗口ωk中的像素个数，为滤波输入图像p在局部窗口ωk中的均值；
64.s3.2中最小化代价函数表示为其中ε为归一化因子，设置ε的目的是防止ak值过大。
65.s3.3、对获取的ak和bk进行均值滤波，基于滤波后的系数优化滤波输出图像模型，即优化后的模型函数表示为其中分别为ak和bk在窗口ωk中的均值，
66.s4、基于非下采样剪切波逆变换和主元分析逆变换，对融合后的图像处理，得到最终的融合图像；
67.s4的具体步骤包括：
68.s4.1、对融合后的低频图像和高频图像进行非下采样剪切波逆变换，得到融合后的高分辨率多光谱图像；
69.s4.2、将融合后的高分辨率多光谱图像和多光谱分量c2，
…
，cn进行主元分析逆变换，获得最终的融合图像。
70.s5、基于注意力机制和卷积网络对融合后的图像进行目标检测。
71.对遥感图像进行目标监测时，将轻量化网络ghostnet作为yolov5骨干网络，用来减少网络的计算量；基于卷积注意力模块，提出了同时卷积注意力模块并将其应用在yolov5骨干网络，与卷积注意力模块相比在不增加参数量的情况下提高了模型的精度；针对yolov5的颈部，提出跨层多路径聚合网络，在仅仅增加少量参数的情况下，给网络精度带来显著的提升。
72.s5的具体步骤包括：
73.s5.1、对遥感图像进行初步卷积，并对初步卷积后的结果采用深度可分离卷积进行线性组合；
74.ghostnet的在进行卷积操作时，特征图有着许多共同的特征信息，因此先卷积其中的一部分，另一部分通过之前卷积出来的结果通过线性组合得到。如果需要输出m层通道，那么把c(c＜m)层通过卷积的方式得到。剩余的m－c层把得到的c层特征图线性变换的方式得到。初步卷积和普通卷积操作是一样的，s5.1的卷积方法可以大幅度降低计算量，从
而降低模型对硬件的要求。
75.s5.1中深度可分离卷积的具体步骤包括：使用卷积核大小为1的卷积来转换图像的通道(点卷积)；对转换后的图像使用深度卷积(组数为输入通道的分组卷积)进行提取特征。
76.s5.2、基于卷积注意力机制，对卷积后的图像进行特征提取；
77.在yolov5的back-bone中加入注意力机制，让网络更加准确的定位和识别感兴趣的目标，解决复杂的背景信息，造成卷积后产生很多冗余信息；由于通道注意力导致的特征信息丢失的问题。注意力机制是通过关注输入对象的特定区域来获得更多的关键信息。卷积注意力机制结合了通道注意力和空间注意力。空间注意力机制是关注目标在图像的位置信息。s5.2的具体步骤包括：
78.s5.2.1、计算通道注意力：把卷积后的图像的每个通道分别进行平均池化和最大池化，对池化后的结果进行相加得到输出，对所有通道的输出通过sigmoid激活函数得到每个通道的权重；
79.s5.2.2、把卷积后的图像的每个通道分别进行最大池化和平均池化，对池化后的结果进行一次卷积操作得到空间注意力的权重图，将得到的权重图通过sigmoid激活函数得到每个空间位置的权重；
80.s5.2.3、将每个通道的权重和每个空间位置的权重与原始图像结合，即把通道注意力获取的结果与空间注意力获取的结果进行相加操作，得到基于注意力机制进行特征提取后的遥感图像。
81.s5.3、基于浅层网络和深层网络的特征，通过自上而下的方式进行特征融合，得到遥感图像目标检测的结果。
82.对于目标检测而言，浅层网络可以有效检测小目标和位置信息，而深层网络可以检测大目标。特征金字塔网络(fpn)是通过自顶向下的连接方式，将渐层网络特征和深层网络特征相融合的结构，提高目标检测的精度。yolov5采用的panet是在特征金字塔网络的基础上提出的，不仅保留自顶向下的连接方式，并且在此基础之上，加了一条自下而上的连接，更有效进行特征融合的结构。对于跨层的部分，采取了多路径聚合。多路聚合网络结构是把输入分为两部分，一部分保持不变，而另一部分则是先通过一个卷积注意力机制处理，最后将这两部分拼接起来。对于backbone部分，浅层网络的结构保持不变，对于深层网络采用ghost卷积，从而有效的减少参数量。
83.与现有技术相比，该种遥感图像目标检测方法鉴于现有技术在图像特征融合过程中存在的局限性，充分的利用了主元分析数据降维的约简性及非下采样剪切波的分解高效性，引入了加权最小二乘滤波法获得多尺度空间细节信息，并将其注入至主元分析变换后的第一主成分中与全色图像分别进行非下采样剪切波变换，从而获得光谱继承性更高，且边缘细节保持更好的融合图像。根据高频子带系数所携带的信息不同于低频子带系数，对高低频图像采用不同的方法进行融合，兼顾了细节特征提取和能量信息保持，使得融合图像色彩自然，光谱性能好；在空间细节上，目标清晰，细节特征明显，在提高细节信息的同时，避免光谱失真。
84.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。本发明实施例中未作
详细描述的内容属于本领域专业技术人员公知的现有技术。
85.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种遥感图像目标检测方法，其特征在于，包括：步骤1、对遥感图像进行预处理及上采样，得到处理后的图像；步骤2、基于加权最小二乘滤波法和非下采样剪切波变换法对处理后的图像进行分解，得到高频图像和低频图像；步骤3、对分解后的高频图像采用绝对值最大法进行融合，对低频图像采用基于导向滤波的方法进行融合；步骤4、基于非下采样剪切波逆变换和主元分析逆变换，对融合后的图像处理，得到最终的融合图像；步骤5、基于注意力机制和卷积网络对融合后的图像进行目标检测。2.根据权利要求1所述的一种遥感图像目标检测方法，其特征在于，所述步骤2的具体步骤包括：步骤2.1、对处理后的多光谱图像进行主元分析正变换，获得多光谱图像的各分量c1，c2，
…
，c
n
；步骤2.2、采用加权最小二乘滤波法提取全色图像的高频信息，将高频信息与第一分量结合得到空间多光谱分量c
1h
，将空间多光谱分量与全色图像进行直方图匹配，得到匹配后的全色图像步骤2.3、采用非下采样剪切波变换对匹配后的全色图像和空间多光谱分量c
1h
分别进行多尺度多方向分解，得到各系数分解带和和分别表示c
1h
在空间位置(i，j)处i级k个方向下分解的高频系数和低频系数，和分别表示在空间位置(i，j)处i级k个方向下分解的的高频系数和低频系数。3.根据权利要求2所述的一种遥感图像目标检测方法，其特征在于，所述步骤3中对低频图像处理的具体步骤包括：步骤3.1、将全色图像的低频图像i作为导向图像，将多光谱图像分解得到的低频图像作为输入图像，构建滤波输出图像模型，所述滤波输出图像模型表示为：其中，q
i
为滤波输出图像，i
i
为导向图像，a
k
和b
k
为窗口ω
k
中具有固定数值的线性系数；步骤3.2、基于最小化代价函数进行线性回归分析，得到a
k
和b
k
的函数分别表示为：其中μ
k
和σ
k2
分别表示导向图像i在局部窗口ω
k
中的均值及方差，ω为局部窗口ω
k
中的像素个数，为滤波输入图像p在局部窗口ω
k
中的均值；步骤3.3、对获取的a
k
和b
k
进行均值滤波，基于滤波后的系数优化滤波输出图像模型，优化后的模型函数表示为其中分别为a
k
和b
k
在窗口ω
k
中的均值，
4.根据权利要求3所述的一种遥感图像目标检测方法，其特征在于，所述步骤4的具体步骤包括：步骤4.1、对融合后的低频图像和高频图像进行非下采样剪切波逆变换，得到融合后的高分辨率多光谱图像；步骤4.2、将融合后的高分辨率多光谱图像和多光谱分量c2，
…
，c
n
进行主元分析逆变换，获得最终的融合图像。5.根据权利要求4所述的一种遥感图像目标检测方法，其特征在于，所述步骤5的具体步骤包括：步骤5.1、对遥感图像进行初步卷积，并对初步卷积后的结果采用深度可分离卷积进行线性组合；步骤5.2、基于卷积注意力机制，对卷积后的图像进行特征提取；步骤5.3、基于浅层网络和深层网络的特征，通过自上而下的方式进行特征融合，得到遥感图像目标检测的结果。6.根据权利要求5所述的一种遥感图像目标检测方法，其特征在于，所述步骤1的具体步骤包括：步骤1.1、对遥感图像数据进行精确的预处理，直至满足图像融合的基本要求，其中所述预处理包括几何校正、自动配准；步骤1.2、应用双三次插值，对多光谱图像进行上采样处理，得到与全色图像对应像元一致的多光谱图像。7.根据权利要求4所述的一种遥感图像目标检测方法，其特征在于，所述步骤2.2中采用加权最小二乘滤波法进行全色图像的高频信息提取的滤波函数表示为其中s表示输入图像，u表示滤波图像，下标p为像素点(x，y)对应的空间坐标，(u
p-s
p
)2表示在像素点处对应的输入图像及滤波图像的最小化数据项，为正则项，a
x，p
(s)和a
y，p
(s)表示像素点(x，y)处的和两梯度的权重系数，λ为平衡数据项与正则项的正则化因子；平滑权重系数表示为：其中，l表示输入图像s的对数亮度通道，α表示决定对输入图像s的梯度敏感度的指数，ε为常数。8.根据权利要求5所述的一种遥感图像目标检测方法，其特征在于，所述步骤5.1中深度可分离卷积的具体步骤包括：使用卷积核大小为1的卷积来转换图像的通道；对转换后的图像使用深度卷积进行提取特征。
9.根据权利要求5所述的一种遥感图像目标检测方法，其特征在于，所述步骤5.2的具体步骤包括：步骤5.2.1、把卷积后的图像的每个通道分别进行平均池化和最大池化，对池化后的结果进行相加得到输出，对所有通道的输出通过激活函数得到每个通道的权重；步骤5.2.2、把卷积后的图像的每个通道分别进行最大池化和平均池化，对池化后的结果进行一次卷积操作得到空间注意力的权重图，将得到的权重图通过激活函数得到每个空间位置的权重；步骤5.2.3、将每个通道的权重和每个空间位置的权重与原始图像结合，得到基于注意力机制进行特征提取后的遥感图像。10.根据权利要求3所述的一种遥感图像目标检测方法，其特征在于，所述步骤3.2中最小化代价函数表示为其中ε为归一化因子。

技术总结
本发明公开了一种遥感图像目标检测方法，属于遥感图像处理技术领域，充分的利用了主元分析数据降维的约简性及非下采样剪切波的分解高效性，引入了加权最小二乘滤波法获得多尺度空间细节信息，并将其注入至主元分析变换后的第一主成分中与全色图像分别进行非下采样剪切波变换，从而获得光谱继承性更高，且边缘细节保持更好的融合图像。本发明提供的一种遥感图像目标检测方法解决现在技术所存在的因图像R、G、B分量相关性强而导致光谱或空间畸变、使用局限性大，目标检测结果不准确的问题。本发明作用效果显著，适于广泛推广。适于广泛推广。适于广泛推广。


技术研发人员：吴金泽
受保护的技术使用者：吴金泽
技术研发日：2023.06.26
技术公布日：2023/9/13