单样本遥感图像生成方法、系统、设备、存储介质及应用

1.本发明涉及图像处理技术领域，尤其涉及单样本遥感图像生成方法、系统、设备、存储介质及应用。


背景技术：

2.传统的gan算法需要有大量的数据样本作为训练集才可能获得较好的生成效果，这并不利于在缺乏特定样本条件下的遥感图像数据扩增任务。因此基于少样本、单样本、零样本训练数据下的gan算法一直都是学者研究的重点。对于那些样本数量少、获取难度大的遥感图像来说，利用单张遥感图像作为训练样本来进行图像生成任务具有较强的实际意义。
3.现有的singan在生成图像的质量和多样性上均有明显的不足，并且泛化能力较差，无法在遥感图像生成任务中达到预期的效果。其主流变体consingan虽然解决了轻量化问题，但是由于简化了模型使得无法有效训练纹理复杂的图像。


技术实现要素：

4.针对上述存在的问题，本发明旨在提供一种单样本遥感图像生成方法、系统、设备、存储介质及应用，基于超强通道注意力机制，对singan模型进行改进，提高特征提取能力，使其更加适用于遥感图像生成任务，在渐进式生成网络架构的基础上，设计了一种基于eca注意力机制的生成器策略，结合残差学习模块来进行单尺度下的图像特征提取任务，使得最终得到的图像生成方法具有更好的训练效果及稳定性。
5.为了实现上述目的，本发明所采用的技术方案如下：
6.单样本遥感图像生成方法，其特征在于，包括以下步骤，
7.s1：基于超强通道注意力机制ecanet模型，构建eca-singan生成器，对singan模型进行改进；
8.s2：基于单样本遥感图像，使用步骤s1中改进后的singan模型，采用逐尺寸的训练方法对样本特征进行提取；
9.s3：使用步骤s2中提取的样本特征进行图像生成。
10.进一步的，步骤s1中所述的ecanet模型包括gap模块，一维卷积模块和权重融合模块；
11.所述gap模块将输入大小为h
×w×
c的特征图利用全局池化操作压缩到1
×1×
c的特征向量范围内；
12.所述一维卷积模块用于通道特征学习，输出1
×1×
c的一维权重向量；而且，所述一维卷积模块使用超参数k进行跨通道间的交互控制，也即ω＝σ(cidk(y))，式中，cid代表一维卷积的操作，k为一维卷积核大小，w为一维卷积输出张量，y为一维卷积输入张量；
13.所述权重融合模块用于将一维卷积模块输出的一维权重向量与原特征图进行点乘后得到最终的输出特征图。
14.进一步的，超参数k的计算方法包括以下步骤，
15.步骤a：基于超参数k与通道维数c之间的非线性比例关系，将超参数k与通道维数c之间的映射关系表示为c＝φ(k)；
16.步骤b：将步骤a中的映射关系进行指数变换，得到c＝φ(k)＝2
(γ*k-b)
；
17.步骤c：将步骤b中的指数变换结果进一步的进行对数变换，得到
18.其中，γ和b是经验参数，γ为2，b为1，odd表示选择奇数。
19.进一步的，步骤s1中所述的eca-singan生成器由5个注意力卷积模块组成，每个所述注意力卷积模块均依次包括conv层、batchnorm 2d层、gelu层和ecanet层，所述conv层的卷积核为3
×
3，ecanet层执行ecanet模型的操作。
20.进一步的，所述eca-singan生成器的输入与输出之间采用残差恒等映射支路连接。
21.进一步的，步骤s2中所述的改进后的singan模型包括n+1个eca-singan生成器g和n+1个鉴别器d，且所述singan模型采用由小到大、由粗到细的渐进式生成方法。
22.一种单样本遥感图像生成设备，其特征在于：包括至少一个处理器以及与所述处理器通信连接的存储器，所述储存器存储有可被所述处理器执行的指令，所述指令被所述处理器执行时，使得所述处理器执行上述所述的单样本遥感图像生成方法。
23.一种储存有计算机指令的非瞬时计算机可读存储介质，其特征在于：所述计算机指令用于使所述计算机执行上述所述的单样本遥感图像生成方法。
24.进一步的，单样本遥感图像生成方法在机场跑道损伤图像生成与评估中的应用。
25.进一步的，单样本遥感图像生成方法在机场跑道损伤图像生成与评估中的应用包括以下步骤，
26.步骤a：利用单样本遥感图像生成方法生成机场跑道损伤图像样本，确定起降窗口；
27.步骤b：根据起降窗口，确定机场跑道毁伤等级。
28.本发明的有益效果是：
29.1、本发明结合单样本条件下的多场景遥感图像生成任务的现实需求，设计了一种基于超强通道注意力的单样本遥感图像渐进生成算法，在singan框架基础上，设计了eca-convblock模块用于模型深层次特征的提取，同时在训练中引入了gelu激活函数来增加网络学习过程中的非线性拟合能力，结合残差学习生成器有效增强了模型在不同遥感图像类型和遥感图像场景下的生成能力。实验结果显示，相较于singan和consingan主流算法，本发明中的算法具有更好的训练效果及稳定性。
30.2、将本发明中的单样本遥感图像生成方法应用在机场跑道损伤图像生成与评估中，在保持较高的图像生成质量前提下，可以满足跑道毁伤图像解译与毁伤效果评估等实战性较强的生成任务。
附图说明
31.图1为本发明实施例一中ecanet网络架构图。
32.图2为本发明实施例一中eca-convblock网络架构图。
33.图3为本发明实施例一中渐进式生成网络架构图。
34.图4为本发明实施例一中直连结构与残差结构架构图。
35.图5为本发明实施例一中残差学习生成器原理。
36.图6为本发明实施例一中gelu激活函数图像。
37.图7为本发明应用例一中毁伤遥感图像单样本数据集。
38.图8为本发明应用例一中山地、灌木、海岸线和湖泊eca-singan生成结果与主观对比效果图。
39.图9为本发明应用例一中林地、毁伤公园、机场和毁伤跑道eca-singan生成结果与主观对比效果图。
40.图10为本发明应用例一中毁伤居民区、sar坦克、sar居民区和sar山地eca-singan生成结果与主观对比效果图。
41.图11为本发明应用例一中sar港口和sar舰船eca-singan生成结果与主观对比效果图。
42.图12为本发明应用例一中eca-singan客观评价方法柱状堆积图。
43.图13为本发明应用例一中eca-singan对照实验生成结果。
44.图14为本发明应用例一中eca-singan生成过程损失变化图。
45.图15为本发明应用例一中eca-singan生成过程可视化对比图。
46.图16为本发明应用例二中常用机场毁伤跑道图像建模方法对比图。
47.图17为本发明应用例二中单样本毁伤机场跑道生成原始样本图。
48.图18为本发明应用例二中最小起降窗口示意图。
49.图19为本发明应用例二中单样本机场跑道毁伤图像生成结果图。
50.图20为本发明应用例二中机场跑道毁伤效果评估流程图。
具体实施方式
51.为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
52.实施例一：
53.实施例一提供一种单样本遥感图像生成方法，包括以下步骤，
54.s1：基于超强通道注意力机制ecanet模型，构建eca-singan生成器，对singan模型进行改进；
55.具体的，通道注意力是计算机视觉领域常用的模型优化手段，可以有效改善深度卷积神经网络的性能。为了针对性的提取单样本遥感图像中更深层次的信息，从而提高模型训练的效率，本发明中引用了一种轻量级的超强通道注意力机制(efficient channel attention for deep convolutional neural networks,ecanet)，该模块架构通过一维卷积训练策略来进行通道特征权重提取，可以在低模型复杂度的前提下保持高学习性能，其结构如附图1所示，包括gap模块，一维卷积模块和权重融合模块。
56.所述gap模块将输入大小为h
×w×
c的特征图利用全局池化操作压缩到1
×1×
c的特征向量范围内；
57.所述一维卷积模块用于通道特征学习，输出1
×1×
c的一维权重向量；
58.所述权重融合模块用于将一维卷积模块输出的一维权重向量与原特征图进行点乘后得到最终的输出特征图。
59.ecanet首先使用了一个gap模块，其中输入为大小h
×w×
c的特征图，利用全局池化操作将其压缩到1
×1×
c的特征向量范围内，该方法的目的在于压缩输入特征图，以适应后续的卷积模块，也就是将每个通道二维矩阵压缩为一个数值，进而组成了一个c维度的向量。在进行全局池化后，ecanet接着使用一个一维卷积来进行通道特征学习，其输出为1
×1×
c的一维权重向量，每个神经元代表原特征图中不同层的通道权重。通常来说，通道注意力机制起着帮助模型筛选通道权重的作用，因此在模型结构较为复杂的前提下，一维卷积方法可以为其提供较为准确的权重信息，同时避免降维的操作可以使模型整体保持较小的计算代价。在进行一维卷积后，将输出的权重向量与原特征图进行点乘后得到最终的输出特征图，从而将输出的不同特征维度按照优先程度进行赋值，达到将模型注意力集中在主要特征的目的。
60.eca-net在进行一维卷积学习时，还提供了一个超参数k用于进行跨通道间的交互控制，其中k的作用在于控制交互范围的大小。这个过程可以用下式(1)来表示：
61.ω＝σ(cidk(y))
ꢀꢀ
(1)
62.式中，cid代表一维卷积的操作，k为一维卷积核大小，同时也代表了跨通道交互的范围，w为一维卷积输出张量，y为一维卷积输入张量；
63.实际上，超参数k的大小与通道维数存在一种非线性比例关系，即通道维数c越多，则需要更大的k来进行远距离的交互行为，通道维数c越少，则需要较小的k来进行短期的通道交互范围，以此来获得最优的交互方法。因此，可以认为存在k与c存在着某种映射关系可以由下式(2)来表示：
64.c＝φ(k)
ꢀꢀꢀꢀ
(2)
65.由式(2)可知，可以通过使用人工调参的方法，用不同的k来最终确定最优的解决方案。与此同时，在经典的核方法中，常用指数变换来处理这种未知的映射关系。因此，将上式进行指数变换后可以得到如下结果：
66.c＝φ(k)＝2
(γ*k-b)
ꢀꢀ
(3)
67.式(3)中，指数2的设置是因为深度学习模型特征层的通道数通常都是2的整数次幂，因此用2来代替原先的exp。同时，将上式进行对数变换后的结果如下：
[0068][0069]
式中，γ和b是经验参数，用于确认最优的k，odd表示选择奇数，根据经验公式，式(4)的γ通常设置为2，b通常设置为1。至此，发明还建立了一个自适应的参数k的计算方法。当通道数c增加时，k的值随之增大，代表ecanet模块关注到了更远距离的交互信息。
[0070]
借助上述所述的ecanet的思想设计注意力卷积模块(eca-convblock)，并与singan中的生成器框架进行结合，如附图2所示，这样做可使生成器在卷积运算的过程中受到通道权重的约束，提高了特征提取的效率，从而可以使得模型生成质量更高、多样性更强的遥感图像样本。eca-convblock是一种无需降维的通道权重提取模块，由于神经网络的各
特征层负责垂直、边缘等不同特征的学习，eca-convblock可以通过一维卷积的方式来学习模型卷积过程中各特征层的权重，从而获得各通道重要程度的权重信息。eca-singan中的生成器g由5个eca-convblock组成，每个所述注意力卷积模块均依次包括conv层、batchnorm 2d层、gelu层和ecanet层，所述conv层的卷积核为3
×
3，ecanet层执行ecanet模型的操作，其中卷积部分卷积核为3
×
3，整个g网络拥有11
×
11的感受野。该方法的优势在于保持较小网络复杂度的前提下，增强有用通道，抑制冗余通道。
[0071]
进一步的，s2：基于单样本遥感图像，使用步骤s1中改进后的singan模型，采用逐尺寸的训练方法对样本特征进行提取；
[0072]
遥感图像作为一种自然图像，其突出特点在于具有高分辨率和较为复杂的纹理信息。在利用单样本训练的前提下，很难有合适的网络架构对其分布特征进行拟合。因此，本发明借鉴了singan中渐进式生成的网络架构体系，采用逐尺度的训练策略对样本特征进行提取。其中渐进式的生成架构如附图3所示。
[0073]
如附图3所示，本发明中的生成式策略总体采用由小到大、由粗到细的生成方法。具体来说，具有金字塔结构的渐进式网络架构由n+1个生成器和n+1个鉴别器组成，其中{gn,dn}、分别构成了n+1个gan网络，每层网络负责各自尺度下的生成与鉴别任务。在特征提取层的选择上，将g和d全部设置为为由5层卷积层组成的深度神经网络，其中g由5层eca-convblock模块所构成。在训练的过程中，当每个尺度的gan网络参数学习完毕后，模型会携带这些参数进入到下一大尺度的gan网络里继续训练。在每个尺度下，鉴别器d用于判断图像属于相应尺度下真实图像的概率，其输入为降采样后的真实图像xn和生成图像尺寸为n
×
m的有效贴片(effective patch size，图中黄色区域)中每个元素代表相应感受野下切片图像属于真实图像的概率，d的最终输出为patch size的均值，代表着输入图像属于真实图像的概率。生成器的任务在于当前尺度下的图像生成，其接收的输入数据主要由噪声数据zn和由上采样而来的生成数据融合而来，输出为生成数据若n＝n,则输入只有噪声数据zn。设感受野尺寸为r，则patch size的作用之一在于将输入样本分解为尺寸为r、数量为n
×
m个的训练样本，原始singan中g和d的感受野为11
×
11。
[0074]
传统的卷积神经模块堆叠会带来一定的副作用，如模型达到稳定状态后继续进行训练，有时精度反而会下降。这是由于发生了梯度弥散现象，这导致模型的前部分权重无法有效更新，残差网络的出现有效的解决上述问题，该网络在结构上进行了巨大改进，在模型训练的过程中引入了恒等映射的思想构造了一个残差单元，而非简单的网络堆积。具体的实现方法是在原始的训练进程中加入了残差学习支路，从而为模型提供了一种补充信息获取方法。对于深度学习模型来说，假设模型的神经网络层数为n，理论上来说进行i层结构串联可有效提高模型的特征表达能力。然而由于梯度弥散的存在，很多时候达不到预期目标。因此，另一种解决思路是为模型增加并联的i层恒等支路，即残差支路。作为一种特征提取的补充手段，这种方式避免了模型盲目增加层数所带来的风险，同时也可以为网络提供较好的学习性能。残差连接示意和直接连接的示意如附图4所示。
[0075]
在附图4中，(a)和(b)分别表示传统的直接连接和残差连接所构成的网络架构示意。其中，f(x)表示直连网络中的映射函数，由网络可得h(x)＝f(x)。而在残差网络结构中，
由于输入和输出之间恒等映射支路的存在，映射函数变为了f(x)＝h(x)-x。在深度学习模型训练的过程中，残差网络可以利用恒等映射支路对输入输出的高频信息进行支路直连，从而减少了卷积学习过程中的学习负担。
[0076]
通过恒等映射支路构造的残差单元适用于深度较深的卷积神经网络模型，为其提供“减负”式学习策略，使得主干cnn模块可以更为准确的进行权重的更新。此外，这种残差学习思想也十分适用于本发明中的渐进式生成策略中。为了保证合适的感受野以及有效贴片，eca-singan生成器卷积层数通常很浅，本发明中只有简单的五层。但是由于训练尺度的不断增加，每个训练尺度下的生成器输入数据都累积前尺度所学习到的大量有效参数。这样在本尺度训练过程中，这些有效的高频参数会随着网络继续参加训练更新，从而导致学习特征的丢失，同时也会为模型带来大量的计算负担。
[0077]
因此，本发明中使用singan中残差学习思想来进行生成器的设计，其残差学习生成器结构如附图5所示。将上一尺度输入图像与噪声zn进行融合处理作为了生成器的输入。随后利用残差恒等映射支路，将输入与输出的高频信息进行残差连接，使得模型可以对剩余特征进行学习。因此，残差网络可以有效地保留前尺度的累计信息，并且在本尺度内专注于补充信息的学习。
[0078]
此外，由于gan的训练通常具有不稳定性，其中激活函数的有效使用可以减少梯度爆炸等问题的发生，从而提高训练稳定性及收敛效果。本发明选用高斯误差线性单元gelu作为g与d中间特征提取层的激活函数(本发明中模型涉及激活函数全部采用gelu)，来代替原文中使用的leaky修正线性单元leakyrelu。
[0079]
gelu公式如下式(5)所示：
[0080][0081]
gelu函数图像如附图6所示，gelu激活函数使得神经元的输出更具有随机性特征，且相较于relu系列可以为网络增加更多非线性因素。作为dropout、zoneout和relus的综合体，gelu激活函数加入了随机正则化的思想，同时在实际操作中也省去了leakyrelu的超参数设置，是目前注意力模型中表现较好的激活函数之一。
[0082]
生成器g采用残差学习的方法，在n尺度下，设zn与叠加后经过gn产生模型输入最终的输出表示为：
[0083][0084]
eca-singan采用粗到细的金字塔式训练方法，每一层金字塔代表一个完整的gan网络。在本尺度下训练完成后，相应的参数会被固定，并传入到下一尺度。目标函数由对抗损失和重建损失两部分组成，从对抗损失角度，采用wgan-gp作为损失函数，目的在于判断生成样本和真实样本分布距离，同时可以增加训练稳定性。其中wassertein距离对抗损失权重设置为0.1，目标函数如下：
[0085][0086]
其中重建损失可表示为：
[0087][0088]
重建损失的目的在于保证有一组噪声图能够产生原始图像xn，本文选择特定的随机噪声重建损失权重设置为10。在n尺度下，采用随机噪声z
*
进行生成训练，其训练目的在于将真实尺度图像xn与随机噪声z
*
的距离控制在l2范数范围内。随着训练的进行，当尺度n＜n时，采用上一轮噪声参与的重建输出进行生成训练，保证其与当前真实图像xn的距离也保持在l2范数范围内。
[0089]
进一步的，s3：使用步骤s2中提取的样本特征进行图像生成。
[0090]
具体的，根据不同的生成需求，选用已经训练好的单样本生成模型，生成不同数量和不同场景的遥感图像样本。
[0091]
实施例二：
[0092]
实施例二提供一种单样本遥感图像生成设备，包括至少一个处理器以及与所述处理器通信连接的存储器，所述储存器存储有可被所述处理器执行的指令，所述指令被所述处理器执行时，使得所述处理器执行实施例一中所述的单样本遥感图像生成方法。
[0093]
实施例三：
[0094]
实施例三提供一种储存有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行实施例一中所述的单样本遥感图像生成方法。
[0095]
应用例一：
[0096]
为了验证本发明中的算法在不同遥感图像应用场景下的生成能力，本发明中在样本数据制作时考虑到了成像场景、成像方式的不同，将数据分为了可见光与sar两大类，同时在每个类别中都采集了人工地物和自然地物两种。另外，针对军事遥感图像成像需求，还采集了一些毁伤遥感图像用于实验。所有数据可视化显示如附图7所示。
[0097]
如附图7所示，在所采集的可见光图像中，主要使用了山地、灌木、海岸线、湖泊、林地自然场景以及公园、机场、跑道、居民地人工场景。其中的公园、跑道、居民地为毁伤场景。在所采集的sar图像中，采集了山地作为自然场景，坦克、舰船、居民区、港口作为人工场景，同时坦克和舰船属于单目标场景，居民区和港口属于多目标场景。
[0098]
本应用例的实验目的主要是验证eca-singan在单样本遥感图像生成任务中的有效性。在训练的过程中，在每个尺度上都会进行1200次的迭代运算，其中初始学习率为0.0005，在进行900轮迭代后进行学习率衰减。adam优化器的beta1＝0.5，beta2＝0.999。实验所用硬件和环境配置为:amd ryzen 7 5800x处理器、32gbram、nvidia geforce rtx3090显卡、windows10操作系统、pytorch1.8、cuda11.1。
[0099]
将所采集的数据集送入ecasingan模型中进行训练，同时对比了主流的singan和
consingan单样本生成算法，生成效果如附图8-11所示。从主观定性分析可以看出，本章方法所生成的图像样本相较于其他两种算法来说都具有更为直观和准确的生成效果。其中生成样本质量的提高主要体现在视觉色调、细粒度、纹理细节等方面，具体来说由于ecaconvblock以及gelu激活函数的使用，增加了信息提取能力，生成样本中飞机的结构、毁伤林地的弹坑、舰船及坦克的外形都更加符合人眼的主观认知。同时，模型可以捕捉到特定目标区域的缺失信息，最终使得模型在进行多目标生成任务时，其目标的形态、结构、大小等性能可以与原目标保持一致，如弹坑、舰船、坦克等目标的生成等。最后，本章方法在图像纹理学习中，可以有效的学习到直线、圆等规则纹理信息，如圆形弹坑、直线跑道、直线街道等，这有利于生成特定场景下的人工地物遥感图像。
[0100]
进一步的，对利用本发明中的方法进行遥感图像生成的质量进行定量分析，首先对生成样本的质量进行定量化分析，所用到的客观评价指标选择单图像fid指数(sifid)、峰值信噪比(psnr)、结构相似度(ssim)、信息距离(infods)四种。其中sifid是fid指标变体，用inception作为特征提取器，通过判定生成空间与特征空间距离来判断两张图片的相似程度。psnr是常用的评价数字图像画质的客观度量方法，用于计算参考图像与真实图像的失真程度。ssim是一种模拟人类视觉特征的图像质量评价方法，通过对结构信息的提取来获得图像间的失真程度及相似性。ssim和psnr公式如下：
[0101][0102][0103]
将不同数据样本条件下训练好的模型分别生成20个样本，通过计算各个指标的均值来反映生成图像的质量好坏，通常psnr和ssim越大、sifid和infods越小说明图像质量越好。将实验结果总结如以下表1、表2和表3所示。
[0104]
表1eca-singan中ssim和psnr结果
[0105][0106]
表2eca-singan中sifid结果
[0107][0108]
表3eca-singan中信息距离结果
[0109][0110]
将实验数据整理为柱状堆积图，如附图12所示。
[0111]
从上表1-3以及附图12中可以看出，在大部分的训练数据下，本发明中的方法在ssim、psnr、sifid、infods多重指标下均有较好的效果，证明了ecasingan在图像生成方面的质量的有效性。同时从地物类别角度来说，相较于singan和consingan，eca-singan在跑道、居民区、港口、舰船等数据中的提升较大，说明其在生成复杂纹理的地物中具有优势。从图像类别角度来说，由于不同来源的遥感图像成像过程的不同，导致其图像特征不同。直观的来说可见光图像的色彩相较于sar图像更为丰富，而ecasingan在sar图像生成方面均具有较好的效果，说明其在图像生成过程中可以很好的建立sar图像数据特征之间的映射关系，如噪声模拟、纹理信息等。
[0112]
与此同时，从各评价指标的评价性能角度进行分析，psnr和ssim对灌木、湖泊等生成样本的区分结果差别较大，同时其指标区分度不明显，这是因为这两种指标本质上是一种单因素的依像素概率统计量，因此均有其缺陷。sifid评价效果较好，但是其建立在别的数据集先验知识上，因此对本数据集的评估真实性有待论证。而infods由于建立在多因素信息量集成思想上，因此对生成质量的指标区分度更加明显。
[0113]
进一步的，对本发明中方法的对照实验及多样性进行评价。由图像生成质量评价中可以得出，ecasingan已经可以较好的完成遥感图像生成任务。为了验证其余注意力方法对网络学习效果的差异，本发明在对网络进行了不同的改变，建立了一组对照试验，以便对生成质量的差异进行分析。同时以毁伤机场跑道图像生成为例，在psnr、ssim、sifid均值基础上计算了其指标方差，用于分析ecasingan图像生成多样性方面的表现。
[0114]
本发明共设计了六组实验，其中试验1和试验2分别使用现有的singan和轻量化的consingan用于和本发明中的方法进行横向对比。试验3在原始singan中只引入gelu激活函数，试验4和试验5将eca注意力模块替换成了cbam和senet，实验6是本发明所采用的方法。在试验过程中利用训练好的模型生成20个图像样本，其中部分生成样本可视化如附图13所示。
[0115]
如附图13所示，在实验1和实验2中生成效果在真实性和多样性均有明显不足。在实验3中生成图像的主爆炸点质量、弹坑多样性效果较差，但由于gelu激活函数随机正则的思想，使得其可以生成直线跑道边缘，因此可以说明gelu函数对人工地物中的直线纹理特征的提取提供了帮助。
[0116]
实验4基于cbam注意力架构，主观判断可知空间注意力与通道注意力的结合并不能给毁伤图像带来更好的生成效果。实验5中生成图像的质量有了较大程度的提升，但图像生成多样性较差，这是因为senet复杂的全连接网络增加了过多的训练参数，同时由于其通道之间交互性较差，使得重要通道被过分突出，最终导致生成样本多样性的降低。
[0117]
实验6为本发明中的方法，可以看出生成图像不仅在爆炸点、跑道弹坑等位置保留了较高的真实性，同时在主爆炸点形状、跑道弹坑分布方面具有一定的多样性。这是由于ecanet的低复杂度和跨通道交互优势从一定程度上平衡了网络结构和运算性能之间的矛盾。从而使得模型在保证图像生成质量的同时可以注意到生成样本的多样性特点。
[0118]
将每组实验算法各生成20个图像样本，并进行客观评价指标的均值和方差计算，结果如下表4所示。
[0119]
表4对照实验客观评价结果
[0120][0121]
由客观评价指标得出，在加入通道注意力后，模型的生成效果有了较大提升。从图像生成质量角度考虑，实验5和6均有着不错的生成效果，其中eca-singan的平均sifid减小到了0.16。同时se-singan的生成质量最高，其平均sifid减小到了0.04。但从图像多样性角度考虑，se-singan的sifid方差减小至0.01，说明该方法使得模型的学习拟合过强，最终导致生成图像的多样性较差，这与主观生成评价结果一致。
[0122]
综合考虑，在实际的应用背景下，eca-singan是一种有效平衡图像生成质量和多样性的算法，可使生成样本保留图像真实性的基础上，生成多样性较高的遥感图像样本集。
[0123]
进一步的，对遥感图像的生成过程进行评价。对于单样本图像生成算法来说，singan和ecasingan均采用了渐进式生成的方法。在尺度变换的过程中，由于训练样本尺寸的阶跃性递增，模型的损失会发生跳跃，很容易造成训练崩溃的情况。附图14显示了eca-singan相较于singan在训练过程中的损失函数变化曲线。
[0124]
附图14中(a)(b)表示模型的生成器和鉴别器的损失变化，可以看出两种方法在损失函数变化曲线上都呈现出了阶段性特征，但ecasingan在图像训练的中后期具有更好的稳定性。(c)表示模型的对抗损失变化，从中可以得出ecasingan在早期训练阶段具有较高的波动性，但是其收敛速度较快，且在训练的中后期更加稳定。这是因为gelu激活函数的加入使得在训练的早期模型学习到了更多的非线性特征，从而导致波动，但是在训练的中后期由于模型获得了更好的数据拟合能力，因此曲线更加平滑。(d)表示重建损失变化，由图
可知重建损失的集中峰值发生在不同的训练阶段之间，同时ecasingan的峰值数据较小，可以有效降低模型崩溃的概率。
[0125]
同时，本发明中将singan和ecasingan在不同阶段的生成进度进行了可视化展示，如附图15所示。
[0126]
由附图15可以得出，从生成阶段的角度来说，ecasingan可以在更早阶段捕获原始图像主要特征，从而使得模型的真实性提高。同时在前期训练中主要特征的参数固定后，有利于模型在训练中后期获取更多的细节信息。
[0127]
应用例二：
[0128]
应用例二将实施例一种的单样本遥感图像生成方法应用在机场跑道损伤图像生成与评估中。
[0129]
空袭是现代战争的重要作战样式之一，而空袭后的毁伤图像是航天侦察任务中重要的情报来源，具有很强的实战意义，一战中由于没有快速、准确的解译被轰炸目标的毁伤信息，导致指挥员在进行二次打击方案研判中屡屡受阻。火力毁伤图像可应用于打击效能评估、打击方案优化等作战场景。同时在智能航天侦察领域，毁伤图像数据集在目标检测、目标分类、变化检测等任务中发挥着重要作用，良好的检测模型可以在战场上准确锁定敌方毁伤目标，供决策者确定二次打击方案。但目前由于天基信息战例少、战场环境图像少、样本敏感性高等问题，毁伤图像的获取极为困难，因此，通过人工智能的方法来生成毁伤图像样本具有较高的现实意义。
[0130]
附图16所示为常用的机场毁伤跑道图像建模方法，这类样本可用于功能毁伤、物理毁伤分析，例如进行打击武器判断、耗弹量预估、弹坑阈值提取、起降窗口计算、毁伤等级测定、封锁效能计算、压制时间评估、恢复时间估计等。在这类问题中，毁伤机场跑道图像的来源主要有几何仿真方法、模拟图像仿真方法、真实图像三种。对比情况如下表5所示：
[0131]
表5常用机场毁伤跑道图像建模方法优缺点对比
[0132][0133]
由上表5常用机场毁伤跑道图像建模方法优缺点对比可知，几何建模方法基于真实的点线数据构成，因此较有利于测量，数学计算方法简便。但是这种图像仅为数理抽象模型下的研究范畴，无法贴近真实的地面战场环境，同时由于其只模拟了跑道毁伤情形，无法展示跑道周围态势信息。模拟图像方法以真实遥感图像为底图，利用几何建模与真实数据进行融合的方法来建立毁伤样本。这种方法首先使得样本进一步贴近真实的战场情形，同时加入了跑道周围环境的分布情况。但是其本质上与几何仿真方法效果相当，因为通常来说其弹坑依然是人工划定的几何圆，不具有真实性和随机分布特性。真实图像建模中毁伤样本来源于真实被毁伤的遥感数据，是进行毁伤效果评估最佳的数据源，但是这种数据由于获取困难，因此难以获得大范围的应用。
[0134]
因此，为了有效补充毁伤机场跑道目标特性库，利用人工智能方法来获取毁伤数据具有很高的应用价值。国际上公开的利用人工智能方法来进行毁伤样本生成的研究较少。传统的gan算法具有样本依赖性高的缺点，即需要大量训练数据作为支撑，因此不适用
于少样本训练集下的毁伤图像生成。本发明所提出的eca-singan是一种利用单样本作为数据集而进行的遥感图像生成算法，可以很好达到稀有样本扩增的目的。即利用有限或者单张毁伤数据，来生成与原图不同且人眼难以区分的遥感图像。具体的，
[0135]
步骤a：起降窗口计算
[0136]
本发明选用毁伤机场样本作为实验数据，用于进行机场跑道在遭受打击后的战效评估。该样本数据为某机场跑道导弹靶场被炸毁后的效果，主要研究内容分为了主爆炸点、机场跑道、跑道弹坑三部分，白色矩形区域为模拟机场跑道。在本次打击任务中主爆炸点位于跑道外侧，跑道内留有数量较少的弹坑，使得该跑道依然可以进行特定机型的起降任务，原始样本如附图17所示。
[0137]
起降窗口是指飞机在起飞和降落过程中所滑行的范围，通常以矩形表示。为了保证飞机在起降过程中的安全滑行距离，绝大多数飞机的起降都需要有一块最低范围的矩形跑道区域，称为最小起降窗口。最小起降窗口是评价机场跑道等级的重要指标之一，受地理位置、天气情况、跑道材质、配套设施等因素的综合影响。为便于研究，设本发明所用样本的跑道长为l、宽为3w。并假设有重型轰炸机a、重型战斗机b、轻型战斗机c三种机型的最小起降窗口如下表6所示：
[0138]
表6战机最小起降窗口
[0139][0140]
将最小起降窗口可视化如附图18所示。
[0141]
作战过程中的跑道在遭受打击后，飞机的起降方向变为了与跑道平行和与跑道呈一定夹角两种情况。因此对于特定战机来说，毁伤后的机场跑道能够为其提供的最大矩形起降范围称为有效起降窗口。当有效起降窗口大于最小起降窗口时，可判定该战机可以在该跑道进行起降任务。
[0142]
因此在跑道受到打击后，跑道可为某机型提供的有效起降窗口是进行毁伤效果评估的重要依据之一。本发明利用第三章中eca-singan生成了四种不同弹坑分布的毁伤机场跑道图像，从真实性、随机性、多样性角度来说最大程度的贴近了真实的图像以及战场环境。有效窗口的计算通常有目视解译法、计算机解译法等。利用这四个生成样本进行有效起降窗口计算后得到统计表格如下表7所示。
[0143]
表7有效起降窗口统计表
[0144][0145]
将有效起降窗口进行可视化如附图19所示，其中红色部分代表有效起降窗口矩形框，黄色代表弹坑分布。从附图19中可以看出，对于eca-singan所生成的不同毁伤程度的样本来说，四个样本均未完全封锁机场，都存在战机起降窗口。样本1封锁效率较低，可起降三种机型。样本3和4封锁效率较高，只可起降一种机型。样本2封锁效率居中，可起降两种机
型。
[0146]
步骤b：计算毁伤等级
[0147]
毁伤等级是进行毁伤效果评估的另一个主要研究方向之一。对于机场跑道的毁伤等级来说，在确定了某型飞机的最小起降窗口以及毁伤后的有效起降窗口后，文献[hu j,shen l,sun g.squeeze-and-excitation networks[c]//proceedings of the ieee conference on computer vision and pattern recognition.2018:7132-7141]据此提出了一种定量化的机场跑道毁伤等级判定方法，公式如式(11)所示。
[0148]
μ＝l0
×
(l-la/2l
p
)
[0149]
(11)
[0150]
式中，la代表跑道毁伤后某型飞机的有效起飞窗口长度，l
p
代表某机型最小起降窗口长度。根据公式可以计算出毁伤等级μ，当μ《3时定为无效打击，3≤μ≤5时定为轻度毁伤，5《μ《8时定为严重毁伤，8≤μ时定为完全毁伤。la＞2l
p
时，毁伤等级定为8。若为无效打击和轻度毁伤，代表该跑道依然可以进行某型飞机起降。若为严重毁伤和完全毁伤，代表该跑道无法进行某型飞机起降。
[0151]
本发明利用附图19的单样本机场跑道毁伤图像生成结果中的样本2数据以及步骤a中的a、b、c三款战机进行了毁伤等级的判定，结果如下表8所示。
[0152]
表8毁伤等级判定
[0153][0154]
由上表8毁伤等级判定可知，样本2中的机场跑道在遭受打击后，可以进行重、轻型战斗机的起降，无法进行重型轰炸机的起降。具体对于三款战机来说，该跑道均没有达到完全毁伤的程度。其中对于重型轰炸机a来说，该跑到属于严重毁伤效果，该飞机无法进行起降。对于重型战斗机b来说，该跑道属于轻度毁伤，依然可以进行飞机起降。对于轻型战斗机c来说，可以进行起降任务。指挥员可以据此对该机场进行二次打击决策。
[0155]
综上，通过对起降窗口以及毁伤等级的计算之后，本发明总结了一种机场跑道毁伤效果评估流程,该流程主要功能如下：
[0156]
1)对真实毁伤跑道图像进行毁伤效果评估研判，用于指挥员进一步决策；
[0157]
2)对于生成毁伤跑道图像进行研判，用于毁伤遥感图像解译训练，以及对未来可能出现的毁伤态势进行预估。
[0158]
机场跑道毁伤效果评估流程如附图20所示。
[0159]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.单样本遥感图像生成方法，其特征在于，包括以下步骤，s1：基于超强通道注意力机制ecanet模型，构建eca-singan生成器，对singan模型进行改进；s2：基于单样本遥感图像，使用步骤s1中改进后的singan模型，采用逐尺寸的训练方法对样本特征进行提取；s3：使用步骤s2中提取的样本特征进行图像生成。2.根据权利要求1所述的单样本遥感图像生成方法，其特征在于：步骤s1中所述的ecanet模型包括gap模块，一维卷积模块和权重融合模块；所述gap模块将输入大小为h
×
w
×
c的特征图利用全局池化操作压缩到1
×1×
c的特征向量范围内；所述一维卷积模块用于通道特征学习，输出1
×1×
c的一维权重向量；而且，所述一维卷积模块使用超参数k进行跨通道间的交互控制，也即ω＝σ(cid
k
(y))，式中，cid代表一维卷积的操作，k为一维卷积核大小，w为一维卷积输出张量，y为一维卷积输入张量；所述权重融合模块用于将一维卷积模块输出的一维权重向量与原特征图进行点乘后得到最终的输出特征图。3.根据权利要求2所述的单样本遥感图像生成方法，其特征在于：超参数k的计算方法包括以下步骤，步骤a：基于超参数k与通道维数c之间的非线性比例关系，将超参数k与通道维数c之间的映射关系表示为c＝φ(k)；步骤b：将步骤a中的映射关系进行指数变换，得到c＝φ(k)＝2
(γ*k-b)
；步骤c：将步骤b中的指数变换结果进一步的进行对数变换，得到其中，γ和b是经验参数，γ为2，b为1，odd表示选择奇数。4.根据权利要求2所述的单样本遥感图像生成方法，其特征在于，步骤s1中所述的eca-singan生成器由5个注意力卷积模块组成，每个所述注意力卷积模块均依次包括conv层、batchnorm 2d层、gelu层和ecanet层，所述conv层的卷积核为3
×
3，ecanet层执行ecanet模型的操作。5.根据权利要求4所述的单样本遥感图像生成方法，其特征在于，所述eca-singan生成器的输入与输出之间采用残差恒等映射支路连接。6.根据权利要求5所述的单样本遥感图像生成方法，其特征在于，步骤s2中所述的改进后的singan模型包括n+1个eca-singan生成器g和n+1个鉴别器d，且所述singan模型采用由小到大、由粗到细的渐进式生成方法。7.一种单样本遥感图像生成设备，其特征在于：包括至少一个处理器以及与所述处理器通信连接的存储器，所述储存器存储有可被所述处理器执行的指令，所述指令被所述处理器执行时，使得所述处理器执行权利要求1～6任一项中所述的单样本遥感图像生成方法。8.一种储存有计算机指令的非瞬时计算机可读存储介质，其特征在于：所述计算机指令用于使所述计算机执行权利要求1～6任一项中所述的单样本遥感图像生成方法。
9.如权利要求1-6任一项所述的单样本遥感图像生成方法在机场跑道损伤图像生成与评估中的应用。10.如权利要求9所述的单样本遥感图像生成方法在机场跑道损伤图像生成与评估中的应用，其特征在于，包括以下步骤，步骤a：利用单样本遥感图像生成方法生成机场跑道损伤图像样本，确定起降窗口；步骤b：根据起降窗口，确定机场跑道毁伤等级。

技术总结
本发明公开了一种单样本遥感图像生成方法、系统、设备、存储介质及应用，涉及图像处理技术领域，所述单样本遥感图像生成方法在SinGAN框架基础上，基于超强通道注意力机制，设计了ECA-Convblock模块用于模型深层次特征的提取，同时在训练中引入了GELU激活函数来增加网络学习过程中的非线性拟合能力，结合残差学习生成器有效增强了模型在不同遥感图像类型和遥感图像场景下的生成能力。实验结果显示，相较于SinGAN和ConSinGAN主流算法，本发明中的算法具有更好的训练效果及稳定性，将该方法应用到机场跑道损伤图像生成与评估中，在保持较高的图像生成质量前提下，可以满足跑道毁伤图像解译与毁伤效果评估等实战性较强的生成任务。成任务。成任务。


技术研发人员：杨海涛 王晋宇 陈杭 李扬 李高源
受保护的技术使用者：中国人民解放军战略支援部队航天工程大学
技术研发日：2023.06.25
技术公布日：2023/8/31