基于层次域先验的光学-ISAR图像转换方法及装置

基于层次域先验的光学-isar图像转换方法及装置
技术领域
1.本技术涉及雷达图像智能处理与计算机智能技术领域，特别是涉及一种基于层次域先验的光学-isar图像转换方法及装置。


背景技术：

2.深度学习在目标分类识别中取得了巨大的成功，然而该方法的可行性和准确性受限于训练样本的数量与质量。近年来，随着航天技术的发展，卫星的数量发生爆炸式增长，卫星目标的分类识别在军事、通信和国家安全领域中占据着越来越重要的地位。通常，卫星目标识别分类任务的训练数据采用能够全天时、全天候成像的逆合成孔径雷达(isar)图像，但由于目标运动造成的多普勒频移、旁瓣干扰、空间杂波以及军事对抗等因素，得到的isar雷达图像成像质量差、且数据收集极为困难，难以训练基于深度学习的卫星目标识别分类网络，因此基于深度学习的卫星目标识别分类的方法性能受到极大限制；同时，卫星目标对应的光学图像成像质量高且容易获取。因此，本发明致力于从卫星的光学图像中生成具有散射物理真实性与分类任务训练有效性的isar图像，为基于深度学习的分类模型提供可适应的训练样本。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种能够通过卫星光学图像构建雷达isar图像的基于层次域先验的光学-isar图像转换方法及装置。
4.一种基于层次域先验的光学-isar图像转换方法，所述方法包括：
5.获取图像训练集，所述图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；
6.将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，所述图像输入跨模态转换网络包括两个生成器以及与各所述生成器对应的判别器；
7.根据所述isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；
8.通过尺度不变特征变换算法分别提取所述isar训练图像以及isar重构图像对应的散射点特征矩阵，根据所述散射点特征矩阵构建散射特征一致性损失函数；
9.基于训练好的分类网络分别提取所述isar训练图像以及isar重构图像对应的分类特征，根据所述分类特征构建分类一致性损失函数；
10.在每一次迭代训练中，根据所述总损失函数、散射特征一致性损失函数以及分类一致性损失函数对所述跨模态转换网络中生成器以及判别器进行更新；
11.在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据所述元学习损失函数对所述跨模态转换网络中生成器进行更新；
12.直至各所述损失函数收敛，则得到训练好的跨模态转换网络；
13.获取待转换光学目标图像，利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换，得到对应的isar转换图像。
14.在其中一实施例中，所述跨模态转换网络采用由两个生成对抗网络形成的闭环框架结构。
15.在其中一实施例中，所述将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络包括：
16.所述isar训练图像由第一生成器从isar图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器将所述伪光学图像从光学图像域映射isar图像域转化为对应的isar重构图像；
17.所述光学图像由所述第二生成器从光学图像域映射至isar图像域转化为伪isar图像，再由所述第一生成器将所述伪isar图像从isar图像域映射至光学图像域转化为光学重构图像。
18.在其中一实施例中，所述总损失函数包括对抗损失函数、循环一致性损失函数以及一致性损失函数；
19.所述总损失函数表示为：
20.l
cyclegan
＝l
io
+l
oi
+λ
cyc
l
cyc
+λ
identity
l
identity
21.在上式中，l
io
以及l
oi
分别表示所述第一生成器以及第二生成器的对抗损失函数，l
cyc
表示循环一致性损失函数，l
identity
表示一致性损失函数，λ
cyc
以及λ
identity
分别表示循环一致性损失函数以及一致性损失函数的比例权重。
22.在其中一实施例中，所述散射特征一致性损失函数表示为：
[0023][0024]
在上式中，i表示isar训练图像，ps(i)表示通过尺度不变特征变换算法提取isar训练图像的散射点特征矩阵，g
oi
(g
io
(i))表示通过第一生成器以及第二生成器构建的isar重构图像，ps(g
oi
(g
io
(i)))表示通过尺度不变特征变换算法提取isar重构图像的散射点特征矩阵。
[0025]
在其中一实施例中，所述分类一致性损失函数表示为：
[0026]
l
cd
＝(h(l,(r(i)))-h(l,r(g
oi
(g
io
(i)))))2[0027]
在上式中，h表示交叉熵函数，l表示isar训练图像的分类标签，r()表示训练好的分类网络。
[0028]
在其中一实施例中，所述元学习损失函数表示为：
[0029][0030]
在上式中，λ
sd
以及λ
cd
分别表示散射特征一致性函数与分类特征一致性函数的权重参数，s＝1,2,...,m/n表示元学习更新步骤，其中，m表示训练样本数量，n表示元学习更新间隔。
[0031]
在其中一实施例中，所述利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换包括：
[0032]
利用所述训练好的跨模态转换网络中第二生成器对所述待转换光学目标图像进行转换。
[0033]
在其中一实施例中，所述isar训练图像、光学训练图像以及待转换光学目标图像中的目标均为卫星。
[0034]
一种基于层次域先验的光学-isar图像转换装置，所述装置包括：
[0035]
图像训练集获取模块，用于获取图像训练集，所述图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；
[0036]
跨模态转换网络输入模块，用于将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，所述图像输入跨模态转换网络包括两个生成器以及与各所述生成器对应的判别器；
[0037]
总损失函数计算模块，用于根据所述isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；
[0038]
散射特征一致性损失函数构建模块，用于通过尺度不变特征变换算法分别提取所述isar训练图像以及isar重构图像对应的散射点特征矩阵，根据所述散射点特征矩阵构建散射特征一致性损失函数；
[0039]
分类一致性损失函数构建模块，用于基于训练好的分类网络分别提取所述isar训练图像以及isar重构图像对应的分类特征，根据所述分类特征构建分类一致性损失函数；
[0040]
生成器及判别器更新模块，用于在每一次迭代训练中，根据所述总损失函数、散射特征一致性损失函数以及分类一致性损失函数对所述跨模态转换网络中生成器以及判别器进行更新；
[0041]
基于元学习损失函数更新模块，用于在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据所述元学习损失函数对所述跨模态转换网络中生成器进行更新；
[0042]
训练好的跨模态转换网络得到模块，用于直至各所述损失函数收敛，则得到训练好的跨模态转换网络；
[0043]
光学-雷达isar图像转换模块，用于获取待转换光学目标图像，利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换，得到对应的isar转换图像。
[0044]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0045]
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；
[0046]
将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，所述图像输入跨模态转换网络包括两个生成器以及与各所述生成器对应的判别器；
[0047]
根据所述isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；
[0048]
通过尺度不变特征变换算法分别提取所述isar训练图像以及isar重构图像对应的散射点特征矩阵，根据所述散射点特征矩阵构建散射特征一致性损失函数；
[0049]
基于训练好的分类网络分别提取所述isar训练图像以及isar重构图像对应的分
类特征，根据所述分类特征构建分类一致性损失函数；
[0050]
在每一次迭代训练中，根据所述总损失函数、散射特征一致性损失函数以及分类一致性损失函数对所述跨模态转换网络中生成器以及判别器进行更新；
[0051]
在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据所述元学习损失函数对所述跨模态转换网络中生成器进行更新；
[0052]
直至各所述损失函数收敛，则得到训练好的跨模态转换网络；
[0053]
获取待转换光学目标图像，利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换，得到对应的isar转换图像。
[0054]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0055]
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；
[0056]
将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，所述图像输入跨模态转换网络包括两个生成器以及与各所述生成器对应的判别器；
[0057]
根据所述isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；
[0058]
通过尺度不变特征变换算法分别提取所述isar训练图像以及isar重构图像对应的散射点特征矩阵，根据所述散射点特征矩阵构建散射特征一致性损失函数；
[0059]
基于训练好的分类网络分别提取所述isar训练图像以及isar重构图像对应的分类特征，根据所述分类特征构建分类一致性损失函数；
[0060]
在每一次迭代训练中，根据所述总损失函数、散射特征一致性损失函数以及分类一致性损失函数对所述跨模态转换网络中生成器以及判别器进行更新；
[0061]
在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据所述元学习损失函数对所述跨模态转换网络中生成器进行更新；
[0062]
直至各所述损失函数收敛，则得到训练好的跨模态转换网络；
[0063]
获取待转换光学目标图像，利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换，得到对应的isar转换图像。
[0064]
上述基于层次域先验的光学-isar图像转换方法及装置，通过提出基于层次域先验的光学-雷达卫星isar图像生成模型也就是跨模态转换网络，基于循环一致性理论，该网络结合isar图像的散射物理域先验与分类任务导向的分类域先验，构建了全新的散射一致性损失与分类一致性损失，优化了模型的损失函数与迭代框架，还基于搭建的卫星目标光学图像数据训练样本，以cyclegan为骨干网络，通过最小化网络损失函数，使得模型学习光学图像域与isar图像域之间的映射关系，最终实现将卫星目标isar数据的高质量、高训练有效性生成。
附图说明
[0065]
图1为一个实施例中基于层次域先验的光学-isar图像转换方法的流程示意图；
[0066]
图2为一个实施例中cyclegan框架示意图；
[0067]
图3为一个实施例中跨模态转换网络的框架示意图；
[0068]
图4为其中一仿真实验中卫星目标光学-isar图像转换结果示意图；
[0069]
图5为其中一仿真实验中多方向下光学-isar图像转换示意图；
[0070]
图6为其中一仿真实验中陌生卫星目标生成结果示意图；
[0071]
图7为一个实施例中xxx装置的结构框图；
[0072]
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
[0073]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0074]
如图1所示，提供了一种基于层次域先验的光学-isar图像转换方法，包括以下步骤：
[0075]
步骤s100，获取图像训练集,图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；
[0076]
步骤s110，将图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，图像输入跨模态转换网络包括两个生成器以及与各生成器对应的判别器；
[0077]
步骤s120，根据isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；
[0078]
步骤s130，通过尺度不变特征变换算法分别提取isar训练图像以及isar重构图像对应的散射点特征矩阵，根据散射点特征矩阵构建散射特征一致性损失函数；
[0079]
步骤s140，基于训练好的分类网络分别提取isar训练图像以及isar重构图像对应的分类特征，根据分类特征构建分类一致性损失函数；
[0080]
步骤s150，在每一次迭代训练中，根据总损失函数、散射特征一致性损失函数以及分类一致性损失函数对跨模态转换网络中生成器以及判别器进行更新；
[0081]
步骤s160，在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据元学习损失函数对跨模态转换网络中生成器进行更新；
[0082]
步骤s170，直至各损失函数收敛，则得到训练好的跨模态转换网络；
[0083]
步骤s180，获取待转换光学目标图像，利用训练好的跨模态转换网络对待转换光学目标图像进行转换，得到对应的isar转换图像。
[0084]
在本实施例中，进行跨模态转换图像中的目标可以是任意目标，包括飞行器、车辆等，而在其中一实施例中，针对卫星目标雷达isar图像的生成，也就是根据目标雷达的光学图像生成isar图像样本用于对深度学习网络进行训练。
[0085]
在本实施例中，基于循环一致性理论，并结合isar图像的散射物理域先验与分类
任务导向的分类域先验，构建了全新的散射一致性损失，以及分类一致性损失，优化了网络模型的损失函数与迭代框架。
[0086]
在步骤s100中，针对用于生成目标卫星的isa r样本图像，所以图像训练集中的isar训练图像以及光学训练图像中目标均为卫星。
[0087]
在步骤s110中，跨模态转换网络采用由两个生成对抗网络(generative adversarial network，gan)形成的闭环框架结构，如图2所示。其中，其中，i，o分别表示isar域与光学域。g
io
定义为将图像由isar域转换至光学域的生成器，g
oi
则与之相反，其将图像由光学域转换至isar域。d
ι
，do定义为两个判别器，用于判别输入的图像是否来自生成器。
[0088]
具体的，将图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络包括：isar训练图像由第一生成器从isar图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器将伪光学图像从光学图像域映射isar图像域转化为对应的isar重构图像。光学图像由第二生成器从光学图像域映射至isar图像域转化为伪isar图像，再由所述第一生成器将所述伪isar图像从isar图像域映射至光学图像域转化为光学重构图像。
[0089]
在步骤s120中，在对跨模态转换网络进行一次迭代训练后，都要根据总损失函数对网络中两个生成器以及判别器的参数进行更新，其中总损失函数包括对抗损失函数、循环一致性损失函数以及一致性损失函数。
[0090]
总损失函数表示为：
[0091]
l
cyclegan
＝l
io
+l
oi
+λ
cyc
l
cyc
+λ
identity
l
identity
ꢀꢀꢀꢀ
(1)
[0092]
在公式(1)中，l
io
以及l
oi
分别表示第一生成器以及第二生成器的对抗损失函数，l
cyc
表示循环一致性损失函数，l
identity
表示一致性损失函数，λ
cyc
以及λ
identity
分别表示循环一致性损失函数以及一致性损失函数的比例权重。
[0093]
由于输入网络的图像应当与重构图像，也就是输入图像经过两个生成器后得到的图像保持一致，因此，循环一致性损失函数表示为：
[0094]
l
cyc
＝e
ioi
[||g
oi
(g
io
(i))-i||1]+e
oio
[||g
io
(g
oi
(o))-o||1]
ꢀꢀꢀꢀꢀ
(2)
[0095]
在公式(2)中，ioi表示isar-光学-isar的图像转换，oio表示光学-isar-光学的图像转换。
[0096]
为了减少网络在图像转换过程中对颜色信息的丢失，加入了一致性损失函数，表示为：
[0097]
l
identity
＝e
io
[||g
io
(i)-i||1]+e
oi
[||g
oi
(o)-o||1]
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0098]
在步骤s130中，为提高卫星isar图像生成的高真实度，引入了isar图像物理域先验信息。通过构建散射特征一致性损失，isar图像中的散射特征与网络的优化更新进行关联。在迭代中，网络通过最小化散射特征一致性损失学习isar图像散射点分布特征，最终得到能够生成具有真实isar散射点分布特征的图像生成网络。
[0099]
具体的，对于输入的卫星isar图像i，其提取出的第k个散射点的特征向量vk可表示为：
[0100]
vk＝[ck,θk,mk]
t
,(k＝1,2,...,k)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0101]
在公式(4)中，ck表示提取出的散射点的精确坐标，θk表示散射点散射强度的变化
方向，mk表示θk的模值。以上特征信息均通过sift投影计算得到。定义整个sift投影过程为ps(
·
)，输入的卫星isar图像经过sift投影后，得到由k个特征向量所组成的特征矩阵，整个过程可描述为：
[0102]
[v1,v2,...,vk]
t
＝ps(i)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0103]
在公式(5)中，[v1,v2,...,vk]
t
表示由提取出的k个特征向量所组成的特征矩阵。因此经过sift投影后，isar物理域先验中的散射物理特性被提取，并以特征矩阵的形式参与后续网络的迭代优化，实现isar物理域先验信息的引入。
[0104]
具体的，基于循环一致性的理论原理，在本技术中，认为输入的卫星isar图像与经过网络重构后的卫星isar图像应当具有相同的散射物理特性，即，经过sift投影后，重构的卫星isar图像应当与输入的卫星isar图像具有相同的特征矩阵。但由于网络训练得不充分以及卫星isar图像分布采样率的不足，重构卫星isar图像的散射特征矩阵与输入卫星isar图像的散射特征矩阵具有偏差。因此，以此为出发点构建散射特征一致性损失，以期实现网络对卫星isar图像物理特性的学习。通过最小化该损失函数，使得模型学习isar图像域中的散射物理特性与光学图像中的几何结构间的映射关系。散射特征一致性损失函数可表示为：
[0105][0106]
在公式(6)中，i表示isar训练图像，ps(i)表示通过尺度不变特征变换算法提取isar训练图像的散射点特征矩阵，g
oi
(g
io
(i))表示通过第一生成器以及第二生成器构建的isar重构图像，ps(g
oi
(g
io
(i)))表示通过尺度不变特征变换算法提取isar重构图像的散射点特征矩阵。
[0107]
在步骤140中，为提高生成isar数据的训练有效性，即生成的isar数据能否用于训练后续的识别分类网络，引入分类网络对卫星isar图像分类域先验特征进行投影，提取卫星isar图像的分类特征。基于循环一致性原理，构建了分类一致性损失，使得网络在优化该损失的过程中，学习isar图像的分类特征，最终生成高训练有效性的卫星isar图像。
[0108]
具体的，通过预训练好的分类网络对输入的卫星isar图像进行分类投影。基于一致性原理，认为输入的卫星isar图像与网络重构出的卫星isar图像应当具有相同的分类特征。但是由于网络训练不充分等缘故，重构的卫星isar图像的分类特征往往不会与输入的卫星isar图像相同，因此本发明构建了分类一致性损失函数，其数学表达式为：
[0109]
l
cd
＝(h(l,(r(i)))-h(l,r(g
oi
(g
io
(i)))))2ꢀꢀꢀꢀꢀꢀꢀ
(7)
[0110]
在公式(7)中，h表示交叉熵函数，l表示isar训练图像的分类标签，r()表示训练好的分类网络。其中，交叉熵函数的输出值用于衡量输入isar图像的分类性能，反映了isar图像的分类域先验特征。
[0111]
在实际工程应用中，能够用于训练本技术的卫星isar图像数据较少，因此需要针对数据量少的问题对网络框架进行针对性优化改进。基于元学习的优化策略，通过计算散射特征一致性与分类特征一致性损失的平均值，实现模型对卫星isar图像中共有的物理散射与分类特征的学习，提高模型在小样本训练数据条件下的学习生成能力。
[0112]
具体的，基于元学习策略的元学习损失函数表示为：
[0113][0114]
在公式(8)中，λ
sd
以及λ
cd
分别表示散射特征一致性函数与分类特征一致性函数的权重参数，s＝1,2,...,m/n表示元学习更新步骤，其中，m表示训练样本数量，n表示元学习更新间隔。
[0115]
进一步的，为提高生成图像的训练有效性，元学习的更新仅针对生成器g
ιο
,g
oi
，当且仅当s＝1,2,...,m/n时。基于adam优化器，此时生成器网络参数的更新为：
[0116][0117][0118]
在公式(9)和(10)中，以及表示两个生成器的参数，γg表示网络参数的学习率。
[0119]
如图3所示，跨模态转换网络包括四个网络模型，分别是生成器g
io
、g
oi
，判别器di、do，模型整体以cylegan为骨干框架，在包含原有的cyclegan总损失函数的基础上提出了新的散射特征一致性损失与分类特征一致性损失，并基于元学习优化策略改进模型的参数更新过程。具体来说，在每一步迭代更新中，模型将基于cyclegan框架的总损失函数对生成器、判别器参数进行更新(图3中以θ表示生成器、判别器参数的集合)；累计迭代d次后，模型将基于累计的元学习损失对生成器再次进行参数优化更新(图3中以φ表示生成器参数的集合)；最终，在不断迭代优化中，模型将具备在样本数量较少的条件下生成高真实度、高训练有效性的卫星isar图像。
[0120]
在本实施例中，步骤s100至步骤s170为对跨模态转换网络进行训练的过程，具体流程也可概括为：(1)跨模态转换网络获取来自卫星数据集的非配对的光学、isar图像；(2)在光学-isar-光学转换中，输入的光学图像经过两生成器后得到重构的光学图像，此时计算基于cyclegan的对抗性损失与循环一致性损失；(3)在isar-光学-isar转换中，输入的isar图像经过两生成器后得到重构的isar图像，此时计算对抗性损失、循环一致性、散射特征一致性与分类特征一致性损失；(4)在每一步迭代中，计算cyclegan的总损失函数，并对生成器与判别器进行更新；(5)累计迭代d次后，计算元学习损失，并对生成器进行更新。
[0121]
在对跨模态转换网络进行训练以后，还会对该网络进行测试，其测试流程包括：(1)模型获取来自卫星数据集的光学图像；(2)利用训练好的生成器g
oi
，将输入的光学图像转换为对应的isar图像；(3)通过定性以及定量的方式对比模型生成的isar图像质量进行测量；(4)将生成的isar图像与真实的isar图像组成新的数据集，并利用该数据集对识别分类网络进行训练，观察网络识别分类性能是否有提升。
[0122]
在步骤s180中，在利用训练好的跨模态转换网络对所述待转换光学目标图像进行转换时，实际中，是利用训练好的跨模态转换网络中第二生成器对待转换光学目标图像进行转换。
[0123]
在本文中，还根据本方法进行了仿真实验，如图4所示，为根据本方法进行光学-isar图像的转换结果，其结果表明，采用本方法生成的isar图像散射点确实最少，如卫星太阳能帆板部分、卫星主体部分，散射点分布保留最为完全。
[0124]
如图5所示，为在多方位角转换情况下，与现有方法相比，采用本方法生成的isar图像清晰且完整，并且散射点分布随卫星目标方位角变化而变化。
[0125]
而在针对陌生样本时，如图6所示，在inception score(is)衡量标准中，本方法比经典cyclegan高0.35，比unit方法高出0.46；在结构相似性指标中，本方法仍取得最高的相似性，比cyclegan与unit高出0.0339、0.2046。
[0126]
如表1所示，为将采用本方法生成数据加入分类识别网络中，网络性能较之原来提高了5～8％，并且能够随着生成数据量的扩大而继续提高；相比之下，其余方法生成的数据对网络性能未能有明显增益，甚至阻碍网络性能的提高。
[0127]
表1：训练有效性实验结果
[0128][0129]
上述基于层次域先验的光学-isar图像转换方法中，通过构建基于层次域先验的光学-雷达卫星isar图像生成模型。再基于循环一致性理论，该模型结合isar图像的散射物理域先验与分类任务导向的分类域先验，构建了全新的散射一致性损失与分类一致性损失，优化了模型的损失函数与迭代框架。基于搭建的卫星目标光学图像数据训练样本，该发明以cyclegan为骨干网络，通过最小化网络损失函数，使得模型学习光学图像域与isar图像域之间的映射关系，最终实现将卫星目标isar数据的高质量、高训练有效性生成。大量的对比实验以及训练有效性实验证明，本发明生成的卫星isar数据具有真实的散射点分布，并且能够有效提升分类识别网络性能。进一步的，本技术提出基于尺度不变特征变换(scale-invariant feature transform，sift)的isar图像物理域投影，用于提取卫星isar图像散射点的分布特征，并得到散射特征一致性损失；提出基于分类网络的分类域投影，用于提取卫星isar图像的分类特征，并得到分类一致性损失。此外，为了能够使网络学习卫星isar图像中共有的散射分布特征与分类特征，本发明基于元学习优化策略，搭建了层次化优化框架，改进了网络参数优化策略，减少了模型对样本数据量的依赖。本方法中的基于层次域先验的光学-卫星isar雷达图像数据跨模态生成模型能够提供目标数据生成-识别一体化的端到端模型，并生成有高真实度、高训练有效性的卫星isar图像，该根据光学图像重构的卫星isar图像能够有效提高卫星分类识别算法性能，能够有效解决在军事领域任务中特殊目标训练数据缺乏的困难。
[0130]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0131]
在一个实施例中，如图7所示，提供了一种基于层次域先验的光学-isar图像转换装置，包括：图像训练集获取模块200、跨模态转换网络输入模块210、总损失函数计算模块220、散射特征一致性损失函数构建模块230、分类一致性损失函数构建模块240、生成器及判别器更新模块250、基于元学习损失函数更新模块260、训练好的跨模态转换网络得到模
块270和光学-雷达isar图像转换模块280，其中：
[0132]
图像训练集获取模块200，用于获取图像训练集，所述图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；
[0133]
跨模态转换网络输入模块210，用于将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，所述图像输入跨模态转换网络包括两个生成器以及与各所述生成器对应的判别器；
[0134]
总损失函数计算模块220，用于根据所述isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；
[0135]
散射特征一致性损失函数构建模块230，用于通过尺度不变特征变换算法分别提取所述isar训练图像以及isar重构图像对应的散射点特征矩阵，根据所述散射点特征矩阵构建散射特征一致性损失函数；
[0136]
分类一致性损失函数构建模块240，用于基于训练好的分类网络分别提取所述isar训练图像以及isar重构图像对应的分类特征，根据所述分类特征构建分类一致性损失函数；
[0137]
生成器及判别器更新模块250，用于在每一次迭代训练中，根据所述总损失函数、散射特征一致性损失函数以及分类一致性损失函数对所述跨模态转换网络中生成器以及判别器进行更新；
[0138]
基于元学习损失函数更新模块260，用于在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据所述元学习损失函数对所述跨模态转换网络中生成器进行更新；
[0139]
训练好的跨模态转换网络得到模块270，用于直至各所述损失函数收敛，则得到训练好的跨模态转换网络；
[0140]
光学-雷达isar图像转换模块280，用于获取待转换光学目标图像，利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换，得到对应的isar转换图像。
[0141]
关于基于层次域先验的光学-isar图像转换装置的具体限定可以参见上文中对于基于层次域先验的光学-isar图像转换方法的限定，在此不再赘述。上述基于层次域先验的光学-isar图像转换装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0142]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于层次域先验的光学-isar图像转换方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0143]
本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0144]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0145]
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；
[0146]
将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，所述图像输入跨模态转换网络包括两个生成器以及与各所述生成器对应的判别器；
[0147]
根据所述isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；
[0148]
通过尺度不变特征变换算法分别提取所述isar训练图像以及isar重构图像对应的散射点特征矩阵，根据所述散射点特征矩阵构建散射特征一致性损失函数；
[0149]
基于训练好的分类网络分别提取所述isar训练图像以及isar重构图像对应的分类特征，根据所述分类特征构建分类一致性损失函数；
[0150]
在每一次迭代训练中，根据所述总损失函数、散射特征一致性损失函数以及分类一致性损失函数对所述跨模态转换网络中生成器以及判别器进行更新；
[0151]
在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据所述元学习损失函数对所述跨模态转换网络中生成器进行更新；
[0152]
直至各所述损失函数收敛，则得到训练好的跨模态转换网络；
[0153]
获取待转换光学目标图像，利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换，得到对应的isar转换图像。
[0154]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0155]
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；
[0156]
将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，所述图像输入跨模态转换网络包括两个生成器以及与各所述生成器对应的判别器；
[0157]
根据所述isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；
[0158]
通过尺度不变特征变换算法分别提取所述isar训练图像以及isar重构图像对应的散射点特征矩阵，根据所述散射点特征矩阵构建散射特征一致性损失函数；
[0159]
基于训练好的分类网络分别提取所述isar训练图像以及isar重构图像对应的分类特征，根据所述分类特征构建分类一致性损失函数；
[0160]
在每一次迭代训练中，根据所述总损失函数、散射特征一致性损失函数以及分类一致性损失函数对所述跨模态转换网络中生成器以及判别器进行更新；
[0161]
在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据所述元学习损失函数对所述跨模态转换网络中生成器进行更新；
[0162]
直至各所述损失函数收敛，则得到训练好的跨模态转换网络；
[0163]
获取待转换光学目标图像，利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换，得到对应的isar转换图像。
[0164]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0165]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0166]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.基于层次域先验的光学-isar图像转换方法，其特征在于，所述方法包括：获取图像训练集，所述图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，所述图像输入跨模态转换网络包括两个生成器以及与各所述生成器对应的判别器；根据所述isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；通过尺度不变特征变换算法分别提取所述isar训练图像以及isar重构图像对应的散射点特征矩阵，根据所述散射点特征矩阵构建散射特征一致性损失函数；基于训练好的分类网络分别提取所述isar训练图像以及isar重构图像对应的分类特征，根据所述分类特征构建分类一致性损失函数；在每一次迭代训练中，根据所述总损失函数、散射特征一致性损失函数以及分类一致性损失函数对所述跨模态转换网络中生成器以及判别器进行更新；在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据所述元学习损失函数对所述跨模态转换网络中生成器进行更新；直至各所述损失函数收敛，则得到训练好的跨模态转换网络；获取待转换光学目标图像，利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换，得到对应的isar转换图像。2.根据权利要求1所述的光学-isar图像转换方法，其特征在于，所述跨模态转换网络采用由两个生成对抗网络形成的闭环框架结构。3.根据权利要求2所述的光学-isar图像转换方法，其特征在于，所述将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络包括：所述isar训练图像由第一生成器从isar图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器将所述伪光学图像从光学图像域映射isar图像域转化为对应的isar重构图像；所述光学图像由所述第二生成器从光学图像域映射至isar图像域转化为伪isar图像，再由所述第一生成器将所述伪isar图像从isar图像域映射至光学图像域转化为光学重构图像。4.根据权利要求3所述的光学-isar图像转换方法，其特征在于，所述总损失函数包括对抗损失函数、循环一致性损失函数以及一致性损失函数；所述总损失函数表示为：lcyclegan＝lio+loi+λcyclcyc+λidentitylidentity在上式中，l
io
以及l
oi
分别表示所述第一生成器以及第二生成器的对抗损失函数，l
cyc
表示循环一致性损失函数，l
identity
表示一致性损失函数，λ
cyc
以及λ
identity
分别表示循环一致性损失函数以及一致性损失函数的比例权重。5.根据权利要求4所述的光学-isar图像转换方法，其特征在于，所述散射特征一致性损失函数表示为：
在上式中，i表示isar训练图像，ps(i)表示通过尺度不变特征变换算法提取isar训练图像的散射点特征矩阵，g
oi
(g
io
(i))表示通过第一生成器以及第二生成器构建的isar重构图像，ps(g
oi
(g
io
(i)))表示通过尺度不变特征变换算法提取isar重构图像的散射点特征矩阵。6.根据权利要求5所述的光学-isar图像转换方法，其特征在于，所述分类一致性损失函数表示为：l
cd
＝(h(l,(r(i)))-h(l,r(g
oi
(g
io
(i)))))2在上式中，h表示交叉熵函数，l表示isar训练图像的分类标签，r()表示训练好的分类网络。7.根据权利要求6所述的光学-isar图像转换方法，其特征在于，所述元学习损失函数表示为：在上式中，λ
sd
以及λ
cd
分别表示散射特征一致性函数与分类特征一致性函数的权重参数，s＝1,2,...,m/n表示元学习更新步骤，其中，m表示训练样本数量，n表示元学习更新间隔。8.根据权利要求7所述的光学-isar图像转换方法，其特征在于，所述利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换包括：利用所述训练好的跨模态转换网络中第二生成器对所述待转换光学目标图像进行转换。9.根据权利要求1-8任一项所述的光学-isar图像转换方法，其特征在于，所述isar训练图像、光学训练图像以及待转换光学目标图像中的目标均为卫星。10.基于层次域先验的光学-isar图像转换装置，其特征在于，所述装置包括：图像训练集获取模块，用于获取图像训练集，所述图像训练集中包括具有相同目标类别的多张isar训练图像以及光学训练图像；跨模态转换网络输入模块，用于将所述图像训练集中的一组非配对isar训练图像以及光学训练图像输入跨模态转换网络中，得到对应的isar重构图像以及光学重构图像，所述图像输入跨模态转换网络包括两个生成器以及与各所述生成器对应的判别器；总损失函数计算模块，用于根据所述isar训练图像、光学训练图像、isar重构图像以及光学重构图像进行计算得到总损失函数；散射特征一致性损失函数构建模块，用于通过尺度不变特征变换算法分别提取所述isar训练图像以及isar重构图像对应的散射点特征矩阵，根据所述散射点特征矩阵构建散射特征一致性损失函数；分类一致性损失函数构建模块，用于基于训练好的分类网络分别提取所述isar训练图像以及isar重构图像对应的分类特征，根据所述分类特征构建分类一致性损失函数；生成器及判别器更新模块，用于在每一次迭代训练中，根据所述总损失函数、散射特征一致性损失函数以及分类一致性损失函数对所述跨模态转换网络中生成器以及判别器进
行更新；基于元学习损失函数更新模块，用于在累积预设次数的迭代训练时，基于元学习策略根据预设次数的散射特征一致性损失函数以及分类一致性损失函数构建元学习损失函数，根据所述元学习损失函数对所述跨模态转换网络中生成器进行更新；训练好的跨模态转换网络得到模块，用于直至各所述损失函数收敛，则得到训练好的跨模态转换网络；光学-雷达isar图像转换模块，用于获取待转换光学目标图像，利用所述训练好的跨模态转换网络对所述待转换光学目标图像进行转换，得到对应的isar转换图像。

技术总结
本申请涉及一种基于层次域先验的光学-ISAR图像转换方法及装置。所述方法包括：通过提出基于层次域先验的光学-雷达卫星ISAR图像生成模型也就是跨模态转换网络，基于循环一致性理论，该网络结合ISAR图像的散射物理域先验与分类任务导向的分类域先验，构建了全新的散射一致性损失与分类一致性损失，优化了模型的损失函数与迭代框架，还基于搭建的卫星目标光学图像数据训练样本，以CycleGAN为骨干网络，通过最小化网络损失函数，使得模型学习光学图像域与ISAR图像域之间的映射关系，最终实现将卫星目标ISAR数据的高质量、高训练有效性生成。成。成。


技术研发人员：夏靖远 廖淮璋 杨志雄 刘永祥 刘振 霍凯
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2023.02.23
技术公布日：2023/7/31