一种基于注意力机制的CycleGAN去雾方法

一种基于注意力机制的cyclegan去雾方法
技术领域
1.本发明专利属于图像处理技术领域，具体涉及一种一种基于注意力机制的cyclegan去雾方法。


背景技术：

2.雾与霾广泛存在于在自然界中。潮湿环境中地面附近的水蒸气，容易与灰尘结合成为细微水滴或在低温条件下凝结成为冰晶，这种细微水滴和冰晶与空气组成的气溶胶系统称作雾。城市环境中存在着硝酸、硫化物以及灰尘等颗粒物与空气结合的气溶胶系统称作霾。雾霾灾害令我国的交通安全、航空安全甚至军事安全等领域受到严峻的挑战。交通安全领域，在雾霾天气下，道路监控以及车辆疏导系统的能见度降低，起雾的低清晰度图像会对目标检测的效果造成极大的干扰。在航空安全领域，在民航客机的起飞和降落阶段，雾霾会对飞行员们的视野产生阻挡，会造成航班的延误、备降甚至于停运等恶劣的状况。在军事安全领域，雾霾天气会带来可见光波段的遮挡造成信息损失，各类观测卫星，制导反导的精确性能受到影响。因此，为了保障计算机视觉处理系统在雾霾天气下满足我国交通安全、航空安全以及军事安全等方面的需要，将带雾图像进行还原去雾处理，提高图像的清晰度、对比度，具有极为重要的现实意义。
3.随着移动设备、便携计算机的用户量扩张以及计算机算力的大幅度提升，图像处理、图像风格迁移、基于图像内容的检索与分类、图像生成等领域已经逐渐发展成为结合多个学科，生成对抗网络(gan)是这些领域的重要技术。目前已有研究人员利用gan和注意力机制(senet)进行去雾处理，engin等人在去雾问题中使用了循环神经对抗网络，以此避免训练样本少的问题，xu qin等人则在去雾算法中将通道注意力、像素注意力二者结合，赋予重要特征以更多权重。liang等提出了强基线模型swinir，此模型在图像超分辨率、去噪等方面表现优秀。注意力机制是自深度学习快速发展后广泛应用于自然语言处理、统计学习、图像检测、语音识别等领域的核心技术。


技术实现要素：

4.有鉴于此，本发明专利结合cyclegan与注意力机制，提出了一种基于注意力机制的cyclegan去雾方法。相较于其他方法，利用该方法进行图像去雾处理后，图像具有颜色逼真、目标细节清晰等优点，同时该算法有效缓解了图像颜色失真、目标细节模糊等问题，具有较高的科学意义及实用价值。
5.本发明专利采用的技术方案如下：
6.一种基于注意力机制的cyclegan去雾方法，包括以下步骤：
7.步骤1：利用循环生成对抗网络(cyclegan)生成高质量的成对图像用于网络模型训练，结合损失函数优化并生成最终网络模型；
8.步骤2：基于步骤1生成的网络模型，输入真实图像并进行下采样操作，对经过下采样操作的真实图像通过9个残差网络块进行特征图提取；
9.步骤3：每个残差网络块间使用注意力机制(squeeze-and-excitation networks，senet)进行连接，根据通道的重要程度进行通道的权重赋予；
10.步骤4：结合通道的权重对特征图进行上采样还原，得到去雾图像。
11.所述步骤1具体包括以下步骤：
12.1.1：利用循环生成对抗网络(cyclegan)生成高质量的成对图像数据集，并将其用于网络模型训练，其中成对图像数据集生成方法具体为：
13.单张训练数据增广为成对数据集的实现方法，等价为待增广图像图像从源域x转换到目标域y获得对应成对图像，而循环生成对抗网络就是通过训练一个将图像从源域x转换到目标域y映射g，这样g(x)的图像分布能够和使用对抗损失的图像分布y有一致。
14.1.2：对损失函数进行改进优化，调整完整损失情况，结合优化后的损失函数生成最终网络模型，以实现图像的转换。
15.所述步骤2具体包括以下步骤：
16.2.1：基于步骤1生成的网络模型，输入真实图像并进行下采样操作；
17.2.2：对经过下采样操作的真实图像通过9个残差网络块进行特征图提取。
18.所述步骤3具体包括以下步骤：
19.3.1：使用注意力机制对每个残差网络块进行连接；
20.3.2：对步骤2.2提取的特征图进行squeeze操作，获取确定各个通道特征的重要性的权值，该权值具有全局感受野，然后针对所以通道进行全局均值池化处理，最终获取具有全局感受野的特征图；
21.3.3：对具有全局感受野的特征图进行excitation操作，借助全连接层反向影响到特征图，通过预测特征图对应通道的重要性，获取该通道的重要程度，并对通道进行权重赋予。
22.所述步骤4具体包括以下步骤：
23.4.1：基于步骤3.3获取的带有权重的通道，对特征图进行上采样还原操作，输出获得去雾图像。
24.综上所述，由于采用了上述技术方案，本发明的有益效果是：
25.本发明将cyclegan去雾算法和注意力机制结合，提出了一种基于注意力机制的cyclegan去雾算法，利用该方法进行图像去雾处理后，图像具有颜色逼真、目标细节清晰等优点，同时该算法有效缓解了图像颜色失真、目标细节模糊等问题。
附图说明
26.本发明将通过例子并参照附图的方式说明，其中：
27.图1是本发明的图像去雾流程示意图；
28.图2是squeeze-and-excitation模块结构示意图；
29.图3是判别网络结构示意图；
30.图4是加入注意力机制后的生成网络示意图；
31.图5是多种算法的去雾实验结果对比图；
具体实施方式
32.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本发明实施方式的组件可以以各种不同的配置来布置和设计。
33.因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
34.需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
35.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
36.需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
37.实施例
38.如图1-5所示，本发明实施例中公开了基于注意力机制的cyclegan去雾算法，包括以下步骤：
39.步骤1：利用循环生成对抗网络(cyclegan)生成高质量的成对图像用于网络模型训练，结合损失函数优化并生成最终网络模型；
40.所述步骤1具体包括以下步骤：
41.1.1：利用循环生成对抗网络(cyclegan)生成高质量的成对图像数据集，并将其用于网络模型训练，其中成对图像数据集生成方法具体为：
42.单张训练数据增广为成对数据集的实现方法，等价为待增广图像图像从源域x转换到目标域y获得对应成对图像，而循环生成对抗网络就是通过训练一个将图像从源域x转换到目标域y映射g，这样g(x)的图像分布能够和使用对抗损失的图像分布y有一致。
43.1.2：对损失函数进行改进优化，调整完整损失情况，结合优化后的损失函数生成最终网络模型，以实现图像的转换，损失函数的优化具体为：
44.(1)对抗损失：
45.在训练过程中将对抗性损失应用于两个映射函数。生成器g试图生成与真实图像相似的图像g(x)，而判别器dy旨在区分生成后的样本图像g(x)和真实的样本，两者相互博弈，共同成长。
[0046][0047]
(2)循环一致性损失：
[0048]
仅靠对抗性损失不能保证所学函数能将单个输入x映射到所需输出y，为了进一步减少可能的映射函数的空间，所学到的映射函数应该是循环一致的，对于来自领域x的每个图像x，图像翻译循环应该能够将x带回到原始图像。即x
→
g(x)
→
f(g(x))≈x为前向一致
性，y
→
g(y)
→
f(g(y))≈y为后向循环一致性。
[0049]
循环一致性损失如下:
[0050]
l
cyc
(g，f)＝e
y～pdata(y)
[||g(f(y))-y||1]+e
x～pdata(x)
[||f(g(x))-x||1]
ꢀꢀꢀ
(2)
[0051]
(3)完整损失：
[0052]
λ为控制权重，完整损失如下：
[0053]
l(g，f，dx，dy)＝l
gan
(g，dy，x，y)+l
gan
(f，d
x
，y，x)+λl
cyc
(g，f)
ꢀꢀꢀ
(3)
[0054]
步骤2：基于步骤1生成的网络模型，输入真实图像并进行下采样操作，对经过下采样操作的真实图像通过9个残差网络块进行特征图提取；
[0055]
所述步骤2具体包括以下步骤：
[0056]
2.1：基于步骤1生成的网络模型，输入真实图像并进行下采样操作；
[0057]
2.2：对经过下采样操作的真实图像通过9个残差网络块进行特征图提取。
[0058]
步骤3：每个残差网络块间使用注意力机制(squeeze-and-excitation networks，senet)进行连接，根据通道的重要程度进行通道的权重赋予；
[0059]
所述步骤3具体包括以下步骤：
[0060]
3.1：使用注意力机制对每个残差网络块进行连接；
[0061]
3.2：对步骤2.2提取的特征图进行squeeze操作，获取确定各个通道特征的重要性的权值，该权值具有全局感受野，然后针对所以通道进行全局均值池化处理，最终获取具有全局感受野的特征图；
[0062]
3.3：对具有全局感受野的特征图进行excitation操作，借助全连接层反向影响到特征图，通过预测特征图对应通道的重要性，获取该通道的重要程度权值，然后将权值赋给对应的通道。
[0063]
步骤4：结合通道的权重对特征图进行上采样还原，得到去雾图像。
[0064]
所述步骤4具体包括以下步骤：
[0065]
4.1：基于步骤3.3获取的带有权重的通道，对特征图进行上采样还原操作，输出获得去雾图像。
[0066]
实例分析：
[0067]
本文方法在ntire 2018数据集上进行训练，训练集中包括室内、室外的有雾图像和对应真实图像，随机选取数据集内图像作为测试图。cpu型号为amd epyc 7642 48-core processor，gpu型号为gtx3090，显存大小为24gb。使用编程语言为python，版本为3.7，框架使用pytorch，版本号为1.7.0。
[0068]
将本文的方法分别与clane、dcp、cyclegan、添加cbam的cyclegan去雾算法进行对比实验，如图5所示为对比结果，(a)到(f)从左往右为原始图、clane去雾结果、dcp去雾结果、cyclegan去雾结果、添加cbam的cyclegan去雾结果。由图5可知，clane去雾结果存在严重的色调失真，细节恢复差，第二张图上半部分的雾气依然明显。dcp去雾结果整体色调过暗，也因此严重影响了目标细节，第二张图上半部分的雾气依然明显。cyclegan比较前面两者，在色调和细节恢复上非常优秀，但仍然存在色调偏红问题，如窗帘部分。添加了cbam的cyclegan出现了严重的颜色失真，整体色调偏为黄色，，第二张图的雾气依然明显。本文方法的去雾结果颜色逼真，贴近真实情况，细节恢复好，第一张图中小支架反光部分都清晰可见。
[0069]
将本文的方法分别与clane、dcp、cyclegan、添加cbam的cyclegan去雾算法进行对比实验，利用图像的峰值信噪比(psnr)和图像结构相似性(ssim)两个指标对各算法处理结果进行评估。psnr数值越大，表示去雾后清晰图像同真实无雾清晰图像的差异越小，算法去雾效果也就越好，若去雾后清晰图像同真实无雾清晰图像间的差异越大，峰值信噪比的数值越小，算法去雾效果也就越差。ssim数值越大，表示去雾后清晰图像相对真实无雾清晰图像的失真越小，去雾效果越好，若是差异越大，结构相似性数值越小，去雾效果越差。从表1和表2的对比分析中，利用本文算法的图像去雾效果最好。
[0070]
表1psnr指标
[0071][0072]
表2ssim指标
[0073][0074]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0075]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于注意力机制的cyclegan去雾方法，其特征在于，包括以下步骤：步骤1：利用循环生成对抗网络生成高质量的成对图像用于网络模型训练，结合损失函数优化并生成最终网络模型；步骤2：基于步骤1生成的网络模型，输入真实图像并进行下采样操作，对经过下采样操作的真实图像通过9个残差网络块进行特征图提取；步骤3：每个残差网络块间使用注意力机制进行连接，根据通道的重要程度进行通道的权重赋予；步骤4：结合通道的权重对特征图进行上采样还原，得到去雾图像。2.根据权利要求1所述的一种基于注意力机制的cyclegan去雾方法，其特征在于，所述步骤1具体包括以下步骤：步骤1.1：利用循环生成对抗网络生成高质量的成对图像数据集，并将其用于网络模型训练；步骤1.2：结合损失函数优化并生成最终网络模型，以实现图像的转换。3.根据权利要求1所述的一种基于注意力机制的cyclegan去雾方法，其特征在于，所述步骤2具体包括以下步骤：步骤2.1：基于步骤1生成的网络模型，输入真实图像并进行下采样操作；步骤2.2：对经过下采样操作的真实图像通过9个残差网络块进行特征图提取。4.根据权利要求1所述的一种基于注意力机制的cyclegan去雾方法，其特征在于，所述步骤3具体包括以下步骤：步骤3.1：使用注意力机制对每个残差网络块进行连接；步骤3.2：对步骤2.2提取的特征图进行squeeze操作，获取具有全局感受野的特征图；步骤3.3：对具有全局感受野的特征图进行excitation操作，获取特征图对应通道的重要程度权值，并对通道进行权重赋予。5.根据权利要求1所述的一种基于注意力机制的cyclegan去雾方法，其特征在于，所述步骤4具体包括以下步骤：基于步骤3.3获取的带有权重的通道，对特征图进行上采样还原操作，输出获得去雾图像。

技术总结
本发明公开了一种基于注意力机制的CycleGAN去雾方法，属于图像去雾处理技术领域领域，解决了图像颜色失真、目标细节模糊等问题；本发明首先对输入图片进行采样，通过9个残差网络块进行特征提取，每个残差模块间使用Senet进行连接，然后根据通道的重要程度进行权重赋予，提取特征，进行上采样还原，得到去雾图像。相较于其他方法，利用该方法进行图像去雾处理后，图像具有颜色逼真、目标细节清晰等优点，同时该算法有效缓解了图像颜色失真、目标细节模糊等问题，具有较高的科学意义及实用价值。价值。价值。


技术研发人员：杨昕梅 傅宇婧 杨承 邬云舒 刘流
受保护的技术使用者：电子科技大学
技术研发日：2023.04.24
技术公布日：2023/9/20