一种基于注意力机制的深度学习图像去雾方法

1.本发明涉及图像处理的技术领域，尤其是涉及一种基于注意力机制的深度学习图像去雾方法。


背景技术：

2.图像去雾方法是计算机视觉领域的重要研究内容，其广泛应用在视频监控，自动驾驶等领域。近年来，随着雾霾的严重，严重影响了图片的能见度和观赏性，对图像去雾技术的效果和通用性提出了更高的要求。现存的图像去雾方法可以大致分为两种：基于图像先验的去雾方法和基于深度学习的去雾方法。
3.基于图像先验的去雾方法通过图像的对比度，颜色分布等特点来求得大气光散射模型中的透射率图，进而通过一部分透射率最小的点估计出大气光值，使用大气光散射模型恢复出去雾图。基于先验的方法受限于先验的适用性，在不符合先验的场景中不能有效的去雾。此类方法还存在运算效率较差和透射率估计不准确等问题，去雾效果难以达到各种计算机视觉应用的要求。
4.随着深度学习技术的发展，出现了很多使用神经网络进行去雾的方法。大部分此类方法基于大气光散射模型，通过从有雾图中估计透射率和大气光值还原得到无雾图。由于去雾场景的多样化和复杂性，准确估计透射率图和大气光值非常困难。近期的方法通过使用较大规模的网络结构或者通过后处理步骤来提高去雾的效果，增大网络结构会带来泛化能力差，运行效率低的问题。同时，受到训练集不足的影响，复杂的网络训练出的模型往往在其他图片上的泛化效果较差。而增加后处理步骤则是由于网络的拟合能力不足，不能实现自适应的端到端去雾，后处理的额外开销同样降低了去雾的效率。
5.目前，视觉中的深度注意力网络通常是基于自注意力机制的，自注意力机制来源于自然语言处理，其首先用于机器翻译任务。由自注意力机制搭建成的深度神经网络被叫做transformer，在视觉中对图像序列通过堆叠的自注意力机制进行建模，并得到最终的处理结果，注意力机制极大的提高了人类对于目标物体的信息获取效率。基于此，本发明提供基于注意力机制的深度学习图像去雾方法。


技术实现要素：

6.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本发明的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
7.为解决上述技术问题，本发明提供一种基于注意力机制的深度学习图像去雾方法，采用如下的技术方案：包括以下步骤：
8.s1：从数据集reside中获取待处理有雾图像样本；
9.s2：构建包括多注意力融合模块的图像去雾网络模型；
10.s3：将待处理有雾图像样本输进包括多注意力融合模块的图像去雾网络模型络，
加载训练好的样本参数后，输出清晰的图像。
11.可选的，所述包括多注意力融合模块的图像去雾网络模型具体为：该网络分为特征提取层、多注意力融合模块、特征映射层，共有10层，是一个全卷积网络。
12.可选的，在特征提取部分，使用4个卷积核大小为3的卷积层充分提取有雾图中的特征信息，并通过两个卷积核为1的卷积层进行两次下采样；
13.在多注意力融合部分，由两个卷积层和注意力单元构成，通过添加局部短连接提高训练收敛速度；
14.在特征映射部分，使用两个卷积核大小为1的卷积层减少特征图的维度，最终得到128*128*3的输出作为预测的雾浓度图；
15.网络结构参考了残差神经网络的结构，在网络第三层和第七层、第二层和第八层之间设置了两条短路结构，将第三、二层的特征图并入第七、八层。
16.可选的，所述注意力单元融合了空间注意力、通道注意力和像素注意力。
17.可选的，在注意力单元中，对输入特征采用全局平均池化：
[0018][0019]
其中，h
p
表示全局平均池化函数，xc(i,j)表示输入值的c通道位于(i,j)处的值，fc表示输入特征。
[0020]
可选的，在通道注意力和像素注意力中，将池化后的特征通过卷积层、relu、卷积层和sigmoid激活函数处理之后得到ca，
[0021]
ca＝σ(conv(δ(conv(gc))))；
[0022]
其中，σ表示sigmoid激活函数，δ表示relu函数，将输入特征与ca相乘得到通道注意力特征ca
*
：
[0023][0024]
ca
*
然后通过卷积层、relu、卷积层和sigmoid激活函数得到像素注意力特征：
[0025]
pa＝σ(conv(δ(conv(ca
*
))))；
[0026]
最终如何通道注意力和像素注意力输出：
[0027][0028]
可选的，空间注意力分支中，将池化后的特征通过卷积层和sigmoid激活函数，得到：
[0029][0030]
可选的，融合三种注意力机制：
[0031]
f＝[f1,sa]；
[0032]
经过卷积后输出特征：
[0033]fout
＝conv(f)。
[0034]
可选的，所述包括多注意力融合模块的图像去雾网络模型采用l1损失函数在数据集reside进行训练，l1损失函数如下式：
[0035]
[0036]
其中，n指图像像素总数，和ji(x)指第i个通道上x出的像素值，指经过网络计算得到的值，ji(x)表示真实值，
[0037]
综上所述，本发明包括以下至少一种有益效果：
[0038]
本发明提供基于注意力机制的深度学习图像去雾方法，融合了空间注意力、通道注意力和像素注意力机制的多注意力融合模块，取得了较好的去雾效果；产生的去雾结果比较自然，且鲁棒性强，适用范围广，可同时应用于室内和自然场景的去雾中，不需要后处理步骤。
附图说明
[0039]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]
图1为本发明方法流程图。
具体实施方式
[0041]
以下结合附图1对本发明作进一步详细说明。
[0042]
参照图1，本发明公开一种基于注意力机制的深度学习图像去雾方法，包括以下步骤：
[0043]
s1：从数据集reside中获取待处理有雾图像样本；
[0044]
s2：构建包括多注意力融合模块的图像去雾网络模型；
[0045]
所述包括多注意力融合模块的图像去雾网络模型具体为：该网络分为特征提取层、多注意力融合模块、特征映射层，共有10层，是一个全卷积网络。
[0046]
在特征提取部分，使用4个卷积核大小为3的卷积层充分提取有雾图中的特征信息，并通过两个卷积核为1的卷积层进行两次下采样；
[0047]
在多注意力融合部分，由两个卷积层和注意力单元构成，通过添加局部短连接提高训练收敛速度；
[0048]
在特征映射部分，使用两个卷积核大小为1的卷积层减少特征图的维度，最终得到128*128*3的输出作为预测的雾浓度图；
[0049]
网络结构参考了残差神经网络的结构，在网络第三层和第七层、第二层和第八层之间设置了两条短路结构，将第三、二层的特征图并入第七、八层。
[0050]
所述注意力单元融合了空间注意力、通道注意力和像素注意力。
[0051]
在注意力单元中，对输入特征采用全局平均池化：
[0052][0053]
其中，h
p
表示全局平均池化函数，xc(i,j)表示输入值的c通道位于(i,j)处的值，fc表示输入特征。
[0054]
在通道注意力和像素注意力中，将池化后的特征通过卷积层、relu、卷积层和
sigmoid激活函数处理之后得到ca，
[0055]
ca＝σ(conv(δ(conv(gc))))；
[0056]
其中，σ表示sigmoid激活函数，δ表示relu函数，将输入特征与ca相乘得到通道注意力特征ca
*
：
[0057][0058]
ca
*
然后通过卷积层、relu、卷积层和sigmoid激活函数得到像素注意力特征：
[0059]
pa＝σ(conv(δ(conv(ca
*
))))；
[0060]
最终如何通道注意力和像素注意力输出：
[0061][0062]
空间注意力分支中，将池化后的特征通过卷积层和sigmoid激活函数，得到：
[0063][0064]
融合三种注意力机制：
[0065]
f＝[f1,sa]；
[0066]
经过卷积后输出特征：
[0067]fout
＝conv(f)。
[0068]
s3：将待处理有雾图像样本输进包括多注意力融合模块的图像去雾网络模型络，加载训练好的样本参数后，输出清晰的图像。
[0069]
包括多注意力融合模块的图像去雾网络模型采用l1损失函数在数据集reside进行训练，l1损失函数如下式：
[0070][0071]
其中，n指图像像素总数，和ji(x)指第i个通道上x出的像素值，指经过网络计算得到的值，ji(x)表示真实值，
[0072]
以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

技术特征：
1.一种基于注意力机制的深度学习图像去雾方法，其特征在于：包括以下步骤：s1：从数据集reside中获取待处理有雾图像样本；s2：构建包括多注意力融合模块的图像去雾网络模型；s3：将待处理有雾图像样本输进包括多注意力融合模块的图像去雾网络模型络，加载训练好的样本参数后，输出清晰的图像。2.根据权利要求1所述的一种基于注意力机制的深度学习图像去雾方法，其特征在于：所述包括多注意力融合模块的图像去雾网络模型具体为：该网络分为特征提取层、多注意力融合模块、特征映射层，共有10层，是一个全卷积网络。3.根据权利要求2所述的一种基于注意力机制的深度学习图像去雾方法，其特征在于：在特征提取部分，使用4个卷积核大小为3的卷积层充分提取有雾图中的特征信息，并通过两个卷积核为1的卷积层进行两次下采样；在多注意力融合部分，由两个卷积层和注意力单元构成，通过添加局部短连接提高训练收敛速度；在特征映射部分，使用两个卷积核大小为1的卷积层减少特征图的维度，最终得到128*128*3的输出作为预测的雾浓度图；网络结构参考了残差神经网络的结构，在网络第三层和第七层、第二层和第八层之间设置了两条短路结构，将第三、二层的特征图并入第七、八层。4.根据权利要求3所述的一种基于注意力机制的深度学习图像去雾方法，其特征在于：所述注意力单元融合了空间注意力、通道注意力和像素注意力。5.根据权利要求4所述的一种基于注意力机制的深度学习图像去雾方法，其特征在于：在注意力单元中，对输入特征采用全局平均池化：其中，h
p
表示全局平均池化函数，x
c
(i,j)表示输入值的c通道位于(i,j)处的值，f
c
表示输入特征。6.根据权利要求5所述的一种基于注意力机制的深度学习图像去雾方法，其特征在于：在通道注意力和像素注意力中，将池化后的特征通过卷积层、relu、卷积层和sigmoid激活函数处理之后得到ca，ca＝σ(conv(δ(conv(g
c
))))；其中，σ表示sigmoid激活函数，δ表示relu函数，将输入特征与ca相乘得到通道注意力特征ca
*
：ca
*
然后通过卷积层、relu、卷积层和sigmoid激活函数得到像素注意力特征：pa＝σ(conv(δ(conv(ca
*
))))；最终如何通道注意力和像素注意力输出：7.根据权利要求6所述的一种基于注意力机制的深度学习图像去雾方法，其特征在于：空间注意力分支中，将池化后的特征通过卷积层和sigmoid激活函数，得到：
8.根据权利要求7所述的一种基于注意力机制的深度学习图像去雾方法，其特征在于：融合三种注意力机制：f＝[f1,sa]；经过卷积后输出特征：f
out
＝conv(f)。9.根据权利要求1所述的一种基于注意力机制的深度学习图像去雾方法，其特征在于：所述包括多注意力融合模块的图像去雾网络模型采用l1损失函数在数据集reside进行训练，l1损失函数如下式：其中，n指图像像素总数，和j
i
(x)指第i个通道上x出的像素值，指经过网络计算得到的值，j
i
(x)表示真实值，

技术总结
本发明公开了图像处理技术领域的一种基于注意力机制的深度学习图像去雾方法，包括以下步骤：S1：从数据集RESIDE中获取待处理有雾图像样本；S2：构建包括多注意力融合模块的图像去雾网络模型；S3：将待处理有雾图像样本输进包括多注意力融合模块的图像去雾网络模型络，加载训练好的样本参数后，输出清晰的图像；融合了空间注意力、通道注意力和像素注意力机制的多注意力融合模块，取得了较好的去雾效果；产生的去雾结果比较自然，且鲁棒性强，适用范围广，可同时应用于室内和自然场景的去雾中，不需要后处理步骤。不需要后处理步骤。不需要后处理步骤。


技术研发人员：孙晓明 张钧凯 段彦 陈言 王永亮
受保护的技术使用者：哈尔滨理工大学
技术研发日：2023.04.02
技术公布日：2023/9/22