一种基于门控小波的图片去模糊方法

1.本发明属于人工智能、安防监控等相关技术领域，具体是一种基于门控小波的图片去模糊方法，主要用于处理图片中的运动模糊问题，同时从空域和频域中滤除快速移动物体造成的模糊边缘，得到清晰图片。


背景技术：

2.恶劣的自然环境可能对摄录系统保存的画面产生影响，使其变得模糊，如果是交通监控网络中的抓拍发生模糊，那么就有可能因识别不到车牌而降低执法效率；而对于摄影师或者天文观测来说，有时蹲守数小时只为抓拍一个瞬间的时候如果因为意外发生了模糊，那将是很遗憾的。对于摄影摄像、天文观测等各类用到光学成像设备的领域，经常由于各种内在(衍射，镜头色差，抗混叠过滤器等)或外在(物体运动、相机抖动、失焦、大气湍流等)因素，导致图片信息丢失，形成模糊。虽然通过对硬件进行升级改造来缓解这个问题，但对于大规模的路网监控设备来说更换一批高性能摄像头过于昂贵。为了克服这个问题，比较经济且方便的方式就是使用去模糊算法来对图片进行恢复。在实际应用中，往往是将去模糊算法部署在嵌入式终端上，如停车场的自动出入系统。在有限的硬件计算资源条件下，需要在保证准确率的情况下，设计一个小型的算法，因此基于cnn的网络成为了首选。


技术实现要素：

3.为了解决在光学设备成像时由于物体移动或成像设备抖动而使得最终得到的影像发生模糊的问题，本发明提供一种基于门控小波的图片去模糊方法。该方法采用生成对抗网络基本构架，设计有门控小波处理模块，并对图片的空域和频域分别进行处理，获得了较好的去模糊效果。
4.本发明解决所述技术问题的技术方案是，设计一种基于门控小波的图片去模糊方法，其特征在于，该方法包括以下步骤：
5.步骤一：获取图像训练集
6.将大尺寸的模糊图片与对应的清晰图片，分别分割成相同尺寸的若干小尺寸图块，得到模糊图块集与清晰图块集；对模糊图块集与清晰图块集分别进行数据增广，以扩大数据集规模，得到模糊图像训练集与清晰图像训练集；
7.步骤二：建立图像去模糊神经网络
8.图像去模糊神经网络基本构架为生成对抗网络，包括一个生成器和一个判别器；生成器的输入为模糊图像，生成器对模糊图像的处理过程为：令输入的模糊图像表示为ir，首先将ir输入到生成器的inception预训练模型中提取中间特征，得到f1、f2、f3、f4这四个不同尺度的特征图；然后将这四个特征图分别送入四个门控小波卷积模块，分别对特征图进行频域层面的学习；
9.在门控小波卷积模块中，首先对输入的特征图进行二维离散小波变换，经过分解得到四个子频带ll、hl、lh、hh，然后对四个子频带分别使用投影卷积，卷积核大小为1，步长
为1，填充为0，通道数是输入子频带的两倍；然后将投影卷积后得到的4个张量分别沿特征维度平均分为两个尺寸相同的张量，分别记为ll1、ll2、hl1、hl2、lh1、lh2、hh1、hh2；将其中的ll2、hl2、lh2、hh2使用sigmoid函数将值压缩至0～1，作为其对应子频带的门；再将ll1、hl1、lh1、hh1分别对应输入到第五特征学习模块m5、第六特征学习模块、第七特征学习模块、第八特征学习模块中进行特征学习，然后与对应的子频带的门进行点乘，对频域信息选择性的滤除和保留，得到四个子频带特征图，最后对其使用小波逆变换，还原到门控小波卷积模块的输入特征图的尺寸；第五特征学习模块、第六特征学习模块、第七特征学习模块、第八特征学习模块的结构相同，均由第三卷积层、第三relu激活函数层、第四卷积层、第四relu激活函数层、第五卷积层依次顺接而得，上一层的输出即为下一层的输入；
10.对于四个门控小波卷积模块的输出，分别使用第一特征学习模块、第二特征学习模块、第三特征学习模块、第四特征学习模块分别对不同尺度输出的特征图进行特征学习，该四个特征学习模块的结构相同，均由第一卷积层、第一relu激活函数层、第二卷积层和第二relu激活函数层依次顺接而得，上一层的输出即为下一层的输入；通过特征学习模块，将不同尺度的高维低维特征映射到一个统一的特征维度；然后对第二特征学习模块、第三特征学习模块、第四特征学习模块的输出分别对应使用第二上采样层、第三上采样层、第四上采样层进行上采样，使得这三个特征图的宽高尺寸与第一特征学习模块的输出一致，再将这三个特征图沿特征维度进行拼接，最后通过融合层的卷积操作将拼接后的特征维度映射到第一特征学习模块的输出特征图的特征维度；在融合层之后，将输出再进行上采样，还原到生成器的原输入图像大小，同时与原输入图像进行残差连接，得到最后的输出图像，也就是由模糊图像得到的修复图像；
11.所述判别器采用全卷积的形式，首先将输入图像通过一号卷积层、一号leakyrelu激活函数层，将输入特征从3维映射到64维，其中一号卷积层的卷积核大小为4，步长和填充均为2，得到输入的空域图；然后将输入的空域图通过二维离散傅里叶变换将输入转换到同等大小的频域图；接着分别对输入的空域图和频域图使用第八特征学习模块和第九特征学习模块对其进行特征提取；第八特征学习模块和第九特征学习模块的结构相同，均由第六卷积层、一号归一化层、二号leakyrelu激活函数层、第七卷积层、二号归一化层、三号leakyrelu激活函数层、第八卷积层、三号归一化层、四号leakyrelu激活函数层、第九卷积层依次顺接而得，输入数据首先输入到第六卷积层，上一层的输出即为下一层的输入，第九卷积层的输出即为对应特征学习模块的输出；第六卷积层、第七卷积层的卷积核大小为4，步长为2，填充为2；第八卷积层、第九卷积层的卷积核大小为4，步长为1，填充为2；输入的空域图和频域图通过第八特征学习模块和第九特征学习模块进行特征提取后，分别映射成一个n
×
n的特征图，再将两个特征图进行拼接，得到区域评价的组合特征图，组合特征图中的每一个值表示对原图中一个区域的评价，判别器的输出同时包含空域和频域的评价指标；
12.步骤三：训练图像去模糊神经网络
13.步骤3.1对图像去模糊神经网络进行初始化，卷积层的权重初始值的设置符合均值为0、方差为0.02的正态分布；bn层的权重初始值的设置符合均值为1、方差为0.02的正态分布；初始偏置设置为0；设置迭代训练次数300代；学习率设置为0.0001；
14.步骤3.2将模糊图像训练集中的一个批次的模糊图像输入到初始化的生成器，该批次的每一张模糊图像在生成器内先通过inception预训练层进行特征提取，输出4个不同
大小的特征图f1、f2、f3、f4；再将每个特征图输入到门控小波卷积模块，将特征图分解为四个子带，并使用第五特征学习模块、第六特征学习模块、第七特征学习模块、第八特征学习模块对每个子带进行学习，之后使用门控矩阵对输出进行过滤，最后小波逆变换将特征图进行恢复；将经过门控小波卷积模块处理后的数据送入到第一特征学习模块、第二特征学习模块、第三特征学习模块、第四特征学习模块中，在空域对图像进行学习，之后针对不同尺寸的特征图，使用不同比例的上采样层将特征图调整到同一大小，然后在特征维度进行合并；通过融合层将通道数融合为初始输入图像的通道数，然后通过一个上采样层将图像尺寸恢复到初始输入大小，并与初始输入图像进行相加，得到生成器输出的一张恢复图像；
15.步骤3.3将步骤3.2中生成器输出的一个批次的恢复图像输入到初始化的判别器中，经过判别器的多个卷积层的处理，逐渐减小图像尺寸，最后得到一个区域评价的组合特征图；将恢复图像的区域评价的组合特征图的评价值取平均，即得恢复图像的评价值；然后将清晰图像训练集中与该批次模糊图像对应的清晰图像输入到判别器中，对其区域评价的组合特征图中的评价值取平均，即得对应的清晰图像的评价值；然后，对清晰图像和恢复图像计算梯度惩罚，具体过程为：首先生成一个取值范围为0～1的随机数a，然后将恢复图像的张量乘以1-a，清晰图像的张量乘以a，之后再将两者融合，得到一个按照随机数比例生成的张量样本x；然后将张量样本x输入到判别器，得到判别器输出的区域评价组合特征图y；对张量样本x和区域评价组合特征图y进行求导后再计算其二范数并减1，最后取该值和0之间的最大值，即得梯度惩罚的值；清晰图像的评价值与恢复图像的评价值的差与加权重后的梯度惩罚的值相加，作为该张恢复图像的判别器的损失；根据一个批次的恢复图像的判别器的损失的均值，利用判别器的优化器进行反向梯度传播来更新一次判别器的参数，之后对判别器的优化器进行一次参数更新，判别器的参数完成一次迭代更新，一个批次的模糊图像对判别器的训练完成；
16.步骤3.4保持判别器的参数不变，将模糊图像训练集中的一个批次的模糊图像输入到初始化的生成器，得到生成器输出的对应的恢复图像；将该恢复图像输入到判别器中，得到恢复图像的评价值，该评价值的负数即为生成器的对抗损失；计算恢复图像与对应模糊图像的感知损失，感知损失的计算过程是使用vgg网络预训练模型分别对恢复图像以及清晰图像进行特征提取，对所得的两个特征图计算均方误差，该值即为清晰图像和恢复图像的感知损失值；一张模糊图像的生成器的损失为对抗损失与感知损失相加；根据一个批次的模糊图像的生成器的损失的均值，对生成器进行梯度的反向传播，更新一次生成器参数与学习率，一个批次的模糊图像对生成器的训练完成，至此，判别器与生成器完成了一个批次图像的训练；
17.步骤3.5将判别器与生成器完成上一个批次图像的训练时的参数作为下一个批次图像的训练的初始参数，不断重复步骤步骤3.2—步骤3.4的过程，直至训练完所有批次的图像，判别器与生成器完成一次迭代训练；将判别器与生成器完成上一次迭代训练时的参数作为下一次迭代训练时的初始参数，不断重复，直至迭代训练次数到达预设值，保存判别器与生成器完成最后一次迭代训练的参数，即得训练好的图像去模糊神经网络模型；
18.步骤四：图片去模糊处理
19.将待处理的模糊图片的尺寸大小调整为步骤一中小尺寸图块的尺寸，然后将其输入到步骤三中训练好的图像去模糊神经网络模型，由生成器输出恢复图像，再将恢复图像
还原回待处理的模糊图片的尺寸，即得去模糊图片。
20.与现有技术相比，本发明有益效果包括：本发明通过应用生成对抗网络将因物体运动、成像设备抖动等因素而形成模糊的图片进行还原，得到边缘清晰清晰可读性强的图片。相对于使用模糊核估计方法的去模糊模型而言，本发明由于端到端的层级结构，具有较大的感受野，可以去除不均匀的运动模糊，解决了模糊核估计方法只能对整体运动方向进行建模的问题。使用gan网络更容易保存图像中的纹理细节、创建更接近真实的图像，使得人在感官上对于生成出来的图片有更高的接受度。由于网络基于cnn进行设计，因此模型尺寸小，易于部署到嵌入式终端，推理速度也更快。
附图说明
21.图1是本发明一种基于门控小波的图片去模糊方法一种实施例的图像去模糊神经网络基本构架与原理图。
22.图2是本发明一种基于门控小波的图片去模糊方法一种实施例的图像去模糊神经网络的生成器的基本构架与原理流程图。
23.图3是本发明一种基于门控小波的图片去模糊方法一种实施例的图像去模糊神经网络的生成器的门控小波卷积模块的基本构架与原理流程图。
24.图4是本发明一种基于门控小波的图片去模糊方法一种实施例的图像去模糊神经网络的判别器的基本构架与原理流程图。
25.图5是采用本发明一种基于门控小波的图片去模糊方法一种实施例的去模糊效果图，其中，图5中的(a)是模糊图片，图5中的(b)是去模糊图片，图5中的(c)是与模糊图片对应的清晰图片。
26.图6是采用本发明一种基于门控小波的图片去模糊方法另一种实施例的去模糊效果图，其中，图6中的(a)是模糊图片，图6中的(b)是去模糊图片，图6中的(c)是与模糊图片对应的清晰图片。
具体实施方式
27.下面结合说明书附图对本发明技术方案进行详细阐述。
28.本发明提供一种基于门控小波的图片去模糊方法，该方法包括以下步骤：
29.步骤一：获取图像训练集
30.将大尺寸的模糊图片与对应的清晰图片，分别分割成相同尺寸的若干小尺寸图块，得到模糊图块集与清晰图块集；对模糊图块集与清晰图块集分别进行数据增广，以扩大数据集规模，得到模糊图像训练集与清晰图像训练集；数据增广方式可采用平移、裁切、变色等算子，也可以在imagenet、ccpd等图片处理软件，应用模糊算法，随机生成一个psf路径，随机选择运动方向以及运动幅度以模拟发生抖动的情况。作为一种实施例，所述小尺寸图块尺寸为128
×
128。所述的模糊图片为由所述的清晰图片经过psf路径处理后得到。
31.步骤二：建立图像去模糊神经网络
32.图像去模糊神经网络基本构架为生成对抗网络(generative adversarial network，gan)，包括一个生成器和一个判别器；生成器的输入为模糊图像，生成器对模糊图像的处理过程为：令输入的模糊图像表示为ir，批量大小设置为16，ir∈r
16
×3×
128
×
128
，r表示
实数集，即ir为尺寸大小为16
×3×
128
×
128的实数集。首先将ir输入到生成器的inception预训练模型中提取中间特征，得到f1、f2、f3、f4这四个不同尺度的特征图。然后将这四个特征图分别送入四个门控小波卷积模块，分别对特征图进行频域层面的学习。
33.在门控小波卷积模块中，首先对输入的特征图进行二维离散小波变换，经过分解得到四个子频带ll、hl、lh、hh，然后对四个子频带分别使用投影卷积(附图中分别为p1、p2、p3、p4)，卷积核大小为1，步长为1，填充为0，通道数是输入子频带的两倍。以第一层为例，16
×3×
128
×
128的尺寸大小输入经过二维离散小波变换得到4个16
×3×
64
×
64尺寸大小的子频带，再分别使用投影卷积之后，每个子频带的尺寸变为16
×6×
64
×
64。然后将投影卷积后得到的4个张量分别沿特征维度平均分为两个尺寸为16
×3×
64
×
64的张量，分别记为ll1、ll2、hl1、hl2、lh1、lh2、hh1、hh2。将其中的ll2、hl2、lh2、hh2使用sigmoid函数(附图标记为σ)将值压缩至0～1，作为其对应子频带的门。再将ll1、hl1、lh1、hh1分别对应输入到第五特征学习模块m5、第六特征学习模块m6、第七特征学习模块m7、第八特征学习模块m8中进行特征学习，然后与对应的子频带的门进行点乘，对频域信息选择性的滤除和保留，得到四个子频带特征图，大小为16
×3×
64
×
64，最后对其使用小波逆变换，还原到门控小波卷积模块的输入特征图的尺寸。第五特征学习模块m5、第六特征学习模块m6、第七特征学习模块m7、第八特征学习模块m8的结构相同，均由第三卷积层c3、第三relu激活函数层r3、第四卷积层c4、第四relu激活函数层r4、第五卷积层c5依次顺接而得，上一层的输出即为下一层的输入。
34.对于四个门控小波卷积模块的输出，分别使用第一特征学习模块m1、第二特征学习模块m2、第三特征学习模块m3、第四特征学习模块m4分别对不同尺度输出的特征图进行特征学习，该四个特征学习模块的结构相同，均由第一卷积层c1、第一relu激活函数层r1、第二卷积层c2和第二relu激活函数层r2依次顺接而得，上一层的输出即为下一层的输入。通过特征学习模块，将不同尺度的高维低维特征映射到一个统一的特征维度。然后对第二特征学习模块m2、第三特征学习模块m3、第四特征学习模块m4的输出分别对应使用第二上采样层u2、第三上采样层u3、第四上采样层u4进行上采样，使得这三个特征图的宽高尺寸与第一特征学习模块m1的输出一致，再将这三个特征图(附图标记为o2、o3、o4)沿特征维度进行拼接，最后通过融合层的卷积操作将拼接后的特征维度映射到第一特征学习模块m1的输出特征图(附图标记为o1)的特征维度。在融合层之后，将输出再进行上采样，还原到生成器的原输入图像大小，同时与原输入图像进行残差连接，得到最后的输出图像，也就是由模糊图像得到的修复图像。
35.所述判别器采用全卷积的形式，首先将输入图像通过一号卷积层p5、一号leakyrelu激活函数层lr1，将输入特征从3维映射到64维，其中一号卷积层p5的卷积核大小为4，步长和填充均为2，得到输入的空域图；然后将输入的空域图通过二维离散傅里叶变换将输入转换到同等大小的频域图。接着分别对输入的空域图和频域图使用第八特征学习模块m8和第九特征学习模块m9对其进行特征提取。第八特征学习模块m8和第九特征学习模块m9的结构相同，均由第六卷积层c6、一号归一化层n1、二号leakyrelu激活函数层lr2、第七卷积层c7、二号归一化层n2、三号leakyrelu激活函数层lr3、第八卷积层c8、三号归一化层n3、四号leakyrelu激活函数层lr4、第九卷积层c9依次顺接而得，输入数据首先输入到第六卷积层c6，上一层的输出即为下一层的输入，第九卷积层c9的输出即为对应特征学习模块
的输出。第六卷积层c6、第七卷积层c7的卷积核大小为4，步长为2，填充为2；第八卷积层c8、第九卷积层c9的卷积核大小为4，步长为1，填充为2。输入的空域图和频域图通过第八特征学习模块m8和第九特征学习模块m9进行特征提取后，分别映射成一个n
×
n的特征图，再将两个特征图(附图标记为o5、o6)进行拼接，得到区域评价的组合特征图，组合特征图中的每一个值表示对原图中一个区域的评价，判别器的输出同时包含空域和频域的评价指标。
36.步骤三：训练图像去模糊神经网络
37.步骤3.1对图像去模糊神经网络进行初始化，卷积层的权重初始值的设置符合均值为0、方差为0.02的正态分布；bn层的权重初始值的设置符合均值为1、方差为0.02的正态分布；初始偏置设置为0；设置迭代训练次数300代；学习率设置为0.0001。
38.步骤3.2将模糊图像训练集中的一个批次的模糊图像输入到初始化的生成器，该批次的每一张模糊图像在生成器内先通过inception预训练层进行特征提取，输出4个不同大小的特征图f1～f4。再将每个特征图输入到门控小波卷积模块，将特征图分解为四个子带，并使用第五特征学习模块m5、第六特征学习模块m6、第七特征学习模块m7、第八特征学习模块m8对每个子带进行学习，之后使用门控矩阵对输出进行过滤，最后小波逆变换将特征图进行恢复。将经过门控小波卷积模块处理后的数据送入到第一特征学习模块m1、第二特征学习模块m2、第三特征学习模块m3、第四特征学习模块m4中，在空域对图像进行学习，之后针对不同尺寸的特征图，使用不同比例的上采样层将特征图调整到同一大小，然后在特征维度进行合并。通过融合层将通道数融合为初始输入图像的通道数，然后通过一个上采样层将图像尺寸恢复到初始输入大小，并与初始输入图像进行相加，得到生成器输出的一张恢复图像。
39.步骤3.3将步骤3.2中生成器输出的一个批次的恢复图像输入到初始化的判别器中，经过判别器的多个卷积层的处理，逐渐减小图像尺寸，最后得到一个区域评价的组合特征图；将恢复图像的区域评价的组合特征图的评价值取平均，即得恢复图像的评价值；然后将清晰图像训练集中与该批次模糊图像对应的清晰图像输入到判别器中，对其区域评价的组合特征图中的评价值取平均，即得对应的清晰图像的评价值；然后，对清晰图像和恢复图像计算梯度惩罚，具体过程为：首先生成一个取值范围为0～1的随机数a，然后将恢复图像的张量乘以(1-a)，清晰图像的张量乘以a，之后再将两者融合，得到一个按照随机数比例生成的张量样本x。然后将张量样本x输入到判别器，得到判别器输出的区域评价组合特征图y。对张量样本x和区域评价组合特征图y进行求导后再计算其二范数并减1，最后取该值和0之间的最大值，即得梯度惩罚的值。清晰图像的评价值与恢复图像的评价值的差与加权重后的梯度惩罚的值相加，作为该张恢复图像的判别器的损失。根据一个批次的恢复图像的判别器的损失的均值，利用判别器的优化器进行反向梯度传播来更新一次判别器的参数，之后对判别器的优化器进行一次参数更新，判别器的参数完成一次迭代更新，一个批次的模糊图像对判别器的训练完成。
40.步骤3.4保持判别器的参数不变，将模糊图像训练集中的一个批次的模糊图像输入到初始化的生成器，得到生成器输出的对应的恢复图像。将该恢复图像输入到判别器中，得到恢复图像的评价值，该评价值的负数即为生成器的对抗损失。计算恢复图像与对应模糊图像的感知损失，感知损失的计算过程是使用vgg网络预训练模型分别对恢复图像以及清晰图像进行特征提取，对所得的两个特征图计算均方误差，该值即为清晰图像和恢复图
像的感知损失值。一张模糊图像的生成器的损失为对抗损失与感知损失相加。根据一个批次的模糊图像的生成器的损失的均值，对生成器进行梯度的反向传播，更新一次生成器参数与学习率，一个批次的模糊图像对生成器的训练完成，至此，判别器与生成器完成了一个批次图像的训练。
41.步骤3.5将判别器与生成器完成上一个批次图像的训练时的参数作为下一个批次图像的训练的初始参数，不断重复步骤步骤3.2一步骤3.4的过程，直至训练完所有批次的图像，判别器与生成器完成一次迭代训练；将判别器与生成器完成上一次迭代训练时的参数作为下一次迭代训练时的初始参数，不断重复，直至迭代训练次数到达预设值，保存判别器与生成器完成最后一次迭代训练的参数，即得训练好的图像去模糊神经网络模型。
42.判别器的损失函数lossd使用wgan-gp损失函数来缓解生成对抗网络训练不稳定的问题，其公式表示如下：
[0043][0044]
其中d表示判别器，g表示生成器，pg表示生成器输出的恢复图像的集合，p
data
表示对应清晰图像的集合；d(x2)表示判别器对pg中一张恢复图像x2的评价值，表示判别器对pg中所有恢复图像的评价值的均值；d(x1)表示判别器对p
data
中一张清晰图像x1的评价值，表示判别器对p
data
中所有清晰图像的评价值的均值；
[0045]
为梯度惩罚项，惩罚分布p
penalty
介于pg与p
data
之间。梯度惩罚的计算首先要生成一个0～1的随机数a，然后由恢复图像乘以(1-a)，清晰图像乘以a，从而按照随机数比例来生成一个样本x3。再将该样本输入到判别器，得到判别器输出的特征图y。对x3和y进行求导后再计算其二范数并减1，最后取该值和0之间的最大值，即得到梯度惩罚项的值。λ为超参数，为梯度惩罚在判别器的损失中的权重。
[0046]
生成器的损失为对抗损失与感知损失相加：
[0047][0048]
式中，pg表示生成器输出的恢复图像的集合，d(x)表示判别器对pg中一张恢复图像x的评价值，表示判别器对pg中所有恢复图像的评价值的均值的负数；
[0049]
表示感知损失，感知损失认为生成图像是从内容图变换而来，通过计算内容损失不断迭代生成图像，使其越来越接近内容图。在去模糊任务中，生成图像指的是恢复图像，而内容图则是清晰图像。表示如下：
[0050][0051]
其中j表示选用的vgg网络的层数，c
ihi
wj表示vgg网络最后一层输出的特征图的尺寸，表示vgg网络对恢复图像提取的特征图，φj(y)表示vgg网络对清晰图像提取的特征图。感知损失的计算过程是使用vgg网络预训练模型分别对恢复图像以及清晰图像进行
特征提取，对所得的两个特征图计算均方误差，该值即为清晰图像和恢复图像的感知损失值。
[0052]
步骤四：图片去模糊处理
[0053]
将待处理的模糊图片的尺寸大小调整为步骤一中小尺寸图块的尺寸，然后将其输入到步骤三中训练好的图像去模糊神经网络模型，由生成器输出恢复图像，再将恢复图像还原回待处理的模糊图片的尺寸，即得去模糊图片。
[0054]
图5与图6是采用本发明一种基于门控小波的图片去模糊方法两种实施例的去模糊效果图，两组图中，(a)是模糊图片，(b)是去模糊图片，(c)是与模糊图片对应的清晰图片(gt)。从图中可以看到，去模糊图片的清晰度较模糊图片明显变好，画面质量更佳，去模糊图片的峰值信噪比(db)数据均有较大提升，去模糊效果明显。
[0055]
本发明未述及之处适用于现有技术。

技术特征：
1.一种基于门控小波的图片去模糊方法，其特征在于，该方法包括以下步骤：步骤一：获取图像训练集将大尺寸的模糊图片与对应的清晰图片，分别分割成相同尺寸的若干小尺寸图块，得到模糊图块集与清晰图块集；对模糊图块集与清晰图块集分别进行数据增广，以扩大数据集规模，得到模糊图像训练集与清晰图像训练集；步骤二：建立图像去模糊神经网络图像去模糊神经网络基本构架为生成对抗网络，包括一个生成器和一个判别器；生成器的输入为模糊图像，生成器对模糊图像的处理过程为：令输入的模糊图像表示为i
r
，首先将i
r
输入到生成器的inception预训练模型中提取中间特征，得到f1、f2、f3、f4这四个不同尺度的特征图；然后将这四个特征图分别送入四个门控小波卷积模块，分别对特征图进行频域层面的学习；在门控小波卷积模块中，首先对输入的特征图进行二维离散小波变换，经过分解得到四个子频带ll、hl、lh、hh，然后对四个子频带分别使用投影卷积，卷积核大小为1，步长为1，填充为0，通道数是输入子频带的两倍；然后将投影卷积后得到的4个张量分别沿特征维度平均分为两个尺寸相同的张量，分别记为ll1、ll2、hl1、hl2、lh1、lh2、hh1、hh2；将其中的ll2、hl2、lh2、hh2使用sigmoid函数将值压缩至0～1，作为其对应子频带的门；再将ll1、hl1、lh1、hh1分别对应输入到第五特征学习模块m5、第六特征学习模块、第七特征学习模块、第八特征学习模块中进行特征学习，然后与对应的子频带的门进行点乘，对频域信息选择性的滤除和保留，得到四个子频带特征图，最后对其使用小波逆变换，还原到门控小波卷积模块的输入特征图的尺寸；第五特征学习模块、第六特征学习模块、第七特征学习模块、第八特征学习模块的结构相同，均由第三卷积层、第三relu激活函数层、第四卷积层、第四relu激活函数层、第五卷积层依次顺接而得，上一层的输出即为下一层的输入；对于四个门控小波卷积模块的输出，分别使用第一特征学习模块、第二特征学习模块、第三特征学习模块、第四特征学习模块分别对不同尺度输出的特征图进行特征学习，该四个特征学习模块的结构相同，均由第一卷积层、第一relu激活函数层、第二卷积层和第二relu激活函数层依次顺接而得，上一层的输出即为下一层的输入；通过特征学习模块，将不同尺度的高维低维特征映射到一个统一的特征维度；然后对第二特征学习模块、第三特征学习模块、第四特征学习模块的输出分别对应使用第二上采样层、第三上采样层、第四上采样层进行上采样，使得这三个特征图的宽高尺寸与第一特征学习模块的输出一致，再将这三个特征图沿特征维度进行拼接，最后通过融合层的卷积操作将拼接后的特征维度映射到第一特征学习模块的输出特征图的特征维度；在融合层之后，将输出再进行上采样，还原到生成器的原输入图像大小，同时与原输入图像进行残差连接，得到最后的输出图像，也就是由模糊图像得到的修复图像；所述判别器采用全卷积的形式，首先将输入图像通过一号卷积层、一号leakyrelu激活函数层，将输入特征从3维映射到64维，其中一号卷积层的卷积核大小为4，步长和填充均为2，得到输入的空域图；然后将输入的空域图通过二维离散傅里叶变换将输入转换到同等大小的频域图；接着分别对输入的空域图和频域图使用第八特征学习模块和第九特征学习模块对其进行特征提取；第八特征学习模块和第九特征学习模块的结构相同，均由第六卷积层、一号归一化层、二号leakyrelu激活函数层、第七卷积层、二号归一化层、三号leakyrelu
激活函数层、第八卷积层、三号归一化层、四号leakyrelu激活函数层、第九卷积层依次顺接而得，输入数据首先输入到第六卷积层，上一层的输出即为下一层的输入，第九卷积层的输出即为对应特征学习模块的输出；第六卷积层、第七卷积层的卷积核大小为4，步长为2，填充为2；第八卷积层、第九卷积层的卷积核大小为4，步长为1，填充为2；输入的空域图和频域图通过第八特征学习模块和第九特征学习模块进行特征提取后，分别映射成一个n
×
n的特征图，再将两个特征图进行拼接，得到区域评价的组合特征图，组合特征图中的每一个值表示对原图中一个区域的评价，判别器的输出同时包含空域和频域的评价指标；步骤三：训练图像去模糊神经网络步骤3.1对图像去模糊神经网络进行初始化，卷积层的权重初始值的设置符合均值为0、方差为0.02的正态分布；bn层的权重初始值的设置符合均值为1、方差为0.02的正态分布；初始偏置设置为0；设置迭代训练次数300代；学习率设置为0.0001；步骤3.2将模糊图像训练集中的一个批次的模糊图像输入到初始化的生成器，该批次的每一张模糊图像在生成器内先通过inception预训练层进行特征提取，输出4个不同大小的特征图f1、f2、f3、f4；再将每个特征图输入到门控小波卷积模块，将特征图分解为四个子带，并使用第五特征学习模块、第六特征学习模块、第七特征学习模块、第八特征学习模块对每个子带进行学习，之后使用门控矩阵对输出进行过滤，最后小波逆变换将特征图进行恢复；将经过门控小波卷积模块处理后的数据送入到第一特征学习模块、第二特征学习模块、第三特征学习模块、第四特征学习模块中，在空域对图像进行学习，之后针对不同尺寸的特征图，使用不同比例的上采样层将特征图调整到同一大小，然后在特征维度进行合并；通过融合层将通道数融合为初始输入图像的通道数，然后通过一个上采样层将图像尺寸恢复到初始输入大小，并与初始输入图像进行相加，得到生成器输出的一张恢复图像；步骤3.3将步骤3.2中生成器输出的一个批次的恢复图像输入到初始化的判别器中，经过判别器的多个卷积层的处理，逐渐减小图像尺寸，最后得到一个区域评价的组合特征图；将恢复图像的区域评价的组合特征图的评价值取平均，即得恢复图像的评价值；然后将清晰图像训练集中与该批次模糊图像对应的清晰图像输入到判别器中，对其区域评价的组合特征图中的评价值取平均，即得对应的清晰图像的评价值；然后，对清晰图像和恢复图像计算梯度惩罚，具体过程为：首先生成一个取值范围为0～1的随机数a，然后将恢复图像的张量乘以1-a，清晰图像的张量乘以a，之后再将两者融合，得到一个按照随机数比例生成的张量样本x；然后将张量样本x输入到判别器，得到判别器输出的区域评价组合特征图y；对张量样本x和区域评价组合特征图y进行求导后再计算其二范数并减1，最后取该值和0之间的最大值，即得梯度惩罚的值；清晰图像的评价值与恢复图像的评价值的差与加权重后的梯度惩罚的值相加，作为该张恢复图像的判别器的损失；根据一个批次的恢复图像的判别器的损失的均值，利用判别器的优化器进行反向梯度传播来更新一次判别器的参数，之后对判别器的优化器进行一次参数更新，判别器的参数完成一次迭代更新，一个批次的模糊图像对判别器的训练完成；步骤3.4保持判别器的参数不变，将模糊图像训练集中的一个批次的模糊图像输入到初始化的生成器，得到生成器输出的对应的恢复图像；将该恢复图像输入到判别器中，得到恢复图像的评价值，该评价值的负数即为生成器的对抗损失；计算恢复图像与对应模糊图像的感知损失，感知损失的计算过程是使用vgg网络预训练模型分别对恢复图像以及清晰
图像进行特征提取，对所得的两个特征图计算均方误差，该值即为清晰图像和恢复图像的感知损失值；一张模糊图像的生成器的损失为对抗损失与感知损失相加；根据一个批次的模糊图像的生成器的损失的均值，对生成器进行梯度的反向传播，更新一次生成器参数与学习率，一个批次的模糊图像对生成器的训练完成，至此，判别器与生成器完成了一个批次图像的训练；步骤3.5将判别器与生成器完成上一个批次图像的训练时的参数作为下一个批次图像的训练的初始参数，不断重复步骤步骤3.2—步骤3.4的过程，直至训练完所有批次的图像，判别器与生成器完成一次迭代训练；将判别器与生成器完成上一次迭代训练时的参数作为下一次迭代训练时的初始参数，不断重复，直至迭代训练次数到达预设值，保存判别器与生成器完成最后一次迭代训练的参数，即得训练好的图像去模糊神经网络模型；步骤四：图片去模糊处理将待处理的模糊图片的尺寸大小调整为步骤一中小尺寸图块的尺寸，然后将其输入到步骤三中训练好的图像去模糊神经网络模型，由生成器输出恢复图像，再将恢复图像还原回待处理的模糊图片的尺寸，即得去模糊图片。2.根据权利要求1所述的一种基于门控小波的图片去模糊方法，其特征在于，步骤一中，所述的模糊图片为由所述的清晰图片经过psf路径处理后得到。3.根据权利要求1所述的一种基于门控小波的图片去模糊方法，其特征在于，步骤一中，所述小尺寸图块尺寸为128
×
128。4.根据权利要求1所述的一种基于门控小波的图片去模糊方法，其特征在于，生成器的损失为对抗损失与感知损失相加：式中，p
g
表示生成器输出的恢复图像的集合，d(x)表示判别器对p
g
中一张恢复图像x的评价值，表示判别器对p
g
中所有恢复图像的评价值的均值的负数；表示感知损失，表示如下：其中j表示选用的vgg网络的层数，c
j
h
j
w
j
表示vgg网络最后一层输出的特征图的尺寸，表示vgg网络对恢复图像提取的特征图，φ
j
(y)表示vgg网络对清晰图像提取的特征图。5.根据权利要求1所述的一种基于门控小波的图片去模糊方法，其特征在于，对于生成器的输入模糊图像i4，批量大小设置为16，i4∈r
16
×3×
128
×
128
，r表示实数集，即i4为尺寸大小为16
×3×
128
×
128的实数集。

技术总结
本发明公开一种基于门控小波的图片去模糊方法，该方法采用生成对抗网络基本构架，设计有门控小波处理模块，并对图片的空域和频域分别进行处理，得到边缘清晰清晰可读性强的图片，获得了较好的去模糊效果。相对于使用模糊核估计方法的去模糊模型而言，本发明由于端到端的层级结构，具有较大的感受野，可以去除不均匀的运动模糊，解决了模糊核估计方法只能对整体运动方向进行建模的问题。使用GAN网络更容易保存图像中的纹理细节、创建更接近真实的图像，使得人在感官上对于生成出来的图片有更高的接受度。由于网络基于CNN进行设计，因此模型尺寸小，易于部署到嵌入式终端，推理速度也更快。更快。更快。


技术研发人员：顾军华 李岩 陈晨 牛炳鑫
受保护的技术使用者：河北工业大学
技术研发日：2023.03.22
技术公布日：2023/9/23