一种基于门控递归单元的压缩感知图像重构方法

proximal mapping module, epmm)，集成了基于通道残差注意块(channel attention residual block, carb)的级内注意力机制和基于卷积门控递归单元(conv gated recurrent unit, convgru)的级间记忆力机制，解决了dun表征力不足和特征信息长距离传输时出现的内在信息损失问题。实验结果表明，与现有方法相比，本发明提出的grdu-net可有效提升cs图像的重构性能。


技术实现要素：

6.本发明的目的在于将基于先验与基于网络的重构模型相结合，提出了一种基于门控递归单元的压缩感知图像重构方法。本发明结合两类方法的优点，使重构网络具有可解释性的同时，解决了dun中常见的由长距离传输而导致的信息损耗问题，可以实现cs图像的高性能重构。
7.传统的图像cs方法通常通过解决以下优化问题来重建原始图像：
[0008][0009]
其中表示测量矩阵，表示采样后的测量值，是正则化项的加权超参数，表示先验项。在逆求解cs问题中，该式近似地被表示为以下迭代收敛问题：
[0010][0011][0012]
迭代更新和，直至收敛。、和分别表示第k次迭代的输出、中间变量和加权步长。在实际意义上，前者表示梯度下降，后者表示近端映射，利用近端算子来求解，在本发明中，即采用深度神经网络求解近端映射，构建展开网络实现压缩感知重构。
[0013]
grdu-net是一个完全端到端的可学习网络，联合优化采样网络与重构网络，设计近端映射模块实现了长短期特征记忆的持久性存储和传输，保证了图像重构质量，具有快速、准确的图像重构与明确的可解释性优势。面向无线传感器网络常见的能量严重受限问题，压缩感知提供了一个新的解决手段。压缩感知将采样与压缩过程合二为一，可以仅凭十分之一乃至百分之一的数据量较高质量恢复原始数据，若将本发明的grdu-net实际搭建于无线传感器网络环境中，可以减少数据采集的冗余量，降低数据传输压力和能耗，以达到延长网络寿命的目的。这是一个缓解无线传感器网络面临主要问题一个良好方案。
[0014]
本发明的目的是通过下述技术方案来实现的：
[0015]
(1) 数据集获取：在自然图像数据集set91中，随机提取大小的图像块，数据集记作。
[0016]
(2) 网络参数：压缩感知采样率、最大训练次数epoch、一次训练所选取样本数batch_size、学习率、步长以及重构网络子阶段数目ns等。
[0017]
(3) 自适应采样：利用卷积实现自适应采样，被替换为m个大小
的卷积核，卷积核通道为1，基于即得到测量值。
[0018]
(4) 初始化重构：基于，利用采样矩阵的转置卷积实现图像的初始化重建，利用n个1
×
1大小的卷积核，卷积核通道为m，对卷积后获得1
×1×
n的张量进行pixelshuffle操作，即得到。
[0019]
(5) 深度重构：设计了级内注意力机制和级间记忆力机制，并集成于长短期特征记忆增强近端映射模块中，实现了深度展开网络的搭建。将输入深度重构网络，经ns个子阶段输出，得到。
[0020]
(6) 计算损失函数：，其中为第i张训练图像，为第i张训练图像的重构图像，为训练图像总数，为每张图像的像素总数。若在训练过程中对测量矩阵添加了二值约束，则对测量矩阵增加正交化约束，，即。
[0021]
(7) 训练：判断是否到达最大epoch值，未达到则进行误差反向传递，利用自适应学习率优化算法更新权值，达到则保存网络参数，结束训练。
[0022]
(8) 评估：将基准数据集图像输入训练好的深度重构网络，得到重构图像，并通过计算原始图像与重构图像间的峰值信噪比(peak signal to noise ratio, psnr)和结构相似性(structural similarity, ssim)衡量重构性能。
【本发明的优点和积极效果】
[0023]
与现有技术相比，本发明具有如下优点和积极效果：
[0024]
第一，本发明结合基于先验与基于网络的重构模型，提出了一个完全端到端学习的、可解释、具有持久长短期记忆的深度展开网络，实现了cs图像自适应采样与恢复的联合优化。
[0025]
第二，利用测量矩阵与转置测量矩阵实现图像自适应采样与初始化重构，大大减少了网络训练参数，减少了计算成本。同时，可以对测量矩阵增加二值约束，以便于存储与硬件实现。
[0026]
第三，创新地设计了一个长短期特征记忆增强近端映射模块epmm，构建了两种机制，即级内注意力机制和级间记忆力机制，利用通道注意力和长期记忆流解决了现有深度展开网络中表征力不足和特征信息长距离传输时出现的内在信息损耗问题，实现了长短期特征记忆的持久性存储和传输。经实验证明，本发明稳定性较好，在测试集上均表现出良好的重构性能。
【附图说明】
[0027]
图1是本发明提出的基于门控递归单元的压缩感知图像重构方法流程图；图2是本发明深度重构网络的结构图；
图3是carb结构图；图4是convgru结构图。
【具体实施方式】
[0028]
为使本发明的实施方案与意义优势表述得更为清楚，下面结合后文附图及实施样例，对本发明进行更为详细的说明。
[0029]
(1) 输入：训练数据集，，图像块大小33
×
33。
[0030]
(2) 初始化：压缩感知采样率、最大训练次数epoch=150、一次训练所选取样本数batch_size=64、学习率、步长、初始化迭代深度k=1，上限为重构网络子阶段数目ns=9。
[0031]
(3) 自适应采样：为个33
×
33大小的卷积核，卷积核通道为1，基于即可得到测量值。
[0032]
(4) 初始化重构：基于，利用采样矩阵的转置卷积实现图像的初始化重建，利用1089个1
×
1大小的卷积核，卷积核通道为m，对卷积后获得1
×1×
n的张量进行pixelshuffle操作，即得到。
[0033]
(5) 深度重构：该部分网络由ns个重复的阶段组成，每个阶段包括了梯度下降和近端映射模块epmm，因此第k个阶段可以表示为，epmm中包括了基于通道残差注意块(channel attention residual block, carb)的级内注意力机制和基于卷积门控递归单元(conv gated recurrent unit, convgru)的级间记忆力机制。将输入深度重构网络，经ns个子阶段输出，得到。
[0034]
(6) 计算损失函数：，其中为第i张训练图像，为第i张训练图像的重构图像，为训练图像总数，为每张图像的像素总数。若在训练过程中对测量矩阵添加了二值约束，则对测量矩阵增加正交化约束，，即。
[0035]
(7) 训练：判断是否到达最大epoch值，未达到则进行误差反向传递，利用自适应学习率优化算法更新权值，达到则保存网络参数，结束训练。
[0036]
(8) 评估：将基准数据集图像输入训练好的深度重构网络，得到重构图像，计算psnr和ssim，衡量重构性能。
[0037]
具体地说，grdu-net中可学习参数集包括测量矩阵，步长，深度重构网络中涉及的变换参数，，，，，，即。注意，深度重构网络中所有阶段中除外共享相
同的参数。，，表示三个卷积操作，，表示两个通道残差注意块carb，表示卷积门控递归单元convgru。具有一个输入通道c个输出通道，具有c+1个输入通道c个输出通道，具有c个输入通道一个输出通道，经过、和通道数不变，均为c。
[0038]
本发明的仿真实验是在gpu：nvidiaquadrortx4000，ubuntu20.04（64bit）操作系统的仿真条件下运行的，开发平台visualstudiocode、pytorch1.11。
[0039]
算法测试中，采用了两个广泛使用的基准数据集：set11和urban100。其中为便于比较，本发明采用灰度图进行性能比较。基准实验：ista-net+、dpa-net、opine-net、amp-net。比较各算法重构数据集的平均psnr与ssim，psnr值越大，ssim值越接近于1，代表图像重构质量越精准，越接近原始图像。所有展开算法中，阶段数均设置为9。
[0040]
本发明中，设置采样率，参数选择具有一定的普适性，本实验的测试集采用了同一组参数，同时这种参数页可以扩展到其他自然图像的重构过程中。表1表示不同算法重构一张256
×
256大小图像的平均时间，速度约为80-81fps，远高于高清视频的平滑播放帧率，实现了图像的实时重建，对于处理资源有限、时间成本高的任务具有很大的优势。表2、表3分别为数据集set11和urban100在不同测量率下的psnr与ssim。从实验结果可以发现，本发明所提方法在所有采样率下，尤其是在更低采样率下能达到最优的重构效果。更具体地，对于数据集set11，在采样率为0.01的情况下，本发明方法grdu-net相较于ista-net+、dpa-net、opine-net、amp-net算法，在平均psnr上的增益分别为3.14db、2.29db、0.67db、1.63db，最低增长3.4%，在平均ssim上分别提高0.1358、0.0608、0.0256、0.0731，最低增长4.7%。通过表中数据，还可以看到一个有趣的现象，当采用二值矩阵约束时，可以在低采样率下得到更好的重构性能，而随着采样率的增长，采用浮点矩阵的grdu-net具有更好的重构性能，这个现象将在今后更多的实验中去验证。综上所述，本发明提出的方法图像重构质量高、稳定性好，是一种有效的压缩感知图像重构方法。
[0041] 表1各方法重构一张256
×
256图像的平均时间(s)
[0042][0043] 表2各方法重构set11的psnr(db)、ssim∈[0,1]对比结果
[0044][0045] 表3各方法重构urban100的psnr(db)、ssim∈[0,1]对比结果
[0046]

技术特征：
1.一种基于门控递归单元的压缩感知图像重构方法，包括如下步骤：步骤1：数据集获取：在自然图像数据集set91中，随机提取大小的图像块，数据集记作；步骤2：网络参数：压缩感知采样率、最大训练次数、一次训练所选取样本数、学习率、步长以及重构网络子阶段数目等；步骤3：自适应采样：利用卷积实现自适应采样，被替换为个大小的卷积核，卷积核通道为1，基于即得到测量值；步骤4：初始化重构：基于，利用采样矩阵的转置卷积实现图像的初始化重建，利用个1
×
1大小的卷积核，卷积核通道为，对卷积后获得的张量进行pixelshuffle操作，即得到；步骤5：深度重构：设计了级内注意力机制和级间记忆力机制，并集成于长短期特征记忆增强近端映射模块中，实现了深度展开网络的搭建。将输入深度重构网络，经个子阶段输出，得到；步骤6：计算损失函数：，其中为第张训练图像，为第张训练图像的重构图像，为训练图像总数，为每张图像的像素总数。若在训练过程中对测量矩阵添加了二值约束，则对测量矩阵增加正交化约束，，即；步骤7：训练：判断是否到达最大值，未达到则进行误差反向传递，利用自适应学习率优化算法更新权值，达到则保存网络参数，结束训练；步骤8：评估：将基准数据集图像输入训练好的深度重构网络，得到重构图像，并通过计算原始图像与重构图像间的峰值信噪比psnr和结构相似性ssim衡量重构性能。

技术总结
本发明属于信号处理和深度学习技术领域，具体涉及一种应用于压缩感知的自然图像重构方法。针对如何实现自然图像的稀疏采样与高质量重构这一问题，本发明提出了一种用于压缩感知图像重构的具有持久长短期记忆的新型深度展开网络。该网络同时实现了图像自适应采样与恢复的约束优化，利用注意力机制和长期记忆流解决了现有深度展开网络中表征力不足和特征信息长距离传输时出现的内在信息损耗问题。设计了级内注意力机制和级间记忆力机制，并集成于展开网络的近端映射模块中，实现了长短期特征记忆的持久性存储和传输。本发明提出的方法与现有方法相比，可在保持重构速度的同时，有效提升图像的重构质量。效提升图像的重构质量。效提升图像的重构质量。


技术研发人员：孙桂玲 南瑞丽 张彭晨 郑博文
受保护的技术使用者：南开大学
技术研发日：2023.05.22
技术公布日：2023/9/20