基于生成网络和低秩正则的视频压缩感知恢复方法及系统与流程

1.本发明涉及视频恢复技术领域，尤其涉及基于生成网络和低秩正则的视频压缩感知恢复方法及系统。


背景技术：

2.视频信号通常具有较大的时空冗余，适合利用压缩感知技术进行数据采集与恢复。目前图像压缩感知方法主要利用图像内部的空间相关性，可以用于对视频序列进行逐帧恢复，但是这种方式会忽略视频序列中的时间相关性。一些传统的视频压缩感知方法(如ktslr)设计了三维稀疏先验模型，同时恢复多个连续帧。还有一些方法(如mc/me(文献一)、video-mh(文献二)和rrs(文献三))首先进行逐帧的初始恢复，然后通过运动估计与运动补偿来提升性能。这些方法能够很好地利用视频序列的时空相关性，但是手工设计的模型以及手动挑选的参数通常会限制这些传统方法的性能。基于深度学习的方法通常能够获得更好的性能，例如vcsnet(文献四)以端到端的方式实现了测量网络与恢复网络的联合训练，并取得了当前最好的性能。但是基于深度学习的方法通常需要大型的训练数据集进行训练，而准备数据集在某些实际应用场景中可能并不容易。
3.深度图像先验(deep image prior，dip)表明一个未训练的生成网络本身的结构能够作为一个用于图像恢复的先验信息，为图像恢复提供了一种新的方式，既不需要训练数据，也没有太多手工设计的参数。在现有图像压缩感知领域中出现了通过将dip与额外的正则进行结合，取得了不错的恢复性能。dip弥补了需要训练的方法和无需训练的方法之间的差距，在视频压缩感知恢复方面展现了极大的潜力。目前虽然已有尝试将dip拓展用于视频序列恢复的现有技术，但现有的基于深度图像先验的生成网络提取特征能力有限，并且使用的正则没有深入挖掘视频帧序列间的时间相关性，导致恢复的视频清晰度低，视觉效果差。
4.文献说明：
5.文献一：s.mun，j.e.fowler.residual reconstruction for block-based compressed sensing of video[c]，proceedings of the ieee data compression conference(dcc).snowbird，ut：ieee，2011：183-192.
[0006]
文献二：e.w.tramel，j.e.fowler.video compressed sensing with multihypothesis[c]，proceedings of the ieee data compression conference(dcc).snowbird，ut：ieee，2011：193-202.
[0007]
文献三：c.zhao，s.ma，j.zhang，et al.video compressive sensing reconstruction via reweighted residual sparsity[j].ieee transactions on circuitsand systems for video technology,2017，27(6)：1182-1195.
[0008]
文献四：w.shi，s.liu，f.jiang，et al.video compressed sensing using a convolutional neural network[j].ieee transactions on circuits and systems for video technology，2021，31(2)：425-438.


技术实现要素：

[0009]
本发明旨在至少解决现有技术中存在的技术问题，提供基于生成网络和低秩正则的视频压缩感知恢复方法及系统。
[0010]
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了基于生成网络和低秩正则的视频压缩感知恢复方法，包括：获取视频的压缩感知数据，所述视频被划分为多个图像组，每个图像组包括一个关键帧和多个非关键帧；基于视频的压缩感知数据逐个获取图像组的恢复图像序列，获取单个图像组的恢复图像序列的过程包括：生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列；所述生成网络包括依次连接的n个下采样模块和n个上采样模块，以及n个空频注意力模块；n个下采样模块和n个上采样模块一一对应且跳线连接，跳线上设有空频注意力模块跳接；n为正整数；基于初始恢复图像序列进行帧间patch匹配获得非关键帧中每个patch的相似patch位置信息；生成网络继续使用低秩隐张量进行增强迭代以对初始恢复图像序列中的非关键帧进行增强恢复，在每次增强迭代中，通过非关键帧中patch的相似patch位置信息获取增强迭代损失；组合初始恢复图像序列的关键帧和增强恢复后的非关键帧获得图像组的恢复图像序列。
[0011]
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种视频恢复设备，包括：数据获取模块，用于获取视频的压缩感知数据，所述视频被划分为多个图像组，每个图像组包括一个关键帧和多个非关键帧；恢复模块，基于视频的压缩感知数据逐个获取图像组的恢复图像序列，获取单个图像组的恢复图像序列的过程包括：
[0012]
生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列；所述生成网络包括依次连接的n个下采样模块和n个上采样模块，以及n个空频注意力模块；n个下采样模块和n个上采样模块一一对应且跳线连接，跳线上设有空频注意力模块跳接；n为正整数；基于初始恢复图像序列进行帧间patch匹配获得非关键帧中每个patch的相似patch位置信息；生成网络继续使用低秩隐张量进行增强迭代以对初始恢复图像序列中的非关键帧进行增强恢复，获得非关键帧的增强恢复图像，在每次增强迭代中，通过非关键帧中patch的相似patch位置信息获取增强迭代损失；组合图像组的关键帧的初始恢复图像和图像组中非关键帧的增强恢复图像获得图像组对应的恢复图像序列。
[0013]
为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种视频压缩感知恢复系统，包括：视频压缩设备，用于对视频的每帧图像进行分块压缩获得视频压缩感知数据；如本发明第一方面所述的视频恢复设备；所述视频压缩设备和视频恢复设备连接通信。
[0014]
本技术的技术效果：将视频恢复通过初始恢复和增强恢复来实现，两个恢复过程均通过低秩隐张量使用生成网络进行恢复，无需训练数据训练，并且利用低秩隐张量基于深度图像先验实现图像组的整体视频序列恢复，不具有块效应；在初始恢复过程中，采用了空频注意力模块改进生成网络结构来提升恢复性能，充分利用了视频序列的时空相关性，在进入增强恢复之前，对非关键帧的每个patch进行相似匹配，并将匹配结果应用于增强恢复每次迭代的损失计算中，利用视频序列的时间冗余来增强性能，在增强恢复过程中进一步利用帧间低秩逼近来实现逐帧的非局部低秩正则，提升非关键帧的恢复性能，本技术获得的恢复视频具有清晰度高、视觉效果好的优点。
附图说明
[0015]
图1是本发明实施例1中基于生成网络和低秩正则的视频压缩感知恢复方法的流程示意图；
[0016]
图2是本发明实施例1中提出的视频恢复方法的框架示意图；
[0017]
图3是本发明实施例1空频注意力模块的结构示意图；
[0018]
图4是本发明实施例2中视频恢复设备的系统框图；
[0019]
图5是本发明实施例3中视频压缩感知恢复系统的系统框图。
具体实施方式
[0020]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0021]
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0022]
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0023]
实施例1
[0024]
本实施例公开了一种基于生成网络和低秩正则的视频压缩感知恢复方法，其流程示意图如图1所示，包括：
[0025]
步骤s1，获取视频的压缩感知数据，视频被划分为多个图像组，优选地，对视频的原始图像序列按照时间顺序依次划分图像组，每个图像组包括一个关键帧和多个非关键帧。关键帧优选但不限于为首帧或尾帧。关键帧和非关键帧在压缩感知时的测量率不同，以第一测量率进行压缩感知测量的图像帧为关键帧，以第二测量率进行压缩感知测量的图像帧为非关键帧，第一测量率高于第二测量率。
[0026]
为减小计算复杂度并使得测量值获取过程硬件友好，对视频的原始图像序列采用基于块的逐帧压缩感知方式来获取测量值。每一个视频帧首先无重叠地划分为大小为b
×
b的块，然后每个块以光栅扫描的方式向量化并使用测量矩阵进行测量，j表示帧索引，关键帧和非关键帧的测量率不同导致两者的测量矩阵也不相同。基于块的逐帧压缩感知获取测量值的过程可以表示为：其中，表示向量化的第j帧中的第i块，表示相应的测量值。测量率定义为测量值维度与信号维度之比，即m/b2。
[0027]
步骤s2，基于视频的压缩感知数据逐个获取图像组的恢复图像序列，一次恢复一个图像组，每个图像组利用图2所示框架进行恢复，这里将本技术提出的框架命名为lrr-vcsnet(video compressed sensing reconstruction network with low-rank regularization)。
[0028]
如图2所示，获取单个图像组的恢复图像序列的过程包括：
[0029]
步骤s21，生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列；生成网络包括依次连接的n个下采样模块和n个上采样模块，以及n个空频注意力模块；n个下采样模块和n个上采样模块一一对应且跳线连接，跳线上设有空频注意力模块跳接；n为正整数，n优选但不限于为5。由于每个图像组的恢复过程需要两个关键帧，故每个图像组恢复时需要借助前后或后向相邻图像组的关键帧，当关键帧为图像组的首帧时，需要借助后一个图像组的关键帧，当关键帧为图像组的尾帧时，需要借助前一个图像组的关键帧。
[0030]
如图2所示，构建低秩隐张量z
lr
：初始化低秩隐张量时，首先生成一个分辨率等同于视频一帧图像大小的随机隐变量z1，随后将其扩展到三维空间，形成一个低秩隐张量z
lr
。低秩隐张量可以表示为如下形式：
[0031][0032]
其中，q表示图像组的帧数，由于需要借助相邻图像组的关键帧，因此低秩隐张量z
lr
具有q+1个隐变量，h
×
w表示图像帧的分辨率。与随机隐张量不同，提出的低秩隐张量z
lr
具有低秩特性，能够在隐空间中实现对于整体图像组的全局低秩正则。因此，在步骤s21中，生成网络利用视频序列的时空相关性对q+1个帧进行初始恢复获得q+1个初始恢复图像。
[0033]
在本实施例中，优选地，生成网络的结构如图2所示，采用三维生成网络，当n等于5时，生成网络中的第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块、第五下采样模块、第五上采样模块、第四上采样模块、第三上采样模块、第二上采样模块、第一上采样模块依次连接，对应的上采样模块和下采样模块之间跳线连接，且跳线上设有空频注意力模块，如第一下采样模块与第一上采样模块对应。如图2所示，每个下采样模块包括依次连接的第一编码三维卷积(卷积核大小为3
×3×
3)、第一批归一化层、第一leaky relu激活层、第二编码三维卷积(卷积核大小为3
×3×
3)、第二批归一化层和第二leaky relu激活层。每个上采样模块包括依次连接的第一解码批归一化层、第一解码三维卷积(卷积核大小为3
×3×
3)、第二解码批归一化层、第三leaky relu激活层、第二解码三维卷积(卷积核大小为1
×1×
1)、第三解码批归一化层、第四leaky relu激活层和上采样up-sampling层。优选地，在第一上采样模块输出端还连接有一个核大小为1
×1×
1的卷积层以及一个sigmoid激活层。
[0034]
在本实施例中，为了更好地利用生成网络探索深度图像先验，优选地，利用空频注意力模块(spatial frequency attention，sfa)来优化生成网络的跳连接，其具有非局部感受野并且能够整合多尺度信息。如图3所示，将通道划分为一个局部分支和一个全局分支，其中局部分支利用原始的卷积来捕获局部信息，全局分支利用快速傅里叶变换(fast fourier transform，fft)，在谱域中捕获全局信息，随后具有不同感受野的信息在内部完成交换与融合，因此，空频注意力(spatial frequency attention，sfa)模块能够优化生成网络的特征提取能力。
[0035]
进一步优选地，如图3所示，空频注意力模块的输入特征包括全局处理特征和局部处理特征；空频注意力模块包括依次连接的全局平均池化层、第一全连接层和第一激活层(优选为relu激活函数)，以及分别与第一激活层的输出端连接的全局分支和局部分支；全局分支包括依次连接的第二全连接层、第二激活层(优选为sigmoid激活函数)、第一相乘单
元、第一三维卷积批归一化激活模块(3d conv-bn-relu)、real-2d-fft模块(用于实值信号的二维快速傅里叶变换)、第二三维卷积批归一化激活模块、inv-real-2d-fft模块(用于实值信号的二维快速傅里叶反变换)、第一相加单元、第一三维卷积层、第二相加单元和第一批归一化激活模块(bn-relu)，全局分支还包括与第一相乘单元的输出端连接的第二三维卷积层；局部分支包括依次连接的第三全连接层、第三激活层(优选为sigmoid激活函数)、第二相乘单元、第三三维卷积层、第三相加单元和第二批归一化激活模块，局部分支还包括与第二相乘单元的输出端连接的第四三维卷积层；第一相乘单元用于将全局处理特征与第二激活层输出的特征进行元素级相乘处理；第一相加单元用于将inv-real-2d-fft模块的输出特征与第一三维卷积批归一化激活模块的输出特征进行元素级相加处理；第二相加单元用于将第四三维卷积层的输出特征与第一三维卷积层的输出特征进行元素级相加处理；第二相乘单元用于将局部处理特征与第三激活层输出的特征进行元素级相乘处理；第三相加单元用于将第二三维卷积层的输出特征与第三三维卷积层的输出特征进行元素级相加处理。
[0036]
进一步优选地，步骤s21中，生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列，具体包括：
[0037]
生成网络利用低秩隐张量迭代生成初始恢复图像序列直到达到初始迭代停止条件，在每次初始迭代中，计算测量保真损失，以测量保真损失最小化为优化目标更新低秩隐张量和生成网络的网络参数。初始迭代停止条件优选但不限于为初始迭代次数达到了预设的第一迭代次数阈值。
[0038]
初始恢复过程可以表示为以下优化问题：
[0039][0040]
l
ls
表示测量保真损失，测量保真损失计算公式为：
[0041][0042]
其中，q表示图像组的帧数；nb表示视频每帧图像在分块压缩感知中划分的块数；φj表示第j帧图像的块测量矩阵；表示第j帧图像的第i块的测量值；表示生成网络输出的第j帧图像，在初始迭代中表示第j帧初始恢复图像；pi(
·
)函数表示提取并向量化图像帧中第i块的算子。表示恢复的图像组，生成网络可以视作原始图像组的参数化x＝g
ω
(z
lr
)。利用隐张量z
lr
，生成网络将网络参数ω映射到原始图像组。
[0043]
步骤s22,基于初始恢复图像序列进行帧间patch匹配获得非关键帧中每个patch的相似patch位置信息。patch表示块，该块与图像压缩感知时的分块不同，其大小为s
×
s，每个非关键帧上可划分为多个patch。
[0044]
在步骤s22中基于初始恢复图像进行帧间逐patch匹配获得成组的相似成组的patch，相似patch具有相似的结构，因此相似patch矩阵具有低秩特性，能够利用低秩逼近去除噪声，提高增强恢复效果。
[0045]
进一步优选地，步骤s22包括：
[0046]
步骤s221，将图像组的初始恢复图像序列和该图像组的相邻图像组的关键帧的初始恢复图像组成匹配序列，匹配序列共有q+1帧图像；
[0047]
步骤s222，在匹配序列中选取非关键帧的相邻帧作为非关键帧的参考帧。具体的，包括：匹配序列的首帧和尾帧均为关键帧，靠近首帧的非关键帧以前一个非关键帧作为参考帧，靠近尾帧的非关键帧以后一个非关键帧作为参考帧，与首帧相邻的非关键帧以首帧的初始恢复图像为参考帧，与尾帧相邻的非关键帧以尾帧的初始恢复图像为参考帧。若非关键帧与首帧的间隔帧数(即间隔距离)小于该非关键帧与尾帧的间隔帧数(即间隔距离)则认为该非关键帧靠近首帧，反之，则认为该关键帧靠近尾帧。由于时间相关性随着帧与帧之间距离的增加而减小，实际应用中，优选地，首先根据非关键帧与关键帧之间的距离，将非关键帧按顺序划分为两组，更靠近后向关键帧的一组中，每一个非关键帧以其后向相邻帧为参考，进行逐patch匹配；更靠近前向关键帧的一组中，每一个非关键帧以其前向相邻帧为参考，进行逐patch匹配。
[0048]
步骤s223,在非关键帧上划分多个patch，非关键帧的每个patch在参考帧中获取k个相似patch，记录每个patch及其相似patch的位置信息，k为正整数。依次对每个非关键帧的所有patch进行相似patch获取，优选地，非关键帧的每个patch在参考帧中获取k个相似patch的步骤包括：
[0049]
步骤s2231，以滑窗的方式在参考帧中获取匹配patch；以滑窗方式在参考帧中滑动，将每次滑动滑窗内的图像作为匹配patch。滑窗尺寸等于s
×
s，搜索窗尺寸大于s
×
s。
[0050]
步骤s2232，按照如下公式计算非关键帧上第f个patch与匹配patch的相似度：
[0051]
其中，s表示patch的边长；表示从生成网络输出的第j帧图像中提取并向量化第f个大小为s
×
s的patch的算子，此时第j帧图像实际为初始恢复图像；表示的参考帧；pw(
·
)表示在搜索窗中以滑窗的方式获取并向量化匹配patch的算子。
[0052]
步骤s2233，按照相似度从大到小的顺序对匹配patch进行排序，选择前k个匹配patch作为相似patch。
[0053]
非关键帧上每个patch及其相应的相似patch的位置信息记录为
[0054]
步骤s23，生成网络继续使用低秩隐张量进行增强迭代以对初始恢复图像序列中的非关键帧进行增强恢复，获得非关键帧的增强恢复图像，在每次增强迭代中，通过非关键帧中patch的相似patch位置信息获取增强迭代损失。
[0055]
具体的，步骤s23中，在每次增强迭代中，执行：
[0056]
步骤s231，生成网络生成图像组的增强恢复图像序列，特别地，第一次增强迭代时，以图像组的初始恢复图像序列作为输入跳过步骤s231直接执行步骤s232。
[0057]
步骤s232，向量化非关键帧中每个patch及其相似patch并组成每个patch的相似patch矩阵。使用记录的每个patch及其相似patch位置信息生成该patch的相似patch矩阵：
[0058][0059]
其中，为提取并向量化位置信息为c
j，f
的patch的算子，即
[0060]
步骤s233，使用奇异值分解对每个patch的相似patch矩阵进行低秩逼近获得每个patch的低秩近似。相似patch矩阵可以分解为：
[0061][0062]
其中，σi′
表示矩阵t的第i
′
个奇异值；ui′
表示矩阵t的第i
′
左奇异向量；vi′
表示矩阵t的第i
′
右奇异向量，vi′
t
表示vi′
的转置；r表示矩阵t的秩，rank(t)表示求矩阵t的秩。
[0063]
根据eckart-young-mirsky定理，仅保留最大的r个奇异值，则最优的秩r近似矩阵为：
[0064][0065]
这样，低秩近似就可以从中获得。
[0066]
步骤s234，按照如下公式求取非局部低秩正则损失：
[0067][0068]
其中，n
p
表示每帧图像中的patch数量；q表示图像组的帧数；表示生成网络输出的第j帧图像中第f个patch，此时处于增强恢复阶段，生成网络输出图像为增强恢复图像；表示的低秩近似。
[0069]
步骤s235，求取增强迭代损失l＝l
ls
+λlr，λ表示正则参数；l
ls
表示测量保真损失。
[0070]
步骤s236，以最小化增强迭代损失为优化目标更新低秩隐张量和生成网络的网络参数。增强恢复过程可以表示为如下优化问题：
[0071][0072]
步骤s24，组合图像组的关键帧的初始恢复图像和图像组中非关键帧的增强恢复图像获得图像组对应的恢复图像序列。
[0073]
可见，在增强恢复过程中，通过帧间低秩逼近，进一步利用视频序列的时间冗余来增强非关键帧的恢复效果。
[0074]
对本实施例提供的图像恢复框架进行实验验证，本技术提出的lrr-vcsnet基于pytorch框架进行实验。使用高斯随机矩阵，以基于块的逐帧压缩感知测量方式获取测量值，块大小设定为32
×
32。隐张量的输入通道数设定为16，在每次迭代之后使用零均值，标准差为0.03的加性高斯噪声进行扰动。空频注意力模块sfa中，全局分支在输入通道与输出通道中的占比均为0.5。使用adam优化器优化网络参数，学习率设定为0.001。每个图像组的大小设定为8，即一个关键帧与七个非关键帧组成一个图像组。关键帧的测量率设定为0.5，非关键帧的测量率分别设定为0.01、0.05和0.1。patch大小设定为16
×
16，搜索框填充大小设定为20。增强恢复过程的正则参数设定为0.01。基于最大迭代次数来设定停止标准，初始恢复过程的迭代次数都设定为10000，而增强恢复过程的迭代次数，对应于非关键帧测量率为0.01、0.05和0.1的情况，分别设定为500、1000和1500。使用六个标准的cif格式视频序列来测试性能，分别为akiyo，bus，coastguard，flower，mother_daughter和paris。
[0075]
将本技术的lrr-vcsnet与当前主流的视频压缩感知方法进行对比。用于对比的方法包括mc/me(文献一)、video-mh(文献二)、rrs(文献三)和vcsnet(文献四)，其中vcsnet是基于深度学习的方法，以端到端的方式实现测量网络与恢复网络的联合训练，并取得了当
前最优的效果(这里的vcsnet指文献四中的双关键帧的模型)。将块大小设定为32
×
32，图像组大小设定为8，并且关键帧测量率设定为0.5。由于video-mh方法针对一个关键帧和一个非关键帧进行设计，为使得对比公平，此处对其进行额外设计，使得一个图像组中的非关键帧能够同时参考后向与前向的关键帧。
[0076]
表1和表2分别给出了非关键帧测量率为0.01、0.05和0.1的情况下，不同视频压缩感知方法在六个cif视频序列前两个图像组上的平均psnr和ssim对比。最优结果使用加粗字体标出，次优结果使用加粗斜体标出。可以看出，提出的lrr-vcsnet取得了最好的总平均psnr和ssim。相比mc/me、video-mh、rrs和vcsnet，提出的lrr-vcsnet在总平均psnr上获得了约4.00db、2.96db、5.36db以及0.24db的增益，在总平均ssim上获得了约0.0985、0.0597、0.1328以及0.0083的增益。与使用大型训练数据的vcsnet相比，提出的lrr-vcsnet取得了有竞争力的性能。具体来说，相比vcsnet，在非关键帧测量率为0.05和0.1的情况下，提出的lrr-vcsnet分别获得了约0.52db和0.87db的平均pnsr增益，以及约0.0282和0.0303的平均ssim增益。在非关键帧恢复效果上，lrr-vcsnet能够超过传统的视频压缩感知方法，并取得与使用大型训练数据的vcsnet相当的效果。但相比其他方法，提出的lrr-vcsnet能够获得更加清晰的视觉效果，并且能够恢复更多的纹理细节信息。
[0077]
表1不同的视频压缩感知方法在六个cif视频序列前两个图像组上的平均psnr(单位：db)对比
[0078]
[0079][0080]
表2不同的视频压缩感知方法在六个cif视频序列前两个图像组上的平均ssim对比
[0081]
[0082][0083]
实施例2
[0084]
本实施例公开了一种视频恢复设备，如图4所示，包括：
[0085]
数据获取模块，用于获取视频的压缩感知数据，视频被划分为多个图像组，每个图像组包括一个关键帧和多个非关键帧。数据获取模块优选但不限于为用于接收压缩感知数据的通信模块，或者为数据采集模块(如数字通信接口)，用于从数据存储模块中读取存储视频压缩感知数据。
[0086]
恢复模块，基于视频的压缩感知数据逐个获取图像组的恢复图像序列，获取单个图像组的恢复图像序列的过程包括：生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列；生成网络包括依次连接的n个下采样模块和n个上采样模块，以及n个空频注意力模块；n个下采样模块和n个上采样模块一一对应且跳线连接，跳线上设有空频注意力模块跳接；n为正整数；基于初始恢复图像序列进行帧间patch匹配获得非关键帧中每个patch的相似patch位置信息；生成网络继续使用低秩隐张量进行增强迭代以对初始恢复图像序列中的非关键帧进行增强恢复，在每次增强迭代中，通过非关键帧中patch的相似patch位置信息获取增强迭代损失；组合初始恢复图像序列的关键帧和增强恢复后的非关键帧获得图像组的恢复图像序列。恢复模块优选但不限于为微处理器或电脑主机。
[0087]
在本实施例中，恢复模块执行的具体步骤可参照实施例1，在此不再赘述。
[0088]
实施例3
[0089]
本实施例公开了一种视频压缩感知恢复系统，如图5所示，包括：视频压缩设备，用于对视频的每帧图像进行分块压缩获得视频压缩感知数据；还包括实施例2提供的视频恢复设备；视频压缩设备和视频恢复设备连接通信。视频压缩设备和视频恢复设备可远距离设置，两者有线或无线方式连接通信。
[0090]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0091]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本
发明的范围由权利要求及其等同物限定。

技术特征：
1.基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，包括：获取视频的压缩感知数据，所述视频被划分为多个图像组，每个图像组包括一个关键帧和多个非关键帧；基于视频的压缩感知数据逐个获取图像组的恢复图像序列，获取单个图像组的恢复图像序列的过程包括：生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列；所述生成网络包括依次连接的n个下采样模块和n个上采样模块，以及n个空频注意力模块；n个下采样模块和n个上采样模块一一对应且跳线连接，跳线上设有空频注意力模块跳接；n为正整数；基于初始恢复图像序列进行帧间patch匹配获得非关键帧中每个patch的相似patch位置信息；生成网络继续使用低秩隐张量进行增强迭代以对初始恢复图像序列中的非关键帧进行增强恢复，获得非关键帧的增强恢复图像，在每次增强迭代中，通过非关键帧中patch的相似patch位置信息获取增强迭代损失；组合图像组的关键帧的初始恢复图像和图像组中非关键帧的增强恢复图像获得图像组对应的恢复图像序列。2.如权利要求1所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，空频注意力模块的输入特征包括全局处理特征和局部处理特征；空频注意力模块包括依次连接的全局平均池化层、第一全连接层和第一激活层，以及分别与第一激活层的输出端连接的全局分支和局部分支；所述全局分支包括依次连接的第二全连接层、第二激活层、第一相乘单元、第一三维卷积批归一化激活模块、real-2d-fft模块、第二三维卷积批归一化激活模块、inv-real-2d-fft模块、第一相加单元、第一三维卷积层、第二相加单元和第一批归一化激活模块，全局分支还包括与第一相乘单元的输出端连接的第二三维卷积层；所述局部分支包括依次连接的第三全连接层、第三激活层、第二相乘单元、第三三维卷积层、第三相加单元和第二批归一化激活模块，局部分支还包括与第二相乘单元的输出端连接的第四三维卷积层；第一相乘单元用于将全局处理特征与第二激活层输出的特征进行元素级相乘处理；第一相加单元用于将inv-real-2d-fft模块的输出特征与第一三维卷积批归一化激活模块的输出特征进行元素级相加处理；第二相加单元用于将第四三维卷积层的输出特征与第一三维卷积层的输出特征进行元素级相加处理；第二相乘单元用于将局部处理特征与第三激活层输出的特征进行元素级相乘处理；第三相加单元用于将第二三维卷积层的输出特征与第三三维卷积层的输出特征进行元素级相加处理。3.如权利要求1所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列，具体包括：生成网络利用低秩隐张量迭代生成初始恢复图像序列直到达到初始迭代停止条件，在
每次初始迭代中，计算测量保真损失，以测量保真损失最小化为优化目标更新低秩隐张量和生成网络的网络参数。4.如权利要求1-3之一所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，所述测量保真损失计算公式为：其中，q表示图像组的帧数；n
b
表示视频每帧图像在分块压缩感知中划分的块数；φ
j
表示第j帧图像的块测量矩阵；表示第j帧图像的第i块的测量值；表示生成网络输出的第j帧图像；p
i
(
·
)函数表示提取并向量化图像帧中第i块的算子。5.如权利要求1-3之一所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，基于初始恢复图像序列进行帧间patch匹配获得非关键帧中每个patch的相似patch位置信息，具体包括：将图像组的初始恢复图像序列和该图像组的相邻图像组的关键帧的初始恢复图像组成匹配序列；在匹配序列中选取非关键帧的相邻帧作为非关键帧的参考帧；在非关键帧上划分多个patch，非关键帧的每个patch在参考帧中获取k个相似patch，记录每个patch及其相似patch的位置信息，k为正整数。6.如权利要求5所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，在匹配序列中选取非关键帧的相邻帧作为非关键帧的参考帧，包括：匹配序列的首帧和尾帧均为关键帧，靠近首帧的非关键帧以前一非关键帧作为参考帧，靠近尾帧的非关键帧以后一非关键帧作为参考帧，与首帧相邻的非关键帧以首帧的初始恢复图像为参考帧，与尾帧相邻的非关键帧以尾帧的初始恢复图像为参考帧。7.如权利要求5所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，非关键帧的每个patch在参考帧中获取k个相似patch，包括：以滑窗的方式在参考帧中获取匹配patch；按照如下公式计算非关键帧上第f个patch与匹配patch的相似度：其中，s表示patch的边长；表示从生成网络输出的第j帧图像中提取并向量化第f个大小为s
×
s的patch的算子；表示的参考帧；p
w
(
·
)表示在搜索窗中以滑窗的方式获取并向量化匹配patch的算子；按照相似度从大到小的顺序对匹配patch进行排序，选择前k个匹配patch作为相似patch。8.如权利要求1或2或3或6或7所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，在每次增强迭代中，执行：生成网络生成图像组的增强恢复图像序列；向量化非关键帧中每个patch及其相似patch并组成每个patch的相似patch矩阵；使用奇异值分解对每个patch的相似patch矩阵进行低秩逼近获得每个patch的低秩近似；按照如下公式求取非局部低秩正则损失：
其中，n
p
表示每帧图像中的patch数量；q表示图像组的帧数；表示生成网络输出的第j帧图像中第f个patch；表示的低秩近似；求取增强迭代损失l＝l
ls
+λl
r
，λ表示正则参数；l
ls
表示测量保真损失；以最小化增强迭代损失为优化目标更新低秩隐张量和生成网络的网络参数。9.一种视频恢复设备，其特征在于，包括：数据获取模块，用于获取视频的压缩感知数据，所述视频被划分为多个图像组，每个图像组包括一个关键帧和多个非关键帧；恢复模块，基于视频的压缩感知数据逐个获取图像组的恢复图像序列，获取单个图像组的恢复图像序列的过程包括：生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列；所述生成网络包括依次连接的n个下采样模块和n个上采样模块，以及n个空频注意力模块；n个下采样模块和n个上采样模块一一对应且跳线连接，跳线上设有空频注意力模块跳接；n为正整数；基于初始恢复图像序列进行帧间patch匹配获得非关键帧中每个patch的相似patch位置信息；生成网络继续使用低秩隐张量进行增强迭代以对初始恢复图像序列中的非关键帧进行增强恢复，获得非关键帧的增强恢复图像，在每次增强迭代中，通过非关键帧中patch的相似patch位置信息获取增强迭代损失；组合图像组的关键帧的初始恢复图像和图像组中非关键帧的增强恢复图像获得图像组对应的恢复图像序列。10.一种视频压缩感知恢复系统，其特征在于，包括：视频压缩设备，用于对视频的每帧图像进行分块压缩获得视频压缩感知数据；如权利要求9所述的视频恢复设备；所述视频压缩设备和视频恢复设备连接通信。

技术总结
本发明提供了基于生成网络和低秩正则的视频压缩感知恢复方法及系统。方法获取图像组恢复图像序列的过程为：生成网络使用低秩隐张量初始迭代生成初始恢复图像序列；生成网络包括N个下采样模块、N个上采样模块和N个空频注意力模块；获得非关键帧中每个patch的相似patch位置信息；生成网络使用低秩隐张量进行增强迭代以对非关键帧进行增强恢复，在每次增强迭代中，通过非关键帧中patch的相似patch位置信息获取增强迭代损失；组合关键帧初始恢复图像和非关键帧增强恢复图像获得恢复图像序列。利用时空相关性对关键帧通过初始迭代恢复，利用帧问时间相关性对非关键帧进行增强恢复，恢复图像不具有块效应，清晰且视觉效果好。清晰且视觉效果好。清晰且视觉效果好。


技术研发人员：朱冬 方向明 宋雯 唐国梅 张建 张晨旭 仲元红
受保护的技术使用者：七腾机器人有限公司
技术研发日：2023.04.28
技术公布日：2023/8/28