一种图像超分辨率重建方法、装置和设备

1.本发明涉及图像重建技术，尤其涉及一种图像超分辨率重建方法、装置和设备。


背景技术：

2.随着人们对图像分辨率的要求的提高，图像超分辨率问题，尤其是单图像超分辨率重建问题，已逐渐成为一个研究热点问题。
3.在目前基于深度学习的超分辨率重建算法中，基于卷积神经网络的图像超分辨率模型通过预测低分辨率图像和高分辨率图像之间的非线性映射，重建出高分辨率图像。但该模型的网络深度不够、图像纹理和细节不足，重建后的图像的质量不高。


技术实现要素：

4.本技术提供一种图像超分辨率重建方法，用以解决现有技术重建后的图像质量不高的问题。
5.本技术第一方面提供一种图像超分辨率重建方法，所述方法包括：对原始图像进行特征提取，得到特征向量；将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习；通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征；通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。
6.本技术第二方面提供一种图像超分辨率重建装置，所述装置包括提取模块和处理模块，其中，所述提取模块，用于对原始图像进行特征提取，得到特征向量；所述处理模块，用于将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习；所述处理模块，还用于通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征；所述处理模块，还用于通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。
7.本技术第三方面提供一种图像超分辨率模型重建设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本技术第一方面提供的任一项所述方法的步骤。
8.本技术提供的图像超分辨率重建方法、装置和设备，通过对原始图像进行特征提取，得到特征向量，进而将所述特征向量输入到预先训练好的图像重建模型中，通过所述重
建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习，从而通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征，并通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。这样，在特征提取时，充分融合了低频特征和高频特征，可充分从原始图像中捕捉到更多纹理细节，从而使重建后的图像质量更高。
附图说明
9.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
10.图1为本技术提供的图像超分辨率重建方法实施例一的流程图；图2为本技术一示例性实施例示出的图像重建模型的结构示意图；图3为本技术一示例性实施例示出的注意力残差模块的结构示意图；图4为本技术一示例性实施例示出的特征增强残差模块的结构示意图；图5为本技术一示例性实施例示出的鉴别器网络的结构示意图；图6为本技术一示例性实施例示出的一种生成器网络的结构示意图；图7为本技术一示例性实施例示出的重建后的目标图像的对比结果图；图8为本技术另一示例性实施例示出的重建后的目标图像的对比结果图；图9为本技术再一示例性实施例示出的重建后的目标图像的对比结果图；图10为本技术一示例性实施例示出的图像超分辨率重建装置所在设备的硬件结构图；图11为本技术提供的图像超分辨率重建装置实施例一的结构示意图。
具体实施方式
11.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。
12.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
13.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
14.在目前基于深度学习的超分辨率重建算法中，基于卷积神经网络的图像超分辨率
模型srcnn通过预测低分辨率图像和高分辨率图像之间的非线性映射重建出高分辨率图像；基于生成对抗网络的图像超分辨率模型srgan首次提出了内容损失和对抗损失相结合，提升了生成图像的感知相似性；引入wasserstein距离作为损失函数训练的wgan网络模型提高了训练的稳定性；以srgan网络结构为基础的图像超分辨率模型esrgan以srgan网络结构为基础，去除掉生成器中所有的批归一化层，并提出用残差密集块代替原始残差块来训练一个非常深的网络，将gan的鉴别器改为相对鉴别器，进一步提升了视觉质量；由层联级的全卷积gan金字塔网络组成的图像超分辨率模型singan从单个自然图像中捕获内部不同补丁的分布来学习强大的生成模型，生成多尺度的超分辨率图像视觉质量均有不错的提升。
15.针对上述方案的基于卷积神经网络的图像超分辨率模型srcnn的网络，研究发现该网络深度不够，图像纹理和细节不足，重建后的图像的质量不高。
16.本技术提供一种图像超分辨率重建方法，通过对原始图像进行特征提取，得到特征向量，进而将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习，从而通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征，并通过所述重建模型对所述融合特征进行上采样处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。这样，充分融合了低频特征和高频特征，可充分从原始图像中捕捉到更多纹理细节，从而使重建后的图像质量更高。
17.下面将给出具体的实施例，用以详细介绍本技术提供的技术方案。
18.图1为本技术提供的图像超分辨率重建方法实施例一的流程图。请参照图1，本技术提供的方法，可以包括：s101、对原始图像进行特征提取，得到特征向量。
19.本技术提供的图像超分辨率重建方法和装置，可以应用在图像超分辨率重建设备中，该设备可以为电脑、服务器等，本技术中，不对该设备的具体形式进行限定。
20.具体的，特征提取的方法可以是传统的特征提取方法或者基于神经网络的特征提取方法。例如，采用传统的特征提取方法提取特征时，可采用方向梯度直方图和局部二值模式。再例如，当采用基于神经网络的特征提取方法进行特征提取时，该神经网络可以是独立的用于进行特征提取的网络，也可以是与图像重建模型集成在一起的神经网络。例如，在一种可能的实现方式中，采用基于生成对抗网络的图像超分辨率模型进行特征提取。
21.s102、将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习。
22.具体的，图像重建模型可以包括生成器网络和鉴别器网络，其中，生成器网络包括注意力残差模块和特征增强残差模块。例如，图2为本技术一示例性实施例示出的图像重建模型的结构示意图。
23.请参照图2，在图2所示示例中，特征提取模块集成在图像重建模型中，用于对输入的原始图像进行特征提取，得到特征向量。
24.进一步地，注意力残差模块，可以用来提取特征向量中的高频特征。需要说明的
是，该注意力残差模块为基于注意力机制设置的模块。具体的，注意力机制的具体内容指通过重新评估特征的重要性，将不同重要程度的特征重新整合到卷积运算中，这样使模型关注重要程度较高的特征，有效地增强了模型的表达能力。
25.具体的，基于注意力机制的注意力残差模块，可以其由style pooling和style integration两个部分组成。style pooling部分，用于从特征映射的每个通道提取风格特征向量，然后通过独立于通道的style integration部分计算出每个风格特征的校准权重，然后将每个风格特征的校准权重整合得到加权特征图。
26.具体的，特征增强残差模块用于增多图像的浅层特征，使特征包含更丰富的信息。
27.s103、通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征。
28.具体的，可以采用concat拼接层实现特征融合，有关concat拼接层的具体工作原理参见相关技术中的描述，此处不再赘述。
29.s104、通过所述重建模型对所述融合特征进行上采样处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。
30.具体的，可通过亚像素卷积层实现上采样和重建处理。进一步地，目标图像的分辨率高于所述原始图像的分辨率，例如，原始图像的分辨率为1280
ꢀ×ꢀ
720个像素，目标图像的分辨率为1920
ꢀ×
1080个像素，本技术提供的方法，在提高分辨率的同时，图像质量不受影响。
31.需要说明的是，参照图2，在图2所示示例中，重建模块可以为亚像素卷积层，用于对所述融合特征进行上采样处理，得到目标图像。
32.本实施例提供的图像超分辨率重建方法，通过对原始图像进行特征提取，得到特征向量，进而将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习，从而通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征，并通过所述重建模型对所述融合特征进行上采样处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。这样，充分融合了低频特征和高频特征，可充分从原始图像中捕捉到更多纹理细节，从而使重建后的图像质量更高。
33.可选地，图3为本技术一示例性实施例示出的注意力残差模块的结构示意图。请参照图3，在图3所示示例中，所述注意力残差模块由至少一个注意力残差块组成，每个所述注意力残差块包括依序连接的原始残差块、池化层、integration整合层、注意力机制层和concat拼接层组成，其中，所述注意力机制层还与所述原始残差块的输出端连接；所述concat拼接层还与所述注意力残差模块的输入端连接。
34.其中，所述原始残差块和所述池化层，用于对输入的所述特征向量进行特征提取，得到池化特征，所述integration整合层，用于计算所述池化特征对应的校准权重，所述注意力机制层，用于对所述输入特征和所述校准权重进行处理，得到处理后的加权特征，所述concat拼接层，用于对所述输入特征和所述加权特征进行融合处理，得到所述高频特征。
35.具体的，注意力残差模块由至少一个注意力残差块组成，例如，其包含的注意力残差块的数量可以为2、3、4、10等。可选地，在一种可能的实现方式中，其包含的注意力残差块
的数量为5。
36.进一步地，所述原始残差块和所述池化层，用于对输入的所述特征向量进行特征提取，得到池化特征。可选地，一实施例中，所述原始残差块由至少一个计算块组成，每个所述计算块由依序连接的第一卷积层和第一非线性连接层组成，所述第一卷积层的卷积核的大小为3
×
3。
37.需要说明的是， 原始残差块包含的计算块的数量可以为2、3、5、11等，例如，在图3所示示例中，原始残差块包含的计算块的数量为2。
38.进一步地，请继续参照图3，在图3所示示例中，所述池化层可以由stdpool标准池化层和avgpool平均池化层两个部分组成。
39.进一步地，所述integration整合层，用于计算所述池化特征对应的校准权重。参见图3，在图3所示例中，所述integration整合层可以包括通道特征校准cfc层(channel-wise feature calibration，简称cfc，)和激活函数sigmoid层。
40.需要说明的是，本技术提供的图像超分辨率重建方法，在设置integration整合层时，删除了归一化bn层（batch normalization，简称bn），这样，可提高图像重建模型的训练稳定性。
41.本实施例提供的方法，给出了一种注意力残差模块的具体结构图，通过该方法，可基于注意力残差模块提取高频特征，进而基于高频特征进行图像超分辨率重建。
42.可选地，图4为本技术一示例性实施例示出的特征增强残差块的结构示意图。请参照图4，所述特征增强残差模块包括增强模块、压缩模块和融合模块；其中，所述增强模块、所述压缩模块和所述融合模块依序连接、且所述融合模块还与所述特征增强残差模块的输入端连接；所述增强模块，用于对所述特征向量进行增强处理，以得到增强特征；其中，所述增强特征的通道数大于所述特征向量的通道数；所述压缩模块，用于对所述增强特征进行压缩处理，以得到压缩特征；其中，所述压缩特征的通道数等于所述特征向量的通道数；所述融合模块，用于对输入的所述特征向量和所述压缩模块输出的压缩特征进行融合处理，得到所述低频特征。
43.具体的，参照图4，特征增强残差模块包括增强模块和压缩模块，增强模块，用于增强图像的浅层特征，使特征包含更多的信息；压缩模块，用于将增强模块输出的特征进行压缩，以压缩冗余信息，减少整个模型的负载量。
44.可选地，参照图4，在一种可能的实现方式中，所述增强模块包括依序连接的第二卷积层、第二非线性全连接层、第三卷积层和拼接层，所述拼接层还与所述第二非线性全连接层的输出端连接。所述压缩模块包括依序连接的第四卷积层、第三非线性全连接层、第五卷积层组成。
45.具体的，参照图4，所述第二卷积层和所述第三卷积层的卷积核的大小为3
×
3，输入和输出通道数均为64。输入特征经过第二卷积层后与第三卷积层执行拼接操作和跳跃连接操作（通过拼接层实现）以复用特征。
46.进一步地，请继续参照图4，所述第四卷积层的卷积核的大小为1
×
1，所述第五卷积层的卷积核的大小为3
×
3，增强模块输出的特征经过第四卷积层得到通道数为128的特征向量，最后将特征向量送入到第五卷积层得到学习后的浅层特征，输出的通道数
为64，最后，浅层特征（压缩特征）和输入该特征增强残差模块的特征向量进行融合，得到低频特征。
47.需要说明的是，第二卷积层和第四卷积层的后面分别添加非线性连接层（通过relu激化函数实现）来增加卷积层之间的非线性关系。
48.本实施例提供的方法，给出了一种特征增强残差模块的具体结构图，通过该方法，可基于特征增强残差模块提取高频特征，进而基于高频特征进行图像超分辨率重建。
[0049] 请继续参照图2，图像重建模型包括鉴别器网络，鉴别器网络试图区分重建后的超分辨率图像和真实图像的差异，以优化图像重建模型。图5为本技术一示例性实施例示出的鉴别器网络的结构示意图,其以生成器网络生成的目标图像和原始图像作为输入,送入全连接层和sigmoid 激活函数得到二分类的置信概率。
[0050]
例如，在一可能的实现方式中，鉴别器网络主要使用 7 组相同的网络块组成，每个网络块由卷积层和非线性连接层组成，每个卷积层的卷积核均为3
×
3。
[0051]
可选地，在一可能的实现方式中，所述图像重建网络的鉴别器网络的损失函数ld为：，其中，，为服从[0，1]正态分布的随机向量，默认k=2，p=6。
[0052]
本技术提供的图像超分辨率重建方法，通过将鉴别器网络的损失函数设置为上述函数，可提高图像重建模型训练的稳定性。
[0053]
请继续参照图2，在一可能的实现方式中，本技术提供的图像超分辨率重建方法，生成器网络的损失函数为：，具体的，参见上面的公式，生成器损失函数由内容损失l
mse
、对抗损失l
adv
、感知损失l
per
和正则化损失l
tv
组成。
[0054]
进一步地，内容损失l
mse
为：，其中，w、h分别表示原始图像的宽和高；表示目标图像；g(i
lr
, θ)为原始图像和目标图像之间的映射函数。
[0055]
l
mse
属于l2型损失函数，该函数用于计算样本目标值与预测值之间误差的平方。
[0056]
进一步地，对抗损失l
adv
为：，其中，d(g(i
lr
, θ))表示目标图像为原始图像的概率，为超参数。
[0057]
进一步地，感知损失l
per
为：，其中，φ
i，j
表示vgg16网络中第i个最大池化层之前的第j个卷积得到的特征映射。w和h描述了vgg网络中各个特征映射的大小，为超参数。与srgan相同，本技术使用预训练的vgg网络的relu激活层来定义内容损失，这里使用的是16层vgg网络。先利用vgg16网络提取深层次的特征，然后再使用内容损失计算来解决图片过度平滑、纹理细节不高等问题。
[0058]
进一步地，正则化损失l
tv
为：，其中为超参数。训练过程中通过优化tv正则项损失来减小图像中相邻像素的差异，提升图像的清晰度。
[0059]
本技术在生成器网络的损失函数中加入了正则化损失，可控制重建后的目标图像的水平和垂直的像素差异，保持目标图像的光滑性，防止产生伪影现象。
[0060]
下面给出一个具体的实施例，用以详细介绍本技术的技术方案。 图6为本技术一示例性实施例示出的一种生成器网络的结构示意图。请参照图6，为了验证本技术提供的图像重建方法的有效性，采用图6所示的图像重建模型，分别与模型1到模型4进行比较，其中，模型1到模型4分别为ground truth模型、bicubic模型、srgan模型、srgan加srm模型、双残差分支结构加srm模型。
[0061]
需要说明的是，在本例中，采用set5，set14，bsd100进行测试。
[0062]
表1为各超分辨率图像重建方法的单张图像重建时间对比表，表2为各超分辨率图像重建方法psnr平均值评估表、表3为各超分辨率图像重建方法ssim平均值定量评估表。
[0063]
表1 各超分辨率图像重建方法的单张图像重建时间对比表表2 各超分辨率图像重建方法psnr平均值评估表
表3 各超分辨率图像重建方法ssim平均值定量评估表需要说明的是，在表1、表2、表3中，proposed为本技术提供的图像重建模型。从表1可以分析出，set5下，espcn相比于srgan和esrgan的测试时间要快得多，而申请提供的方法要比srgan快0.9s左右；在set14上，本技术提供的方法要平均快0.5s 左右。
[0064]
进一步地，在重建效率方面，本技术提供的图像超分辨率重建方法较 srgan 有了比较明显的提高。表 2 和表 3 可以看出，相比于插值的方法，基于深度学习的超分辨率图像重建方法在psnr和ssim两个指标上有着显著的优势，因为它可以对图像的细节特征具有更强的学习能力，充分地学习了样本的高频信息。而本技术提供的方法与srgan和esrgan比较，psnr最高提升1.88db，ssim提升0.02，均有一定程度的提高。除了set14数据集的ssim略高于本技术方法以外，其余各项结果均较srgan有较大幅度的提升。相比esrgan，除了set5数据集的psnr值，其它指标均高于esrgan，可以证明本技术提供的方法是有效的。
[0065]
图7为本技术一示例性实施例示出的重建后的目标图像的对比结果图；图8为本技术另一示例性实施例示出的重建后的目标图像的对比结果图，图9为本技术再一示例性实施例示出的重建后的目标图像的对比结果图。参见前面的描述，图7、图8和图9中，将本技术提供的模型，分别与模型1到模型54进行比较，输出的目标图像如图所示，其中，模型1到模型5分别为ground truth模型、bicubic模型、srgan模型、srgan加srm模型、双残差分支结构加srm模型。
[0066]
请参照图7、图8和图9，图7、图8、图9 分别展示了set5、set14、urban100三个数据集下采用不同图像超分辨率重建方法重建后的目标图像的对比结果图。从截取区域可以看出，模型2重建的图像比较模糊，模型3重建的图像相对较好，重建效果较明显。而采用本技术提供的方法，重建得到的图像相比于模型3的重建图像，恢复了较多的高频信息，也没有出现伪影现象，更接近于原始图像。总的来说，实验结果表明，本技术提供的方法，与其他方法对比，无论是从psnr等客观评价参数来看，还是从视觉感知以及训练稳定性来看，都得到了均衡性的提升。
[0067]
本技术提供的图像超分辨率重建方法，通过对原始图像进行特征提取，得到特征向量，进而将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习，从而通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征，并通过所述重建模型对所述融合特
征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。这样，在特征提取时，充分融合了低频特征和高频特征，可充分从原始图像中捕捉到更多纹理细节，从而使重建后的图像质量更高。
[0068]
与前述图像超分辨率重建方法的实施例相对应，本技术还提供了图像超分辨率重建装置的实施例。
[0069]
本技术信息展示装置的实施例可以应用在图像超分辨率重建设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图10所示，为本技术一示例性实施例示出的图像超分辨率重建装置所在设备的硬件结构图，除了图10所示的存储器、处理器、内存和网络接口之外，实施例中装置所在的设备通常根据该信息展示装置的实际功能，还可以包括其他硬件，对此不再赘述。
[0070]
图11为本技术提供的图像超分辨率重建装置实施例一的结构示意图。请参照图11，本实施例提供的装置，可以包括提取模块120和处理模块130，其中，所述提取模块120，用于对原始图像进行特征提取，得到特征向量；所述处理模块130，用于将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习；所述处理模块130，还用于通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征；所述处理模块130，还用于通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。
[0071]
本实施例的装置，可以用以执行图1所示方法实施例的方案，有关具体原理和具体过程可以参见前面的描述，此处不再赘述。
[0072]
进一步地，所述注意力残差模块由至少一个注意力残差块组成，每个所述注意力残差块包括依序连接的原始残差块、池化层、integration整合层、注意力机制层和concat拼接层组成，其中，所述注意力机制层还与所述原始残差块的输出端连接；所述concat拼接层还与所述注意力残差模块的输入端连接；所述原始残差块和所述池化层，用于对输入的所述特征向量进行特征提取，得到池化特征；所述integration整合层，用于计算所述池化特征对应的校准权重；所述注意力机制层，用于对所述输入特征和所述校准权重进行处理，得到处理后的加权特征；所述concat拼接层，用于对所述特征向量和所述加权特征进行融合处理，得到所述高频特征。
[0073]
进一步地，所述原始残差块由至少一个计算块组成，每个所述计算块由依序连接的第一卷积层和第一非线性连接层组成，所述第一卷积层的卷积核的大小为3
×
3。
[0074]
进一步地，所述特征增强残差模块包括增强模块、压缩模块和融合模块；其中，所述增强模块、所述压缩模块和所述融合模块依序连接、且所述融合模块还与所述特征增强
残差模块的输入端连接；所述增强模块，用于对所述特征向量进行增强处理，以得到增强特征；其中，所述增强特征的通道数大于所述特征向量的通道数；所述压缩模块，用于对所述增强特征进行压缩处理，以得到压缩特征；其中，所述压缩特征的通道数等于所述特征向量的通道数；所述融合模块，用于对输入的所述特征向量和所述压缩特征进行融合处理，得到所述低频特征。
[0075]
进一步地，所述增强模块包括依序连接的第二卷积层、第二非线性全连接层、第三卷积层和拼接层，所述拼接层还与所述第二非线性全连接层的输出端连接；其中，所述第一卷积层和所述第三卷积层的卷积核的大小为3
×
3。
[0076]
进一步地，所述压缩模块包括依序连接的第四卷积层、第三非线性全连接层、第五卷积层组成；其中，所述第四卷积层的卷积核的大小为1
×
1；所述第五卷积层的卷积核的大小为3
×
3。
[0077]
进一步地，所述预先训练好的图像重建模型由生成器网络和鉴别器网络组成，所述鉴别器网络的损失函数为：，其中，，为服从[0，1]正态分布的随机向量，默认k=2，p=6。
[0078]
本技术提供的图像超分辨率重建方法，通过将鉴别器网络的损失函数设置为上述函数，可提高图像重建模型训练的稳定性。
[0079]
请继续参照图2，在一可能的实现方式中，本技术提供的图像超分辨率重建方法，生成器网络的损失函数为：，具体的，参见上面的公式，生成器损失函数由内容损失l
mse
、对抗损失l
adv
、感知损失l
per
和正则化损失l
tv
组成。
[0080]
进一步地，内容损失l
mse
为：，其中，w、h分别表示原始图像的宽和高；表示目标图像；
g(i
lr
, θ)为原始图像和目标图像之间的映射函数。
[0081]
l
mse
属于l2型损失函数，该函数用于计算样本目标值与预测值之间误差的平方。
[0082]
进一步地，对抗损失l
adv
为：，其中，d(g(i
lr
, θ))表示目标图像为原始图像的概率，为超参数。
[0083]
进一步地，感知损失l
per
为：，其中，φ
i，j
表示vgg16网络中第i个最大池化层之前的第j个卷积得到的特征映射。w和h描述了vgg网络中各个特征映射的大小，为超参数。与srgan相同，本技术使用预训练的vgg网络的relu激活层来定义内容损失，这里使用的是16层vgg网络。先利用vgg16网络提取深层次的特征，然后再使用内容损失计算来解决图片过度平滑、纹理细节不高等问题。
[0084]
进一步地，正则化损失l
tv
为：，其中为超参数。
[0085]
请继续参照图11，本技术还提供一种图像超分辨率重建设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本技术第一方面提供的任一项所述方法的步骤。
[0086]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0087]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种图像超分辨率重建方法，其特征在于，所述方法包括：对原始图像进行特征提取，得到特征向量；将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习；通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征；通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。2.根据权利要求1所述的方法，其特征在于，所述注意力残差模块由至少一个注意力残差块组成，每个所述注意力残差块包括依序连接的原始残差块、池化层、integration整合层、注意力机制层和concat拼接层组成，其中，所述注意力机制层还与所述原始残差块的输出端连接；所述concat拼接层还与所述注意力残差模块的输入端连接；所述原始残差块和所述池化层，用于对输入的所述特征向量进行特征提取，得到池化特征；所述integration整合层，用于计算所述池化特征对应的校准权重；所述注意力机制层，用于对所述输入特征和所述校准权重进行处理，得到处理后的加权特征；所述concat拼接层，用于对所述特征向量和所述加权特征进行融合处理，得到所述高频特征。3.根据权利要求2所述的方法，其特征在于，所述原始残差块由至少一个计算块组成，每个所述计算块由依序连接的第一卷积层和第一非线性连接层组成，所述第一卷积层的卷积核的大小为3
×
3。4.根据权利要求1所述的方法，其特征在于，所述特征增强残差模块包括增强模块、压缩模块和融合模块；其中，所述增强模块、所述压缩模块和所述融合模块依序连接、且所述融合模块还与所述特征增强残差模块的输入端连接；所述增强模块，用于对所述特征向量进行增强处理，以得到增强特征；其中，所述增强特征的通道数大于所述特征向量的通道数；所述压缩模块，用于对所述增强特征进行压缩处理，以得到压缩特征；其中，所述压缩特征的通道数等于所述特征向量的通道数；所述融合模块，用于对输入的所述特征向量和所述压缩特征进行融合处理，得到所述低频特征。5.根据权利要求4所述的方法，其特征在于，所述增强模块包括依序连接的第二卷积层、第二非线性全连接层、第三卷积层和拼接层，所述拼接层还与所述第二非线性全连接层的输出端连接；其中，所述第二卷积层和所述第三卷积层的卷积核的大小为3
×
3。6.根据权利要求4所述的方法，特征在于，所述压缩模块包括依序连接的第四卷积层、第三非线性全连接层、第五卷积层组成；其中，所述第四卷积层的卷积核的大小为1
×
1；所述第五卷积层的卷积核的大小为3
×
3。7.根据权利要求1所述的方法，其特征在于，所述预先训练好的图像重建模型由生成器网络和鉴别器网络组成，所述鉴别器网络的损失函数为：
，其中：，所述为服从[0，1]正态分布的随机向量。8.根据权利要求7所述的方法，其特征在于，所述生成器网络的损失函数为：，其中，l
mse
为内容损失、l
adv
为对抗损失、l
per
为感知损失、l
tv
为正则化损失；其中，所述正则化损失按照如下公式计算：，其中，为超参数。9.一种图像超分辨率重建装置，其特征在于，所述装置包括提取模块和处理模块，其中，所述提取模块，用于对原始图像进行特征提取，得到特征向量；所述处理模块，用于将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习；所述处理模块，还用于通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征；所述处理模块，还用于通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。10.一种图像超分辨率重建设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任一项所述方法的步骤。

技术总结
本申请提供一种图像超分辨率重建方法、装置和设备。本申请提供的图像超分辨率重建方法，包括：对原始图像进行特征提取，得到特征向量，将所述特征向量输入到预先训练好的图像重建模型中，通过所述重建模型中的注意力残差模块提取所述特征向量中的高频特征并进行学习，并通过所述重建模型中的特征增强残差模块提取所述特征向量中的低频特征并进行学习，通过所述重建模型对所述高频特征和所述低频特征进行融合，得到融合特征，通过所述重建模型对所述融合特征进行上采样和重建处理，得到目标图像；其中，所述目标图像的分辨率高于所述原始图像的分辨率。本申请提供的图像超分辨率重建方法、装置和设备，可使重建后的图像质量更高。高。高。


技术研发人员：马晓轩 郝冬 单思涵 化凤芳 肖垚
受保护的技术使用者：北京建筑大学
技术研发日：2023.06.29
技术公布日：2023/8/1