一种视频的超分辨率方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种视频的超分辨率方法及装置。


背景技术：

2.视频的超分辨率技术又称为视频超分技术，是一种由低分辨率视频恢复出高分辨率视频的技术。由于视频超分辨率业务目前已成为视频画质增强中的重点业务，因此视频超分技术是当前图像处理领域的研究热点之一。
3.近年来，随着深度学习技术的发展，基于深度学习神经网络的视频超分网络模型实现了许多突破，包括更好的超分效果以及更好的实时性。目前，主流视频超分网络模型均是利用视频的大多数图像帧都处于运动之中，在对视频中的每一个图像帧进行超分时，其邻域图像帧都可以提供大量的时域信息以供视频超分网络模型对当前图像帧进行超分。然而，在一些视频中部分区域始终为静止的物体或背景，在对这类视频进行超分时，由于静止的物体或背景会导致运动信息估计误差，且误差会在信息传递过程中累积，进而导致误差逐渐增大；同时由于这些的物体或背景冗余信息在信息传递中也会导致间隔较远的图像帧的有效时域信息被逐渐替换，进而使得网络没法有效利用间隔较远的图像帧的时域信息。综上，当视频中存在静止的物体或背景时，视频超分网络模型很可能无法获取足够的时域信息对图像帧进行超分，进而导致视超分效果十分不理想。


技术实现要素：

4.有鉴于此，本发明提供了一种视频的超分辨率方法及装置，用于提升视频的超分辨率效果。
5.为了实现上述目的，本发明实施例提供技术方案如下：
6.第一方面，本发明的实施例提供了一种视频的超分辨率方法，包括：
7.将待超分视频的目标图像帧分解为多个图像块；
8.根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取所述目标图像帧的超分特征；
9.根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。
10.作为本发明实施例一种可选的实施方式，所述根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取所述目标图像帧的超分特征，包括：
11.获取所述多个图像块中的每一个图像块的后向特征，任一图像块的后向特征为分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中与该图像块对应的图像块的特征；
12.根据所述多个图像块中的每一个图像块的后向特征，获取所述目标图像帧的后向特征；
13.根据所述多个图像块中的每一个图像块的前向特征，获取所述目标图像帧的前向特征；
14.根据所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的超分特征。
15.作为本发明实施例一种可选的实施方式，所述获取所述多个图像块中的每一个图像块的后向特征，包括：
16.获取后向图像块池和后向特征池，所述后向图像块池包括所述多个图像块中的每一个图像块对应的后向图像块；任一图像块对应的后向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中选取的图像块；所述后向特征池包括所述后向图像块池中的每一个后向图像块的特征；
17.根据所述后向图像块池和所述后向特征池，获取所述多个图像块中的每一个图像块的后向特征。
18.作为本发明实施例一种可选的实施方式，所述根据所述后向图像块池和所述后向特征池，获取所述多个图像块中的每一个图像块的后向特征，包括：
19.获取所述后向图像块池中的每一个后向图像块的光流，任一后向图像块的光流为该后向图像块与该后向图像块在所述多个图像块中对应的图像块之间的光流；
20.根据所述后向图像块池中的每一个后向图像块的光流对所述后向特征池中每一个后向图像块的特征进行处理，获取所述后向图像块池中的每一个后向图像块的对齐特征；
21.根据所述后向图像块池中的每一个后向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的后向特征。
22.作为本发明实施例一种可选的实施方式，所述获取所述后向图像块池中的每一个后向图像块的光流，包括：
23.根据所述多个图像块生成第一图像块序列，并根据所述后向图像块池中的后向图像块生成第二图像块序列；任一图像块在所述第一图像块序列中的排序与该图像块对应的后向图像块在所述第二图像块序列中的排序相同；
24.将所述第一图像块序列和所述第二图像块序列输入光流预测网络模型，并根据所述光流预测网络模型的输出获取所述后向图像块池中的每一个后向图像块的光流。
25.作为本发明实施例一种可选的实施方式，所述根据所述后向图像块池中的每一个后向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的后向特征，包括：
26.通过残差块对所述多个图像块中的每一个图像块和每一个图像块对应的后向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的后向特征。
27.作为本发明实施例一种可选的实施方式，所述方法还包括：
28.根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征对所述后向图像块池和所述后向特征池进行更新。
29.作为本发明实施例一种可选的实施方式，所述根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征对所述后向图像块池和所述后向特征池进行更新，包括：
30.判断所述后向图像块池中的每一个后向图像块的光流的绝对值是否大于预设阈值；
31.若所述后向图像块池中的第一后向图像块的光流的绝对值大于所述预设阈值，则
将所述后向图像块池中的所述第一后向图像块替换为所述第一后向图像块在所述多个图像块中对应的图像块，以及将所述后向特征池中所述第一后向图像块的特征替换为所述第一后向图像块在所述多个图像块中对应的图像块的后向特征。
32.作为本发明实施例一种可选的实施方式，所述获取所述多个图像块中的每一个图像块的前向特征，包括：
33.获取前向图像块池和前向特征池，所述前向图像块池包括所述多个图像块中的每一个图像块对应的前向图像块；任一图像块对应的前向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之前的图像帧得到的图像块中选取的图像块；所述前向特征池包括所述前向图像块池中的每一个前向图像块的特征；
34.根据所述前向图像块池和所述前向特征池，获取所述多个图像块中的每一个图像块的前向特征。
35.作为本发明实施例一种可选的实施方式，所述根据所述前向图像块池和所述前向特征池，获取所述多个图像块中的每一个图像块的前向特征，包括：
36.获取所述前向图像块池中的每一个前向图像块的光流，任一前向图像块的光流为该前向图像块与该前向图像块在所述多个图像块中对应的图像块之间的光流；
37.根据所述前向图像块池中的每一个前向图像块的光流对所述前向特征池中每一个前向图像块的特征进行处理，获取所述前向图像块池中的每一个前向图像块的对齐特征；
38.根据所述前向图像块池中的每一个前向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的前向特征。
39.作为本发明实施例一种可选的实施方式，所述获取所述前向图像块池中的每一个前向图像块的光流，包括：
40.根据所述多个图像块生成第三图像块序列，并根据所述前向图像块池中的前向图像块生成第四图像块序列；任一图像块在所述第三图像块序列中的排序与该图像块对应的前向图像块在所述第四图像块序列中的排序相同；
41.将所述第三图像块序列和所述第四图像块序列输入光流预测网络模型，并根据所述光流预测网络模型的输出获取所述前向图像块池中的每一个前向图像块的光流。
42.作为本发明实施例一种可选的实施方式，所述根据所述前向图像块池中的每一个前向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的前向特征，包括：
43.通过残差块对所述多个图像块中的每一个图像块和每一个图像块对应的前向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的前向特征。
44.作为本发明实施例一种可选的实施方式，所述方法还包括：
45.根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征对所述前向图像块池和所述前向特征池进行更新。
46.作为本发明实施例一种可选的实施方式，所述根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征对所述前向图像块池和所述前向特征池进行更新，包括：
47.判断所述前向图像块池中的每一个前向图像块的光流的绝对值是否大于预设阈
值；
48.若所述前向图像块池中的第一前向图像块的光流的绝对值大于所述预设阈值，则将所述前向图像块池中的所述第一前向图像块替换为所述第一前向图像块在所述多个图像块中对应的图像块，以及将所述前向特征池中所述第一前向图像块的特征替换为所述第一前向图像块在所述多个图像块中对应的图像块的前向特征。
49.作为本发明实施例一种可选的实施方式，所述根据所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的超分特征，包括：
50.合并所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的合并特征；
51.对所述目标图像帧的合并特征进行上采样，获取所述目标图像帧的超分特征。
52.第二方面，本发明的实施例提供了一种视频的超分辨率装置，包括：
53.图像分解模块，用于将待超分视频的目标图像帧分解为多个图像块；
54.特征获取模块，用于根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取所述目标图像帧的超分特征；
55.图像生成模块，用于根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。
56.作为本发明实施例一种可选的实施方式，所述特征获取模块，包括：
57.后向特征获取单元，用于获取所述多个图像块中的每一个图像块的后向特征，任一图像块的后向特征为分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中与该图像块对应的图像块的特征；
58.前向特征获取单元，用于获取所述多个图像块中的每一个图像块的前向特征，任一图像块的前向特征为分解所述待超分视频中位于所述目标图像帧之前的图像帧得到的图像块中与该图像块对应的图像块的特征；
59.第一特征合并单元，用于根据所述多个图像块中的每一个图像块的后向特征，获取所述目标图像帧的后向特征；
60.第二特征合并单元，用于根据所述多个图像块中的每一个图像块的前向特征，获取所述目标图像帧的前向特征；
61.特征融合单元，用于根据所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的超分特征。
62.作为本发明实施例一种可选的实施方式，所述后向特征获取单元，具体用于获取后向图像块池和后向特征池，所述后向图像块池包括所述多个图像块中的每一个图像块对应的后向图像块；任一图像块对应的后向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中选取的图像块；所述后向特征池包括所述后向图像块池中的每一个后向图像块的特征；根据所述后向图像块池和所述后向特征池，获取所述多个图像块中的每一个图像块的后向特征。
63.作为本发明实施例一种可选的实施方式，所述后向特征获取单元，具体用于获取所述后向图像块池中的每一个后向图像块的光流，任一后向图像块的光流为该后向图像块与该后向图像块在所述多个图像块中对应的图像块之间的光流；根据所述后向图像块池中的每一个后向图像块的光流对所述后向特征池中每一个后向图像块的特征进行处理，获取所述后向图像块池中的每一个后向图像块的对齐特征；根据所述后向图像块池中的每一个
后向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的后向特征。
64.作为本发明实施例一种可选的实施方式，所述后向特征获取单元，具体用于根据所述多个图像块生成第一图像块序列，并根据所述后向图像块池中的后向图像块生成第二图像块序列；任一图像块在所述第一图像块序列中的排序与该图像块对应的后向图像块在所述第二图像块序列中的排序相同；将所述第一图像块序列和所述第二图像块序列输入光流预测网络模型，并根据所述光流预测网络模型的输出获取所述后向图像块池中的每一个后向图像块的光流。
65.作为本发明实施例一种可选的实施方式，所述后向特征获取单元，具体用于通过残差块对所述多个图像块中的每一个图像块和每一个图像块对应的后向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的后向特征。
66.作为本发明实施例一种可选的实施方式，所述后向特征获取单元，还用于根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征对所述后向图像块池和所述后向特征池进行更新。
67.作为本发明实施例一种可选的实施方式，所述后向特征获取单元，具体用于判断所述后向图像块池中的每一个后向图像块的光流的绝对值是否大于预设阈值；若所述后向图像块池中的第一后向图像块的光流的绝对值大于所述预设阈值，则将所述后向图像块池中的所述第一后向图像块替换为所述第一后向图像块在所述多个图像块中对应的图像块，以及将所述后向特征池中所述第一后向图像块的特征替换为所述第一后向图像块在所述多个图像块中对应的图像块的后向特征。
68.作为本发明实施例一种可选的实施方式，所述前向特征获取单元，具体用于获取前向图像块池和前向特征池，所述前向图像块池包括所述多个图像块中的每一个图像块对应的前向图像块；任一图像块对应的前向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之前的图像帧得到的图像块中选取的图像块；所述前向特征池包括所述前向图像块池中的每一个前向图像块的特征；根据所述前向图像块池和所述前向特征池，获取所述多个图像块中的每一个图像块的前向特征。
69.作为本发明实施例一种可选的实施方式，所述前向特征获取单元，具体用于获取所述前向图像块池中的每一个前向图像块的光流，任一前向图像块的光流为该前向图像块与该前向图像块在所述多个图像块中对应的图像块之间的光流；根据所述前向图像块池中的每一个前向图像块的光流对所述前向特征池中每一个前向图像块的特征进行处理，获取所述前向图像块池中的每一个前向图像块的对齐特征；根据所述前向图像块池中的每一个前向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的前向特征。
70.作为本发明实施例一种可选的实施方式，所述前向特征获取单元，具体用于根据所述多个图像块生成第三图像块序列，并根据所述前向图像块池中的前向图像块生成第四图像块序列；任一图像块在所述第三图像块序列中的排序与该图像块对应的前向图像块在所述第四图像块序列中的排序相同；将所述第三图像块序列和所述第四图像块序列输入光流预测网络模型，并根据所述光流预测网络模型的输出获取所述前向图像块池中的每一个前向图像块的光流。
71.作为本发明实施例一种可选的实施方式，所述前向特征获取单元，具体用于通过残差块对所述多个图像块中的每一个图像块和每一个图像块对应的前向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的前向特征。
72.作为本发明实施例一种可选的实施方式，所述前向特征获取单元，还用于根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征对所述前向图像块池和所述前向特征池进行更新。
73.作为本发明实施例一种可选的实施方式，所述前向特征获取单元，具体用于判断所述前向图像块池中的每一个前向图像块的光流的绝对值是否大于预设阈值；若所述前向图像块池中的第一前向图像块的光流的绝对值大于所述预设阈值，则将所述前向图像块池中的所述第一前向图像块替换为所述第一前向图像块在所述多个图像块中对应的图像块，以及将所述前向特征池中所述第一前向图像块的特征替换为所述第一前向图像块在所述多个图像块中对应的图像块的前向特征。
74.作为本发明实施例一种可选的实施方式，所述特征处理单元，具体用于合并所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的合并特征；对所述目标图像帧的合并特征进行上采样，获取所述目标图像帧的超分特征。
75.第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现第一方面或第一方面任一种可选的实施方式所述的视频的超分辨率方法。
76.第四方面，本发明实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现第一方面或第一方面任一种可选的实施方式所述的视频的超分辨率方法。
77.第五方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现第一方面或第一方面任一种可选的实施方式所述的视频的超分辨率方法。
78.本发明实施例提供的视频的超分辨率方法在对待超分视频的目标图像帧图像进行超分时，首先将待超分视频的目标图像帧分解为多个图像块，然后根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取，获取所述目标图像帧的超分特征，最后根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。相比于现有技术中依赖相邻图像帧提供的时域信息进行图像帧的超分，本发明实施例提供的超分辨率方法可以在对待超分视频的目标图像帧进行超分时，通过分解待超分视频中除目标视频帧以外的其它所有图像帧得到的图像块为分解目标视频帧得到的图像块提供的时域信息，进而获取目标图像帧的超分特征，因此即使待超分视频中具有在相邻图像帧中静止的物体或背景，本发明实施例可以利用非相邻图像帧为目标视频帧的各个图像块提供足够的时域信息，进而为目标视频帧提供足够的时域信息，因此本发明实施例可以提升视频的超分辨率效果。
附图说明
79.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
80.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
81.图1为本发明实施例提供的视频的超分辨率方法的步骤流程图之一；
82.图2为本发明实施例提供的图像帧分解得到的图像块的示意图；
83.图3为本发明实施例提供的视频的超分辨率方法的流程图之二；
84.图4为本发明实施例提供的视频的超分辨率方法的流程图之三；
85.图5为本发明实施例提供的视频超分网络的结构示意图之一；
86.图6为本发明实施例提供的视频的超分辨率方法的流程图之二；
87.图7为本发明实施例提供的图像块序列示意图之一；
88.图8为本发明实施例提供的后向特征获取模块的示意图之一；
89.图9为本发明实施例提供的后向特征获取模块的示意图之二；
90.图10为本发明实施例提供的视频的超分辨率方法的流程图之三；
91.图11为本发明实施例提供的图像块序列示意图之二；
92.图12为本发明实施例提供的前向特征获取模块的示意图之一；
93.图13为本发明实施例提供的前向特征获取模块的示意图之二；
94.图14为本发明实施例提供的视频超分网络的结构示意图之二；
95.图15为本发明实施例提供的视频的超分辨率装置的示意图之一；
96.图16为本发明实施例提供的视频的超分辨率装置的示意图之一
97.图17为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
98.为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
99.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
100.需要说明的是，为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。例如：第一特征图像集合和第二特征图像集合仅仅是为了区分不同的特征图像集合，而不是在对特征图像集合的顺序等进行限定。
101.在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
102.本发明实施例提供了一种视频的超分辨率方法，参照图1所示的步骤流程图，本发
明实施例提供的视频的超分辨率方法包括如下步骤：
103.s11、将待超分视频的目标图像帧分解为多个图像块。
104.可选的，上述步骤s11(将待超分视频的目标图像帧分解为多个图像块)的实现方式可以包括：通过尺寸为一个图像块的尺寸、步长为预设值的采样窗口，从所述目标图像帧的第一个像素点开始对所述目标图像帧的各个位置进行采样，并将采样窗口的每一个采样区域作为一个图像块，从而将目标图像帧分解为多个图像块。
105.示例性的，参照图2所示，待超分视频的目标图像帧包括1024*512个像素点，当采样窗口的尺寸为72*72、步长为64时，可以将待超分视频的目标图像帧分解为16*8个图像块，每一个图像块包括72*72个像素点，且相邻图像块之间具有重叠区域，重叠区域的宽度为8个像素区域。
106.s12、根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取所述目标图像帧的超分特征。
107.可选的，上述步骤s12(根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块的特征，获取所述目标图像帧的超分特征)包括：
108.根据分解所述待超分视频中的其它图像帧得到的图像块分别获取所述多个图像块中每一个图像块的超分特征，以及对所述多个图像块中每一个图像块的超分特征合并，以获取所述目标图像帧的超分特征。
109.例如：当待超分视频包括n个图像帧，目标图像帧为待超分视频的第t个图像帧，且待超分视频的各个图像帧均被分解为n个图像块时，分解所述待超分视频中的其它图像帧得到的图像块，包括：图像块图像块
……
、图像块图像块图像块图像块图像块图像块图像块图像块图像块分解所述待超分视频目标图像帧得到的图像块，包括：图像块图像块图像块其中，图像块表示分解待超分视频的第j个视频帧得到的第i个图像块。因此可以根据图像块图像块图像块图像块图像块图像块图像块图像块图像块图像块图像块分别获取图像块图像块图像块的超分特征，然后对图像块图像块图像块的超分特征合并，获取第t个图像帧的超分特征。
110.s13、根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。
111.可选的，上述步骤s13(根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧)包括：
112.对所述目标图像帧的超分特征和所述目标图像帧的特征进行相加融合，获取所述目标图像帧对应的超分图像帧。
113.本发明实施例提供的视频的超分辨率方法在对待超分视频的目标图像帧图像进行超分时，首先将待超分视频的目标图像帧分解为多个图像块，然后根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取，获取所述目标图像帧的超分特征，最后根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。相比于现有技术中依赖相邻图像帧提供的时域信息进行图像帧的超分，本发明实施例提供的超分辨率方法可以在对待超分视频的目标图像帧进行超分时，通过分解待超分视频中除目标
视频帧以外的其它所有图像帧得到的图像块为分解目标视频帧得到的图像块提供的时域信息，进而获取目标图像帧的超分特征，因此即使待超分视频中具有在相邻图像帧中静止的物体或背景，本发明实施例可以利用非相邻图像帧为目标视频帧的各个图像块提供足够的时域信息，进而为目标视频帧提供足够的时域信息，因此本发明实施例可以提升视频的超分辨率效果。
114.作为对上述实施例的扩展和细化，本发明实施例提供了另一种视频超分辨率方法，参照图3所示，该方法包括如下步骤：
115.s301、将待超分视频的目标图像帧分解为多个图像块。
116.s302、获取所述多个图像块中的每一个图像块的后向特征。
117.其中，任一图像块的后向特征为分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中与该图像块对应的图像块的特征。
118.s303、获取所述多个图像块中的每一个图像块的前向特征。
119.其中，任一图像块的前向特征为分解所述待超分视频中位于所述目标图像帧之前的图像帧得到的图像块中与该图像块对应的图像块的特征。
120.s304、根据所述多个图像块中的每一个图像块的后向特征，获取所述目标图像帧的后向特征。
121.即，融合所述多个图像块中的每一个图像块的后向特征，获取所述目标图像帧的后向特征。
122.s305、根据所述多个图像块中的每一个图像块的前向特征，获取所述目标图像帧的前向特征。
123.即，融合所述多个图像块中的每一个图像块的前向特征，获取所述目标图像帧的前向特征。
124.s306、根据所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的超分特征。
125.作为本发明实施例一种可选的实施方式，上述步骤s306(根据所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的超分特征)，包括如下步骤a和步骤b：
126.步骤a、合并所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的合并特征。
127.示例性的，可以将所述目标图像帧的后向特征和所述目标图像帧的前向特征在通道维度上串联，从而获取所述目标图像帧的合并特征。
128.步骤b、对所述目标图像帧的合并特征进行上采样，获取所述目标图像帧的超分特征。
129.需要说明的是，上述实施例中以先合并所述目标图像帧的后向特征和前向特征，然后再对合并后的特征进行上采样获取，以所述目标图像帧的超分特征为例进行说明，但实际执行中也可以先分别对所述目标图像帧的后向特征和前向特征进行上采样，然后再对上采样结果进行合并，以所述目标图像帧的超分特征。
130.s307、根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。
131.本实施例提供的视频的超分辨率方法的实现原理和技术效果与图1所示视频的超分辨率方法的实现原理和技术效果类似，此处不再赘述。
132.作为对上述实施例进一步的扩展和细化，本发明实施例提供了另一种视频超分辨率方法，参照图4所示，该方法包括如下步骤：
133.s401、将待超分视频的目标图像帧分解为多个图像块。
134.s402、获取后向图像块池和后向特征池。
135.其中，所述后向图像块池包括所述多个图像块中的每一个图像块对应的后向图像块；任一图像块对应的后向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中选取的图像块；所述后向特征池包括所述后向图像块池中的每一个后向图像块的特征。
136.即，当将目标图像帧分解为n个图像块时，所述后向图像块池中包括n个后向图像块，所述后向特征池中包括n个特征；所述n个后向图像块与所述多个图像块一一对应，所述后向特征池中的n个特征分别为所述n个后向图像块的特征。
137.可选的，当目标图像帧为待超分视频的第t个图像帧时，对于所述多个图像块中的图像块基于预设选取规则从分解所述待超分视频的第t+1个图像帧至最后一个图像帧得到的图像块中选取图像块对应的后向图像块的实现方式可以包括：首先，确定分解所述待超分视频的第t+1个图像帧至最后一个图像帧得到的图像块中与图像块位置相同的各个图像块，得到第一图像块集合然后从第一图像块集合中选取能够为图像块提供最有效时域信息的图像块作为图像块对应的后向图像块。
138.s403、根据所述后向图像块池和所述后向特征池，获取所述多个图像块中的每一个图像块的后向特征。
139.s404、获取前向图像块池和前向特征池。
140.其中，所述前向图像块池包括所述多个图像块中的每一个图像块对应的前向图像块；任一图像块对应的前向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之前的图像帧得到的图像块中选取的图像块；所述前向特征池包括所述前向图像块池中的每一个前向图像块的特征
141.即，当将目标图像帧分解为n个图像块时，所述前向图像块池中包括n个前向图像块，所述前向特征池中包括n个特征；所述n个前向图像块与所述多个图像块一一对应，所述前向特征池中的n个特征分别为所述n个前向图像块的特征。
142.可选的，对于所述多个图像块中的图像块基于所述预设选取规则从分解所述待超分视频的第1个图像帧至t-1个图像帧得到的图像块中选取图像块对应的前向图像块的实现方式可以包括：首先，确定分解所述待超分视频的第1个图像帧至t-1个图像帧得到的图像块中与图像块位置相同的各个图像块，得到第二图像块集合位置相同的各个图像块，得到第二图像块集合然后从第二图像块集合中选取能够为图像块提供最有效时域信息的图像块作为图像块对应的前向图像块。
143.s405、根据所述前向图像块池和所述前向特征池，获取所述多个图像块中的每一个图像块的前向特征。
144.s406、根据所述多个图像块中的每一个图像块的后向特征，获取所述目标图像帧的后向特征。
145.s407、根据所述多个图像块中的每一个图像块的前向特征，获取所述目标图像帧的前向特征。
146.s408、根据所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的超分特征。
147.s409、根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。
148.参照图5所示，图5为用于实现图4视频超分方法的视频超分网络的结构示意图。用于实现图4视频超分方法的视频超分网络包括：分解模块51、后向图像块池52、后向特征池53、后向特征传递模块54、前向图像块池55、前向特征池56、前向特征传递模块57、处理模块58以及生成模块59。
149.其中，分解模块51用于将待超分视频的目标图像帧i
t
分解为多个图像块后向图像块池52用于存储多个图像块中的每一个图像块对应的后向图像块后向特征池53用于存储每一个后向图像块的特征后向特征传递模块54用于根据所述多个图像块后向图像块池中的后向图像块以及后向特征池中的特征获取所述目标图像帧的后向特征前向图像块池55用于存储多个图像块中的每一个图像块对应的前向图像块前向特征池56用于存储每一个前向图像块的特征前向特征传递模块57用于根据所述多个图像块前向图像块池中的前向图像块以及前向特征池中的特征获取所述目标图像帧的前向特征处理模块58用于根据所述目标图像帧的后向特征和前向特征获取所述目标图像帧的超分特征生成模块59用于根据所述目标图像帧的超分特征生成所述目标图像帧对应的超分图像帧o
t
。
150.本实施例提供的视频的超分辨率方法的实现原理和技术效果与图1所示视频的超分辨率方法的实现原理和技术效果类似，此处不再赘述。
151.在图4所示实施例的基础上，参照图6所示，上述步骤s403(根据所述后向图像块池和所述后向特征池，获取所述多个图像块中的每一个图像块的后向特征)包括：
152.s61、获取所述后向图像块池中的每一个后向图像块的光流。
153.其中，任一后向图像块的光流为该后向图像块与该后向图像块在所述多个图像块中对应的图像块之间的光流。
154.作为本发明实施例一种可选的实施方式，上述步骤s61(获取所述后向图像块池中的每一个后向图像块的光流)的实现方式可以包括如下步骤611和步骤612：
155.步骤611、根据所述多个图像块生成第一图像块序列，并根据所述后向图像块池中的后向图像块生成第二图像块序列。
156.其中，任一图像块在所述第一图像块序列中的排序与该图像块对应的后向图像块
在所述第二图像块序列中的排序相同。
157.本发明实施例中不限定所述多个图像块在第一图像块序列中的排列顺序，也不限定所述后向图像块池中的后向图像块在第二图像块中的排列顺序，以任一图像块在所述第一图像块序列中的排序与该图像块对应的后向图像块在所述第二图像块序列中的排序相同为准。
158.示例性的，参照图7所示，多个图像块在第一图像块序列中的排列顺序依次为：所述后向图像块池中的后向图像块在第二图像块序列中的排列顺序依次为：多个图像块中的任一图像块在所述第一图像块序列中的排序与该图像块对应的后向图像块在所述第二图像块序列中的排序相同。
159.步骤612、将所述第一图像块序列和所述第二图像块序列输入光流预测网络模型，并根据所述光流预测网络模型的输出获取所述后向图像块池中的每一个后向图像块的光流。
160.s62、根据所述后向图像块池中的每一个后向图像块的光流对所述后向特征池中每一个后向图像块的特征进行处理，获取所述后向图像块池中的每一个后向图像块的对齐特征。
161.即，根据所述后向图像块池中的每一个后向图像块的光流，将所述后向特征池中每一个后向图像块的特征与在所述多个图像块中对应的图像块的特征对齐，从而获取所述后向图像块池中的每一个后向图像块的对齐特征。
162.s63、根据所述后向图像块池中的每一个后向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的后向特征。
163.作为本发明实施例一种可选的实施方式，上述步骤s63(根据所述后向图像块池中的每一个后向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的后向特征)包括：
164.通过残差块(residual block)对所述多个图像块中的每一个图像块和每一个图像块对应的后向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的后向特征。
165.参照图8所示，图6为用于实现根据所述后向图像块池和所述后向特征池，获取所述多个图像块中的每一个图像块的后向特征，以及根据所述多个图像块中的每一个图像块的后向特征，获取所述目标图像帧的后向特征的后向特征获取模块的结构示意图，所述后向特征获取模块包括：光流预测网络模型81、特征对齐模块82、残差块83以及特征融合模块84。
166.其中，光流预测网络模型81根据输入的所述后向图像块池中后向图像块和分解待超分视频的目标图像帧得到的多个图像块输出所述后向图像块池中的每一个后向图像块的光流特征对齐模块82用于根据所述后向图像块池中的每一
个后向图像块的光流将所述后向池中的每一个后向图像块的特征与所述目标图像帧对齐，获取所述后向图像块池中的每一个后向图像块的对齐特征残差块83用于根据所述后向图像块池中的每一个后向图像块的对齐特征和所述多个图像块获取所述多个图像块中的每一个图像块的后向特征特征融合模块84用于融合所述多个图像块中的每一个图像块的后向特征生成所述目标图像帧的后向特征
167.作为本发明实施例一种可选的实施方式，本发明实施例提供的视频超分方法还包括：
168.根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征对所述后向图像块池和所述后向特征池进行更新。
169.作为本发明实施例一种可选的实施方式，根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征对所述后向图像块池和所述后向特征池进行更新的一种实现方式包括如下步骤1)和步骤2)：
170.步骤1)、判断所述后向图像块池中的每一个后向图像块的光流的绝对值是否大于预设阈值；
171.在上述步骤1)中若所述后向图像块池中的第一后向图像块的光流的绝对值大于所述预设阈值，则执行如下步骤2)。
172.步骤2)、将所述后向图像块池中的所述第一后向图像块替换为所述第一后向图像块在所述多个图像块中对应的图像块，以及将所述后向特征池中所述第一后向图像块的特征替换为所述第一后向图像块在所述多个图像块中对应的图像块的后向特征。
173.参照图9所示，图9为所述后向特征获取模块还用于根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征对所述后向图像块池和所述后向特征池进行更新时，所述后向特征获取模块的结构示意图。用于实现所述后向特征获取模块包括：光流预测网络模型81、特征对齐模块82、残差块83、特征融合模块84以及更新模块85。
174.其中，光流预测网络模型81、特征对齐模块82、残差块83以及特征融合模块84的作用与图8中相同，再此不再赘述。更新模块85用于根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征将所述后向图像块池和所述后向特征池更新为后向图像块池和后向特征池并将后向图像块池和后向特征池作为对待超分视频的前一个图像帧进行处理时的后向图像块池和后向特征池。
175.在图6所示实施例的基础上，参照图10所示，上述步骤s405(根据所述前向图像块池和所述前向特征池，获取所述多个图像块中的每一个图像块的前向特征)包括：
176.s101、获取所述前向图像块池中的每一个前向图像块的光流。
177.其中，任一前向图像块的光流为该前向图像块与该前向图像块在所述多个图像块中对应的图像块之间的光流。
178.作为本发明实施例一种可选的实施方式，上述步骤s81(获取所述前向图像块池中的每一个前向图像块的光流)的实现方式可以包括如下步骤1011和步骤1012：
179.步骤1011、根据所述多个图像块生成第三图像块序列，并根据所述前向图像块池中的前向图像块生成第四图像块序列。
180.其中，任一图像块在所述第三图像块序列中的排序与该图像块对应的前向图像块在所述第四图像块序列中的排序相同。
181.本发明实施例中不限定所述多个图像块在第三图像块序列中的排列顺序，也不限定所述前向图像块池中的前向图像块在第四图像块中的排列顺序，以任一图像块在所述第三图像块序列中的排序与该图像块对应的前向图像块在所述第四图像块序列中的排序相同为准。
182.示例性的，参照图11所示，多个图像块在第三图像块序列中的排列顺序依次为：所述前向图像块池中的前向图像块在第四图像块序列中的排列顺序依次为：多个图像块中的任一图像块在所述第三图像块序列中的排序与该图像块对应的前向图像块在所述第四图像块序列中的排序相同。
183.步骤1012、将所述第三图像块序列和所述第四图像块序列输入光流预测网络模型，并根据所述光流预测网络模型的输出获取所述前向图像块池中的每一个前向图像块的光流。
184.s102、根据所述前向图像块池中的每一个前向图像块的光流对所述前向特征池中每一个前向图像块的特征进行处理，获取所述前向图像块池中的每一个前向图像块的对齐特征。
185.即，根据所述前向图像块池中的每一个前向图像块的光流，将所述前向特征池中每一个前向图像块的特征与在所述多个图像块中对应的图像块的特征对齐，从而获取所述前向图像块池中的每一个前向图像块的对齐特征。
186.s103、根据所述前向图像块池中的每一个前向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的前向特征。
187.作为本发明实施例一种可选的实施方式，上述步骤s83(根据所述前向图像块池中的每一个前向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的前向特征)包括：
188.通过残差块(residual block)对所述多个图像块中的每一个图像块和每一个图像块对应的前向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的前向特征。
189.参照图12所示，图12为用于实现根据所述前向图像块池和所述前向特征池，获取所述多个图像块中的每一个图像块的前向特征，以及根据所述多个图像块中的每一个图像块的前向特征获取所述目标图像帧的前向特征的前向特征获取模块的结构示意图，所述前向特征获取模块包括：光流预测网络模型121、特征对齐模块122、残差块123以及特征融合模块124。
190.其中，光流预测网络模型121根据输入的所述前向图像块池中前向图像块和分解待超分视频的目标图像帧得到的多个图像块输出所述前向图像块池中的每一个前向图像块的光流特征对齐模块122用于根据所述前向图像块池中的每一个前向图像块的光流将所述前向池中的每一个前向图像块的特征与所述目标图像帧对齐，获取所述前向图像块池中的每一个前向图像块的对齐特征残差块123用于根据所述前向图像块池中的每一个前向图像块的对齐特征和所述多个图像块获取所述多个图像块中的每一个图像块的前向特征特征融合模块124用于融合所述多个图像块中的每一个图像块的前向特征生成所述目标图像帧的前向特征
191.作为本发明实施例一种可选的实施方式，本发明实施例提供的视频超分方法还包括：
192.根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征对所述前向图像块池和所述前向特征池进行更新。
193.作为本发明实施例一种可选的实施方式，根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征对所述前向图像块池和所述前向特征池进行更新的一种实现方式包括如下步骤ⅰ和步骤ⅱ：
194.步骤ⅰ、判断所述前向图像块池中的每一个前向图像块的光流的绝对值是否大于预设阈值；
195.在上述步骤ⅰ中若所述前向图像块池中的第一前向图像块的光流的绝对值大于所述预设阈值，则执行如下步骤ⅱ。
196.步骤ⅱ、将所述前向图像块池中的所述第一前向图像块替换为所述第一前向图像块在所述多个图像块中对应的图像块，以及将所述前向特征池中所述第一前向图像块的特征替换为所述第一前向图像块在所述多个图像块中对应的图像块的前向特征。
197.参照图13所示，图13为所述前向特征获取模块还用于根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征对所述前向图像块池和所述前向特征池进行更新时，所述前向特征获取模块的结构示意图。所述前向特征获取模块包括：光流预测网络模型121、特征对齐模块122、残差块123、特征融合模块124以及更新模块125。
198.其中，光流预测网络模型121、特征对齐模块122、残差块123以及特征融合模块124的作用与图12中相同，再此不再赘述。更新模块125用于根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征将所述前向图像块池和所述前向特征池更新为前向图像块池和前向特征池并将前向图像块池和前向特征池作为对待超分视频的后一个图像帧进行处理时的前向图像块池和前向特征
池。
199.进一步的，参照图14所示，图14为本发明实施例提供的视频超分网络的网络结构图。参照图14所示，待超分视频的目标图像帧使用第t+1个图像帧更新的后向图像块池和后向特征池以及第t-1个图像帧更新的前向图像块池和前向特征池完成超分，并对再次对后向图像块池和后向特征池进行更新，以及将目标图像帧更新后的后向图像块池和后向特征池作为后一个图像帧(第t+1个图像帧)的后向图像块池和后向特征池将目标图像帧更新后的前向图像块池和前向特征池作为前一个图像帧(第t-1个图像帧)的前向图像块池和前向特征池
200.基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种视频的超分辨率装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的视频的超分辨率装置能够对应实现前述方法实施例中的全部内容。
201.本发明实施例提供了一种视频的超分辨率装置，图15为该视频的超分辨率装置的结构示意图，如图15所示，该视频的超分辨率装置1500包括：
202.图像分解模块151，用于将待超分视频的目标图像帧分解为多个图像块；
203.特征获取模块152，用于根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取所述目标图像帧的超分特征；
204.图像生成模块153，用于根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。
205.作为本发明实施例一种可选的实施方式，参照图16所示，所述特征获取模块152，包括：
206.后向特征获取单元1521，用于获取所述多个图像块中的每一个图像块的后向特征，任一图像块的后向特征为分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中与该图像块对应的图像块的特征；
207.前向特征获取单元1522，用于获取所述多个图像块中的每一个图像块的前向特征，任一图像块的前向特征为分解所述待超分视频中位于所述目标图像帧之前的图像帧得到的图像块中与该图像块对应的图像块的特征；
208.第一特征合并单元1523，用于根据所述多个图像块中的每一个图像块的后向特征，获取所述目标图像帧的后向特征；
209.第二特征合并单元1524，用于根据所述多个图像块中的每一个图像块的前向特征，获取所述目标图像帧的前向特征；
210.特征融合单元1525，用于根据所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的超分特征。
211.作为本发明实施例一种可选的实施方式，所述后向特征获取单元1521，具体用于获取后向图像块池和后向特征池，所述后向图像块池包括所述多个图像块中的每一个图像块对应的后向图像块；任一图像块对应的后向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中选取的图像块；所述后向特征
池包括所述后向图像块池中的每一个后向图像块的特征；根据所述后向图像块池和所述后向特征池，获取所述多个图像块中的每一个图像块的后向特征。
212.作为本发明实施例一种可选的实施方式，所述后向特征获取单元1521，具体用于获取所述后向图像块池中的每一个后向图像块的光流，任一后向图像块的光流为该后向图像块与该后向图像块在所述多个图像块中对应的图像块之间的光流；根据所述后向图像块池中的每一个后向图像块的光流对所述后向特征池中每一个后向图像块的特征进行处理，获取所述后向图像块池中的每一个后向图像块的对齐特征；根据所述后向图像块池中的每一个后向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的后向特征。
213.作为本发明实施例一种可选的实施方式，所述后向特征获取单元1521，具体用于根据所述多个图像块生成第一图像块序列，并根据所述后向图像块池中的后向图像块生成第二图像块序列；任一图像块在所述第一图像块序列中的排序与该图像块对应的后向图像块在所述第二图像块序列中的排序相同；将所述第一图像块序列和所述第二图像块序列输入光流预测网络模型，并根据所述光流预测网络模型的输出获取所述后向图像块池中的每一个后向图像块的光流。
214.作为本发明实施例一种可选的实施方式，所述后向特征获取单元1521，具体用于通过残差块对所述多个图像块中的每一个图像块和每一个图像块对应的后向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的后向特征。
215.作为本发明实施例一种可选的实施方式，所述后向特征获取单元1521，还用于根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征对所述后向图像块池和所述后向特征池进行更新。
216.作为本发明实施例一种可选的实施方式，所述后向特征获取单元1521，具体用于判断所述后向图像块池中的每一个后向图像块的光流的绝对值是否大于预设阈值；若所述后向图像块池中的第一后向图像块的光流的绝对值大于所述预设阈值，则将所述后向图像块池中的所述第一后向图像块替换为所述第一后向图像块在所述多个图像块中对应的图像块，以及将所述后向特征池中所述第一后向图像块的特征替换为所述第一后向图像块在所述多个图像块中对应的图像块的后向特征。
217.作为本发明实施例一种可选的实施方式，所述前向特征获取单元1522，具体用于获取前向图像块池和前向特征池，所述前向图像块池包括所述多个图像块中的每一个图像块对应的前向图像块；任一图像块对应的前向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之前的图像帧得到的图像块中选取的图像块；所述前向特征池包括所述前向图像块池中的每一个前向图像块的特征；根据所述前向图像块池和所述前向特征池，获取所述多个图像块中的每一个图像块的前向特征。
218.作为本发明实施例一种可选的实施方式，所述前向特征获取单元1522，具体用于获取所述前向图像块池中的每一个前向图像块的光流，任一前向图像块的光流为该前向图像块与该前向图像块在所述多个图像块中对应的图像块之间的光流；根据所述前向图像块池中的每一个前向图像块的光流对所述前向特征池中每一个前向图像块的特征进行处理，获取所述前向图像块池中的每一个前向图像块的对齐特征；根据所述前向图像块池中的每一个前向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的
前向特征。
219.作为本发明实施例一种可选的实施方式，所述前向特征获取单元1522，具体用于根据所述多个图像块生成第三图像块序列，并根据所述前向图像块池中的前向图像块生成第四图像块序列；任一图像块在所述第三图像块序列中的排序与该图像块对应的前向图像块在所述第四图像块序列中的排序相同；将所述第三图像块序列和所述第四图像块序列输入光流预测网络模型，并根据所述光流预测网络模型的输出获取所述前向图像块池中的每一个前向图像块的光流。
220.作为本发明实施例一种可选的实施方式，所述前向特征获取单元1522，具体用于通过残差块对所述多个图像块中的每一个图像块和每一个图像块对应的前向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的前向特征。
221.作为本发明实施例一种可选的实施方式，所述前向特征获取单元1522，还用于根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征对所述前向图像块池和所述前向特征池进行更新。
222.作为本发明实施例一种可选的实施方式，所述前向特征获取单元1522，具体用于判断所述前向图像块池中的每一个前向图像块的光流的绝对值是否大于预设阈值；若所述前向图像块池中的第一前向图像块的光流的绝对值大于所述预设阈值，则将所述前向图像块池中的所述第一前向图像块替换为所述第一前向图像块在所述多个图像块中对应的图像块，以及将所述前向特征池中所述第一前向图像块的特征替换为所述第一前向图像块在所述多个图像块中对应的图像块的前向特征。
223.作为本发明实施例一种可选的实施方式，所述特征处理单元153，具体用于合并所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的合并特征；对所述目标图像帧的合并特征进行上采样，获取所述目标图像帧的超分特征。
224.本实施例提供的视频的超分辨率装置可以执行上述方法实施例提供的视频的超分辨率方法，其实现原理与技术效果类似，此处不再赘述。
225.基于同一发明构思，本发明实施例还提供了一种电子设备。图17为本发明实施例提供的电子设备的结构示意图，如图17所示，本实施例提供的电子设备包括：存储器171和处理器172，所述存储器171用于存储计算机程序；所述处理器172用于在调用计算机程序时执行上述实施例提供的视频的超分辨率方法。
226.基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的视频的超分辨率方法。
227.基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的视频的超分辨率方法。
228.本领域技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
229.处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用
处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
230.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。
231.计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
232.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种视频的超分辨率方法，其特征在于，包括：将待超分视频的目标图像帧分解为多个图像块；根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取所述目标图像帧的超分特征；根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。2.根据权利要求1所述的方法，其特征在于，所述根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取所述目标图像帧的超分特征，包括：获取所述多个图像块中的每一个图像块的后向特征，任一图像块的后向特征为分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中与该图像块对应的图像块的特征；获取所述多个图像块中的每一个图像块的前向特征，任一图像块的前向特征为分解所述待超分视频中位于所述目标图像帧之前的图像帧得到的图像块中与该图像块对应的图像块的特征；根据所述多个图像块中的每一个图像块的后向特征，获取所述目标图像帧的后向特征；根据所述多个图像块中的每一个图像块的前向特征，获取所述目标图像帧的前向特征；根据所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的超分特征。3.根据权利要求2所述的方法，其特征在于，所述获取所述多个图像块中的每一个图像块的后向特征，包括：获取后向图像块池和后向特征池，所述后向图像块池包括所述多个图像块中的每一个图像块对应的后向图像块；任一图像块对应的后向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之后的图像帧得到的图像块中选取的图像块；所述后向特征池包括所述后向图像块池中的每一个后向图像块的特征；根据所述后向图像块池和所述后向特征池，获取所述多个图像块中的每一个图像块的后向特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述后向图像块池和所述后向特征池，获取所述多个图像块中的每一个图像块的后向特征，包括：获取所述后向图像块池中的每一个后向图像块的光流，任一后向图像块的光流为该后向图像块与该后向图像块在所述多个图像块中对应的图像块之间的光流；根据所述后向图像块池中的每一个后向图像块的光流对所述后向特征池中每一个后向图像块的特征进行处理，获取所述后向图像块池中的每一个后向图像块的对齐特征；根据所述后向图像块池中的每一个后向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的后向特征。5.根据权利要求4所述的方法，其特征在于，所述获取所述后向图像块池中的每一个后向图像块的光流，包括：根据所述多个图像块生成第一图像块序列，并根据所述后向图像块池中的后向图像块生成第二图像块序列；任一图像块在所述第一图像块序列中的排序与该图像块对应的后向图像块在所述第二图像块序列中的排序相同；
将所述第一图像块序列和所述第二图像块序列输入光流预测网络模型，并根据所述光流预测网络模型的输出获取所述后向图像块池中的每一个后向图像块的光流。6.根据权利要求4所述的方法，其特征在于，所述根据所述后向图像块池中的每一个后向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的后向特征，包括：通过残差块对所述多个图像块中的每一个图像块和每一个图像块对应的后向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的后向特征。7.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征对所述后向图像块池和所述后向特征池进行更新。8.根据权利要求7所述的方法，其特征在于，所述根据所述多个图像块和所述多个图像块中的每一个图像块的后向特征对所述后向图像块池和所述后向特征池进行更新，包括：判断所述后向图像块池中的每一个后向图像块的光流的绝对值是否大于预设阈值；若所述后向图像块池中的第一后向图像块的光流的绝对值大于所述预设阈值，则将所述后向图像块池中的所述第一后向图像块替换为所述第一后向图像块在所述多个图像块中对应的图像块，以及将所述后向特征池中所述第一后向图像块的特征替换为所述第一后向图像块在所述多个图像块中对应的图像块的后向特征。9.根据权利要求2所述的方法，其特征在于，所述获取所述多个图像块中的每一个图像块的前向特征，包括：获取前向图像块池和前向特征池，所述前向图像块池包括所述多个图像块中的每一个图像块对应的前向图像块；任一图像块对应的前向图像块为基于预设选取规则从分解所述待超分视频中位于所述目标图像帧之前的图像帧得到的图像块中选取的图像块；所述前向特征池包括所述前向图像块池中的每一个前向图像块的特征；根据所述前向图像块池和所述前向特征池，获取所述多个图像块中的每一个图像块的前向特征。10.根据权利要求9所述的方法，其特征在于，所述根据所述前向图像块池和所述前向特征池，获取所述多个图像块中的每一个图像块的前向特征，包括：获取所述前向图像块池中的每一个前向图像块的光流，任一前向图像块的光流为该前向图像块与该前向图像块在所述多个图像块中对应的图像块之间的光流；根据所述前向图像块池中的每一个前向图像块的光流对所述前向特征池中每一个前向图像块的特征进行处理，获取所述前向图像块池中的每一个前向图像块的对齐特征；根据所述前向图像块池中的每一个前向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的前向特征。11.根据权利要求10所述的方法，其特征在于，所述获取所述前向图像块池中的每一个前向图像块的光流，包括：根据所述多个图像块生成第三图像块序列，并根据所述前向图像块池中的前向图像块生成第四图像块序列；任一图像块在所述第三图像块序列中的排序与该图像块对应的前向图像块在所述第四图像块序列中的排序相同；将所述第三图像块序列和所述第四图像块序列输入光流预测网络模型，并根据所述光
流预测网络模型的输出获取所述前向图像块池中的每一个前向图像块的光流。12.根据权利要求10所述的方法，其特征在于，所述根据所述前向图像块池中的每一个前向图像块的对齐特征和所述多个图像块，获取所述多个图像块中的每一个图像块的前向特征，包括：通过残差块对所述多个图像块中的每一个图像块和每一个图像块对应的前向图像块的对齐特征进行处理，获取所述多个图像块中的每一个图像块的前向特征。13.根据权利要求9所述的方法，其特征在于，所述方法还包括：根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征对所述前向图像块池和所述前向特征池进行更新。14.根据权利要求13所述的方法，其特征在于，所述根据所述多个图像块和所述多个图像块中的每一个图像块的前向特征对所述前向图像块池和所述前向特征池进行更新，包括：判断所述前向图像块池中的每一个前向图像块的光流的绝对值是否大于预设阈值；若所述前向图像块池中的第一前向图像块的光流的绝对值大于所述预设阈值，则将所述前向图像块池中的所述第一前向图像块替换为所述第一前向图像块在所述多个图像块中对应的图像块，以及将所述前向特征池中所述第一前向图像块的特征替换为所述第一前向图像块在所述多个图像块中对应的图像块的前向特征。15.根据权利要求2-14任一项所述的方法，其特征在于，所述根据所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的超分特征，包括：合并所述目标图像帧的后向特征和前向特征，获取所述目标图像帧的合并特征；对所述目标图像帧的合并特征进行上采样，获取所述目标图像帧的超分特征。16.一种视频的超分辨率装置，其特征在于，包括：图像分解模块，用于将待超分视频的目标图像帧分解为多个图像块；特征获取模块，用于根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块的特征，获取所述多个图像块中的每一个图像块的超分特征；特征处理模块，用于根据所述多个图像块中的每一个图像块的超分特征，获取所述目标图像帧的超分特征；图像生成模块，用于根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。17.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行所述计算机程序时，使得所述电子设备实现权利要求1-15任一项所述的视频的超分辨率方法。18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-15任一项所述的视频的超分辨率方法。19.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如权利要求1-15任一项所述的视频的超分辨率方法。

技术总结
本发明实施例提供了一种视频的超分辨率方法及装置，涉及图像处理技术领域。该方法包括：将待超分视频的目标图像帧分解为多个图像块；根据所述多个图像块和分解所述待超分视频中的其它图像帧得到的图像块，获取所述目标图像帧的超分特征；根据所述目标图像帧的超分特征，获取所述目标图像帧对应的超分图像帧。本发明实施例用于视频超分。发明实施例用于视频超分。发明实施例用于视频超分。


技术研发人员：董航
受保护的技术使用者：北京字节跳动网络技术有限公司
技术研发日：2022.03.17
技术公布日：2023/9/22