图像编码方法、系统、设备及介质与流程

1.本公开涉及图像处理领域，尤其涉及一种图像编码方法、系统、设备及介质。


背景技术：

2.图像编码是一种在满足一定质量(信噪比的要求或主观评价得分等)的条件下，以较少比特数表示图像或图像中所包含信息的技术。随着深度学习的块速发展，图像编码从最初的采用卷积神经网络编码，到采用最近流行的基于transformer(一种神经网络)结构的编码。
3.而现有技术中的图像编码技术都只能表达图像的视觉信息，而仅仅依赖视觉信息的图像编码对于图像信息的表达不准确，不利于下游任务对图像编码的应用。
4.公开内容
5.本公开要解决的技术问题是为了克服现有技术中图像编码对于图像信息的表达不准确的缺陷，提供一种图像编码方法、系统、设备及介质。
6.本公开是通过下述技术方案来解决上述技术问题：
7.第一方面，提供一种图像编码方法，所述方法包括：
8.获取待处理的图像；
9.将所述图像划分为多个区域块，并确定所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布；
10.确定所述图像的图像视觉信息及图像语义信息，所述图像视觉信息根据每个所述区域块的区域视觉信息生成，所述图像语义信息根据每个所述区域块在语义标签上的概率分布生成；
11.根据所述图像语义信息及所述图像视觉信息对图像进行编码，得到图像编码。
12.较佳地，将所述图像划分为多个区域块，并输出所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布，包括：
13.通过预训练的划分模型将所述图像划分为多个区域块，所述划分模型还用于确定所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布。
14.较佳地，确定所述图像的图像视觉信息及图像语义信息，包括：
15.将每个所述区域块在语义标签上的概率分布输入至语义生成算法，得到每个区域块的区域语义信息；
16.对所述图像的每个区域块的区域语义信息进行组合，得到所述图像的图像语义信息。
17.较佳地，确定所述图像的图像视觉信息及图像语义信息，包括：
18.对所述图像的每个区域块的区域视觉信息进行组合，得到所述图像的图像视觉信息。
19.较佳地，根据所述图像语义信息及所述图像视觉信息对图像进行编码，得到图像编码，包括：
20.将所述图像语义信息及所述图像视觉信息输入至编码器进行编码，得到所述图像编码，所述图像视觉信息作为所述编码器的输入，所述图像语义信息作为所述编码器的query(查询)信息。
21.较佳地，所述编码器包括多个编码块，每个所述编码块的输出作为下一个编码块的输入。
22.较佳地，所述编码块至少包括一个子编码模块，所述子编码模块采用语义多头注意力机制，所述子编码模块用于通过所述图像语义信息指导所述图像视觉信息进行编码，以得到所述图像编码。
23.第二方面，提供一种图像编码装置，所述装置包括：
24.获取模块，用于获取待处理的图像；
25.划分模块，用于将所述图像划分为多个区域块，并确定所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布；
26.语义信息生成模块，用于确定所述图像的图像视觉信息及图像语义信息，所述图像视觉信息根据每个所述区域块的区域视觉信息生成，所述图像语义信息根据每个所述区域块在语义标签上的概率分布生成；
27.编码模块，用于根据所述图像语义信息及所述图像视觉信息对图像进行编码，得到图像编码。
28.第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项所述的方法。
29.第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。
30.在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本公开各较佳实施例。
31.本公开的积极进步效果在于：通过图像中的图像语义信息及图像视觉信息指导所述图像编码，在图像编码过程中引入其他模态的信息作为指导，例如图像语义信息，实现多模态信息的融合，能够使得图像编码更丰富、更准确，能够扩展于各种图像任务重，提升编码在下游的应用率；另外，通过区域块确定图像视觉信息和图像语义信息，能够提升图像编码的准确率。
附图说明
32.图1为本公开一示例性实施例提供的一种图像编码方法的流程图；
33.图2为本公开一示例性实施例提供的划分模型的结构示意图；
34.图3为本公开一示例性实施例提供的编码器的框架示意图；
35.图4为本公开一示例性实施例提供的编码块的结构示意图；
36.图5为本公开一示例性实施例提供的一种图像编码装置的模块图；
37.图6为本公开一示例性实施例提供的一种电子设备的结构示意图。
具体实施方式
38.下面通过一示例性实施例的方式进一步说明本公开，但并不因此将本公开限制在的实施例范围之中。
39.本公开一示例性实施例提供一种图像编码方法，参见图1，方法包括：
40.s11、获取待处理的图像。
41.s12、将图像划分为多个区域块，并确定区域块的区域视觉信息及区域块在语义标签上的概率分布。
42.一般在图像识别过程中，将图像转化为更为方便获取其内容的某种表示形式，即称之为视觉信息，具体可以包括图像中每个像素点的明暗程度或者颜色等等。视觉信息的获取方法包括但不限于边缘检测、轮廓检测、sift(尺度不变特征变换)、hog(方向梯度直方图)等等。现有技术中的图像编码一般都是通过视觉信息进行编码得到。
43.其中，区域视觉信息可以是图像中每个区域块的视觉信息。语义标签的数量可以包括多个，语义标签上的概率分布即每个区域块在每个语义标签上对应的概率值，每个区域块均有一个视觉信息及在语义标签上的概率分布相对应。例如，一个区域块中包含茶杯，其语义标签可以是“茶具”、“水杯”等，语义标签上的概率分布即指，该区域块在“茶具”上的概率值及该区域块在“水杯”上的概率值。
44.在一个实施例中，参见图2，步骤s20具体包括：
45.通过预训练的划分模型将图像划分为多个区域块，划分模型还用于确定区域块的区域视觉信息及区域块在语义标签上的概率分布。
46.其中，划分模型可以是采用faster r-cnn(一种卷积神经网络)结构在visual genome(大规模图片语义理解数据集)数据集上训练得到的，划分模型可以提取图像中的重要信息/重要元素，并根据重要信息/重要元素将图像划分为多个区域块，同时划分模型的输出结果中包括每个区域块的区域视觉信息及区域块在语义标签上的概率分布。
47.将图像划分为多个区域块的目的在于，一方面区域块能够更好的表征图像中所包含的重要信息，另一方面通过区域块的形式能够提升图像表征结果的精度。
48.s13、确定图像的图像视觉信息及图像语义信息。
49.其中，图像视觉信息根据每个区域块的区域视觉信息生成，图像语义信息根据每个区域块在语义标签上的概率分布生成。图像的图像视觉信息和图像语义信息由图像所包含的区域块的区域视觉信息以及区域语义信息所组合而成。
50.在一个实施例中，步骤s13中确定图像的图像视觉信息，具体包括：
51.对图像的每个区域块的区域视觉信息进行组合，得到图像的图像视觉信息。
52.即图像视觉信息征vi∈rn×d，其中，vi表示图像视觉信息，r表示区域视觉信息，n表示图像包含的区域块的数量，d表示每个区域块的维度。
53.在一个实施例中，步骤s13中确定图像的图像语义信息，包括：
54.将每个区域块在语义标签上的概率分布输入至语义生成算法，得到每个区域块的区域语义信息，对图像的每个区域块的区域语义信息进行组合，得到图像的图像语义信息。
55.其中，语义生成算法一般可以是语义生成器，将每个区域块的语义标签及对应的概率值输入至语义生成器中，即可得到区域语义信息。
56.由于每个区域块可能有多个语义标签及对应的概率值，通过语义生成算法生成区
域语义信息的方式，能够综合考虑每个语义标签及其概率值，通过区域语义信息对于区域块中重要信息的表征更为准确，提升图像编码的准确度。
57.在一个实施例中，区域语义信息及图像语义信息可以通过向量矩阵的形式进行表征，步骤s13中可以采取将区域语义信息的向量矩阵写入图像语义信息的向量矩阵的对应位置的方式，将图像的每个区域块的区域语义信息进行组合以得到图像语义信息。
58.以下通过一种具体实施方式对图像语义信息的生成进行说明：
59.语义标签可以是经过如glove(词表示的全局向量)或bert(基于变形的双向编码器)等编码结构进行文本编码并进行线性映射后得到。
60.因此，语义标签的表现形式为v
l
∈r
l
×d，其中，l为语义标签的数量。第i个区域块在语义标签上的概率分布可表示为pi∈r1×
l
。
61.根据上述方式得到的语义标签及概率分布可以得到第i个区域块的语义信息为v
si
＝pi*v
l
，其中，*表示矩阵相乘，v
si
∈r1×d。
62.在得到每个区域块的区域语义信息后，按照区域块在图像中的位置对区域语义信息进行组合，即可得到图像语义信息vs＝{v
s1
,v
s2
,
…
,v
sn
}∈rn×d。
63.s14、根据图像语义信息及图像视觉信息对图像进行编码，得到图像编码。
64.其中，图像编码可以通过编码器对图像语义信息和图像视觉信息进行编码得到，编码器可以是transformer模型、霍夫曼编码算法、算数编码等实现，但不局限于此，具体可根据实际情况进行选择。
65.在一个实施例中，以transformer模型作为编码器为例，步骤s14具体包括：
66.将图像语义信息及图像视觉信息输入至编码器进行编码，得到图像编码。
67.其中，图像视觉信息作为编码器的输入，图像语义信息作为编码器的输入信息并作为query信息，query信息即可以理解为query向量，以图像语义信息作为query信息，图像语义信息能够图像编码进行指导，使得最终所得到的图像编码能够融合更有效的多模态信息，例如语义信息等，丰富图像编码的多样性和包容性。
68.在一可实施方式中，参见图3，编码器包括多个编码块，每个编码块的输出作为下一个编码块的输入，每个编码块均输入图像语义信息，这样在进行图像编码的过程中，可以得到图像语义信息的持续指导。
69.因此，每个编码块的输出如下所示：vi＝fi(v
i-1
,vs),i∈{1,2,
…
,m}，其中，vi表示第i个编码块的输出。
70.另外，每个编码块至少包括一个子编码模块，子编码模块采用语义多头注意力机制，子编码模块用于通过图像语义信息指导图像视觉信息进行编码，以得到图像编码。
71.在一可实施方式中，编码块的具体结构参见图4，本实施方式中提供的编码块包括两个子编码模块。
72.第一个子编码模块采用语义多头注意力机制(semantic multi-head attention，s-mha)，即通过图像语义信息来指导图像视觉信息进行编码得到图像编码，语义多头注意力机制的表示形式如下所示：
73.f
s-mha
＝fc(v
h1
,v
h2
,
…
,v
hh
)wo[0074]vhi
＝fs(vswq,v
i-1
wk,v
i-1
wv)
[0075]
其中，fc表示拼接操作，v
hi
表示第i个头，i∈{1,2,
…
,h}，h表示头的个数，fs表示
自注意力(self-attention)机制，wo,wq,wk,wv表示子编码模块要学习的参数。
[0076]
第二个子编码模块采用的是标准的多头注意力机制(multi-head attention，mha)。
[0077]
第一个子编码模块和第二个子编码模块均对输入进行归一化、加和、多层感知机等操作。假设第i个编码块的第一个子编码模块输出的中间变量为v
mi
，则编码块的结构可以表示为：
[0078]v′
mi
＝f
norm
(v
i-1
+f
s-mha
(f
norm
(v
i-1
),vs))
[0079]vmi
＝v
′
mi
+f
mlp
(v
′
mi
)
[0080]v′i＝f
norm
(v
mi
+f
s-mha
(f
norm
(v
mi
,v
mi
)))
[0081]vi
＝v
′i+f
mlp
(v
′i)
[0082]
其中，f
norm
表示归一化操作，f
mlp
表示多层感知机制，v
′
mi
与v
′i分别是第一子编码模块和第二子编码模块中每一层的中间变量。
[0083]
经过本实施例中所提供的编码器可以将图像通过维度为n
×
d且带有图像语义信息的图像编码进行表征，以实现图像编码的多模态融合，在各种图像下游任务的应用中，可以提升图像编码的准确性和应用率。
[0084]
本公开一示例性实施例提供一种图像编码装置，参见图5，装置包括：
[0085]
获取模块51，用于获取待处理的图像；
[0086]
划分模块52，用于将图像划分为多个区域块，并确定区域块的区域视觉信息及区域块在语义标签上的概率分布；
[0087]
语义信息生成模块53，用于确定图像的图像视觉信息及图像语义信息，图像视觉信息根据每个区域块的区域视觉信息生成，图像语义信息根据每个区域块在语义标签上的概率分布生成；
[0088]
编码模块54，用于根据图像语义信息及图像视觉信息对图像进行编码，得到图像编码。
[0089]
在一个实施例中，划分模块52还用于通过预训练的划分模型将图像划分为多个区域块，划分模型还用于确定区域块的区域视觉信息及区域块在语义标签上的概率分布。
[0090]
在一个实施例中，语义信息生成模块53包括：
[0091]
输入单元，用于将每个区域块在语义标签上的概率分布输入至语义生成算法，得到每个区域块的区域语义信息；
[0092]
组合单元，用于对图像的每个区域块的区域语义信息进行组合，得到图像的图像语义信息。
[0093]
在一个实施例中，语义信息生成模块53还用于对图像的每个区域块的区域视觉信息进行组合，得到图像的图像视觉信息。
[0094]
在一个实施例中，编码模块54，还用于将图像语义信息及图像视觉信息输入至编码器进行编码，得到图像编码，图像视觉信息作为编码器的输入，图像语义信息作为编码器的query信息。
[0095]
在一个实施例中，编码器包括多个编码块，每个编码块的输出作为下一个编码块的输入。
[0096]
在一个实施例中，编码块至少包括一个子编码模块，子编码模块采用语义多头注
意力机制，子编码模块用于通过图像语义信息指导图像视觉信息进行编码，以得到图像编码。
[0097]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0098]
图6为本公开一示例实施例提供的一种电子设备的结构图，图6显示的电子设备60仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0099]
如图6所示，电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。
[0100]
总线63包括数据总线、地址总线和控制总线。
[0101]
存储器62可以包括易失性存储器，例如随机存取存储器(ram)621和/或高速缓存存储器622，还可以进一步包括只读存储器(rom)623。
[0102]
存储器62还可以包括具有一组(至少一个)程序模块624的程序工具626(或实用工具)，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0103]
处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的方法。
[0104]
电子设备60也可以与一个或多个外部设备64通信。这种通信可以通过输入/输出(i/o)接口65进行。并且，模型生成的电子设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与模型生成的电子设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
[0105]
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
[0106]
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现上述任一实施例所提供的方法。
[0107]
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
[0108]
在可能的实施方式中，本公开实施例还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现上述任一
实施例的方法。
[0109]
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
[0110]
虽然以上描述了本公开的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本公开的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本公开的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本公开的保护范围。

技术特征：
1.一种图像编码方法，其特征在于，所述方法包括：获取待处理的图像；将所述图像划分为多个区域块，并确定所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布；确定所述图像的图像视觉信息及图像语义信息，所述图像视觉信息根据每个所述区域块的区域视觉信息生成，所述图像语义信息根据每个所述区域块在语义标签上的概率分布生成；根据所述图像语义信息及所述图像视觉信息对图像进行编码，得到图像编码。2.如权利要求1所述的图像编码方法，其特征在于，将所述图像划分为多个区域块，并输出所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布，包括：通过预训练的划分模型将所述图像划分为多个区域块，所述划分模型还用于确定所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布。3.如权利要求1所述的图像编码方法，其特征在于，确定所述图像的图像视觉信息及图像语义信息，包括：将每个所述区域块在语义标签上的概率分布输入至语义生成算法，得到每个区域块的区域语义信息；对所述图像的每个区域块的区域语义信息进行组合，得到所述图像的图像语义信息。4.如权利要求1所述的图像编码方法，其特征在于，确定所述图像的图像视觉信息及图像语义信息，包括：对所述图像的每个区域块的区域视觉信息进行组合，得到所述图像的图像视觉信息。5.如权利要求1所述的图像编码方法，其特征在于，根据所述图像语义信息及所述图像视觉信息对图像进行编码，得到图像编码，包括：将所述图像语义信息及所述图像视觉信息输入至编码器进行编码，得到所述图像编码，所述图像视觉信息作为所述编码器的输入，所述图像语义信息作为所述编码器的query信息。6.如权利要求5所述的图像编码方法，其特征在于，所述编码器包括多个编码块，每个所述编码块的输出作为下一个编码块的输入。7.如权利要求6所述的图像编码方法，其特征在于，所述编码块至少包括一个子编码模块，所述子编码模块采用语义多头注意力机制，所述子编码模块用于通过所述图像语义信息指导所述图像视觉信息进行编码，以得到所述图像编码。8.一种图像编码装置，其特征在于，所述装置包括：获取模块，用于获取待处理的图像；划分模块，用于将所述图像划分为多个区域块，并确定所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布；语义信息生成模块，用于确定所述图像的图像视觉信息及图像语义信息，所述图像视觉信息根据每个所述区域块的区域视觉信息生成，所述图像语义信息根据每个所述区域块在语义标签上的概率分布生成；编码模块，用于根据所述图像语义信息及所述图像视觉信息对图像进行编码，得到图像编码。
9.一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

技术总结
本公开提供了一种图像编码方法、系统、设备及介质，所述方法包括：获取待处理的图像；将所述图像划分为多个区域块，并确定所述区域块的区域视觉信息及所述区域块在语义标签上的概率分布；确定所述图像的图像视觉信息及图像语义信息，所述图像视觉信息根据每个所述区域块的区域视觉信息生成，所述图像语义信息根据每个所述区域块在语义标签上的概率分布生成；根据所述图像语义信息及所述图像视觉信息对图像进行编码，得到图像编码。本公开能够使得图像编码更丰富、更准确，能够扩展于各种图像任务重，提升编码在下游的应用率；另外，通过区域块确定图像视觉信息和图像语义信息，能够提升图像编码的准确率。升图像编码的准确率。升图像编码的准确率。


技术研发人员：王晓梅 沈旭立 虞钉钉 曹培
受保护的技术使用者：华院计算技术（上海）股份有限公司
技术研发日：2023.07.18
技术公布日：2023/10/8