一种图像增强方法、装置、设备和介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种图像增强方法、装置、设备和介质。


背景技术：

2.一般的，图像增强的目的是通过修饰色彩和色调来提高照片的美学视觉质量，是专业数码摄影的一项基本技术。随着低水平计算机视觉领域和数字摄影的快速发展，人们对于高质量图像的需求日益提高。然而，由于光照、天气、相机传感器、摄影师技能和其他因素的影响，拍摄的数字照片仍然存在低质量问题。而通过专家手工进行修图的方法成本过高，因此，通常可通过后处理来达到对低质量图像进行增强。
3.现有的图像增强方法，主要是建立图像增强过程的物理模型，诸如滤波算子、色彩变换曲线、3d查找表等，借助深度学习网络来估计相应物理模型中的参数，实现基于物理模型的图像增强。其中，查找表得益于其简单的结构和高有效性被广泛认可。现有的基于3d查找表的图像增强方法，主要是将待增强图像中的三维rgb像素颜色作为索引，为图像中所有像素颜色的增强映射构建一个统一的增强器。但是这样的增强器忽略了像素之间的差异，图像增强效果较差。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种图像增强方法、装置、设备和介质。
5.本说明书采用下述技术方案：
6.本说明书提供了一种图像增强方法，包括：
7.获取待增强的目标图像，其中，目标图像为rgb三通道色彩图像；
8.通过图像增强模型确定目标图像对应的色度融合权重和亮度偏置；根据目标图像对应的色度融合权重和亮度偏置，对多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表，其中，4d查找表的索引包括色彩索引和像素语义索引；
9.通过图像增强模型对目标图像进行上下文特征提取，获得目标图像的上下文特征图；将上下文特征图与目标图像在通道维度上进行拼接，得到包括色彩通道和上下文特征通道的四通道目标图像；
10.针对目标图像每个像素，根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，并根据目标4d查找表对目标图像进行增强。
11.可选地，所述多个基准4d查找表，具体包括：
[0012][0013]
其中，n
lut
为基准4d查找表的数量，ψn为第n个基准4d查找表，为红色的色彩空间，为绿色的色彩空间，为蓝色的色彩空间。
[0014]
可选地，根据下式对多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表：
[0015][0016][0017][0018][0019][0020]
其中，为融合后的目标4d查找表，为融合后红色的色彩空间，为融合后绿色的色彩空间，为融合后蓝色的色彩空间，w为色度融合权重，nw为色度融合权重个数，wn为第n个色度融合权重，b为亮度偏置，nb为亮度偏置个数，bn为第n个亮度偏置。
[0021]
可选地，所述根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，具体包括：
[0022]
确定像素在四通道目标图像中色彩通道的像素值，作为基于目标4d查找表进行图像增强时的色彩索引；
[0023]
确定像素在四通道目标图像中上下文特征通道的像素值，作为基于目标4d查找表进行图像增强时的像素语义索引。
[0024]
可选地，所述根据目标4d查找表对目标图像进行增强之前，还包括：
[0025]
通过采样的方式对目标4d查找表进行压缩。
[0026]
可选地，所述根据目标4d查找表对目标图像进行增强，具体包括：
[0027]
根据确定得到的色彩索引和像素语义索引，从目标4d查找表中确定对该像素进行增强时所用到的各采样点；
[0028]
根据各采样点在色彩空间中的位置，通过四线性插值法确定对该像素进行偏差修正后的增强结果。
[0029]
可选地，根据4d平滑正则损失、4d单调损失以及像素级重构损失对所述图像增强模型和基准4d查找表进行训练；其中，根据插值过程确定4d平滑正则损失和4d单调损失，根据训练前标注的增强结果图像与训练过程得到的训练增强图像之间的偏差确定像素级重构损失。
[0030]
可选地，根据下式确定所述4d平滑正则损失：
[0031][0032][0033][0034]
根据下式确定所述4d单调损失：
[0035][0036][0037]
根据下式确定所述像素级重构损失：
[0038][0039]
其中，ls为4d平滑正则损失，为4d查找表的平滑正则损失，为色度融合权重和亮度偏置的平滑正则损失，为目标4d查找表中的采样点({i,i+1},{j,j+1},{k,k+1},{l,l+1})对应的色彩像素值，|| ||为取绝对值，g()表示relu激活函数，lr为像素级重构损失，n
bs
为样本图像数量，i
gt
为标注的增强结果图像，i
output
为预测增强图像。
[0040]
本说明书提供了一种图像增强装置，包括：
[0041]
获取模块，用于获取待增强的目标图像，其中，目标图像为rgb三通道色彩图像；
[0042]
融合模块，用于通过图像增强模型确定目标图像对应的色度融合权重和亮度偏置；根据目标图像对应的色度融合权重和亮度偏置，对多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表，其中，4d查找表的索引包括色彩索引和像素语义索引；
[0043]
拼接模块，用于通过图像增强模型对目标图像进行上下文特征提取，获得目标图像的上下文特征图；将上下文特征图与目标图像在通道维度上进行拼接，得到包括色彩通道和上下文特征通道的四通道目标图像；
[0044]
增强模块，用于针对目标图像每个像素，根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，并根据目标4d查找表对目标图像进行增强。
[0045]
本说明书提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像增强方法。
[0046]
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
[0047]
先获取待增强的rgb三通道目标图像，然后根据目标图像对应的色度融合权重和亮度偏置，对预设的多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表，其中，4d查找表包括色彩索引和像素语义索引，接着获取目标图像的上下文特征图，并将上下文特征图与目标图像在通道维度进行拼接，得到包括色彩通道和上下文特征通道的四通道目标图像，最后针对目标图像每个像素，根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，以根据目标4d查找表对目标图像进行增强。
[0048]
本发明中目标图像对应的目标4d查找表可输入色彩索引和像素语义索引，确定该像素语义下，对该色彩的修正后的色彩输出。当输入的像素语义索引不同时，即使输入的色彩索引相同，修正后的色彩输出也不同。于是通过将三通道目标图像转化为携带语义信息的四通道目标图像，再根据四通道目标图像确定各像素的rgb色彩像素值和各像素的上下文特征对应的像素值，将各像素值对应确定为色彩索引和像素语义索引，从而根据目标图像对应的目标4d查找表进行差异化增强，提高了图像增强效果。
附图说明
[0049]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0050]
图1为本说明书提供的一种图像增强方法流程示意图；
[0051]
图2为本说明书提供的一种目标4d查找表示意图；
[0052]
图3为本说明书提供的一种基于可学习的上下文相关的4d查找表的图像增强方法的示意图；
[0053]
图4为本说明书提供的一种上下文特征图的图像表示和增强后的效果对比图；
[0054]
图5为本说明书提供的一种图像增强装置示意图；
[0055]
图6为本说明书提供的一种实现图像增强方法的计算机设备示意图。
具体实施方式
[0056]
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0057]
现有的图像增强方法大致可以分为两种，其一是通过直接搭建由卷积层组成的深度学习网络和设定待增强和增强图像之间逐像素的损失函数来让网络根据数据集特性来学习端到端的图像增强，但是这种完全依赖深度网络的方法有效性较低，缺乏图像增强过程的可解释性。
[0058]
其二是建立图像增强过程的物理模型，诸如滤波算子、色彩变换曲线、3d查找表等，以3d查找表为例，现有的基于3d查找表的图像增强方法，主要是将待增强图像中的三维rgb像素颜色作为索引，为图像中所有像素颜色的增强映射构建一个统一的增强器。然而这样的增强器却忽略了不同图像内容(如天空、海洋等)之间的像素语义差异，图像增强效果较差，即天空与海洋的像素颜色相近，然而本质上对应不同的像素语义，需要不同的增强策略。
[0059]
综上，亟需一种针对低质量图像不同语义进行差异化增强的图像增强方法，以提高图像增强效果。
[0060]
以下结合附图，详细说明本技术各实施例提供的技术方案。
[0061]
图1为本说明书中一种图像增强方法流程示意图，具体包括以下步骤：
[0062]
s101：获取待增强的目标图像，其中，目标图像为rgb三通道色彩图像。
[0063]
在实际应用中，业务平台的服务器在进行图像增强业务时，可先获取待增强的目标图像，其中，目标图像可以是在rgb色彩模式下，由红色、绿色以及蓝色三个通道组成，通过三个通道共同作用产生完整的图像。
[0064]
本说明书中提到的服务器可以是设置于业务平台的服务器，或能执行本说明书方案的诸如台式机、笔记本电脑等设备。为了方便说明，下面仅以服务器为执行主体进行说明。
[0065]
s102：通过图像增强模型确定目标图像对应的色度融合权重和亮度偏置，根据目标图像对应的色度融合权重和亮度偏置，对多个基准4d查找表进行融合，得到目标图像对
应的目标4d查找表。
[0066]
在获取到待增强的目标图像后，服务器可先确定目标图像对应的色度融合权重和亮度偏置，然后根据目标图像对应的色度融合权重和亮度偏置，对预设的多个基准4d查找表进行融合，从而得到目标图像对应的目标4d查找表，以进一步基于目标4d查找表，分别确定目标图像中不同像素语义分别对应的像素的偏差并进行增强。
[0067]
其中，图像增强模型可包括预先训练的基于深度神经网络的参数编码器，对应的，服务器确定目标图像对应的色度融合权重和亮度偏置时，可通过预先训练的基于深度神经网络的参数编码器确定，这里所说的参数编码器可通过深度神经网络学习大量样本集特征，从而在更具泛化性的场景中能提取出不同图像对应的自适应的色度融合权重w和对应亮度偏置b。
[0068]
具体的，在本说明书一个或多个实施例中，参数编码器可包括残差网络和卷积核，例如，服务器可将目标图像输入预先训练的由残差块组成的18层残差网络，获取目标图像的中间特征图，并将得到的中间特征图通过预先训练的大小为1
×
1卷积核进行卷积，从而确定目标图像对应的色度融合权重和亮度偏置。
[0069]
当然了，上述仅为举例说明，对于通过深度神经网络确定不同图像对应的自适应的色度融合权重和对应亮度偏置，已有较为成熟的技术实现，此处不再赘述。
[0070]
在得到目标图像对应的色度融合权重和亮度偏置后，服务器可基于此，对预设的多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表。
[0071]
其中，基准4d查找表和融合得到的目标4d查找表，相比于3d查找表只有rgb色彩索引而言，增加了像素语义索引。即，4d查找表的索引包括rgb色彩索引和像素语义索引。
[0072]
于是，对于本方案的4d查找表，可通过rgb色彩索引加上像素语义索引，以四维索引的输入，得到对应输入的像素语义索引的，针对输入的rgb色彩索引对应的输入色彩进行偏差修正后的三维色彩输出，从而使得不同像素语义对应的rgb色彩输入，通过不同程度的偏差修正具有不同的增强策略。
[0073]
进一步的，在本说明书一个或多个实施例中，由于待增强的图像质量良莠不齐，因此，通常可预设多个基准4d查找表，从而针对目标图像的质量，确定各基准4d查找表在各色彩空间的色度融合权重以及亮度偏置，以对各基准4d查找表在各色彩空间进行加权融合。需要说明的是，这里所说的融合是指对4d查找表在输出的各色彩空间层面的融合。
[0074]
可通过下式表示多个基准4d查找表：
[0075][0076]
其中，n
lut
为基准4d查找表的数量，ψn为第n个基准4d查找表，为红色的色彩空间，为绿色的色彩空间，为蓝色的色彩空间。
[0077]
可通过下式对各基准4d查找表在输出的色彩空间层面进行融合：
[0078][0079]
[0080][0081][0082][0083]
其中，为融合后的目标4d查找表，为融合后红色的色彩空间，为融合后绿色的色彩空间，为融合后蓝色的色彩空间，w为色度融合权重，nw为色度融合权重个数，ωn为第n个色度融合权重，b为亮度偏置，nb为亮度偏置个数，bn为第n个亮度偏置。
[0084]
图2为本说明书中一种目标4d查找表示意图。图2中展示了融合得到的不同像素语义索引分别对应的4d查找表，其中，c
min
表示语义索引值为最小值时的情况，c
max
表示语义索引值为最大值时的情况，由于篇幅有限，仅选取了语义索引值为最小最大时的两种情况，来展示像素语义索引值不同时，4d查找表也对应有所不同。以c
min
对应的三幅立方图为例进行说明，每幅立方图的三个轴都分别表示输入的rgb色彩索引，当语义索引与rgb色彩索引都确定后，对应的输出包括三个通道，c
min
中第一幅立方图表示语义索引为c
min
时，输入三个轴的rgb色彩索引后，输出r，即红色的色彩空间的输出值。c
min
中第二幅立方图表示语义索引为c
min
时，输入三个轴的rgb色彩索引后，输出g，即绿色的色彩空间的输出值。c
min
中第三幅立方图表示语义索引为c
min
时，输入三个轴的rgb色彩索引后，输出b，即蓝色的色彩空间的输出值。c
max
对应的三幅立方图与此同理，此处不再赘述。
[0085]
s103：通过图像增强模型对目标图像进行上下文特征提取，获得目标图像的上下文特征图，将上下文特征图与目标图像在通道维度上进行拼接，得到包括色彩通道和上下文特征通道的四通道目标图像。
[0086]
通过上述得到目标图像对应的目标4d查找表后，服务器可进一步对目标图像进行语义识别，从而根据目标图像各像素的像素语义以及像素值，应用目标4d查找表进行增强。
[0087]
具体的，在本说明书一个或多个实施例中，图像增强模型可包括预先训练的基于深度神经网络的图像上下文编码网络，服务可先通过预先训练的基于深度神经网络的图像上下文编码网络，对目标图像进行上下文特征提取，获得目标图像的上下文特征图，然后将上下文特征图中的数值表示映射到色彩数值范围，并将上下文特征图与目标图像在通道维度进行拼接，从而得到包括色彩通道和上下文特征通道的四通道目标图像。
[0088]
通过将三通道色彩图像转换为携带上下文语义信息的四通道图像，可使得在对目标图像进行增强时，能够根据目标图像各像素的语义在4d查找表中对应像素语义索引进行色彩查找，以实现对不同像素语义的像素进行差异化增强。
[0089]
例如，服务器可将目标图像输入大小为3
×
3的带有残差的4层卷积核进行卷积，得到包含图像高层语义信息的特征图，然后将其经过大小为1
×
1的带有残差的1层卷积核进行卷积，得到包含图像上下文信息的上下文特征图。
[0090]
可通过下式表示上下文特征图与目标图像在通道维度的拼接：
[0091]
concat(i
input
,c)
[0092]
其中，i
input
表示上下文特征图，c表示输入的低质量图像。
[0093]
当然了，上述仅为举例说明，对于深度神经网络在图像信息提取已有较为成熟的技术实现，本说明书对此不再赘述。
[0094]
s104：针对目标图像每个像素，根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，并根据目标4d查找表对目标图像进行增强。
[0095]
通过上述得到携带语义信息的四通道目标图像，以及具有像素语义索引的目标4d查找表后，服务器可针对目标图像每个像素，根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，并根据色彩索引和像素语义索引在目标4d查找表中进行查找，从而获得对该像素进行偏差修正后的色彩输出。
[0096]
具体的，在本说明书一个或多个实施例中，服务器可针对目标图像的每个像素，确定四通道目标图像中色彩通道的像素值，作为基于目标4d查找表进行图像增强时的色彩索引。以及确定四通道目标图像中上下文特征通道的像素值，作为基于目标4d查找表进行图像增强时的像素语义索引。
[0097]
从而根据确定得到的色彩索引和像素语义索引，基于目标4d查找表进行查找，得到该像素的像素语义下，对该像素的色彩进行偏差修正后的色彩输出。按照上述逐个遍历过目标图像的所有像素后，即可完成对目标图像的增强。
[0098]
当然了，在本说明书一个或多个实施例中，由于4d查找表在增加了像素语义维度，使得4d查找表的数据量较大，于是，在根据目标4d查找表对目标图像进行增强之前，服务器可通过采样的方式对本说明书中所提到的4d查找表进行压缩。
[0099]
也就是说，多个基准4d查找表可以是经过采样压缩后得到的，则融合后得到的目标4d查找表也是压缩后的。还可以是多个基准4d查找表未经压缩，而对融合后得到的目标4d查找表进行了采样压缩，从而降低4d查找表的数据量，便于存储使用。具体如何采样压缩已有较为成熟的技术实现，此处不再一一赘述。
[0100]
当不论以何种方式，目标4d查找表通过采样的方式进行了压缩时，服务器在根据目标4d查找表对目标图像进行增强时，无法直接查找得到修正后的色彩输出，此时，服务器可根据确定得到的色彩索引和像素语义索引，从目标4d查找表中，得到对应像素语义索引的，且用于对色彩索引表示的像素色彩进行偏差修正的采样点，最后，服务器可根据确定得到的采样点在色彩空间中的位置，通过插值法确定对该像素进行偏移修正后的增强结果。
[0101]
以四线性插值为例进行说明，对于步骤s105中得到的四通道目标图像，可通过下式表示使用四线性插值法进行插值：
[0102][0103]
其中，表示基于目标4d查找表对拼接后的四通道目标图像进行四线性插值。
[0104]
进一步说明，根据拼接后的四通道目标图像上的像素值，目标4d查找表的输入索引可以表示为(x,y,z,u)。首先，服务器可将输入索引的邻近的16个点作为采样点，使用(i,j,k,l)来表示目标4d查找表中定义的采样点坐标，其计算公式如下：
[0105]
i＝|x|,j＝|y|,k＝|z|,l＝|u|
[0106]
其中，||表示向下取整，目标4d查找表中的16个邻近采样点为({i,i+1},{j,j+1},{k,k+1},{l,l+1})。对于输入索引(x,y,z,u)相对定义采样点(i,j,k,l)的偏移量(o
x
,oy,
oz,ou)，其计算公式如下：
[0107]ox
＝x-i,oy＝y-j,oz＝z-k,ou＝u-l
[0108]
则在红色色彩空间的四线性插值过程具体如下式所示：
[0109][0110]
在绿色色彩空间和蓝色色彩空间的计算同上式可得。四线性插值法相比三线性插值在上下文信息所在通道处做了对应的拓展，这使得最终得到的rgb图像能将上下文信息聚合在4d查找表的色彩映射过程中，从而实现不同区域相同像素值的差异化增强。
[0111]
当然了，上述仅为举例说明，具体采用何种插值法可根据需要确定，本说明书对此不做限制。
[0112]
基于图1所示的图像增强方法，先获取待增强的rgb三通道目标图像，然后根据目标图像对应的色度融合权重和亮度偏置，对预设的多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表，其中，4d查找表包括色彩索引和像素语义索引，接着获取目标图像的上下文特征图，并将上下文特征图与目标图像在通道维度进行拼接，得到包括色彩通道和上下文特征通道的四通道目标图像，最后针对目标图像每个像素，根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，并根据目标4d查找表对目标图像进行增强。
[0113]
本发明中目标图像对应的目标4d查找表可输入色彩索引和像素语义索引，确定该像素语义下，对该色彩的修正后的色彩输出。当输入的像素语义索引不同时，即使输入的色彩索引相同，修正后的色彩输出也不同。于是通过将三通道目标图像转化为携带语义信息的四通道目标图像，再根据四通道目标图像确定各像素的rgb色彩像素值和各像素的上下文特征对应的像素值，将各像素值对应确定为色彩索引和像素语义索引，从而根据目标图像对应的目标4d查找表进行差异化增强，提高了图像增强效果。
[0114]
在应用本说明书提供的图像增强方法时，可不根据图1所示的各步骤的顺序执行，具体各步骤的执行顺序可根据需要确定，本说明书对此不做限制。
[0115]
此外，在本说明书一个或多个实施例中，服务器可根据4d平滑正则损失、4d单调损失以及像素级重构损失对图像增强模型和基准4d查找表进行训练。其中，根据插值过程确定4d平滑正则损失和4d单调损失，根据训练前标注的增强结果图像与训练过程得到的训练增强图像之间的偏差确定像素级重构损失。
[0116]
也就是说，对于用于确定目标图像的色度融合权重和亮度偏置的参数编码器、各基准4d查找表以及用于获得目标图像的上下文特征图的上下文编码网络，服务器可预先进行训练。
[0117]
具体的，服务器可先获取待增强的样本图像，并标注每个样本图像的增强结果图像，以及获取多个初始基准4d查找表。其中，增强结果图像可以是专业人员对待增强的图像进行处理后得到的高质量图像。
[0118]
然后，服务器可将样本图像输入待训练的参数编码器，确定目标图像对应的色度融合权重和亮度偏置，从而根据样本图像对应的色度融合权重和亮度偏置，对多个初始基准4d查找表进行融合，得到目标图像对应的目标4d查找表。
[0119]
其次，服务器可将样本图像输入待训练的上下文编码网络，对目标图像进行上下文特征提取，获得目标图像的上下文特征图，并将上下文特征图与目标图像在通道维度进行拼接，得到包括色彩通道和上下文特征通道的四通道目标图像，进而，服务器可根据四通道目标图像和目标4d查找表，通过插值法确定目标图像对应的预测增强图像。
[0120]
最后，服务器可根据插值过程确定4d平滑正则损失和4d单调损失，根据标注的增强结果图像与预测增强图像之间的偏差确定像素级重构损失，从而以最小化4d平滑正则损失、4d单调损失以及像素级重构损失的损失和为优化目标，对参数编码器、初始基准4d查找表以及上下文编码网络进行训练。
[0121]
通过对各部分进行训练，可将训练后的各部分作用于本方案的图像增强方法，以进行差异化图像增强。
[0122]
进一步的，在根据插值过程确定4d平滑正则损失和4d单调损失，根据标注的增强结果图像与预测增强图像之间的偏差确定像素级重构损失时，服务器可根据下式确定4d平滑正则损失：
[0123]
[0124][0125][0126]
其中，ls为4d平滑正则损失，为4d查找表的平滑正则损失，为色度融合权重和亮度偏置的平滑正则损失，为目标4d查找表中的采样点({i,i+1},{j,j+1},{k,k+1},{l,l+1})对应输出的红色、绿色、蓝色彩像素值，|| ||为取绝对值。
[0127]
的设计形式，在损失函数用于深度神经网络训练时，能使得4d查找表中的邻近元素尽可能在像素值上接近，使得经过4d查找表映射后的颜色更加平滑，避免了低质量图像上的颜色断层效应。
[0128]
的设计形式，在损失函数用于深度神经网络训练时，能避免权重w和对应偏置b出现极大值的情况，使得各预设的4d查找表能够充分融合，从而增强融合后的4d查找表的泛化能力。
[0129]
根据下式确定4d单调损失：
[0130][0131]
lm的设计形式，使得当4d查找表不单调时的梯度消失，从而避免了模型训练陷入混乱的状态，保证了4d查找表的单调性。
[0132]
根据下式像素级重构损失确定：
[0133][0134]
其中，lr为像素级重构损失，n
bs
为样本图像数量，i
gt
为标注的增强结果图像，i
output
为预测增强图像。g()表示relu激活函数，具体表达式为：g(x)＝max(0,x)。通过在训练时拉近i
gt
和i
output
的像素级距离，使得最终结果能更接近理想情况。
[0135]
于是，4d平滑正则损失、4d单调损失以及像素级重构损失的损失和可表示为：
[0136]
l
total
＝lr+αsls+αmlm[0137]
其中，αs和αm为均衡各损失函数的参数项。
[0138]
基于上述一个或多个实施例提供的图像增强方法，本说明书还提供了一种基于可
学习的上下文相关4d查找表的图像增强方法的示意图，如图3所示。
[0139]
图3中以输入图像为(3
×h×
w)的目标图像为例进行说明，即三通道高度为h，宽度为w的图像，通过上下文编码网络获得目标图像的上下文特征图，然后在通道层面进行拼接，将三通道目标图像转化为四通道目标图像，此时，该四通道目标图像携带了各像素的语义信息。同时通过参数编码器获取目标图像的色度融合权重和亮度偏置，从而对预设的多个基准4d查找表进行融合，得到该目标图像对应的目标4d查找表，即图3中的上下文相关4d查找表。需要说明的是，这里说的4d查找表的索引包括色彩索引和像素语义索引，即像素语义维度不同的色彩维度表现也不相同。最后可根据四通道目标图像和目标4d查找表，通过插值法确定目标图像对应的增强图像。
[0140]
本说明书还提供了一种上下文特征图的图像表示和增强后的效果对比图。如图4所示，图4中上下两行为不同输入图像对应的效果对比示意，左侧第一列为输入图像，第二列为上下文特征图，第三列为根据3d查找表进行图像增强后得到的增强图像，第四列为根据本发明中4d查找表进行图像增强后得到的增强图像，第五列为专业人员对输入图像处理后得到的高质量图像。通过对比可发现，应用本发明中4d查找表进行图像增强后得到的增强图像更接近高质量图像。
[0141]
此外，在本说明书还提供了应用本发明的实施例，具体的，应用结果分析分别采用针对图像质量的指标psnr、ssim、lpips、bqisque、niqe来评价。共在三个数据集上进行了对比应用，分别是：mit-adobe-5k-upe、mit-adobe-5k-dpe、以及prr10k数据集。
[0142]
其中与本发明形成对比的对比方法分别有hdrnet、u-net、dpe、white-box、dis-rec、deepupe、mirnet、ted+curl、deeplpf、csrnet、3d lut、sa-3d lut等方法。在mit-adobe-5k-upe上，mit-adobe-5k-dpe上、以及prr10k数据集的测试结果分别如表1、表2、以及表3所示。
[0143]
表1 mit-adobe-5k-upe数据集上的对比结果表
[0144]
methodpsnr
↑
ssim
↑
lpips
↓
brisque
↓
niqe
↓
hdrnet[5]21.960.8660.093213.92943.8305u-net[37]22.240.8500.103219.85534.3021dpe[4]22.150.8500.091417.68944.2424white-box[13]18.570.701
‑‑‑
dis-rec[34]20.970.841
‑‑‑
deepupe[40]23.040.8930.0912
‑‑
mirnet[50]23.730.8970.086919.71784.2253ted+curl[32]24.200.8800.070216.26444.1855deeplpe[31]24.480.8870.087116.67784.5587csrnet[9],[28]24.230.9000.057313.62113.70123dlut[51]24.600.9110.049113.52903.6794sa-3dlut[41]24.680.9120.040313.91853.78554dlut(our)24.960.9240.037113.38303.6383
[0145]
表2 mit-adobe-5k-dpe数据集上的对比结果表
[0146]
methodpsnr
↑
ssim
↑
lpips
↓
brisque
↓
niqe
↓
dped[14]21.760.8710.113218.23904.46468rbs[53],[27]23.420.8750.102417.08934.3956crn[3]22.380.877
‑‑‑
u-net[37]22.130.8790.103219.33254.5785white-box[13]21.320.864
‑‑‑
dis-rec[34]21.600.875
‑‑‑
dpe[4]23.800.9000.091017.98564.3566uie[20]22.270.881
‑‑‑
deeplpe[31]23.930.9030.088416.98914.5844ted+curl[32]24.080.9000.072216.94754.2943gsgn[19]24.160.905
‑‑‑
3dlut[51]24.330.9100.041914.39183.6232sa-3dlut[41]24.400.9090.042014.54223.78934dlut(our)24.610.9180.038614.47423.7004
[0147]
表3prr10k数据集上的对比结果表
[0148][0149]
表1为本说明书中一种mit-adobe-5k-upe数据集上的对比结果表，表2为本说明书中一种mit-adobe-5k-dpe数据集上的对比结果表，表3为本说明书中一种prr10k数据集上的对比结果表。
[0150]
其中，prr10k数据集分为prr10k-a，prr10k-b、以及prr10k-c，其区别在于有a，b，c三名专业人员对原始低质量图像进行处理，产生了三组不同的高质量结果图像。
[0151]
对比结果表明，在图像增强领域的大量基准数据集上，本发明都远远超过现有方法同时保持相似的计算复杂度与运行时间。其原因在于，本发明利用目标4d查找表，实现任意图像的增强。在目标4d查找表的设计上，考虑基于3d查找表的图像增强方法在图像上下文信息的缺失，设计了一个上下文特征编码网络，实现了对于图像不同区域的差异化增强，然后对输入的图像在通道层级拼接经过上下文特征编码网络得到的单通道特征图，再与参数融合后的4d查找表进行四线性插值操作，最后得到增强后的图像。
[0152]
以上为本说明书的一个或多个实施例提供的图像增强方法，基于同样的思路，本说明书还提供了相应的图像增强装置，如图5所示。图5为本说明书提供的一种图像增强装置示意图，包括：
[0153]
获取模块201，用于获取待增强的目标图像，其中，目标图像为rgb三通道色彩图
像；
[0154]
融合模块202，用于通过图像增强模型确定目标图像对应的色度融合权重和亮度偏置；根据目标图像对应的色度融合权重和亮度偏置，对多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表，其中，4d查找表的索引包括色彩索引和像素语义索引；
[0155]
拼接模块203，用于通过图像增强模型对目标图像进行上下文特征提取，获得目标图像的上下文特征图；将上下文特征图与目标图像在通道维度上进行拼接，得到包括色彩通道和上下文特征通道的四通道目标图像；
[0156]
增强模块204，用于针对目标图像每个像素，根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，并根据目标4d查找表对目标图像进行增强。
[0157]
可选地，所述预设的多个基准4d查找表为：其中，n
lut
为基准4d查找表的数量，ψn为第n个基准4d查找表，为红色的色彩空间，为绿色的色彩空间，为蓝色的色彩空间。
[0158]
可选地，所述融合模块202，根据下式对多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表：
[0159][0160][0161][0162][0163][0164]
其中，为融合后的目标4d查找表，为，为，为，w为色度融合权重，nw为色度融合权重个数，ωn为第n个色度融合权重，b为亮度偏置，nb为亮度偏置个数，bn为第n个亮度偏置。
[0165]
可选地，所述增强模块204，确定像素在四通道目标图像中色彩通道的像素值，作为基于目标4d查找表进行图像增强时的色彩索引；
[0166]
确定像素在四通道目标图像中上下文特征通道的像素值，作为基于目标4d查找表进行图像增强时的像素语义索引。
[0167]
可选地，所述装置还包括压缩模块205，用于通过采样的方式对目标4d查找表进行压缩。
[0168]
可选地，所述增强模块204，根据确定得到的色彩索引和像素语义索引，从目标4d查找表中确定对该像素进行增强时所用到的各采样点；
[0169]
根据各采样点在色彩空间中的位置，通过四线性插值法确定对该像素进行偏差修正后的增强结果。
[0170]
可选地，根据4d平滑正则损失、4d单调损失以及像素级重构损失对所述图像增强模型和基准4d查找表进行训练；其中，根据插值过程确定4d平滑正则损失和4d单调损失，根据训练前标注的增强结果图像与训练过程得到的训练增强图像之间的偏差确定像素级重构损失。
[0171]
可选地，根据下式确定所述4d平滑正则损失：
[0172][0173][0174][0175]
根据下式确定所述4d单调损失：
[0176][0177]
根据下式确定所述像素级重构损失：
[0178][0179]
其中，ls为4d平滑正则损失，为4d查找表的平滑正则损失，为色度融合权重和亮度偏置的平滑正则损失，为目标4d查找表中的采样点({i,i+1},{j,j+1},{k,k+1},{l,l+1})对应的色彩像素值，|| ||为取绝对值，g( )表示relu激活函数，lr为像素级重构损失，n
bs
为样本图像数量，i
gt
为标注的增强结果图像，i
output
为预测增强图像。
[0180]
关于图像增强装置的具体限定可以参见上文中对于图像增强方法的限定，在此不再赘述。上述图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0181]
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的图像增强方法。
[0182]
本说明书还提供了图6所示的计算机设备的结构示意图，如图6所述，在硬件层面，该计算机设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包
括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1提供的图像增强方法。
[0183]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0184]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

技术特征：
1.一种图像增强方法，其特征在于，包括：获取待增强的目标图像，其中，目标图像为rgb三通道色彩图像；通过图像增强模型确定目标图像对应的色度融合权重和亮度偏置；根据目标图像对应的色度融合权重和亮度偏置，对多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表，其中，4d查找表的索引包括色彩索引和像素语义索引；通过图像增强模型对目标图像进行上下文特征提取，获得目标图像的上下文特征图；将上下文特征图与目标图像在通道维度上进行拼接，得到包括色彩通道和上下文特征通道的四通道目标图像；针对目标图像每个像素，根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，并根据目标4d查找表对目标图像进行增强。2.如权利要求1所述的图像增强方法，其特征在于，所述多个基准4d查找表，具体包括：其中，n
lut
为基准4d查找表的数量，ψ
n
为第n个基准4d查找表，为红色的色彩空间，为绿色的色彩空间，为蓝色的色彩空间。3.如权利要求2所述的图像增强方法，其特征在于，根据下式对多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表：融合，得到目标图像对应的目标4d查找表：融合，得到目标图像对应的目标4d查找表：融合，得到目标图像对应的目标4d查找表：融合，得到目标图像对应的目标4d查找表：其中，为融合后的目标4d查找表，为融合后红色的色彩空间，为融合后绿色的色彩空间，为融合后蓝色的色彩空间，w为色度融合权重，n
w
为色度融合权重个数，ω
n
为第n个色度融合权重，b为亮度偏置，n
b
为亮度偏置个数，b
n
为第n个亮度偏置。4.如权利要求1所述的图像增强方法，其特征在于，所述根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，具体包括：确定像素在四通道目标图像中色彩通道的像素值，作为基于目标4d查找表进行图像增强时的色彩索引；确定像素在四通道目标图像中上下文特征通道的像素值，作为基于目标4d查找表进行图像增强时的像素语义索引。5.如权利要求1所述的图像增强方法，其特征在于，所述根据目标4d查找表对目标图像进行增强之前，还包括：通过采样的方式对目标4d查找表进行压缩。
6.如权利要求5所述的图像增强方法，其特征在于，所述根据目标4d查找表对目标图像进行增强，具体包括：根据确定得到的色彩索引和像素语义索引，从目标4d查找表中确定对该像素进行增强时所用到的各采样点；根据各采样点在色彩空间中的位置，通过四线性插值法确定对该像素进行偏差修正后的增强结果。7.如权利要求6所述的图像增强方法，其特征在于，根据4d平滑正则损失、4d单调损失以及像素级重构损失对所述图像增强模型和基准4d查找表进行训练；其中，根据插值过程确定4d平滑正则损失和4d单调损失，根据训练前标注的增强结果图像与训练过程得到的训练增强图像之间的偏差确定像素级重构损失。8.如权利要求7所述的图像增强方法，其特征在于，根据下式确定所述4d平滑正则损失：根据下式确定所述4d平滑正则损失：根据下式确定所述4d平滑正则损失：根据下式确定所述4d单调损失：根据下式确定所述像素级重构损失：其中，l
s
为4d平滑正则损失，为4d查找表的平滑正则损失，为色度融合权重和亮度偏置的平滑正则损失，为目标4d查找表中的采样点({i,i+1},{j,j+1},{k,k+1},{l,l+1})对应的色彩像素值，|| ||为取绝对值，g()表示relu激活函数，l
r
为像素级重构损失，n
bs
为样本图像数量，i
gt
为标注的增强结果图像，i
output
为预测增强图像。9.一种图像增强装置，其特征在于，包括：获取模块，用于获取待增强的目标图像，其中，目标图像为rgb三通道色彩图像；融合模块，用于通过图像增强模型确定目标图像对应的色度融合权重和亮度偏置；根据目标图像对应的色度融合权重和亮度偏置，对多个基准4d查找表进行融合，得到目标图像对应的目标4d查找表，其中，4d查找表的索引包括色彩索引和像素语义索引；拼接模块，用于通过图像增强模型对目标图像进行上下文特征提取，获得目标图像的上下文特征图；将上下文特征图与目标图像在通道维度上进行拼接，得到包括色彩通道和
上下文特征通道的四通道目标图像；增强模块，用于针对目标图像每个像素，根据像素在四通道目标图像各通道的像素值，确定色彩索引和像素语义索引，并根据目标4d查找表对目标图像进行增强。10.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～8任一所述的图像增强方法。

技术总结
本发明公开了一种图像增强方法、装置、设备和介质，涉及图像处理技术领域。先获取待增强的RGB三通道目标图像，然后得到目标图像对应的包括色彩索引和像素语义索引的目标4D查找表，接着获取目标图像的上下文特征图，并将上下文特征图与目标图像在通道维度进行拼接，得到包括色彩通道和上下文特征通道的四通道目标图像，最后根据四通道目标图像的像素值确定色彩索引和像素语义索引，以根据目标4D查找表对目标图像进行增强。本发明通过将三通道目标图像转化为携带语义信息的四通道目标图像，以根据目标图像对应的包括像素语义索引的目标4D查找表进行差异化增强，提高了图像增强效果。果。果。


技术研发人员：刘成旭 钱学明 赵国帅 薛尧
受保护的技术使用者：陕西域览九州智能光电科技有限公司
技术研发日：2023.07.13
技术公布日：2023/9/23