动态范围增强模型的训练方法、图像的动态范围增强方法及装置与流程

1.本发明涉及图像处理技术领域，具体地涉及一种动态范围增强模型的训练方法、图像的动态范围增强方法及装置。


背景技术：

2.动态范围增强技术可以提高画质质量，展现更丰富的色彩层次，保留更多的暗区和亮区细节，提高画面的对比度。因此，动态范围增强越来越多地应用到了拍摄图片、视频中。
3.当前，为了实现较好动态范围增强效果，通常会对待处理图像划分成多个区域，然后在每个区域进行局部色调映射，以得到动态范围增强图像。现有技术中，通常采用人工划分区域的方式或自动区域划分算法对待处理图像划分为多个块，然后采用一些与空间位置相关的局部色调映射算法对每个块执行色调映射，最终实现动态范围增强效果。
4.然而，现有的图像区域划分的方法，通常对待处理图像直接平均划分为n
×
n个矩形或正方形块，这种方法获得的区域划分结果存在如下问题：一方面，容易导致划分的块数量太多，特别是当图像尺寸变大时，划分的块数量增多将导致后续执行色调映射的时间与资源开销的增加；另一方面，容易出现一些大面积的内容、亮度相似的区域(例如，面积占比较大的天空区域、墙面区域)被划分为很多小块，然后对每个小块执行一组色调映射，但实际上对这些小块使用同样的色调映射系数即可。由此，导致动态范围增强效果不佳，也增加了不必要的运算开销。
5.虽然已经有一些研究注意上述问题，使用一些预训练的自动区域划分模型实现对图像的区域划分。但在模型训练阶段，需要采用已标注好划分区域的图像作为训练数据。然而，在对图像标注标签时通常是基于抽象的规则进行区域划分，比如对暗区、亮区的定义，因此，可能使得标注的区域划分结果不合理，导致模型训练效果不佳，进而影响后续的动态范围增强效果。


技术实现要素：

6.本发明实施例实现的目的之一是提供一种动态范围增强模型的训练方法，可以训练得到更加优化的动态范围增强模型，从而对待处理图像进行更加准确、合理的区域划分以及色调映射，进而改进图像的动态范围增强效果。
7.为实现上述目的，本发明实施例提供一种动态范围增强模型的训练方法，包括以下步骤：确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型；其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到
所述原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，以得到动态范围增强预测图像；其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像与动态范围增强预测图像的至少一部分像素的像素值之差确定的。
8.可选的，在每轮迭代中，所述目标损失函数的函数值采用下述方式确定：对于当前轮输入的每帧所述原始场景图像，确定所述原始场景图像对应的动态范围增强标签图像的至少一部分像素与动态范围增强预测图像的对应位置的像素在每个颜色通道的像素值之差的平方，记为通道差异因子，再对每个像素在各个颜色通道的通道差异因子计算平均值，得到该像素的像素差异因子；对所得到的各个像素差异因子进行平均运算，得到所述原始场景图像对应的子损失值；对当前轮输入的各帧原始场景图像对应的子损失值进行加权运算，将加权运算结果作为当前轮所述目标损失函数的函数值。
9.可选的，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域，每个色调映射矩阵中用于指示所属原始场景图像中单个像素的色调映射系数，所述区域划分矩阵中的每个元素指示的划分区域对应于多个色调映射矩阵；采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，包括：对于所述区域划分矩阵的每个元素所指示的划分区域，确定所述划分区域内每个像素的像素值所属的像素值区间；根据该像素所属的像素值区间，确定该像素对应的色调映射矩阵；采用该像素对应的色调映射矩阵中的每个元素，对该像素的各个颜色通道进行色调映射处理；其中，所述像素值区间是对预设数值区间进行区间划分得到的，划分得到的多个像素值区间与所述划分区域对应的多个色调映射矩阵之间具有预设的一一对应关系。
10.可选的，采用下述方式，对预设数值区间进行区间划分，得到多个像素值区间：确定所述划分区域对应的色调映射矩阵的总数量，记为像素值区间总数量；在所述预设数值区间中，将大于等于最小端点值且小于等于第一阈值的区间作为第一像素值区间，将大于等于第二阈值且小于等于最大端点值的区间作为第二像素值区间，将大于所述第一阈值且小于所述第二阈值的区间平均划分为目标数量的第三像素值区间；其中，所述目标数量等于所述划分区域对应的色调映射矩阵的总数量减2；所述第一像素值区间的两端点数值之差大于所述第三像素值区间的两端点数值之差，所述第二像素值区间的两端点数值之差大于所述第三像素值区间的两端点数值之差。
11.可选的，所述区域划分子模型包含第一网络结构和第二网络结构，所述色调映射子模型包含所述第一网络结构和第三网络结构；其中，在每轮迭代中，将所述原始场景图像输入所述第一网络结构，以得到所述原始场景图像的特征数据，然后将所述特征数据分别输入所述第二网络结构和所述第三网络结构，以得到所述原始场景图像的区域划分矩阵和色调映射矩阵。
12.可选的，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域；在迭代训练过程中，所述区域划分矩阵中包含预设的固定数量的元素。
13.本发明实施例还提供一种动态范围增强方法，包括以下步骤：确定训练后的动态范围增强模型，所述训练后的动态范围增强模型包括：色调映射子模型和区域划分子模型，其中，所述训练后的动态范围增强模型是基于上述动态范围增强模型的训练方法确定的；将待处理图像输入所述色调映射子模型和区域划分子模型，以得到所述待处理图像的色调
映射矩阵和区域划分矩阵；采用所述待处理图像的色调映射矩阵和区域划分矩阵，对所述待处理图像进行色调映射处理，以得到动态范围增强图像。
14.本发明实施例还提供一种动态范围增强模型的训练装置，包括：待训练模型确定模块，用于确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；训练数据集确定模块，用于确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；模型训练模块，用于采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型；其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到所述原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，以得到动态范围增强预测图像；其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像与动态范围增强预测图像的至少一部分像素的像素值之差确定的。
15.可选的，本发明实施例还提供一种图像的动态范围增强装置，包括：预训练模型确定模块，用于确定训练后的动态范围增强模型，所述训练后的动态范围增强模型包括：色调映射子模型和区域划分子模型，其中，所述训练后的动态范围增强模型是基于上述动态范围增强模型的训练方法确定的；动态范围增强系数确定模块，用于将待处理图像输入所述色调映射子模型和区域划分子模型，以得到所述待处理图像的色调映射矩阵和区域划分矩阵；图像处理模块，用于采用所述待处理图像的色调映射矩阵和区域划分矩阵，对所述待处理图像进行色调映射处理，以得到动态范围增强图像。
16.本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述动态范围增强模型的训练方法的步骤，或者执行上述图像的动态范围增强方法的步骤。
17.本发明实施例还提供一种动态范围增强模型的训练装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述动态范围增强模型的训练方法的步骤。
18.本发明实施例还提供一种图像的动态范围增强装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行上述图像的动态范围增强方法的步骤。
19.与现有技术相比，本发明实施例的技术方案具有以下有益效果：
20.在本发明实施例中，将色调映射子模型和区域划分子模型结合，构建得到待训练模型；并在对模型训练过程中，采用动态范围增强标签图像作为标签对训练过程进行监督(例如，采用预先处理获得的高质量动态范围增强图像作为标签数据，指引模型训练过程)，以及采用预测得到的动态范围增强预测图像与动态范围增强标签图像的像素差异确定损失函数值，以最小化所述像素差异为目标迭代训练模型，以实现对所述色调映射子模型和区域划分子模型的参数的优化。
21.相较于现有的动态范围增强方案采用平均划分区域或基于抽象的亮区、暗区定义的区域划分方法，所获得的划分结果的合理性和准确性欠佳，采用本发明实施例提供的模型训练方法获得的所述训练后的动态范围增强模型，既可以学习到合理的区域划分方式
(包括各个划分区域的位置、大小和数量)，又可以获得与区域划分结果相适应的、准确的色调映射系数。进一步，在后续应用所述训练后的动态范围增强模型进行图像处理时，可以合理确定图像划分区域并对每个划分区域精准执行色调映射。由此，可以整体改进图像的动态范围增强效果，获得更高质量的动态范围增强图像。
22.进一步，所述区域划分子模型包含第一网络结构和第二网络结构，所述色调映射子模型包含所述第一网络结构和第三网络结构；其中，在每轮迭代中，将所述原始场景图像输入所述第一网络结构，以得到所述原始场景图像的特征数据，然后将所述特征数据分别输入所述第二网络结构和所述第三网络结构，以得到所述原始场景图像的区域划分矩阵和色调映射矩阵。
23.通过上述模型构建方式，可以让区域划分子模型与所述色调映射子模型共享部分网络结构与网络参数，相较于所述色调映射子模型和所述区域划分子模型各自采用现有常规的、彼此独立而非共享模型结构与参数的情形，采用本实施方案有助于大幅减少整个待训练模型的参数数量，从而在保证训练效果的同时，尽可能提高训练效率，降低运算开销。
24.进一步，在本发明实施例中，采用训练数据集对模型训练的过程中，可以结合实际应用场景需要，对所述训练数据集中的原始场景图像设置相同或不同的权重。例如，可以根据不同帧原始场景图像本身的图像质量设置相应的权重，其中，所述图像质量例如可以基于清晰度、亮暗对比度、颜色饱和度等参数确定，所述图像质量越高，相应的权重可以设置越大。如此，可以实现有针对性的模型训练，使得训练效果更加符合实际需求。
25.进一步，在本发明实施例中，在进行区间划分得到多个像素值区间的过程中，通过采用区别性划分方式，对较小的像素值或较大的像素值均划分为更大范围的数值区间，对中间数值的像素值进行平均区间划分。由于像素值大小可以表征所属像素的色度、亮度、饱和度等，而属于相同像素值区间的各个像素值将会采用相同的色调映射矩阵执行色调映射。由此，采用本实施方案有助于对图像中色度、亮度或饱和度过低以及过高的区域，在更大范围上实现色调映射的均匀性和一致性，进一步改进动态范围增强的效果。
附图说明
26.图1是本发明实施例中一种动态范围增强模型的训练方法的流程图；
27.图2是本发明实施例中一种对所述待训练模型进行训练的过程示意图；
28.图3是图1中步骤s13中在每轮迭代中确定所述目标损失函数的函数值的一种具体实施方式的流程图；
29.图4是图1中步骤s13在每轮迭代中对所述原始场景图像进行色调映射处理的一种具体实施方式的流程图；
30.图5是本发明实施例中一种动态范围增强模型的训练装置的结构示意图；
31.图6是本发明实施例中一种图像的动态范围增强装置的结构示意图。
具体实施方式
32.为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细说明。
33.参照图1，图1是本发明实施例中一种动态范围增强模型的训练方法的流程图。所
述方法可以包括步骤s11至步骤s13：
34.步骤s11：确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；
35.步骤s12：确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；
36.步骤s13：采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型。
37.其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到所述原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，以得到动态范围增强预测图像。
38.其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像与动态范围增强预测图像的至少一部分像素的像素值之差确定的。
39.在步骤s11的具体实施中，所述待训练模型包括：色调映射子模型和区域划分子模型。在模型训练过程中，所述色调映射子模型用于确定输入的原始场景图像的色调映射矩阵，所述区域划分子模型用于确定所述原始场景图像的区域划分矩阵。
40.其中，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域。
41.在一些实施例中，所述划分区域的形状可以为正方形，则所述区域划分矩阵中的每个元素可以包含至少两项参数，分别为该元素对应的正方形划分区域的两个对角顶点的坐标(比如左上角顶点坐标和右下角顶点坐标)，或者，分别为该元素对应的正方形划分区域的任一个顶点坐标(比如左上角顶点坐标)以及该正方形的边长。
42.在另一些实施例中，所述划分区域的形状可以为矩形，则所述区域划分矩阵中的每个元素可以包含至少两项参数，分别为该元素对应的矩形划分区域的两个对角顶点的坐标(比如左上角顶点坐标和右下角顶点坐标)。
43.在又一些实施例中，所述划分区域的形状可以为其他多边形，则所述区域划分矩阵中的每个元素可以至少包含该元素对应的多边形划分区域的各个顶点的坐标。
44.在又一些实施例中，所述划分区域的形状可以为圆形，则所述区域划分矩阵中的每个元素可以至少包含该元素对应的圆形划分区域的圆心的坐标以及半径。
45.需要指出的是，相同的原始场景图像中，各个划分区域的形状可以选自上述列举的形状的一种或多种，当然，并不限于上述列举的形状种类，在不同场景中，还可以根据需要选自其他规则或不规则形状。相应地，所述区域划分矩阵中与每个划分区域对应的矩阵元素包含的具体参数内容，也不限于上述列举的情形，只要能根据矩阵元素的各项参数唯一确定对应的划分区域即可。
46.可以理解的是，在具体实施中，所述区域划分子模型输出的区域划分矩阵的各项元素所包含的具体参数内容，以及每项元素对应的划分区域的形状、大小等，与构建所述待训练模型采用的所述区域划分子模型本身的功能有关。例如，所述区域划分子模型是采用标注有多个矩形划分区域的样本场景图像训练得到的，则所述区域划分子模型输出的区域划分矩阵的每个元素指示的是单个矩形划分区域。又如，所述区域划分子模型是采用标注
有多个圆形划分区域的样本场景图像训练得到的，则所述区域划分子模型输出的区域划分矩阵的每个元素指示的是圆形划分区域。
47.其中，每个色调映射矩阵中用于指示所属原始场景图像中单个像素的色调映射系数，具体而言，对于rgb图像，每个色调映射矩阵可以包含三个元素，3个元素与所述色调映射矩阵对应的单个像素的3个颜色通道一一对应。所述区域划分矩阵中的每个元素指示的划分区域对应于多个色调映射矩阵。
48.作为一个非限制性实施例，所述原始场景图像的每个所述划分区域对应m色调映射矩阵，所述划分区域内包含n个像素，则这n像素与这m个色调映射矩阵之间具有多对一或一对一关系，其中，m≤n。
49.进一步地，在迭代训练过程中，所述区域划分矩阵中包含预设的固定数量的元素。这意味着对输入的原始场景图像所划分的区域数量是可以预先设定且固定不变的。具体地，在模型训练与后续的模型推理过程，应用所述区域划分子模型进行区域划分以输出区域划分矩阵时，所述固定数量可以作为所述区域划分子模型的参数之一进行预先设定。
50.现有技术中，在对待处理图像进行人工划分区域或采用算法自动划分区域过程中，往往采用非固定数量的划分方式，常见做法中划分的区域数量与待处理图像的尺寸正相关(即，待处理图像的尺寸越大，划分的区域数量越多)，这种区域划分方式可能会导致划分的区域数量过多，由于每个区域都要分别执行色调映射流程，因此会导致色调映射的资源开销与耗时的增加。
51.相较于前述现有技术，在本发明实施例中，对输入的原始场景图像设置固定数量个划分区域，而非因图像尺寸变大而增多划分区域数量。由此，无论在模型训练过程，还是后续应用预训练的模型执行动态范围增强的过程，均有助于提高图像处理效率并降低开销。
52.在步骤s12的具体实施中，所述训练数据集中的每帧原始场景图像可以具有各自对应的采集场景。各帧原始场景图像可以是针对不同的采集场景进行采集的。所述采集场景包括但不限于：在不同亮暗程度的灯光下的室内场景、不同时段的室外场景(包括但不限于阴天和/或晴天和/或雨天的早晨场景、中午场景、傍晚场景、夜晚场景)。
53.所述对每帧原始场景图像标注的动态范围增强标签图像，可以是对所述原始场景图像进行人工分析与处理得到的对应动态范围增强图像，或者，可以采用现有的动态范围增强算法进行图像处理得到的对应动态范围增强图像。
54.在步骤s13的具体实施中，在每轮迭代中，可以将所述训练数据集整体输入所述色调映射子模型和区域划分子模型，以得到每帧原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对该帧原始场景图像进行色调映射处理，以得到每帧原始场景图像对应的动态范围增强预测图像。
55.其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像的至少一部分像素，与动态范围增强预测图像的对应位置的像素的像素值之差确定的。具体而言，对于所述动态范围增强标签图像的某个像素a，在所述动态范围增强预测图像的对应位置的像素即是与像素a处于图像中的相同位置(相同坐标)的像素a’。
56.在一种具体实施方式中，所述原始场景图像为单通道图像。非限制性地，所述原始
场景图像为灰度图，则所述原始场景图像中的每个像素仅具有单个颜色通道，相应地，两个像素之间的像素值之差为：两个像素在单个颜色通道上的像素值(或通道值)之差。
57.在另一种具体实施方式中，所述原始场景图像为多通道图像。非限制性地，所述原始场景图像为rgb图像，则所述原始场景图像中的每个像素具有至少3个颜色通道，分别为r(红色)通道、b(蓝色)通道以及g(绿色)通道，相应地，两个像素之间的像素值之差包含在每个颜色通道上的像素值(或通道值)之差，具体包含：在r(红色)通道的像素值之差、在b(蓝色)通道的像素值之差，在g(绿色)通道的像素值之差。
58.参照图2，图2是本发明实施例中一种对所述待训练模型进行训练的过程示意图。所述待训练模型可以包括区域划分子模型21和色调映射子模型22。
59.进一步地，所述区域划分子模型21可以包含第一网络结构211和第二网络结构212，所述色调映射子模型22可以包含所述第一网络结构211和第三网络结构222。
60.其中，在每轮迭代中，将所述原始场景图像输入所述第一网络结构211，以得到所述原始场景图像的特征数据，然后将所述特征数据分别输入所述第二网络结构212和所述第三网络结构222，以得到所述原始场景图像的区域划分矩阵和色调映射矩阵；采用所述区域划分矩阵以及所述色调映射矩阵对输入的原始场景图像进行色调映射处理，得到动态范围增强预测图像；再基于目标损失函数，计算所述原始场景图像对应的动态范围增强标签图像与动态范围预测图像之间的像素差异，以两者的像素差异最小化为目标，监督模型的训练过程。
61.其中，所述第一网络结构211、第二网络结构212以及所述第三网络结构222均可以包含一层或多层卷积层。其中，所述第一网络结构211主要用于对输入的所述原始场景图像进行特征提取，以得到其特征数据。所述第二网络结构212主要用于根据所述第一网络结构211提取的特征数据，输出所述原始场景图像的区域划分矩阵。所述第三网络结构222主要用于根据所述第一网络结构211提取的特征数据，输出所述原始场景图像的色调映射矩阵。
62.在具体实施中，可以采用现有的具备区域划分功能的第一模型以及色调映射功能的第二模型，然后采用所述第一模型的一层或多层卷积层作为共享的所述第一网络结构211，或者采用所述第二模型的一层或多层卷积层作为共享的所述第一网络结构211。需要指出的是，相较于所述色调映射子模型22和所述区域划分子21模型各自采用现有的常规的、彼此独立而非共享模型结构与参数的情形，在本发明实施例中，设置所述区域划分子模型21和所述色调映射子模型22共享一部分网络结构与网络参数，即共享所述第一网络结构211及其参数。由此，可以实现参数共享，大幅减少参数数量，从而提高模型训练效率，降低运算开销。
63.参照图3，图3是图1中步骤s13中在每轮迭代中确定所述目标损失函数的函数值的一种具体实施方式的流程图。具体地，在每轮迭代中，所述目标损失函数的函数值的确定方法，可以包括步骤s31至步骤s33。
64.在步骤s31中，对于当前轮输入的每帧所述原始场景图像，确定所述原始场景图像对应的动态范围增强标签图像的至少一部分像素与动态范围增强预测图像的对应位置的像素在每个颜色通道的像素值之差的平方，记为通道差异因子，再对每个像素在各个颜色通道的通道差异因子计算平均值，得到该像素的像素差异因子。
65.在一些应用场景中，可以确定所述原始场景图像对应的动态范围增强标签图像的
全部像素，与动态范围增强预测图像的对应位置的像素在每个颜色通道的像素值之差的平方，记为所述通道差异因子。如此，可以满足对整张图像的动态范围增强效果要求。
66.在另一些应用场景中，可以确定所述原始场景图像对应的动态范围增强标签图像的部分像素，与动态范围增强预测图像的对应位置的像素在每个颜色通道的像素值之差的平方，记为所述通道差异因子。其中，所述部分像素可以是结合实际场景需要预先指定的部分图像区域内包含的像素。如此，可以在减少运算数据量、降低运算开销的同时，满足对图像的特定局部区域进行动态范围增强的要求。
67.在步骤s32中，对所得到的各个像素差异因子进行平均运算，得到所述原始场景图像对应的子损失值。
68.在步骤s33中，对当前轮输入的各帧原始场景图像对应的子损失值进行加权运算，将加权运算结果作为当前轮所述目标损失函数的函数值。
69.在本发明实施例中，可以结合实际应用场景需要，对所述训练数据集中的原始场景图像设置相同或不同的权重。例如，可以根据不同帧原始场景图像本身的图像质量设置相应的权重，其中，所述图像质量例如可以基于清晰度、亮暗对比度、颜色饱和度等参数确定，所述图像质量越高，相应的权重可以设置越大。如此，可以实现有针对性的模型训练，使得训练效果更加符合实际需求。
70.进一步地，可以采用下述公式，表示所述目标损失函数：
71.loss＝ω1×
loss(1)+ω2×
loss(2)+
…
+ωj×
loss(j)+
…
+ωj×
loss(j)；
72.其中，loss表示当前轮所述目标损失函数的函数值，j表示所述原始场景图像的序号，j表示当前轮输入的原始场景图像的总帧数，loss(j)表示当前轮输入的第j帧原始场景图像对应的子损失值，ω1～ωj表示当前轮输入的各帧原始场景图像对应的子损失值的权重；
73.作为一个非限制性实施例，所述原始场景图像为rgb图像，可以采用下述公式，确定当前轮输入的第j帧原始场景图像对应的子损失值：
[0074][0075]
其中，表示动态范围增强标签图像的第i个像素在r颜色通道的像素值，表示动态范围增强标签图像的第i个像素在g颜色通道的像素值，表示动态范围增强标签图像的第i个像素在b颜色通道的像素值，表示动态范围增强预测图像的第i个像素在r颜色通道的像素值，表示动态范围增强预测图像的第i个像素在g颜色通道的像素值，表示动态范围增强预测图像的第i个像素在b颜色通道的像素值，i表示参与运算的像素序号，n表示参与运算的像素总数量。
[0076]
需要指出的是，所述原始场景图像还可以选自其他颜色空间模式的图像。例如，yuv图像，其中，“y”表示明亮度(luminance)，也即灰阶值、“u”和“v”表示色度(chrominance)。又如，hsv图像，其中，“h”表示色调(hue)、“s”饱和度(saturation)、“v”表示明度(value)。对于不同颜色空间的原始场景图像，确定所述目标损失函数的函数值的方法参见图3所示实施例以及相关公式的内容，此处不再赘述。
[0077]
参照图4，图4是图1中步骤s13在每轮迭代中对所述原始场景图像进行色调映射处理的一种具体实施方式的流程图。具体地，在每轮迭代中，采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，具体可以包括步骤s41至步骤s43。
[0078]
在步骤s41中，对于所述区域划分矩阵的每个元素所指示的划分区域，确定所述划分区域内每个像素的像素值所属的像素值区间。
[0079]
在步骤s42中，根据该像素所属的像素值区间，确定该像素对应的色调映射矩阵。
[0080]
在步骤s43中，采用该像素对应的色调映射矩阵中的每个元素，对该像素的各个颜色通道进行色调映射处理。
[0081]
其中，所述像素值区间是对预设数值区间进行区间划分得到的，划分得到的多个像素值区间与所述划分区域对应的多个色调映射矩阵之间具有预设的一一对应关系。
[0082]
非限制性地，在每轮迭代中，可以对所述色调映射子模型输出的全部色调映射矩阵进行分组，其中，分组的数量与所述区域划分子模型输出的区域划分矩阵包含的元素总数量(即，指示的划分区域的总数量)相同，每组色调映射矩阵对应于单个划分区域；然后对于每个划分区域，将预先划分得到的多个像素值区间，与所述划分区域对应的色调映射矩阵组包含的多个色调映射矩阵，进行一一对应。
[0083]
例如，对于某个划分区域，对该划分区域对应的色调映射矩阵组包含的m个色调映射矩阵进行标号，比如可以分别标识为色调映射矩阵(1)、色调映射矩阵(2)
…
色调映射矩阵(m)；然后对预先划分得到的m个像素值区间，可以按照数值从小至大的顺序，将m个像素值区间分别与第(1)至第(m)个色调映射矩阵进行一一对应。
[0084]
进一步地，在确定所述划分区域内每个像素的像素值所属的像素值区间的过程中，该像素的像素值采用的是该像素在各个颜色通道的像素值的加权运算结果。
[0085]
在一种具体实施方式中，可以将所述原始场景图像输入预训练的卷积神经网络(或称为引导图生成网络)进行校正处理，以得到所述原始场景图像对应的校正图(或称为引导图)，其中，所述校正图中的每个像素通常仅具有单个颜色通道，该颜色通道的像素值是所述原始场景图像中对应位置的像素在各个颜色通道的像素值的加权运算结果。
[0086]
在另一种具体实施方式中，可以采用预设的适当权重比例，对所述原始场景图像的每个像素在各个颜色通道的像素值进行加权运算，得到该像素的加权运算结果。
[0087]
需要指出的是，相较于基于原始场景图像的像素的单个颜色通道的像素值定位所属的像素值区间，或者基于各个颜色通道的像素值的平均运算结果定位所属的像素值区间，在本发明实施例中，采用对原始场景图像的像素在各个颜色通道的加权运算结果定位所属的像素值区间，可以基于适当的权重设置，将每个像素定位至更加合理的像素值区间，进而将该像素对应至更加准确、合理的色调映射矩阵。由此，采用本实施方案有助于改进对每个像素执行色调映射的效果。
[0088]
更进一步地，可以采用下述方式，对预设数值区间进行区间划分，得到多个像素值区间：确定所述划分区域对应的色调映射矩阵的总数量，记为像素值区间总数量；在所述预设数值区间中，将大于等于最小端点值且小于等于第一阈值的区间作为第一像素值区间，将大于等于第二阈值且小于等于最大端点值的区间作为第二像素值区间，将大于所述第一阈值且小于所述第二阈值的区间平均划分为目标数量的第三像素值区间。
[0089]
其中，所述目标数量等于所述划分区域对应的色调映射矩阵的总数量减2；所述第
一像素值区间的两端点数值之差(或称为区间长度)大于所述第三像素值区间的两端点数值之差，所述第二像素值区间的两端点数值之差大于所述第三像素值区间的两端点数值之差。
[0090]
作为一个非限制性实施例，在确定所述划分区域内每个像素的像素值所属的像素值区间的过程中，所得到的各个像素对应的加权运算结果的数值范围为0～1之间，相应地，所述被划分的所述预设数值区间也可设置为[0,1]。非限制性地，如果待划分的像素值区间总数量为10个，可以区间[0,0.2]作为所述第一像素值区间(即，本示例中所述第一阈值为0.2)，将[0.8,1]作为所述第二像素值区间(即，本示例中所述第二阈值为0.8)，将区间(0.2,0.8)平均划分为8个第三像素值区间。
[0091]
在本发明实施例中，在进行区间划分得到多个像素值区间的过程中，通过采用上述区别性划分方式，对较小的像素值或较大的像素值均划分为更大范围的数值区间，对中间数值的像素值进行平均区间划分。由于像素值大小可以表征所属像素的色度、亮度、饱和度等，而属于相同像素值区间的各个像素值将会采用相同的色调映射矩阵执行色调映射。由此，采用本实施方案有助于对图像中色度、亮度或饱和度过低以及过高的区域，在更大范围上实现色调映射的均匀性和一致性，进一步改进动态范围增强的效果。
[0092]
在步骤s42中，采用该像素对应的色调映射矩阵中的每个元素，对该像素的各个颜色通道进行色调映射处理。
[0093]
作为一个非限制性实施例，对于rgb图像，每个像素具有3个颜色通道，该像素对应的色调映射矩阵可以是一个3
×
4维的矩阵，其中“3”表示矩阵中包含的元素数量为3个，这3个元素与3个颜色通道一一对应，“4”表示每个元素包含4项参数。
[0094]
具体地，对于每个像素，可以基于下述公式，采用该像素对应的色调映射矩阵中的每个元素，对该像素的各个颜色通道进行色调映射处理：
[0095]
r'＝a1×
r+b1×
g+c1×
b+m1；
[0096]
g'＝a2×
r+b2×
g+c2×
b+m2；
[0097]
b'＝a3×
r+b3×
g+c3×
b+m3；
[0098]
其中，r表示像素在红色通道的原始像素值，r'表示对红色通道的原始像素值进行色调映射处理后得到的像素值，a1，b1，c1，m1分别表示色调映射矩阵中对应红色通道的元素的四项参数，g表示像素在绿色通道的原始像素值，g'表示对绿色通道的原始像素值进行色调映射处理后得到的像素值，a2，b2，c2，m2分别表示色调映射矩阵中对应于绿色通道的元素的四项参数，b表示像素在蓝色通道的原始像素值，b'表示对蓝色通道的原始像素值进行色调映射处理后得到的像素值，a3，b3，c3，m3表示色调映射矩阵中对应于蓝色通道的元素的四项参数。进一步，m1，m2以及m3可以相同或不同。
[0099]
本发明实施例还提供一种图像的动态范围增强方法，具体可以包括：确定训练后的动态范围增强模型，所述训练后的动态范围增强模型包括：色调映射子模型和区域划分子模型，其中，所述训练后的动态范围增强模型是基于上述图1、图3、图4任一实施例示出的动态范围增强模型的训练方法确定的；将待处理图像输入所述色调映射子模型和区域划分子模型，以得到所述待处理图像的色调映射矩阵和区域划分矩阵；采用所述待处理图像的色调映射矩阵和区域划分矩阵，对所述待处理图像进行色调映射处理，以得到动态范围增强图像。
[0100]
其中，对所述待处理图像进行色调映射处理的详细方案，可以参照图4中各步骤的相关描述内容，此处不再赘述。
[0101]
相较于现有的动态范围增强方案因区域划分不合理导致出现动态范围增强效果不佳的问题(例如，对亮暗交界边缘划分块过大导致光晕问题)，本发明实施例通过利用所述训练后的动态范围增强模型，可以获得所述待处理图像的更加准确的色调映射矩阵和区域划分矩阵，合理确定图像划分区域并对每个划分区域精准执行色调映射(例如，模型可以针对图像的不同亮暗区域适应性调整区域划分粒度)。由此，可以整体改进图像的动态范围增强效果，获得更高质量的动态范围增强图像。
[0102]
参照图5，图5是本发明实施例中一种动态范围增强模型的训练装置的结构示意图。所述动态范围增强模型的训练装置可以包括：
[0103]
待训练模型确定模块51，用于确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；
[0104]
训练数据集确定模块52，用于确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；
[0105]
模型训练模块53，用于采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型；
[0106]
其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到所述原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，以得到动态范围增强预测图像；
[0107]
其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像与动态范围增强预测图像的至少一部分像素的像素值之差确定的。
[0108]
关于该动态范围增强模型的训练装置的原理、具体实现和有益效果请参照前文及图1、图3、图4示出的关于动态范围增强模型的训练方法的相关描述，此处不再赘述。
[0109]
参照图6，图6是本发明实施例中一种图像的动态范围增强装置的结构示意图。所述图像的动态范围增强装置可以包括：
[0110]
预训练模型确定模块61，用于确定训练后的动态范围增强模型，所述训练后的动态范围增强模型包括：色调映射子模型和区域划分子模型，其中，所述训练后的动态范围增强模型是基于上述权利要求1至9任一项所述的动态范围增强模型的训练方法确定的；
[0111]
动态范围增强系数确定模块62，用于将待处理图像输入所述色调映射子模型和区域划分子模型，以得到所述待处理图像的色调映射矩阵和区域划分矩阵；
[0112]
图像处理模块63，用于采用所述待处理图像的色调映射矩阵和区域划分矩阵，对所述待处理图像进行色调映射处理，以得到动态范围增强图像。
[0113]
关于该图像的动态范围增强装置的原理、具体实现和有益效果请参照前文关于图像的动态范围增强方法的相关描述，此处不再赘述。
[0114]
本发明实施例还提供了一种存储介质，例如为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1、图3以及图4所示的动态范围增强模型的训练方法的步骤，或者执行上述图像的动态范围增强方法的步骤。所述计算机可
读存储介质可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。
[0115]
具体地，在本发明实施例中，所述处理器可以为中央处理单元(central processing unit，简称cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0116]
还应理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称rom)、可编程只读存储器(programmable rom，简称prom)、可擦除可编程只读存储器(erasable prom，简称eprom)、电可擦除可编程只读存储器(electrically eprom，简称eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称ram)可用，例如静态随机存取存储器(static ram，简称sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，简称sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，简称ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，简称esdram)、同步连接动态随机存取存储器(synchlink dram，简称sldram)和直接内存总线随机存取存储器(direct rambus ram，简称dr ram)。
[0117]
本发明实施例还提供了一种动态范围增强模型的训练装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1、图3以及图4所示的动态范围增强模型的训练方法的步骤。动态范围增强模型的训练装置可以集成于终端，或者，动态范围增强模型的训练装置可以例如是终端。所述终端可以包括但不限于手机、计算机、平板电脑等终端设备，还可以为服务器、云平台等。
[0118]
本发明实施例还提供了一种图像的动态范围增强装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图像的动态范围增强方法的步骤。图像的动态范围增强装置可以集成于终端，或者，图像的动态范围增强装置可以例如是终端。所述终端可以包括但不限于手机、计算机、平板电脑等终端设备，还可以为服务器、云平台等。
[0119]
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
[0120]
本技术实施例中出现的“多个”是指两个或两个以上。
[0121]
本技术实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本技术实施例中对设备个数的特别限定，不能构成对本技术实施例的任何限制。
[0122]
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限
定。
[0123]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

技术特征：
1.一种动态范围增强模型的训练方法，其特征在于，包括：确定待训练模型，所述待训练模型包括：色调映射子模型和区域划分子模型；确定训练数据集，所述训练数据集包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；采用目标损失函数以及所述训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型；其中，在每轮迭代中，将所述原始场景图像输入所述色调映射子模型和区域划分子模型，以得到所述原始场景图像的色调映射矩阵和区域划分矩阵，然后采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，以得到动态范围增强预测图像；其中，每轮迭代中所述目标损失函数的函数值，是基于所述原始场景图像对应的动态范围增强标签图像与动态范围增强预测图像的至少一部分像素的像素值之差确定的。2.根据权利要求1所述的方法，其特征在于，在每轮迭代中，所述目标损失函数的函数值采用下述方式确定：对于当前轮输入的每帧所述原始场景图像，确定所述原始场景图像对应的动态范围增强标签图像的至少一部分像素与动态范围增强预测图像的对应位置的像素在每个颜色通道的像素值之差的平方，记为通道差异因子，再对每个像素在各个颜色通道的通道差异因子计算平均值，得到该像素的像素差异因子；对所得到的各个像素差异因子进行平均运算，得到所述原始场景图像对应的子损失值；对当前轮输入的各帧原始场景图像对应的子损失值进行加权运算，将加权运算结果作为当前轮所述目标损失函数的函数值。3.根据权利要求1所述的方法，其特征在于，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域，每个色调映射矩阵中用于指示所属原始场景图像中单个像素的色调映射系数，所述区域划分矩阵中的每个元素指示的划分区域对应于多个色调映射矩阵；采用所述色调映射矩阵和区域划分矩阵，对所述原始场景图像进行色调映射处理，包括：对于所述区域划分矩阵的每个元素所指示的划分区域，确定所述划分区域内每个像素的像素值所属的像素值区间；根据该像素所属的像素值区间，确定该像素对应的色调映射矩阵；采用该像素对应的色调映射矩阵中的每个元素，对该像素的各个颜色通道进行色调映射处理；其中，所述像素值区间是对预设数值区间进行区间划分得到的，划分得到的多个像素值区间与所述划分区域对应的多个色调映射矩阵之间具有预设的一一对应关系。4.根据权利要求3所述的方法，其特征在于，采用下述方式，对预设数值区间进行区间划分，得到多个像素值区间：确定所述划分区域对应的色调映射矩阵的总数量，记为像素值区间总数量；在所述预设数值区间中，将大于等于最小端点值且小于等于第一阈值的区间作为第一像素值区间，
将大于等于第二阈值且小于等于最大端点值的区间作为第二像素值区间，将大于所述第一阈值且小于所述第二阈值的区间平均划分为目标数量的第三像素值区间；其中，所述目标数量等于所述划分区域对应的色调映射矩阵的总数量减2；所述第一像素值区间的两端点数值之差大于所述第三像素值区间的两端点数值之差，所述第二像素值区间的两端点数值之差大于所述第三像素值区间的两端点数值之差。5.根据权利要求1所述的方法，其特征在于，所述区域划分子模型包含第一网络结构和第二网络结构，所述色调映射子模型包含所述第一网络结构和第三网络结构；其中，在每轮迭代中，将所述原始场景图像输入所述第一网络结构，以得到所述原始场景图像的特征数据，然后将所述特征数据分别输入所述第二网络结构和所述第三网络结构，以得到所述原始场景图像的区域划分矩阵和色调映射矩阵。6.根据权利要求1或5任一项所述的方法，其特征在于，所述区域划分矩阵中的每个元素用于指示所属原始场景图像的单个划分区域；在迭代训练过程中，所述区域划分矩阵中包含预设的固定数量的元素。7.一种图像的动态范围增强方法，其特征在于，包括：确定训练后的动态范围增强模型，所述训练后的动态范围增强模型包括：色调映射子模型和区域划分子模型，其中，所述训练后的动态范围增强模型是基于上述权利要求1至6任一项所述的动态范围增强模型的训练方法确定的；将待处理图像输入所述色调映射子模型和区域划分子模型，以得到所述待处理图像的色调映射矩阵和区域划分矩阵；采用所述待处理图像的色调映射矩阵和区域划分矩阵，对所述待处理图像进行色调映射处理，以得到动态范围增强图像。8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至6任一项所述动态范围增强模型的训练方法的步骤，或者执行权利要求7所述图像的动态范围增强方法的步骤。9.一种动态范围增强模型的训练装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至6任一项所述动态范围增强模型的训练方法的步骤。10.一种图像的动态范围增强装置，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求7所述的图像的动态范围增强方法的步骤。

技术总结
本申请提供一种动态范围增强模型的训练方法、图像的动态范围增强方法及装置，所述动态范围增强模型的训练方法包括：确定待训练模型，包括：色调映射子模型和区域划分子模型；确定训练数据集，包括多帧原始场景图像，以及对每帧原始场景图像标注的动态范围增强标签图像；采用目标损失函数以及训练数据集，对以下待优化项进行迭代训练，以得到训练后的动态范围增强模型：所述色调映射子模型和区域划分子模型。采用上述训练方法，可以获得更加优化的动态范围增强模型。进一步，所述图像的动态范围增强方法，通过利用上述训练后的动态范围增强模型，可以对待处理图像进行更加准确、合理的区域划分及色调映射，从而改进图像的动态范围增强效果。围增强效果。围增强效果。


技术研发人员：王琼瑶 吴倩 霍星 邵娜 赵磊
受保护的技术使用者：北京紫光展锐通信技术有限公司
技术研发日：2023.07.13
技术公布日：2023/10/20