经由全局和局部整形实现的图像增强的制作方法

经由全局和局部整形实现的图像增强
1.相关申请的交叉引用
2.本技术要求均于2021年1月27日提交的美国临时申请号63/142,270和欧洲专利申请号21153722.0的优先权，这两个申请中的每一个都通过引用以其全文并入本文。
技术领域
3.本公开总体上涉及图像处理操作。更具体地，本公开的实施例涉及视频编解码器。


背景技术：

4.如本文所使用的，术语“动态范围(dr)”可以涉及人类视觉系统(hvs)感知图像中的强度范围(例如，光亮度、亮度)的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，dr与“参考场景的(scene-referred)”强度有关。dr还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，dr与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为所述术语可以在任一意义上例如可互换地使用。
5.如本文所使用的，术语“高动态范围(hdr)”涉及跨越人类视觉系统(hvs)的大约14至15个或更多数量级的dr阔度。实际上，相对于hdr，人类可以同时感知强度范围中的广泛阔度的dr可能会被稍微截短。如本文所使用的，术语“增强动态范围(edr)或视觉动态范围(vdr)”可以单独地或可互换地与这种dr相关：所述dr可在场景或图像内由包括眼运动的人类视觉系统(hvs)感知，允许场景或图像上的一些光适性变化。如本文所使用的，edr可以涉及跨越5个到6个数量级的dr。虽然相对于参考真实场景的hdr可能稍微窄一些，但edr表示宽dr阔度并且也可以被称为hdr。
6.实际上，图像包括颜色空间的一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中每个颜色分量由每像素n位的精度表示(例如，n＝8)。使用非线性光亮度编码(例如，伽马编码)，其中n≤8的图像(例如，彩色24位jpeg图像)被视为标准动态范围的图像，而其中n》8的图像可以被视为增强动态范围的图像。
7.给定显示器的参考电光传递函数(eotf)表征输入视频信号的颜色值(例如，光亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕光亮度)之间的关系。例如，itu rec.itu-r bt.1886,“reference electro-optical transfer function for flat panel displays used in hdtv studio production[hdtv工作室制作中使用的平板显示器的参考电光传递函数]”(2011年3月)限定了平板显示器的参考eotf，其内容通过引用以其全文并入本文。在给定了视频流的情况下，关于其eotf的信息可以作为(图像)元数据嵌入比特流中。本文术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。
[0008]
如本文所使用的术语“pq”是指感知光亮度幅度量化。人类视觉系统以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺
激物的大小、构成刺激物的空间频率以及在观看刺激物的特定时刻眼睛所适应的光亮度水平。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在smpte st 2084:2014“high dynamic range eotf of mastering reference displays[母版制作参考显示器的高动态范围eotf]”(下文称为“smpte”)中描述了示例pq映射函数，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(例如，刺激水平等)，根据最敏感的适应水平和最敏感的空间频率(根据hvs模型)来选择所述光亮度水平处的最小可见对比度步长。
[0009]
支持200至1,000cd/m2或尼特的光亮度的显示器代表了与edr(或hdr)相关的较低动态范围(ldr)，也被称为标准动态范围(sdr)。edr内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的edr显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000或更高尼特)的替代eotf来限定。在smpte 2084和rec.itu-r bt.2100,“image parameter values for high dynamic range television for use in production and international programme exchange[用于在制作和国际节目交换中使用的高动态范围电视的图像参数值]”(06/2017)中定义了这种eotf的示例。如本发明人在此所理解的，期望用于将输入视频内容数据转换为具有高动态范围、高局部对比度和鲜艳颜色的输出视频内容的改进技术。
[0010]
在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认定。
附图说明
[0011]
在附图中以举例而非限制的方式来图示本发明的实施例，并且其中相似的附图标记指代类似的要素，并且在附图中：
[0012]
图1描绘了视频传输流水线的示例过程；
[0013]
图2a图示了用于应用全局和/或局部整形操作的示例架构；图2b至图2e图示了用于由输入hdr视频信号生成输出hdr视频信号的示例架构；图2f至图2i图示了用于由输入hdr视频信号生成输出hdr视频信号的示例架构；图2j图示了示例视频应用，其中源图像被移动设备捕获为输入sdr视频信号中的sdr图像；图2k图示了使用不成对的前向和后向整形函数来改变输入视频信号的明亮度和/或饱和度的示例流程；图2l图示了可以对输入图像执行以生成经局部整形的输出图像的示例亮度和色度局部整形；图2m图示了用于自衍生单通道局部函数生成的示例流程；图2n至图2p图示了用于跨通道局部函数生成的示例流程；图2q图示了用于局部整形函数选择抖动的示例流程；图2r至图2t图示了用于生成色度局部整形函数的系数的示例映射流；
[0014]
图3a图示了示例索引亮度全局前向整形函数；图3b图示了示例索引亮度全局后向整形函数；图3c和图3f图示了各自使用具有相同索引值的一对全局前向和后向整形函数的示例亮度码字映射；图3d和图3e图示了各自使用具有相同索引值的一对全局前向和后向整形函数的示例色度码字映射；图3g图示了具有不同索引值的示例亮度后向函数；图3h图示了具有不同索引值的示例亮度前向函数；图3i图示了用于实现饱和度变化的示例非线性函
数；
[0015]
图4图示了示例过程流程；以及
[0016]
图5图示了示例硬件平台的简化框图，在所述硬件平台上可以实施如本文所描述的计算机或计算设备。
具体实施方式
[0017]
在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本公开。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本公开，没有详尽地描述众所周知的结构和设备。
[0018]
概述
[0019]
可以实施本文所述的前向或后向整形技术，以将输入图像数据整形或转换为输出图像数据。示例整形或转换操作可以包括以下一项或多项的组合：局部整形操作、全局整形操作、局部前向整形操作、全局前向整形操作、局部后向整形操作、全局后向整形操作、上述操作的组合等。
[0020]
全局整形是指对输入图像的所有像素应用相同的全局(前向和/或后向)整形函数/映射以生成描绘与输入图像相同的视觉语义内容的对应的输出图像(如经(例如，前向、后向、圆形等)整形的图像)的转换或整形操作。
[0021]
与对输入图像的所有像素应用相同的整形函数或映射的全局整形相比，局部整形指的是对输入图像的不同像素应用不同的(前向和/或后向)整形函数或映射的转换或整形操作。因此，在局部整形中，应用于输入图像的第一像素的第一整形函数可以是与应用于输入图像的第二不同像素的第二整形函数不同的函数。
[0022]
示例全局整形操作在以下专利申请中进行了描述：于2015年3月20日提交的美国临时专利申请序列号62/136,402(还公布于2018年1月18日，作为美国专利申请公开序列号2018/0020224)和于2019年5月9日提交的pct申请序列号pct/us2019/031620；于2019年11月27日提交、也于2020年6月11日公布为wo 2020/117603的名称为“interpolation of reshaping functions[整形函数的插值]”的pct申请序列号pct/us2019/063796；于2020年4月21日提交的g-m.su的名称为“reshaping functions for hdr imaging with continuity and reversibility constraints[具有连续性和可逆性约束的hdr成像的整形函数]”的美国临时专利申请序列号63/013,063；以及于2020年4月22日提交的g-m.su和h.kadu的名称为“iterative optimization of reshaping functions in single-layer hdr image codec[单层hdr图像编解码器中整形函数的迭代优化]”的美国临时专利申请序列号63/013,807，所有专利申请的全部内容如在本文充分阐述的那样通过引用并入本文。示例局部整形操作在2020年10月2日提交的美国临时专利申请序列号63/086,699中进行了描述，所述美国临时专利申请的全部内容如在本文充分阐述的那样通过引用并入本文。
[0023]
如本文所述的整形技术可以用于实施统一的图像增强方法，以选择、组合和/或混合各种全局和/或局部整形操作，以生成与用于生成经整形或经重构图像的输入图像相比具有更好图像质量的经整形或经重构图像。
[0024]
例如，尽管在tv观看应用中hdr视频提供了比对应sdr视频明显更好的观看体验，但在移动设备观看应用中hdr视频可能显示出与对应sdr视频相当或相似的非常柔和的观
看体验。
[0025]
在本文所述的技术下，除了现有的sdr到hdr动态范围增强之外，还可以进一步增强hdr视频中的hdr图像。在tv观看应用以及移动设备观看应用中，进一步增强的hdr图像可能看起来比对应sdr视频中的sdr图像更有吸引力。另外地、可选地或可替代地，即使对于sdr视频，如在sdr后向兼容视频信号或分层视频信号的基础层中携带的sdr视频，sdr视频中的sdr图像也可以用更好的局部对比度和/或饱和度来增强，以丰富或改善基础层观看体验。
[0026]
如本文所使用的，“圆形整形”或“经圆形整形的”是指前向和后向整形的组合。
[0027]
由全局整形操作组成的圆形整形可以分为成对的和不成对的前向/后向整形。通过成对的前向/后向全局整形操作接收的输入图像可以用通过成对的前向/后向全局整形操作生成的输出图像来(例如，完全地、如实地、经受量化误差地等)重构。通过不成对的前向/后向全局整形操作接收的输入图像的明亮度、色调和/或饱和度可以用通过不成对的前向/后向全局整形操作生成的输出图像来调整。
[0028]
局部整形操作(如前向、后向和/或圆形局部整形)可能不被分类为成对的/不成对的类别。无论局部前向整形操作与局部后向整形操作之间是否存在对应性或关系，局部前向整形操作和局部后向整形操作可能都不能作为一对来生成与用于通过局部前向整形操作和局部后向整形操作生成经重构图像的输入图像相同(例如，完全地、如实地、经受量化误差地等)的重构图像。
[0029]
然而，如本文所述的局部整形操作，无论是成对的还是不成对的，都可以用于增加局部对比度和饱和度，并在通过局部整形操作生成的经整形和/或经重构图像中实现更好的局部外观。
[0030]
在一些操作场景中，与来自图像源(例如，上游编码器、媒体内容服务器、媒体流式传输服务器、制作工作室等)的输入图像一起接收的传入图像元数据将在输出视频信号的传出图像元数据中被保留或很大程度上不受干扰，所述输出视频信号用通过本文所述的整形操作生成的经整形或经重构图像编码。
[0031]
不成对的全局整形操作可能相对于输入图像过多地改变输出图像中的码字统计或分布，从而部分地或全部地使传入图像元数据无效，或者至少由于不成对的全局整形操作的码字统计或分布的改变而导致传出图像元数据不准确。在一些操作场景中，可以全部地或部分地应用局部整形操作，而不是不成对的全局整形操作，以最小化或减少输出图像中相对于输入图像的码字统计/分布的变化，从而保持传入图像元数据的有效性和/或准确性。因此，在用输出图像编码的输出视频信号的传出图像元数据中，一些或全部传入图像元数据可以保留或不被干扰。
[0032]
根据使用情况，用于增强图像的全局/局部整形函数/操作的不同组合例如生成在对比度、色调和/或饱和度方面比整形函数/操作所接收的输入图像具有更好外观的输出图像。
[0033]
可以使用多种方法来生成如本文所述的整形函数。例如，可以通过使用以下一项或多项来不受限制地生成局部整形函数：(1)自衍生方法，(2)预构建方法，(3)自衍生方法与预构建方法相结合的混合方法，等等。这些方法中的一些或全部可以部署在在线/实时整形用例、离线/非实时整形用例中。例如，在一些操作场景中，可以从离线训练的全局整形函
数族实时生成局部整形函数。
[0034]
在一些操作场景中，局部整形可能会导致生成假轮廓(false contouring)或带伪像(banding artifact)。局部整形增加了映射函数中的斜率或对比度，从而加宽了用于对图像中的图像内容进行编码的可用码字的码字空间中的连续码字之间的间隙。可以应用局部整形函数索引抖动来减轻或掩盖假轮廓或带伪像。另外地、可选地或可替代地，可以在经整形的码字中实施胶片颗粒注入，以进一步减轻或掩盖假轮廓或带伪像。
[0035]
本文描述的示例实施例涉及由输入图像生成输出图像。对在第一域中表示的第一图像执行第一整形映射，以生成在第二域中表示的第二图像。所述第一域具有第一动态范围，所述第一动态范围不同于所述第二域具有的第二动态范围。对在所述第二域中表示的所述第二图像执行第二整形映射，以生成在所述第一域中表示的第三图像。所述第三图像在感知上与所述第一图像在以下至少一个方面不同：全局对比度、全局饱和度、局部对比度、局部饱和度等。使得在显示设备上渲染要由第三图像得到的显示图像。
[0036]
示例视频传输处理流水线
[0037]
图1描绘了视频传输流水线(100)的示例过程，其示出了从视频捕获/生成到hdr或sdr显示的各个级。示例hdr显示器可以包括但不限于与tv、移动设备、家庭影院等结合操作的图像显示器。示例sdr显示器可以包括但不限于sdr tv、移动设备、家庭影院显示器、头戴式显示设备、可穿戴显示设备等。
[0038]
应当注意，如本文所述的图像处理操作(如整形操作)可以在编码器/服务器侧(视频压缩之前)或解码器/回放侧(视频解压缩之后)以及在提供用于视频编码的输入图像的视频预处理系统或块中执行。为了支持回放侧整形操作，可以使用图1中所描绘的相同系统配置和除了图1中所描绘的系统配置之外的不同系统配置。在这些系统配置中，可以使用除了图1中所描绘的处理部件所使用的图像元数据格式之外的各种不同图像元数据格式来传送图像元数据。
[0039]
图像生成块105可以接收如连续输入(例如，sdr、hdr等)图像102序列等视频帧。这些图像(102)可以从视频源接收，由图像生成块(105)外部或内部的视频预处理系统/块生成，或者从视频数据存储装置取得。图像(102)中的一些或全部可以由源图像生成，例如通过(例如，无人工输入的自动、手动、有人工输入的自动等)视频编辑或变换操作、颜色分级操作等。源图像可以是数字捕获的(例如，通过数字相机)，通过将在胶片上捕获的模拟相机图片转换为数字格式而生成，通过计算机生成(例如，使用计算机动画、图像渲染等)，等等。图像(102)可以是与以下一项或多项相关的图像：电影发行、存档媒体节目、媒体节目库、视频录制/剪辑、媒体节目、电视节目、用户生成的视频内容等。
[0040]
图像生成块(105)将(例如，局部、全局、局部和全局等)整形操作应用于连续输入图像(102)序列中的每个输入图像，以生成对应连续(例如，经整形、经重构、增强的、进一步增强的等)输出图像序列中的相应(例如，经整形、经重构、增强的、进一步增强的等)输出图像，所述连续输出图像描绘了与输入图像(102)相同的视觉语义内容，但相比于输入图像(102)具有相同或不同的动态范围、更高的局部对比度、更生动的颜色等。
[0041]
更具体地，基于存在于输入图像(102)的输入图像中的码字，图像生成块(105)可以选择或构造通用于或专用于输入图像的全局整形函数142和/或局部整形函数146。图像生成块(105)可以基于全局整形函数(142)执行全局整形操作和/或基于局部整形函数
(146)执行局部整形操作，以将输入图像整形或转换为对应的输出(例如，经整形、经重构、增强的、进一步增强的等)图像，所述输出图像描绘了与输入图像相同的视觉语义信息。图像生成块(105)可以单独执行全局整形操作、单独执行局部整形操作或全局和/或局部整形操作的组合等等，以由输入图像生成对应的输出图像。与输入图像相比，输出图像可以具有相同或不同的动态范围、更高的局部对比度、更生动的颜色等。
[0042]
在一些操作场景中，可以离线执行一些整形操作，以基于训练图像数据(如训练hdr图像、训练sdr图像、训练hdr-sdr图像的组合/对等)生成预构建的整形映射/函数。为了在运行时在图像生成块(105)中执行动态在线整形操作，可以直接或间接地使用或适配这些预构建的整形映射/函数。
[0043]
在一些操作场景中，由图像生成块(105)生成的输出图像可以被提供给合成器元数据生成块115，以生成经前向整形的sdr图像112以及生成图像元数据177(例如，合成器元数据、后向整形映射等)。图像元数据(177)可以包括用于生成后向整形映射的组合器数据，所述后向整形映射在应用于经前向整形的sdr图像时生成描绘与经前向整形的sdr图像相同的视觉语义内容的对应hdr图像。输入图像(102)中的一些或全部可以被提供给合成器元数据生成块(115)，以促进或支持生成经前向整形的sdr图像(112)的前向整形操作以及促进或支持其中的图像元数据或后向整形映射的生成。
[0044]
示例整形映射/操作(包括但不限于后向映射/操作、前向映射/操作和/或圆形映射/操作)可以包括但不一定仅限于用以下一项或多项指定的映射/操作：后向查找表(blut)、前向查找表(flut)、后向和前向整形函数/曲线或多项式集、多变量多元回归(mmr)系数、张量积b样条(tpb)系数、上述的任何组合等。mmr操作的示例在美国专利号8,811,490中进行了描述，所述美国专利的全部内容如在本文充分阐述的那样通过引用以其整体并入本文。tpb操作的示例在2019年10月1日提交的发明名称为“tensor-product b-spline predictor[张量积b样条预测器]”的美国临时申请序列号62/908,770(代理人案卷号60175-0417)中进行了描述，所述申请的全部内容如在本文充分阐述的那样通过引用以其整体并入本文。
[0045]
经整形sdr图像(112)和图像元数据(177)可以由视频信号122(例如，编码比特流等)中的编码块120，或由一组连续视频片段编码。在给定了视频信号(122)的情况下，作为设备上视频信号(122)的内部处理或后处理的一部分，接收设备诸如移动电话可以决定将元数据与sdr图像数据一起使用，以生成并渲染在接收设备的显示能力内具有更高动态范围(如hdr)和更鲜艳的颜色的图像。另外地、可选地或可替代地，视频信号(122)或视频片段允许与可以忽略图像元数据(177)并简单地显示sdr图像数据中表示的sdr图像的传统sdr显示器的后向兼容。
[0046]
示例视频信号或视频片段可以包括但不一定限于单层视频信号/片段等。在一些实施例中，编码块(120)可以包括音频和视频编码器(如由atsc、dvb、dvd、蓝光和其他传输格式定义的音频和视频编码器)，以生成视频信号(122)或视频片段。
[0047]
然后，将视频信号(122)或视频片段向下游传输到如移动设备、平板电脑、解码和回放设备、媒体源设备、媒体流客户端设备、电视机(例如，智能tv等)、机顶盒、电影院等接收器。在下游设备中，由解码块(130)对视频信号(122)或视频片段进行解码以生成经解码图像182，所述经解码图像可以类似于或相同于经受在由编码块(120)执行的压缩和由解码
块(130)执行的解压缩中产生的量化误差和/或传输误差和/或同步误差和/或由数据包丢失引起的误差的经整形sdr图像(112)。
[0048]
在非限制性示例中，视频信号(122)(或视频片段)可以是后向兼容性sdr视频信号(或视频片段)。在此，“后向兼容”是指携带针对sdr显示器进行了优化(例如，保留了特定艺术意图等)的sdr图像的视频信号或视频片段。
[0049]
解码块(130)还可以从视频信号(122)或视频片段中取得或解码图像元数据(177)。图像元数据(177)指定了后向整形映射，所述后向整形映射可以由下游解码器用于对经解码sdr图像(182)执行后向整形，以生成用于在hdr(例如，目标、参考等)显示器上渲染的经后向整形的hdr图像。在图像元数据(177)中表示的后向整形映射可以由合成器元数据生成块(115)通过使利用图像元数据(177)生成的经后向整形的hdr图像与由图像生成块(115)利用全局和/或局部整形操作生成的输出图像之间的误差或差异最小化来生成。因此，图像元数据(177)有助于确保由接收器利用图像元数据(177)生成的经后向整形的hdr图像相对接近且准确地近似由图像生成块(115)利用全局和/或局部整形操作生成的输出图像。
[0050]
另外地、可选地或可替代地，图像元数据(177)可以包括显示管理(dm)元数据，所述dm元数据可以由下游解码器用于对经后向整形的图像执行显示管理操作，以生成针对在hdr显示设备上渲染而优化的显示图像(例如，hdr显示图像等)。
[0051]
在接收器与支持标准动态范围或相对窄动态范围的sdr显示器140一起操作(或附加到所述sdr显示器)的操作场景中，接收器可以直接或间接地在目标显示器(140)上渲染经解码的sdr图像。
[0052]
在接收器与支持高动态范围(例如，400尼特、1000尼特、4000尼特、10000尼特或更高等)的hdr显示器140-1一起操作(或附加到所述hdr显示器)的操作场景中，接收器可以从视频信号(122)或视频片段(例如，其中的元数据容器等)中提取合成器元数据，并使用合成器元数据来合成hdr图像(132)，所述hdr图像可以是基于合成器元数据对sdr图像进行后向整形而生成的经后向整形的图像。另外，接收器可以从视频信号(122)或视频片段中提取dm元数据，并基于dm元数据对hdr图像(132)应用dm操作(135)，以生成针对在hdr显示设备(140-1)上渲染而优化的显示图像(137)，并在hdr显示设备(140-1)上渲染显示图像(137)。
[0053]
仅出于图示的目的，已经描述了如本文所描述的全局和/或局部整形操作可以由上游设备诸如视频编码器执行，以由输入图像生成输出图像。这些输出图像然后被视频编码器用作目标或参考图像，以生成经后向整形的元数据，所述经后向整形的元数据帮助接收设备生成相对接近或准确地近似根据全局和/或局部整形操作生成的输出图像的经后向整形的hdr图像。
[0054]
应当注意，在各种实施例中，一些或全部全局和/或局部整形操作可以由单独的视频编码器、单独的视频解码器、单独的视频转码器或前述的组合来执行。
[0055]
全局和/或局部整形选项
[0056]
图2a图示了用于应用全局和/或局部整形操作的示例架构。所有整形操作中的一些可以由图像处理系统来实施或执行，如图1的编码器侧的一个或多个处理块、图1的编码器侧的一个或多个处理块、图1的编码器和解码器侧的处理块的组合等等。
[0057]
如图2a所示，框202表示hdr视频信号输入/输出接口。在各种操作场景中，hdr视频
信号输入/输出接口(202)可以是单独的hdr视频信号输入接口、单独的hdr视频信号输出接口、或hdr视频信号输入接口和hdr视频信号输出接口的组合。在一些操作场景中，可以利用hdr视频信号输入/输出接口(202)的hdr视频输入接口来输入或接收输入hdr视频信号或其中的输入hdr图像。在一些操作场景中，可以利用hdr视频信号输入/输出接口(202)的hdr视频输出接口来输出或发送输出hdr视频信号或其中的输出hdr图像。
[0058]
类似地，框208表示sdr视频信号输入/输出接口。在各种操作场景中，sdr视频信号输入/输出接口(208)可以是单独的sdr视频信号输入接口、单独的sdr视频信号输出接口、或sdr视频信号输入接口和sdr视频信号输出接口的组合。在一些操作场景中，可以利用sdr视频信号输入/输出接口(208)的sdr视频输入接口来输入或接收输入sdr视频信号或其中的输入sdr图像。在一些操作场景中，可以利用sdr视频信号输入/输出接口(208)的sdr视频输出接口来输出或发送输出sdr视频信号或其中的输出sdr图像。
[0059]
框204和框206表示用于前向整形路径中的前向整形操作、方法和/或函数的选项。框210和框212表示用于后向整形路径中的后向整形操作、方法和/或函数的选项。前向和后向整形路径中的每一个包括用于全局整形操作、方法和/或函数的选项，其可以被设计为保持由这些全局整形操作、方法和/或函数生成的(多个)sdr或hdr图像的(多个)整体(sdr或hdr)外观。
[0060]
在一些操作场景中，前向整形路径中的前向全局整形操作、方法和/或函数与后向整形路径中的后向全局整形操作、方法和/或函数形成(例如，完全地、如实地、经受量化误差的等)可恢复(revertible)整形对。在这些操作场景中，如果(例如，输入的、接收的等)hdr图像通过前向整形路径中的前向全局整形操作、方法和/或函数进行前向整形以生成经前向整形的(例如，sdr等)图像，则通过应用后向整形路径中的后向全局整形操作、方法和/或函数生成的经重构或经后向整形的图像与(例如，输入的、接收的等)hdr图像相同或与可能经受量化误差的(例如，输入的、接收的等)hdr图像非常接近。
[0061]
同样地，如果(例如，输入的、接收的等)sdr图像通过后向整形路径中的后向全局整形操作、方法和/或函数进行后向整形以生成经后向整形的(例如，hdr等)图像，则通过应用前向整形路径中的前向全局整形操作、方法和/或函数生成的经重构或经前向整形的图像与(例如，输入的、接收的等)sdr图像相同或与可能经受量化误差的(例如，输入的、接收的等)sdr图像非常接近。
[0062]
虽然能够增强局部视觉可感知特征，但与全局整形操作、方法和/或函数相比，前向或后向路径中的局部整形操作、方法和/或函数可能不可由后向或前向路径中的其他全局或局部整形操作恢复，也可能不与所述其他全局或局部整形操作形成可恢复对。
[0063]
在各种操作场景中，如图2a所示，根据如何使用和使用什么特定的整形操作、方法和/或函数，以及如何使用和使用什么特定的输入和/或输出图像接口(例如，输入和/或输出sdr图像接口、输入和/或输出hdr图像接口等)，输入视频信号或其中的输入图像可以是hdr或sdr。类似地，如图2a所图示的，根据如何使用和使用什么特定的整形操作、方法和/或函数，以及如何使用和使用什么特定的输入和/或输出接口，输出视频信号或其中的输出(例如，经重构等)图像可以是hdr或sdr。
[0064]
各种不同的组合如下所示。首先，输入信号是hdr输入信号，并且输出信号是hdr输出信号。在这种情况下，hdr输入信号中的输入hdr图像首先通过前向整形处理，然后通过后
向整形处理以在hdr输出信号中生成对应的输出hdr图像(其描绘与输入hdr图像相同的视觉语义内容)。由使用前向路径中的全局或局部整形的两个选项乘以使用后向路径中的全局或局部整形的两个选择形成四个(2*2＝4)组合。
[0065]
其次，输入信号是hdr输入信号，并且输出信号是sdr输出信号。在这种情况下，hdr输入信号中的输入hdr图像通过前向整形处理以在sdr输出信号中生成对应的输出sdr图像(其描绘与输入hdr图像相同的视觉语义内容)。由使用前向路径中的全局或局部整形的两个选项形成两个组合。
[0066]
第三，输入信号是sdr输入信号，并且输出信号是hdr输出信号。在这种情况下，sdr输入信号中的输入sdr图像通过后向整形处理以在hdr输出信号中生成对应的输出hdr图像(其描绘与输入sdr图像相同的视觉语义内容)。由使用后向路径中的全局或局部整形的两个选项形成两个组合。
[0067]
第四，输入信号是sdr输入信号，并且输出信号是sdr输出信号。在这种情况下，sdr输入信号中的输入sdr图像首先通过后向整形处理，然后通过前向整形处理以在sdr输出信号中生成对应的输出sdr图像(其描绘与输入sdr图像相同的视觉语义内容)。由使用后向路径中的全局或局部整形的两个选项乘以使用前向路径中的全局或局部整形的两个选择形成四个(2*2＝4)组合。
[0068]
hdr增强
[0069]
如上所讨论的多个组合可以用于支持由输入hdr视频信号整形的输出hdr视频信号中的hdr增强。
[0070]
图2b图示了使用前向和后向路径中的全局整形操作、方法和/或函数由输入hdr视频信号生成输出hdr视频信号的示例。如图所示，可以使用前向路径中的全局前向整形(204)和后向路径中的全局后向整形(210)将经由hdr输入/输出接口(202)的输入hdr接口接收的输入hdr视频信号中的输入hdr图像转换为经由hdr输入/输出接口(202)的输出hdr接口发送的输出hdr视频信号中的输出hdr图像。
[0071]
在前向路径中的全局前向整形(204)和后向路径中的全局后向整形(210)形成一对或彼此对称(例如，可恢复、数学逆、经受量化误差的数学逆等)的操作场景中，则输出hdr图像与没有hdr增强的(原始)输入hdr图像(可能经受量化误差)相同。在一些操作场景中，通过对输入hdr图像执行全局前向整形(204)而生成的经整形的sdr图像可以是可观看的非增强sdr图像。
[0072]
在前向路径中的全局前向整形(204)和后向路径中的全局后向整形(210)不形成一对或彼此不对称(例如，不可恢复、非数学逆、具有不归因于量化误差的差异的非数学逆等)的操作场景中，则输出hdr图像从具有不同的hdr外观的(原始)输入hdr图像发生改变。例如，前向路径中的全局前向整形(204)和后向路径中的全局后向整形(210)可以用于生成具有与输入hdr图像的(原始)外观中的明亮度和饱和度不同的明亮度和饱和度的不同hdr外观。另外地、可选地或可替代地，通过对输入hdr图像执行全局前向整形(204)而生成的经整形的sdr图像可以是可观看的非增强sdr图像。
[0073]
图2c图示了使用前向路径中的全局前向整形操作、方法和/或函数和后向路径中的局部后向整形操作、方法和/或函数由输入hdr视频信号生成输出hdr视频信号的示例。如图所示，可以使用前向路径中的全局前向整形(204)和后向路径中的局部后向整形(212)将
经由hdr输入/输出接口(202)的输入hdr接口接收的输入hdr视频信号中的输入hdr图像转换为经由hdr输入/输出接口(202)的输出hdr接口发送的输出hdr视频信号中的输出hdr图像。
[0074]
由于使用了局部后向整形，输出hdr图像得到了增强。另外地、可选地或可替代地，通过对输入hdr图像执行全局前向整形(204)而生成的经整形的sdr图像可以是非局部增强的sdr图像。
[0075]
图2d图示了使用前向路径中的局部前向整形操作、方法和/或函数和后向路径中的全局后向整形操作、方法和/或函数由输入hdr视频信号生成输出hdr视频信号的示例。如图所示，可以使用前向路径中的局部前向整形(206)和后向路径中的全局后向整形(210)将经由hdr输入/输出接口(202)的输入hdr接口接收的输入hdr视频信号中的输入hdr图像转换为经由hdr输入/输出接口(202)的输出hdr接口发送的输出hdr视频信号中的输出hdr图像。
[0076]
由于使用了局部前向整形，输出hdr图像得到了增强。通过对输入hdr图像执行局部前向整形(206)而生成的经整形的sdr图像是局部增强的sdr图像。
[0077]
图2e图示了使用前向路径中的局部前向整形操作、方法和/或函数和后向路径中的局部后向整形操作、方法和/或函数由输入hdr视频信号生成输出hdr视频信号的示例。如图所示，可以使用前向路径中的局部前向整形(206)和后向路径中的局部后向整形(212)将经由hdr输入/输出接口(202)的输入hdr接口接收的输入hdr视频信号中的输入hdr图像转换为经由hdr输入/输出接口(202)的输出hdr接口发送的输出hdr视频信号中的输出hdr图像。
[0078]
由于使用前向和后向路径中的局部前向整形和局部后向整形，输出hdr图像得到了双重增强。通过对输入hdr图像执行局部前向整形(206)而生成的经整形的sdr图像是增强的sdr。另外地、可选地或可替代地，前向和后向路径中的一个或两个路径中的全局设置可以是不对称的，从而将输入hdr图像的(原始)hdr外观进一步改变为与输入hdr图像相比具有不同全局明亮度和饱和度的不同hdr外观。
[0079]
另外地、可选地或可替代地，在一些操作场景中，如上所讨论的一个或多个选项的组合中的一些或全部前述操作可以在多轮全局/局部前向和全局/局部后向整形中迭代地执行，以在输出hdr图像和经整形的sdr图像中生成进一步的hdr和/或sdr增强。
[0080]
sdr增强
[0081]
如上所讨论的多个组合可以用于支持由输入sdr视频信号整形的输出sdr视频信号中的sdr增强。
[0082]
图2f图示了使用前向和后向路径中的全局整形操作、方法和/或函数由输入sdr视频信号生成输出sdr视频信号的示例。如图所示，可以使用前向路径中的全局前向整形(204)和后向路径中的全局后向整形(210)将经由sdr输入/输出接口(208)的输入sdr接口接收的输入sdr视频信号中的输入sdr图像转换为经由sdr输入/输出接口(208)的输出sdr接口发送的输出sdr视频信号中的输出sdr图像。
[0083]
在前向路径中的全局前向整形(204)和后向路径中的全局后向整形(210)形成一对或彼此对称(例如，可恢复、数学逆、经受量化误差的数学逆等)的操作场景中，则输出sdr图像与没有sdr增强的(原始)输入sdr图像(可能经受量化误差)相同。在一些操作场景中，
通过对输入sdr图像执行全局后向整形(210)而生成的经整形的hdr图像可以是可观看的非增强的hdr图像。
[0084]
在前向路径中的全局前向整形(204)和后向路径中的全局后向整形(210)不形成一对或彼此不对称(例如，不可恢复、非数学逆、具有不归因于量化误差的差异的非数学逆等)的操作场景中，则输出sdr图像从具有不同的sdr外观的(原始)输入sdr图像发生改变。例如，前向路径中的全局前向整形(204)和后向路径中的全局后向整形(210)可以用于生成具有与输入sdr图像的(原始)外观中的明亮度和饱和度不同的明亮度和饱和度的不同sdr外观。另外地、可选地或可替代地，通过对输入sdr图像执行全局后向整形(210)而生成的经整形的hdr图像可以是可观看的非增强hdr图像。
[0085]
图2g图示了使用前向路径中的全局前向整形操作、方法和/或函数和后向路径中的局部后向整形操作、方法和/或函数由输入sdr视频信号生成输出sdr视频信号的示例。如图所示，可以使用前向路径中的全局前向整形(204)和后向路径中的局部后向整形(212)将经由sdr输入/输出接口(208)的输入sdr接口接收的输入sdr视频信号中的输入sdr图像转换为经由sdr输入/输出接口(208)的输出sdr接口发送的输出sdr视频信号中的输出sdr图像。
[0086]
由于使用了局部后向整形，输出sdr图像得到了增强。另外地、可选地或可替代地，通过对输入sdr图像执行全局后向整形(212)而生成的经整形的hdr图像可以是局部增强的hdr图像。
[0087]
图2h图示了使用前向路径中的局部前向整形操作、方法和/或函数和后向路径中的全局后向整形操作、方法和/或函数由输入sdr视频信号生成输出sdr视频信号的示例。如图所示，可以使用前向路径中的局部前向整形(206)和后向路径中的全局后向整形(210)将经由sdr输入/输出接口(208)的输入sdr接口接收的输入sdr视频信号中的输入sdr图像转换为经由sdr输入/输出接口(208)的输出sdr接口发送的输出sdr视频信号中的输出sdr图像。
[0088]
由于使用了局部前向整形，输出sdr图像得到了增强。另外地、可选地或可替代地，通过对输入sdr图像执行全局后向整形(210)而生成的经整形的hdr图像可以是非局部增强的hdr图像。
[0089]
图2i图示了使用前向路径中的局部前向整形操作、方法和/或函数和后向路径中的局部后向整形操作、方法和/或函数由输入sdr视频信号生成输出sdr视频信号的示例。如图所示，可以使用前向路径中的局部前向整形(206)和后向路径中的局部后向整形(212)将经由sdr输入/输出接口(208)的输入sdr接口接收的输入sdr视频信号中的输入sdr图像转换为经由sdr输入/输出接口(208)的输出sdr接口发送的输出sdr视频信号中的输出sdr图像。
[0090]
由于使用前向和后向路径中的局部前向整形和局部后向整形，输出sdr图像得到了双重增强。通过对输入sdr图像执行局部后向整形(212)而生成的经整形的hdr图像是增强的hdr。另外地、可选地或可替代地，前向和后向路径中的一个或两个路径中的全局设置可以是不对称的，从而将输入sdr图像的(原始)sdr外观进一步改变为与输入sdr图像相比具有不同全局明亮度和饱和度的不同sdr外观。
[0091]
另外地、可选地或可替代地，在一些操作场景中，如上所讨论的一个或多个选项的
组合中的一些或全部前述操作可以在多轮全局/局部前向和全局/局部后向整形中迭代地执行，以在输出sdr图像和经整形的hdr图像中生成进一步的hdr和/或sdr增强。
[0092]
可恢复增强
[0093]
如基于前向和后向路径中的全局整形的可恢复增强可以应用于许多视频应用中。图2j图示了示例视频应用，其中源图像被移动设备捕获为输入sdr视频信号中的sdr图像。sdr到hdr上转换可以用全局后向整形(例如，210等)来实施或执行。可以通过对(源或输入)sdr图像执行全局后向整形(210)来生成至少具有动态范围增强的经上转换的(或经整形的)hdr图像。与能够用相对较少或适度的计算能力执行的全局整形相比，由于移动电话中的计算能力相对有限，局部整形可能是负担不起或不可行的。相反，全局后向整形(210)可以用于生成(经上转换的或经整形的)hdr图像。hdr图像可以被编码为经hdr编码的比特流的输出版本。经hdr编码的比特流的这个版本可以被共享、预览和/或显示在移动设备的显示屏上。
[0094]
hdr图像可以通过经hdr编码的比特流上传到另一设备(例如，pc、膝上型计算机、基于云的存储装置和/或计算系统、服务器、媒体或视频共享系统等)，如更强大的机器。如图2c所图示的，可以接收经hdr编码的比特流作为输入hdr视频信号。经hdr编码的比特流的版本的hdr图像(如由移动设备对(原始)sdr图像执行的全局后向整形(210)生成的)可以通过首先使用可恢复全局前向整形(204)(其形成可恢复对或对应于图2j的全局后向整形(210))以恢复由移动设备(例如，与移动设备协同操作的(多个)相机等)生成的(原始)sdr图像而被进一步增强。如图2c所图示的，可以对恢复的sdr图像应用或执行局部后向整形(212)，以生成与经hdr编码的比特流的版本的hdr图像的hdr外观相比具有增强的hdr外观的(新的)hdr图像。
[0095]
因此，在涉及获取原始或输入sdr图像的移动设备的视频应用中，可以从移动设备生成的经hdr编码的比特流的版本的hdr图像中恢复并观看原始或输入sdr图像。而且，可以例如从移动设备接收并观看由移动设备生成的至少具有动态范围增强的hdr图像。进一步地，可以通过执行本文所述的局部整形(如图2c所图示的)生成并观看具有进一步增强的hdr图像。
[0096]
类似地，在输入hdr视频信号(例如，由移动设备生成，由非移动设备生成，由相机生成等)中接收输入hdr图像的视频应用中，可以对hdr图像执行全局前向整形以生成输出sdr图像。可以使用形成可恢复对或对应于全局前向整形的全局后向整形将输出sdr图像恢复回(原始)输入hdr图像。另外地、可选地或可替代地，可以对hdr图像执行局部前向整形，以生成增强的(例如具有局部增强的)输出sdr图像。
[0097]
全局整形
[0098]
在一些操作场景中，全局整形中使用的全局整形函数或映射可以基于单层后向兼容(slbc)视频编码的可扩展静态框架来设计。确保从一个域(如sdr和hdr域中的一个)到另一域(如sdr和hdr域中的另一个)的完全可恢复性的算法可以用于如本文所述的全局整形。取决于全局整形所使用的前向和后向(全局整形)函数是否形成可恢复对，存在全局整形的不同用法。
[0099]
在一些操作场景中，slbc视频编码的可扩展静态框架中使用了成对的前向和后向全局整形函数。在这些操作场景中，可能存在总数g(例如，g＝4096；覆盖12位码字空间中的
所有可能的码字值，等等)个完全可恢复的全局前向和全局后向整形函数对。完全可恢复全局前向和全局后向整形函数对中的每一个包括全局前向整形函数和对应的全局后向整形函数。
[0100]
表示上述可恢复对中的全局前向整形函数(全局前向整形函数中的每一个将用于第一颜色空间的亮度通道和色度通道的码字转换或前向整形为用于第二颜色空间的亮度通道和色度通道的经前向整形的码字)，如下：
[0101]
亮度：
[0102]
色度：其中，y表示亮度通道；cx表示色度通道，其中，x可以是0(对应于c0或第一色度通道)或1(对应于c1或第二色度通道)。
[0103]
类似地，表示上述可恢复对中的全局后向整形函数(全局后向整形函数中的每一个将用于第二颜色空间的亮度通道和色度通道的码字转换或前向整形为用于第一颜色空间的亮度通道和色度通道的经后向整形的码字)，如下：
[0104]
亮度：
[0105]
色度：
[0106]
如图3a和上述表达式(1)所示出的，可以使用不同的索引值g
f，y
来索引或查找亮度全局前向整形函数。类似地，如图3b和上述表达式(2)所示出的，可以使用不同的索引值g
b，y
来索引或查找亮度全局后向整形函数。
[0107]
由表达式(1)中的全局前向整形函数和表达式(2)中的全局后向整形函数形成的多个可恢复对中的可恢复对可以由表达式(1)中的全局前向整形函数中的全局前向整形函数和对应于该全局前向整形函数的(表达式(2)中的全局后向整形函数中的)全局后向整形函数形成。
[0108]
同一可恢复对中的全局前向整形函数和全局后向整形函数可以用同一索引值进行索引。同一对全局前向和全局后向整形函数可以用于在输出视频信号或输出图像中恢复原始输入视频信号或其中的输入图像。例如，给定多个可恢复对中的第g对，其中，输入hdr图像可以被前向整形为经整形的sdr图像，并且然后被后向整形为与输入hdr图像(例如，完全地、如实地、经受量化误差地等)相同的输出hdr，如下：
[0109][0110][0111]
其中，右边(rhs)的v表示输入hdr图像；左边(lhs)的v表示输出hdr图像。
[0112]
给定同一第g个对，输入sdr图像可以被后向整形为经整形的hdr图像，并且然后被前向整形为与输入sdr图像(例如，完全地、如实地、经受量化误差地等)相同的输出sdr，如下：
[0113][0114][0115]
其中，rhs的s表示输入sdr图像；lhs的s表示输出sdr图像。
[0116]
当整形函数进行从整形前位深度(例如，用于对整形前颜色空间通道中的整形前图像中的每个码字进行编码的总位数等)到整形后位深度(例如，用于对整形后颜色空间通道中的整形后图像中的每个码字进行编码的总位数等)的位深度转换时(如从16位整形前视频信号/图像到10位整形后视频信号/图像)，可能发生量化误差或损失。如果由可恢复对接收的输入图像与由可恢复对生成的输出图像之间的差异归因于由(多个)位深度转换引起的量化误差或损失，则输入图像和输出图像仍然可以被认为是相同的。
[0117]
图3c图示了使用由相同的索引值g索引的相同的(可恢复的)全局前向和后向整形函数对的示例亮度码字映射，以使用上面的表达式(3-1)将输入hdr图像(输入位深度＝16位)的输入亮度码字转换为输出hdr图像(输出位深度＝16位)的输出亮度码字。
[0118]
如图所示，亮度通道中的输入到输出码字映射几乎是线性线(例如，在smpte指定的范围内，其在定义的亮度值范围的两端处限幅，等等)。这意味着在由可恢复对生成的输出hdr图像中重构或输出的亮度码字与在输入hdr图像中接收的亮度码字相同或非常接近。
[0119]
图3d和图3e图示了使用由相同的索引值g索引的相同的(可恢复的)全局前向和后向整形函数对的示例色度码字映射，以使用上面的表达式(3-2)将输入hdr图像(16位)的输入色度码字转换为输出hdr图像(16位)的输出色度码字。
[0120]
输入色度码字可以形成具有固定cb(例如，35000等)和cr(例如，28000等)值但具有变化的亮度码字值的一组颜色。
[0121]
如图所示，色度通道中针对这组颜色的输入到输出码字映射几乎是线性线。这意味着关于变化的亮度码字值的这组颜色，在由可恢复对生成的输出hdr图像中重构或输出的色度码字与在输入hdr图像中接收的色度码字相同或非常接近。
[0122]
类似地，具有另一组固定cb和cr码字值(例如，cb为25000，cr为35000等)但具有变化的亮度码字值的另一组颜色可以在使用全局前向和后向整形函数的可恢复对的色度映射中使用。可以示出，类似于图3d和图3e，色度通道中针对这种另一组颜色的输入到输出码字映射几乎是线性线。这意味着关于变化的亮度码字值的另一组颜色，在由可恢复对生成的输出hdr图像中重构或输出的色度码字与在输入hdr图像中接收的色度码字相同或非常接近。
[0123]
图3f图示了使用由相同的索引值g索引的相同的(可恢复的)全局前向和后向整形函数对的示例亮度码字映射，以使用上面的表达式(4-1)将输入sdr图像(输入位深度＝10位)的输入亮度码字转换为输出sdr图像(输出位深度＝16位)的输出亮度码字。
[0124]
如图所示，亮度通道中的输入到输出码字映射几乎是线性线(例如，在行业标准中指定的整个码字范围内，等等)。这意味着在由可恢复对生成的输出sdr图像中重构或输出的亮度码字与在输入sdr图像中接收的亮度码字相同或非常接近。
[0125]
类似地，色度码字映射可以用可恢复对来执行，以将输入sdr图像中的输入sdr色度码字映射到输出sdr图像中的输出sdr色度码字。
[0126]
在一些操作场景中，可恢复对中的全局前向和后向整形函数可以是但不一定仅限
于用于色度映射的基于mmr的前向和后向映射/函数以及用于亮度映射的基于flut/blut的前向和后向映射/函数。
[0127]
可恢复对中的基于mmr的后向映射/函数可以用于将输入sdr图像中的输入亮度和色度码字映射为经后向整形的hdr图像中的经后向整形的色度码字。可恢复对中的基于blut的后向映射/函数可以用于将输入sdr图像中的输入亮度码字映射为经后向整形的hdr图像中的经后向整形的亮度码字。
[0128]
可恢复对中的基于mmr的前向映射/函数可以用于将经后向整形的hdr图像中的经后向整形的亮度和色度码字映射为输出sdr图像中的输出色度码字。可恢复对中的基于flut的前向映射/函数可以用于将经后向整形的hdr图像中的经后向整形的亮度码字映射为输出sdr图像中的输出亮度码字。
[0129]
如同在利用可恢复对实施的输入hdr-输出hdr转换中一样，输出sdr图像中的输入色度码字可以被恢复，或者可以与利用可恢复对实施的输入sdr-输出sdr转换中的输入sdr图像中的输出色度码字相同，但经受可能的量化误差。
[0130]
不成对的前向和后向全局整形
[0131]
来自不同可恢复对的整形函数可以不再现通过基于这些函数对输入视频信号(或其中的输入图像)执行的整形操作而生成的输出信号(或其中的输出图像)中的输入视频信号(或其中的输入图像)。
[0132]
仅出于说明的目的，前向亮度和色度整形函数可以分别由第一索引值g
f，y
和来索引，其中，第一索引值可以彼此相等也可以彼此不相等。类似地，后向亮度和色度整形函数可以分别由第二索引值g
b，c
和来索引，其中，第二索引值可以彼此也可以彼此不。
[0133]
在第一索引值和第二索引值彼此不同的一些操作场景中，输入视频信号(或其中的输入图像)可能不会在通过基于这些函数对输入视频信号(或其中的输入图像)执行的整形操作而生成的输出信号(或其中的输出图像)中再现，如下所示。
[0134][0135][0136]
然而，在这些操作场景中，这些整形函数(其可以被称为不成对的前向和后向整形函数)可以被应用或用作工具，以将输入图像的输入明亮度和饱和度调整为输出图像的不同明亮度和饱和度，作为全局图像增强。
[0137]
图3g图示了具有范围从512到3328的各种不同索引值g
b，c
(例如，具有固定的前向索引g
f，y
＝1792等)的示例亮度(或光亮度)后向函数。图3h图示了具有范围从512到3328的不同索引值g
f，c
(例如，具有固定的前向索引g
f，y
＝1792等)的示例亮度(或光亮度)前向函数。
[0138]
对于亮度前向和后向整形，如果索引值被选择成使得g
b，y
＞g
f，y
，则至少部分地通过对输入hdr图像执行具有这些索引值的亮度前向和后向整形函数而生成的经重构hdr图像变得比输入hdr图像更亮。另一方面，如果索引值被选择成使得g
b，y
＜g
f，y
，则至少部分地通过对输入hdr图像执行具有这些索引值的亮度前向和后向整形函数而生成的经重构hdr图像变得比输入hdr图像更暗。两个索引值之间的间隙δgy＝g
b，y-g
f，y
会影响明亮度的变
化。在一些操作场景中，间隙的大小越大，输入图像与输出图像之间的明亮度变化就越大。
[0139]
类似地，对于色度前向和后向整形，如果索引值被选择为使得其中可以是cb或cr，则至少部分地通过对输入hdr图像执行具有这些索引值的色度前向和后向整形函数而生成的经重构hdr图像变得比输入hdr图像更饱和。另一方面，如果索引值被选择成使得则至少部分地通过对输入hdr图像执行具有这些索引值的色度前向和后向整形函数而生成的经重构hdr图像变得比输入hdr图像更不饱和。两个索引值之间的间隙会影响饱和度的变化。在一些操作场景中，间隙的大小越大，输入图像与输出图像之间的饱和度变化就越大。
[0140]
图2k图示了使用不成对的前向和后向整形函数将输入视频信号的明亮度和/或饱和度改变为输出视频信号的不同明亮度和/或饱和度的示例流程。如在本文所图示的其他流程中，图2k的流程可以由一个或多个计算设备(如视频编码器、视频转码器、视频解码器或前述的组合)执行。仅出于说明的目的，输入视频信号和输出视频信号分别是输入hdr视频信号和输出hdr视频信号。
[0141]
框222包括接收输入hdr视频信号中的输入hdr图像。框224-1和框224-2包括选择用于前向整形函数的第一亮度和色度索引值。框226-1和框226-2包括基于由第一索引值索引的亮度和色度前向整形函数对输入hdr图像执行亮度和色度前向整形，以生成经前向整形的图像。框228-1和框228-2包括选择用于后向整形的第二亮度和色度索引值。框230-1和框230-2包括基于由第二索引值索引的亮度和色度后向整形函数对经前向整形的图像执行亮度和色度后向整形，以生成具有与输入hdr图像的明亮度和/或饱和度不同的明亮度和/或饱和度的经重构hdr图像。框232包括输出经重构hdr图像。
[0142]
局部整形和引导图像
[0143]
图2l图示了可以对输入图像242执行以生成(经局部整形的)输出图像250的示例亮度和色度局部整形246。图2l的处理框(包括但不限于亮度和色度局部整形(246))可以由一个或多个计算设备(如视频编码器、视频转码器、视频解码器或前述的组合)来实施或执行。
[0144]
如图2l所图示的，可以使用两个分量来辅助或支持亮度和色度局部整形(246)。
[0145]
第一分量是局部整形函数族248，其包括表示为f
《l》
( )的一组(或总数l个)局部整形函数，其中，l是0,1,
…
l-1。这些局部整形函数可以作为亮度和色度局部整形操作的一部分使用或调用。局部整形函数族包括表示为的用于亮度局部整形的亮度局部整形函数族和表示为的用于色度局部整形的色度局部整形函数族。
[0146]
第二分量是使用引导图像生成算子(表示为g)进行的引导图像生成，以由输入图像(表示为v)生成引导图像(表示为m)，如下所示：
[0147]
m＝g(v)
ꢀꢀꢀꢀꢀꢀ
(6)
[0148]
引导图像m包含输入图像(242)中的一些或全部中的每个输入像素的单独(整形函数)索引值(在[0l-1]的值范围内)，以选择局部整形函数族中的哪个局部整形函数对输入像素执行局部整形，从而在输出图像(250)中生成对应的输出像素。引导图像m可以包括不
同的引导图像，如用于不同亮度和色度通道中的亮度和色度局部整形的my和
[0149]
更具体地说，给定通过引导图像生成(244)生成的引导图像，对于输入图像(242)的每个输入像素，局部整形(246)可以查找存储在引导图像中(与包含输入图像(242)的图像帧存储在同一行和同一列)的(多个)特定整形函数索引值。然后，可以使用(多个)特定整形函数索引值在构成整形函数族(248)的整形函数中选择或识别(多个)特定局部整形函数。然后，可以使用(多个)特定局部整形函数对输入像素执行亮度和色度局部整形，以在输出图像(250)中生成对应的输出像素。
[0150]
仅出于说明的目的，详细讨论了局部前向整形。应当注意的是，可以类似地得到、实施或执行局部后向整形。出于简单的原因，在本文的讨论中可以去除如“y”和“cx”等上标。
[0151]
单通道亮度局部整形
[0152]
在一些操作场景中，可以通过对输入图像的输入或整形前亮度码字执行单通道亮度局部整形来生成输出图像的输出或经整形亮度码字。更具体地说，(例如，充分地等)用于输入图像的像素的输入亮度码字使得局部整形函数能够确定输出图像的对应像素的经映射或经整形亮度码字，而不使用用于输入图像的像素的输入色度码字。
[0153]
用于单通道亮度局部整形的亮度局部整形(函数)族可以以多种不同的方式生成。
[0154]
在第一示例中，可以使用自衍生局部整形生成亮度局部整形族。自衍生局部整形是指由亮度全局整形函数得到亮度局部整形族的方法。这种(类型的)亮度局部整形函数族可以响应于每个输入图像或其中的特定码字分布在运行时动态生成。局部整形函数族可以包括针对不同内容中的每个帧定制的亮度局部整形函数。
[0155]
在第二示例中，可以使用离线训练生成亮度局部整形族，所述亮度局部整形族包括预构建的亮度局部整形函数。这种(类型的)亮度局部整形函数族可以应用于所有内容中的所有输入图像。
[0156]
在第三示例中，可以使用混合的离线和在线操作生成亮度局部整形族，所述亮度局部整形族包括通过执行由预构建的全局整形函数自衍生的局部整形的一些或全部而生成的亮度局部整形函数。这种混合方法的优点是节省或降低计算成本，因为可以使用响应于输入图像而在运行时构造的动态全局函数和根据离线训练生成的预构建的局部函数来构建亮度整形函数。
[0157]
自衍生单通道局部整形
[0158]
亮度局部整形的两个目标是(a)增加局部对比度，(2)同时在通过对输入图像执行亮度局部整形而生成的输出图像中保持相似的明亮度。第一个目标可以通过增加局部整形函数(如用色调曲线表示的那些)的斜率来实现。如上所述的第二个目标可以通过在不同位置将(例如，新的等)局部整形函数与全局整形函数相交来实现。给定全局整形函数的局部整形函数的示例生成在2020年4月3日提交的名称为“blind local reshaping in hdr imaging[hdr成像中的盲局部整形]”的美国临时申请序列号63/004,609中描述，所述美国临时申请的全部内容如在本文充分阐述的那样通过引用以其整体并入本文。
[0159]
图2m图示了从表示为f()的全局整形函数生成自衍生局部函数的示例流程。在一些操作场景中，全局整形函数可以由在线操作中的视频编解码器例如响应于接收到用于局部整形的输入图像而计算。这种全局整形函数可以被称为(例如，自适应、运行时等)动态全
局整形函数。在一些操作场景中，全局整形函数可以由图像处理系统在离线操作中计算或预构建，例如不一定响应于接收到用于局部整形的输入图像。这种全局整形函数可以被称为(例如，可缩放、预配置等)静态全局整形函数。
[0160]
框252包括构建模板整形函数。为此，可以首先去除全局整形函数f()中的平坦区域，以生成修改后的整形曲线或函数。这些平坦区域可以对应于码字空间中的(例如，有效、smpte等)可用码字的整个范围之外的子范围。平坦区域可以稍后(例如，最后等)在构造的局部整形函数中添加回来。
[0161]
然后可以对修改后的整形曲线或函数进行移位，直到其接触到y轴。如本文所使用的，表示局部或全局整形函数(例如，如图3a、图3b、图3g和图3h等所示)的图表或曲线可以在二维坐标系中表示，在所述二维坐标系中，y轴表示经整形或输出码字，而x轴表示整形前或输入码字。修改后的整形曲线或函数的移位可以用于避免或排除拐角情况处置，并促进生成局部整形函数的缩放和移位操作。因此，可以根据去除平坦区域并向y轴移位的全局整形函数来构造经移动的修改后整形函数(表示为f
′
)，如下所示：
[0162]f′
＝shift_to_yaxis(remove_flat(f()))
ꢀꢀꢀꢀꢀꢀꢀ
(7)
[0163]
为了实现作为上述第一个目标提到的更高的局部对比度，可以使用表示为α《l》的x轴缩放因子。更具体地说，如果在输入码字值处x轴缩放因子被设置为大于一(1)或α
《l》
》1，则沿着x轴的输入码字值周围的局部邻域被扩展(例如，与x轴缩放因子成比例等)，从而减小或降低由输入码字数值表示的x轴位置处的局部对比度(或增加模糊)。换句话说，当x轴缩放因子α
《l》
大于一(1)时，曲线沿x轴扩展。由于沿着x轴的范围(例如，用于导数计算的间隔或差等)增大，并且沿着y轴的映射范围(例如，用于导数计算等的间隔或差等)保持不变，因此x轴扩展曲线具有比扩展前曲线更小的斜率，从而与扩展前曲线相比降低了x轴扩展曲线中的对比度。另一方面，如果在输入码字值处x轴缩放因子被设置为小于一(1)或α
《l》
《1，则沿着x轴的输入码字值周围的局部邻域可以被压缩(例如，与x轴缩放因子成比例等)，从而增加或增强由输入码字数值表示的x轴位置处的局部对比度(或锐度)。换句话说，当x轴缩放因子α
《l》
小于一(1)时，曲线沿x轴压缩。由于沿着x轴的范围(例如，用于导数计算的间隔或差等)减小，并且沿着y轴的映射范围(例如，用于导数计算等的间隔或差等)保持不变，因此x轴压缩曲线具有比压缩前曲线更大的斜率，从而与压缩前曲线相比增加了x轴压缩曲线中的对比度。
[0164]
x轴缩放因子(α
《l》
《1)可以用于在各种输入码字值处缩放(例如，沿着x轴，如由x轴缩放因子指定的)经移位的修改后整形函数，以生成经缩放(前向)函数，从而在这些输入码字值处增加经缩放函数中的局部对比度(或锐度)。
[0165]
可以通过首先将模板整形函数变换或移位为经缩放(或经移位)前向函数，然后在与用于对输入图像进行编码的输入码字值相对应的各种输入码字数值处对经缩放函数进行重采样来构建或构造模板整形函数(表示为)，如下所示：
[0166][0167]
在一些操作场景中，通过对局部整形函数的不同l值使用上述表达式(8)中的x轴缩放因子的不同值，可以在局部整形族中的不同局部整形函数之间实现不相等的局部对比度增强。
[0168]
在一些操作场景中，通过对局部整形函数的l值使用上述表达式(8)中的x轴缩放因子的相同值，可以在局部整形族中的一些或全部局部整形函数之间实现相等的局部对比度增强。
[0169]
仅出于说明的目的，可以在上述表达式(8)中在移位和重采样操作中指派或应用的相同的x轴缩放因子α
《l》
的情况下使用相同的局部对比度增强，以生成局部整形族中的所有局部整形函数(，对于所有l)的模板整形函数。因此，可以使用上述表达式(8)中的相同的x轴缩放因子α
《l》
从全局整形函数中仅构建一个经缩放和经重采样函数作为所有局部整形函数的模板整形函数。
[0170]
框254包括将上述表达式(8)中的模板整形函数移位，以生成可以与全局整形函数融合为局部整形族中的第l个局部整形函数的融合前局部整形函数。模板整形函数的这种移位实现了第二个目标，即在融合前局部整形函数与全局整形函数之间保持相似(例如，局部平均、局部滤波、全局等)的明亮度。
[0171]
贯穿本公开使用的术语“融合”是指两个指定函数的插值或混合。在优选实施例中，函数的混合包括计算所涉及的函数的线性组合。线性组合中的权重可以被归一化为给定值。例如，权重的总和可以是1。
[0172]
贯穿本公开使用的术语“融合前”与整形函数结合使用。例如，局部整形函数可以与全局整形函数融合。尽管融合了全局整形函数，但所得到的经融合的整形函数仍然是局部整形函数，因为经融合的整形函数在像素级上仍然保持着与融合前局部整形函数不同的函数特性。为了区分融合之前的局部整形函数和与全局整形函数融合之后的局部整形函数，融合之前的初始局部整形函数被称为“融合前局部整形函数”，而融合的结果被称为“融合后局部整形函数”，“经融合的局部整形函数”或简称“局部整形函数”。
[0173]
术语“融合前”也可以应用于其他整形函数，例如，当融合两个全局整形函数时，这两个全局整形函数进一步保持全局性，并且因此需要区分要寻址融合之前(“融合前”)还是融合之后的全局整形函数。
[0174]
更具体地说，可以使用针对由存储在引导图像m的第i个元素(表示为mi)中的对应局部整形函数索引值l索引(在局部整形族中)的第l个局部整形函数的融合前局部整形函数将输入图像中的如第i个输入码字等输入像素整形为如第i个输出码字等输出像素。
[0175]
将输入图像的位深度表示为bv。该位深度的(整个)输入码字范围可以被划分为具有对应间隔中心的l个均匀间隔，如下所示：
[0176][0177][0178]
为了在针对第l个局部整形函数的全局整形函数与融合前局部整形函数之间保持输入像素周围相似的(例如，局部平均、局部滤波、全局等)明亮度，(原始)全局整形函数在输入码字范围的第l个间隔的中心处的经映射或经全局整形值以及针对第l个局部整形函数的融合前局部整形函数(如通过对模板整形函数进行移位而生成)在输入码字范围的第l个间隔的同一中心处的经映射或经全局整形值可以被约束为满足以下条
件/约束：
[0179][0180]
该约束可以用于确定融合前局部整形函数的移位量或移位(值)，并将该移位(值)应用于模板整形函数以生成针对第l个局部整形函数的融合前局部整形函数而无需从头开始重新计算第l个局部整形函数或融合前局部整形函数
[0181]
因此，给定为输入码字，可以(例如，从表示全局整形函数的曲线、函数和/或查找表等)获得或查找对应的经映射(或经全局整形)值然后，可以使用对应的经映射值来确定输入码字值使得满足以下相等条件(例如，相等明亮度等)：
[0182][0183]
进一步地，输入码字值可以用于如下确定移位(值)：
[0184][0185]
因此，针对第l个局部整形函数(对于0与l-1之间的所有l)的融合前局部整形函数可以作为模板整形函数的经移位版本获得，如下所示：
[0186][0187]
在执行缩放和移位操作以将全局整形函数的斜率增加或改变为模板整形函数的斜率之后，模板整形函数或由模板整形函数生成的局部整形函数可能生成将用可允许的码字值的范围硬限幅的范围外的值，从而可能产生视觉伪像。为了避免或减少硬限幅，可以通过将全局函数和局部函数与各自的加权因子融合在一起来使用软限幅。
[0188]
框256包括通过将融合前局部整形函数与全局整形函数融合来对融合前局部整形函数进行软限幅。给定如在框254中针对第l个局部整形函数生成的融合前局部整形函数可以将表示为的全局整形函数加权因子和表示为的局部整形函数加权因子分别指派给针对第l个局部整形函数的全局整形函数和融合前局部整形函数在一些操作场景中，两个加权因子满足如下约束/条件：
[0189][0190]
(融合后)第l个局部整形函数可以如下给出：
[0191][0192]
应当注意，可以实施或执行前述操作以生成局部前向整形函数和局部后向整形函数两者。
[0193]
预构建的单通道局部整形
[0194]
在一些操作场景中，作为如上所讨论的自衍生单通道局部整形的附加或替代方案，可以通过离线训练获得分别由表示为g的全局整形函数索引值索引的多个预构建的单
通道全局整形函数例如在前向路径中，这些预构建的全局整形函数可以用于生成分别由局部整形函数索引值l索引的局部整形函数，如下所示：
[0195][0196]
其中，
[0197]
g＝l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17-2)
[0198]
类似地，在后向路径中，可以由表示为的预构建的全局整形函数生成表示为b
《l》
()的局部整形函数，如下所示：
[0199][0200]
由全局整形函数进行的局部整形函数的示例推导在2020年10月2日提交的名称为“adaptive local reshaping for sdr-to-hdr up-conversion[sdr到hdr上转换的自适应局部整形]”的美国临时申请序列号63/086,699中描述，所述美国临时申请的全部内容如在本文充分阐述的那样通过引用以其整体并入本文。
[0201]
预定义和自衍生单通道局部整形的混合
[0202]
在一些操作场景中，结合预定义和自衍生单通道局部整形的混合方法可以用于生成局部整形函数。更具体地，如上所讨论的自衍生局部整形可以相对于现有的预构建的全局整形函数而不是响应于接收到输入图像而构建的(例如，动态等)全局整形函数来执行。例如，基于输入图像的码字分布，可以从多个预构建的全局整形函数(例如，通过离线训练等获得)中选择特定的预构建的全局整形函数。可以在如上所讨论的自衍生局部整形中使用特定的预构建的全局整形函数来代替响应于接收到输入图像而构建的全局整形函数。
[0203]
跨通道亮度局部整形
[0204]
在一些操作场景中，可以通过对输入图像的输入或整形前亮度和色度码字执行跨通道亮度局部整形来生成输出图像的输出或经整形亮度码字。更具体地说，(例如，充分地等)用于输入图像的像素的输入亮度和色度码字共同实现(例如，基于tpb、基于mmr等)局部整形映射，以确定输出图像的对应像素的经映射或经整形亮度码字。
[0205]
用于跨通道亮度局部整形的亮度局部整形(函数)族可以以多种不同的方式生成。类似于单通道亮度局部整形，跨通道亮度局部整形至少包括：(1)使用自衍生局部整形函数，(2)使用预构建的整形函数，以及(3)使用自衍生和预构建的整形函数的混合。
[0206]
自衍生跨通道亮度局部整形
[0207]
在各种操作场景中，可以使用各种不同(例如，tpb、mmr等)类型的跨通道亮度整形函数中的任一种。仅出于说明的目的，跨通道亮度整形函数可以是基于张量乘积b样条(tpb)的。基于tpb的整形函数能够捕获亮度整形中的广泛非线性。
[0208]
图2n图示了基于包括第一图像和第二图像的图像对的自衍生跨通道局部函数生成的示例流程。基于tpb的局部整形函数可以用将第一图像的输入码字映射为近似或重构由第二图像表示的参考图像的码字的经局部整形码字的流程来生成。仅出于说明的目的，图像对中的第一图像可以是hdr图像，而第二图像(或参考图像)可以是sdr图像。在一示例中，sdr图像可能已被用于(例如，通过先前执行的内容映射、色调映射和/或整形操作等)生成hdr图像。在另一示例中，sdr图像可能已经由hdr图像生成(例如，通过先前执行的内容映
射、色调映射和/或整形操作等)。
[0209]
框262包括根据图像对构造或构建3d映射表(3dmt)。hdr图像的每个像素可以包括在hdr颜色空间或域的(例如，三个等)颜色通道(分别表示为y、c0和c1(或可替代地，y、c0、c1))中表示为的亮度和色度码字。sdr图像的每个像素可以包括在sdr颜色空间或域的(例如，三个等)颜色通道(分别表示为y、c0和c1)中表示为的亮度和色度码字。
[0210]
包括三个通道中的每个通道中的可用码字的hdr颜色空间可以使用对应的固定数量(如对于每个分量为)的一维仓进行(例如，均匀地等)量化或划分。因此，三维直方图可以被初始化为包括个立方体或3d直方图仓。
[0211]
将3d直方图表示为ω
q，v
，其中，3d直方图ω
q，v
包含总数个3d直方图仓。3d直方图ω
q，v
中的3d直方图仓可以用3d仓索引中的3d直方图仓可以用3d仓索引来指定或索引，其中，q
ch
＝0,...,q
ch
–
1，对于每个ch＝{y,c0,c1}，并且用于表示3d直方图仓内具有这些三通道量化值的像素或存储其计数(例如，总数等)。
[0212]
可以针对3d直方图中的每个3d直方图仓来计算sdr图像中的(例如，参考、经映射等)码字值的总和。令和分别是输出域的亮度和色度通道{y,c0,c1}中的码字的相应和。
[0213]
假设hdr图像和sdr图像中的每一个包括p个像素。在下面的表1中图示了用于计算3d直方图的3d直方图仓中的hdr像素的计数以及sdr码字值的和的示例过程。
[0214]
表1
[0215]
[0216]
令表示3d直方图中的第q个(hdr)3d直方图仓的中心。在下面的表2中图示了用于预计算3d直方图中的一些或全部3d直方图仓的中心的示例过程。
[0217]
表2
[0218][0219]
接下来，在3d直方图中的3d直方图仓中，可以识别具有非零总数个像素的3d直方图仓。可以从进一步处理中丢弃没有任何像素(或在一些其他操作场景中像素总数低于最小像素数阈值)的所有其他3d直方图仓。
[0220]
令q0,q1,
…qk-1
为其中hdr像素的计数的k个3d直方图仓。对于这k个3d直方图仓，可以基于sdr码字和的和以及仓中的hdr像素的总数来计算sdr码字的平均值用于这种计算的示例程序在下面的表3中图示。
[0221]
表3
[0222][0223]
因此，从第一图像(本示例中的hdr图像)到第二图像(本示例中的sdr图像)的多个映射对。每个这样的映射对可以包括(由具有非零hdr像素计数的有效q索引的)3d直方图仓的中心以及从3d直方图仓中计数的hdr像素映射的sdr像素的sdr码字值的平均值，如下所示：
[0224][0225]
[0226]
在一些操作场景中，如和或hdr和sdr码字值等码字值可以被例如归一化为[01)的归一化值范围。
[0227]
框264包括为每个局部整形函数构建修改后的3dmt。为了实现局部对比度的变化，可以设计表示为hy()的函数，并将其应用于3d直方图的(由具有非零hdr像素计数的有效q索引的)每个3d直方图仓中的平均sdr或经映射值以获得修改后的平均sdr或经映射值如下所示：
[0228][0229]
全局整形函数与第l个局部整形函数相交的(例如，中心等)点(例如，为了在局部对比度增加的局部邻域中保持全局整形函数与第l个局部整形函数之间的相似明亮度)可以如下给出：
[0230][0231]
在一些操作场景中，用于实现局部对比度变化的上述函数hy()可以用线性缩放因子来定义，对于第l个局部整形函数，所述线性缩放因子表示为α
《l》
(α
《l》
《1用于增加局部对比度，α
《l》
》1用于减小局部对比度)，使得上述表达式(21)可以被重写如下：
[0232][0233]
其中，clip3()是将第一自变量限制在0到1的值范围内的限幅函数。
[0234]
框266包括为全局整形函数和每个局部整形函数(例如，第l个局部整形函数等)构造tpb系数。
[0235]
可以基于上述表达式(19)中定义的(原始)3dmt对来构造全局整形函数的第一tpb系数(表示为)。更具体地说，全局整形函数可以用第一tpb系数和表示为的完整的一组dy个张量积b样条基函数来指定，其中，i表示0与d
y-1之间的整数。可以基于张量积b样条基函数以及上述表达式(19-1)中的3d直方图中的3d直方图仓的hdr亮度和色度码字值来定义设计矩阵sy，如下所示：
[0236][0237]
可以基于上述表达式(19-2)中的3d直方图中的3d直方图仓的平均sdr或经映射值来构造向量如下所示：
[0238][0239]
可以经由最小二乘解(例如，以闭合形式等)获得第一tpb系数的优化全局整形解或优化值，如下所示：
[0240][0241]
用于获得全局整形函数的第一tpb系数的最优值的前述操作可以扩展为获得l个局部整形函数(l＝0,
…
,l-1)中的每一个的第二tpb系数(表示为)。在这些扩展操作中，表达式(24)中针对全局整形函数的向量可以被如下所示的l个局部整形函数(l＝0,
…
,l-1)中的每一个的表示为的相应向量替代：
[0242][0243]
类似于全局整形函数的情况，可以经由最小二乘解(例如，以闭合形式等)获得l个局部整形函数(l＝0,
…
,l-1)中的每一个的第二tpb系数的优化局部整形解或优化值，如下所示：
[0244][0245]
框268包括构造(例如，融合等)基于tpb的局部整形函数。类似于单通道局部整形/预测，具有较高局部对比度的局部整形函数可能生成将用可允许的码字值的范围硬限幅的范围外的值，从而可能产生视觉伪像。为了避免或减少硬限幅，可以通过将全局函数和局部函数与各自的加权因子融合在一起来使用软限幅。
[0246]
给定如框266中生成的第l个局部整形函数，可以将表示为的全局整形函数加权因子和表示为的局部整形函数加权因子分别指派给全局整形函数和第l个局部整形函数。在一些操作场景中，两个加权因子满足约束/条件，例如上述表达式(15)所示出的。因此，如本文所述的局部整形可以使用通过将全局整形函数的第一tpb系数和局部整形函数的第二tpb系数融合而生成的经融合的局部整形函数来执行：
[0247][0248]
预构建的跨通道亮度局部整形
[0249]
在一些操作场景中，作为如上所讨论的自衍生跨通道局部整形的附加或替代方案，可以通过离线训练获得分别由表示为g的全局整形函数索引值索引的多个预构建的跨
通道全局整形函数例如在前向路径中，这些预构建的全局整形函数可以用于生成分别由局部整形函数索引值l索引的局部整形函数，如下所示：
[0250][0251]
其中，
[0252]
g＝l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(29-2)
[0253]
类似地，在后向路径中，可以由表示为的预构建的全局整形函数生成表示为b
《l》
( )的局部整形函数，如下所示：
[0254][0255]
预定义和自衍生跨通道亮度局部整形的混合
[0256]
在一些操作场景中，结合预定义和自衍生单通道局部整形的混合方法可以用于生成局部整形函数。
[0257]
在一些实施例中，可以在离线训练中分别用训练数据中的一组或多组训练图像对生成一个或多个3dmt。一组或多组相应的训练图像对中的每个训练图像对可以包括输入hdr图像和对应的输入sdr图像，所述输入sdr图像描绘与输入hdr图像相同的视觉语义内容。在一示例中，可能已经使用了对应的输入sdr图像(例如，通过先前执行的内容映射、色调映射和/或整形操作等)来生成输入hdr图像。在另一示例中，对应的输入sdr图像可能已经由输入hdr图像生成(例如，通过先前执行的内容映射、色调映射和/或整形操作等)。
[0258]
一个或多个3dmt中的每个3dmt可以用训练数据中的相应的一组训练图像对来生成。如所述相应的一组训练图像对中的亮度和色度码字等图像数据可以用于生成在对应3dmt中收集的统计信息。这些统计信息可以用于形成对应3dmt的多个3dmt映射对。一个或多个3dmt中的一些或全部、一个或多个3dmt中的统计信息和/或3dmt映射对可以在系统启动时被存储、缓存和/或加载。
[0259]
一个或多个3dmt中的每个3dmt可以通过用于查找目的的相应索引值(例如，g等)进行索引。在一些操作场景中，唯一标识一个或多个3dmt中的对应3dmt的索引值(例如，g等)可以是l1中间值。示例中间l值可以在前面提到的美国临时专利申请序列号63/086,699中找到。
[0260]
图2o图示了用于将自衍生跨通道局部函数生成和预构建的跨通道局部函数生成进行结合的示例流程。
[0261]
框262’包括重用或选择用对应的一组训练图像对生成的3dmt。在一些操作场景中，根据输入hdr图像确定的输入码字值的分布可以用于计算或预测如中间l值等索引值(表示为g)。索引值可以用于从一个或多个3dmt中查找、识别或选择3dmt。可以基于包括第g个sdr数据的第g组训练图像对中的图像数据来生成所选的3dmt。
[0262]
因此，多个3dmt映射对和可以根据3dmt构造或生成，如下所示：
[0263]
[0264][0265]
框264’包括为每个局部整形函数(例如，第l个局部整形函数等)构建单独的修改后的3dmt。
[0266]
为了实现局部对比度的改变，可以使用表示为hy()的函数来修改3dmt映射对中的sdr码字值的平均值，如下所示：
[0267][0268]
全局整形函数与第l个局部整形函数相交的点(例如，为了在局部对比度增加的局部邻域中保持全局整形函数与第l个局部整形函数之间的相似明亮度)可以如下给出：
[0269][0270]
第l个局部整形函数的表示为α
《l》
的线性缩放(α
《l》
《1用于增加局部对比度，α
《l》
》1用于减小局部对比度)，可以在以下表达式中使用，以改变3dmt映射对中sdr码字的平均或经映射值，如下所示：
[0271][0272]
框266’包括为全局整形函数构造第一tpb系数并且为第l个局部整形函数构造第二tpb系数。
[0273]
更具体地说，基于用训练数据生成的原始3dmt映射对，可以用设计矩阵sy和向量来得到或生成第一tpb系数，如下所示：
[0274][0275][0276]
其中，表示tpb基函数。
[0277]
可以经由最小二乘解(例如，以闭合形式等)获得第一tpb系数的优化全局整形解或优化值，如下所示：
[0278]
[0279]
用于获得全局整形函数的第一tpb系数的最优值的前述操作可以扩展为获得l个局部整形函数(l＝0,
…
,l-1)中的每一个的第二tpb系数(表示为)。在这些扩展操作中，表达式(36)中针对全局整形函数的向量可以被如下所示的l个局部整形函数(l＝0,
…
,l-1)中的每一个的表示为的相应向量替代：
[0280][0281]
类似于全局整形函数的情况，可以经由最小二乘解(例如，以闭合形式等)获得l个局部整形函数(l＝0,
…
,l-1)中的每一个的第二tpb系数的优化局部整形解或优化值，如下所示：
[0282][0283]
框268’包括构造(例如，经融合的等)基于tpb的局部整形函数。类似于单通道局部整形/预测，具有较高局部对比度的局部整形函数可能生成将用可允许的码字值的范围硬限幅的范围外的值，从而可能产生视觉伪像。为了避免或减少硬限幅，可以通过将全局函数和局部函数与各自的加权因子融合在一起来使用软限幅。
[0284]
给定如框266’中生成的第l个局部整形函数，可以将表示为的全局整形函数加权因子和表示为的局部整形函数加权因子分别指派给全局整形函数和第l个局部整形函数。在一些操作场景中，两个加权因子满足约束/条件，例如上述表达式(15)所示出的。因此，如本文所述的局部整形可以使用通过将全局整形函数的第一tpb系数和局部整形函数的第二tpb系数融合而生成的经融合的局部整形函数来执行：
[0285][0286]
图2p图示了使用3dmt生成用于对输入hdr图像272执行(例如，前向等)局部整形的多个跨通道局部整形函数的示例流程。跨通道局部整形函数可以至少部分地基于如α
《l》
、和等用于实现局部对比度变化和软限幅的增强参数274来生成。
[0287]
框276包括使用具有映射对(或条目)的3d直方图来构建3dmt，所述3d直方图存储输入hdr图像(272)中的hdr像素的计数以及由输入hdr图像和输入sdr图像形成的图像对中的对应输入sdr图像的平均值。
[0288]
在一示例中，可能已经使用了对应的输入sdr图像(例如，通过先前执行的内容映射、色调映射和/或整形操作等)来生成hdr图像(272)。在另一示例中，对应的输入sdr图像可能已经由hdr图像(272)生成(例如，通过先前执行的内容映射、色调映射和/或整形操作等)。
[0289]
框278包括使用3dmt来构建全局整形函数。例如，可以生成第一tpb系数以用完整的一组张量积b样条基函数指定全局整形函数。
[0290]
框280包括使用用于局部对比度变化的增强参数α
《l》
来将3dmt修改为由用于局部整形的多个跨通道局部整形函数中的每个跨通道局部整形函数的修改后的3d直方图表示的相应修改后的3dmt。
[0291]
框282包括使用修改后的3dmt来构建融合前局部整形函数。融合前局部整形函数可以与全局整形函数融合为用于局部整形的多个跨通道局部整形函数中的跨通道局部整形函数。例如，可以生成第二tpb系数以用张量积b样条基函数指定融合前局部整形函数。
[0292]
框284包括使用增强参数和进行软限幅来执行用全局整形函数和融合前局部整形函数两者进行加权融合，以生成对应的经融合的跨通道局部整形函数。框286包括输出多个(经融合的)跨通道局部整形函数。
[0293]
用于亮度局部整形的引导图像
[0294]
可以用一种或多种不同的方法生成引导图像m＝g(v)，以提供输入图像的像素的局部整形函数索引值。在一些操作场景中，为了避免或减少如光晕伪像等视觉伪像(例如，图像特征/对象的边缘附近、背景与前景之间的边界附近或周围等)，可以应用多级边缘保留滤波器来生成引导图像。用多级边缘保留滤波进行的示例引导图像生成可以在前面提到的美国临时申请序列号63/086,699中找到。
[0295]
虽然局部整形可以增加局部对比度，但其也可能增加引入假轮廓或带伪像的可能性，特别是当局部整形是从高位深度输入域(或输入颜色空间)到低位深度域(或输出颜色空间)执行时，其中输出图像具有比输入图像更低的位深度。
[0296]
用输入图像编码的高位深度视频信号上的胶片颗粒注入(如2020年8月6日提交的名称为“adaptive streaming with false contouring alleviation[具有假轮廓缓解的自适应流式传输]”的美国临时申请序列号63/061,937中所描述的，所述美国临时申请的全部内容如在本文充分阐述的那样通过引用以其整体并入本文)可能不足以避免或显著减少带伪像，因为输出域的可用码字比输入域少。当通过局部整形增加局部对比度时，这种带伪像问题可能变得更严重。另外地、可选地或可替代地，可能以导致令人讨厌的视觉外观为代价，显著引入胶片颗粒噪声。
[0297]
为了克服或改善带伪像问题，可以实施或执行局部整形函数选择抖动以避免或减少带伪像。
[0298]
图2q图示了用于局部整形函数选择抖动的示例流程。框288包括执行局部整形索引噪声注入。例如，可以将高斯噪声注入到引导图像m中的局部整形函数索引mi中，以生成包括噪声注入局部整形函数索引的噪声注入引导图像，如下所示：
[0299][0300]
其中，表示高斯随机噪声n(0，σ2)。
[0301]
框290包括在经局部整形的码字值中执行噪声注入，所述经局部整形的码字值是用基于噪声注入引导图像或其中的噪声注入局部整形函数索引而选择的局部整形函数生成的。
[0302]
对于具有噪声注入引导图像中的相应的噪声注入索引值的输入图像的每个像素(例如，第i个像素等)，经局部(例如，前向等)整形的码字值可以由给出。最终
输出的经局部整形值可以通过将经亮度调制的胶片颗粒噪声(如前面提到的美国临时申请序列号63/061,937中所描述的)添加到经局部整形的码字值来生成，如下所示：
[0303][0304]
其中，表示如高斯随机噪声等胶片颗粒噪声，并且g(vi)表示用于调整不同光亮度子范围中的噪声强度的亮度调制函数。
[0305]
在一些操作场景中，亮度调制函数可以基于全局整形函数。在一些操作场景中，亮度调制函数可以基于局部整形函数。输入域(或颜色空间)的整个亮度范围可以被划分为具有表示为δv的间隔的多个不重叠仓。间隔k中的离散斜率可以如下给出：
[0306]
对于(或基于)全局整形
[0307][0308]
对于(或基于)局部整形
[0309][0310]
可以识别所有k中的最大或最高斜率(《》是全局的，如《g》，或局部的)，如下所示：
[0311][0312]
可以使用最大斜率对所有仓的斜率进行归一化，如下所示：
[0313][0314]
其中，lhs上的表示归一化斜率，而rhs上的表示归一化前的斜率。
[0315]
仓的值越高，分配给仓的码字就越多，因此该仓的带风险就越低——因此，注入该仓的噪声可能就越小。另一方面，仓的值越低，分配给该仓的码字就越少，因此该仓的带风险就越高——因此，注入该仓的噪声可能就越高。
[0316]
在一些操作场景中，可以根据归一化斜率的反函数来定义亮度调制函数。
[0317]
将要在上述表达式(42)中添加的最大和最小噪声强度(例如，由用户指定的、预配置的、可动态配置的等)表示为ψ
max
和ψ
min
，其由用户指定。对于输入图像中的每个输入码字vi，可以设计或得到由亮度调制函数表示的适用噪声强度，如下所示：
[0318][0319]
其中，表示下取整运算。
[0320]
为了避免或减少计算成本，可以根据用全局整形函数计算的斜率在上述表达式
(46)中得到亮度调制函数。
[0321]
在一些操作场景中，局部整形函数索引抖动和经局部整形的码字值中的胶片颗粒噪声注入的组合可以有效地避免或减少带伪像，尤其是当输出图像是8位图像时。
[0322]
色度局部整形
[0323]
在一些操作场景中，可以通过基于输入图像的输入或整形前亮度和色度码字对输入图像的输入或整形前色度码字执行(例如，跨通道等)色度局部整形来生成输出图像的输出或经整形色度码字。
[0324]
用于色度局部整形的色度局部整形(函数)族可以以多种不同的方式生成，例如自衍生局部整形、预构建的局部整形、上述的组合或混合等。
[0325]
可以实施或执行基于mmr或tpb的技术来构造色度局部整形映射/函数。用于构建或生成色度局部整形的操作参数(如基于mmr或基于tpb的局部整形函数两者的系数)的方法和/或过程彼此相同或相似，其中(例如，仅、主要等)差异是在优化问题中用于获得系数的优化值的基函数。对于mmr，多项式基函数/项与mmr系数一起用作基函数。对于tpb，张量乘积b样条基函数与tpb系数一起用作基函数。mmr或tpb整形函数都涉及构建3dmt和修改3dmt。
[0326]
自衍生色度局部整形
[0327]
从(例如，自由形式等)全局色度整形函数直接得到局部色度整形函数可能并不简单，因为色度整形可以使用(例如，基于mmr、基于tpb等)跨色通道预测器。类似于跨通道亮度局部整形，输入图像上的跨通道色度局部整形可以回到与全局整形函数或映射相关的原始3dmt，并对原始3dmt进行修改，以获得局部变化(例如，局部增强的饱和度、局部减小的饱和度等)的局部整形函数或映射。3dmt可以在在线和/或离线计算中构造。在一些操作场景中，可以生成并融合用于两个色度通道cb和cr中的每一个的两个全局色度整形函数，以生成用于两个色度通道cb和cr中的每个的两个(例如，融合后等)局部整形函数中的相应局部整形函数。
[0328]
图2r图示了用于使用自衍生色度局部整形来生成色度局部整形函数/映射的(例如，基于mmr的、基于tpb的等)系数的示例流程。
[0329]
框292包括例如基于图像对(例如，要经局部整形的hdr图像和对应的sdr图像等)来构建与全局整形函数或映射相关的3dmt。3dmt可以使用用于跨通道亮度局部整形的相同或类似的操作来构建，如上面表(1)至(3)中所述的操作。
[0330]
因此，可以为3dmt生成如表达式(19)所示出的多个3dmt映射对。多个3dmt映射对然后可以用于得到全局整形函数或映射，并且为了生成第二全局色度整形函数或映射而被修改或增强。
[0331]
框294包括修改映射对中的3dmt或经映射值。为了实现饱和度的变化，可以设计表示为hc()的函数，并将其应用于3d直方图的(由具有非零hdr像素计数的有效q索引的)每个3d直方图仓中的平均sdr或经映射值以获得修改后的平均sdr或经映射值如下所示：
[0332][0333]
函数hc()包括首先将cb(表示为c0)和cr(表示为c1)的笛卡尔坐标系中移位的cb/
cr(例如，参考神经色点(0.5，0.5)而不是非中性色原点(0，0)等)转换到极半径ρ和极角θ的极坐标系，如下所示：
[0334][0335][0336]
函数hc()包括进一步对由极半径表示的饱和度应用非线性函数或映射，如下所示：
[0337][0338]
其中，δc表示用于在接近中性色中保持线性映射的阈值。mc表示的最大可能值，当参考中性色点(05，0.5)而不是非中性色原点(0，0)对色度值进行归一化和移位时，该值为0.5。β表示用于实现饱和度变化的(例如，预配置的、可调整的、实际的等)设计参数。δc的示例值可以但不一定仅限于包括0.05。β的示例值可以但不一定仅限于包括0.5。
[0339]
如上述表达式(49)所示，对于近神经颜色(例如，等)，使用线性映射来避免或防止改变近中性颜色，更具体地说，改变其色调。
[0340]
图3i图示了用于实现如上述表达式(49)中所指定的饱和度的变化的示例非线性函数hc()。
[0341]
由非线性函数hc()生成的修改后的经移位cb/cr值可以从极坐标系转换回笛卡尔坐标系。转换到笛卡尔坐标系中的修改后的经偏移cb/cr值可以通过加回偏移量0.5而被移位回以生成修改后的cb/cr值，如下所示：
[0342][0343][0344]
上述表达式(50)中的修改后的cb/cr值可以部分地用于形成用于修改后的3dmt的多个修改后的3dmt映射对，如下所示：
[0345][0346][0347]
框296包括根据多个(原始)3dmt映射对为全局整形函数构造或生成第一(例如，mmr、tpb等)系数，以及根据修改后的3dmt中的多个修改后的3dmt映射对为第二全局整形函数构造或生成第二(例如，mmr、tpb等)系数。
[0348]
例如，基于用原始颜色构建的原始3dmt对，可以用设计矩阵和向量来构建或生成第一系数，如下所示：
[0349][0350][0351]
其中，表示mmr/tpb基函数。
[0352]
可以经由最小二乘解(例如，以闭合形式等)获得第一系数(表示为)的优化全局整形解或优化值，如下所示：
[0353][0354]
用于获得全局整形函数的第一系数的最优值的前述操作可以扩展为获得第二全局整形函数的第二系数(表示为)。
[0355]
在这些扩展操作中，表达式(54)中针对全局整形函数的向量可以被如下所示的第二全局局部整形函数的表示为的相应向量替代：
[0356][0357]
类似于全局整形函数的情况，可以经由最小二乘解(例如，以闭合形式等)获得第二全局整形函数的第二系数的优化局部整形解或优化值，如下所示：
[0358][0359]
框298包括构造(例如，经融合的、基于mmr的、基于tpb的等)局部整形函数。
[0360]
给定如框296中生成的第一和第二全局整形函数，可以将表示为的第一全局整形函数加权因子和表示为的第二全局整形函数加权因子分别指派给第一全局整形函数和第二全局整形函数。在一些操作场景中，两个加权因子满足如下约束/条件：
[0361][0362]
因此，如本文所述的局部整形可以使用通过将全局整形函数的第一系数和第二全
局整形函数的第二系数融合而生成的经融合的局部整形函数来执行：
[0363][0364]
预构建的跨通道色度局部整形
[0365]
在一些操作场景中，作为如上所讨论的自衍生跨通道局部整形的附加或替代方案，可以通过用包括相应的sdr-hdr图像对的第g个训练数据集进行离线训练获得分别由表示为g的全局整形函数索引值索引的多个预构建的跨通道全局整形函数
[0366]
例如，可以基于第g个训练数据集生成多个3dmt映射对和如下所示：
[0367][0368][0369]
第g个全局整形函数可以例如用如上所讨论的最小二乘解方法获得，如下所示：
[0370][0371]
例如在前向路径中，这些预构建的全局整形函数可以用于生成分别由局部整形函数索引值l索引的局部整形函数，如下所示：
[0372][0373]
其中，
[0374]
g＝l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(62-2)
[0375]
类似地，在后向路径中，可以由表示为的预构建的全局整形函数生成表示为的局部整形函数，如下所示：
[0376][0377]
预定义和自衍生色度局部整形的混合
[0378]
在一些操作场景中，结合预定义和自衍生跨通道色度局部整形的混合方法可以用于生成局部色度整形函数。
[0379]
在一些实施例中，可以在离线训练中分别用训练数据中的一组或多组训练图像对生成两个或更多个3dmt。两组或更多组相应的训练图像对中的每个训练图像对可以包括输入hdr图像和对应的输入sdr图像，所述输入sdr图像描绘与输入hdr图像相同的视觉语义内容。在一示例中，可能已经使用了对应的输入sdr图像(例如，通过先前执行的内容映射、色调映射和/或整形操作等)来生成输入hdr图像。在另一示例中，对应的输入sdr图像可能已经由输入hdr图像生成(例如，通过先前执行的内容映射、色调映射和/或整形操作等)。
[0380]
两个或更多个3dmt中的每个3dmt可以用训练数据中的相应的一组训练图像对来生成。如所述相应的一组训练图像对中的亮度和色度码字等图像数据可以用于生成在对应
3dmt中收集的统计信息。这些统计信息可以用于形成对应3dmt的多个3dmt映射对。
[0381]
两个或更多个3dmt中的每个3dmt可以通过用于查找目的的相应索引值(例如，g等)进行索引。在一些操作场景中，唯一标识两个或更多个3dmt中的对应3dmt的索引值(例如，g等)可以是l1中间值。
[0382]
可以使用如前所讨论的自衍生局部整形方式方法，分别由两个或更多个(原始的、未修改的)3dmt构建两个或更多个预构建的全局色度整形函数。可以用相同的饱和因子或两个或更多个不同的饱和因子来增强或修改两个或更多个3dmt，以生成两个或更多个修改后的3dmt，可以使用如前所讨论的自衍生局部整形方式方法，分别由两个或更多个修改后的3dmt构建两个或更多个融合前第二全局色度整形函数。此外，可以将来自两个或更多个(原始的、未修改的)3dmt的两个或更多个全局色度整形函数与分别由两个或更多个修改后的3dtm生成的两个或更多个融合前第二全局色度整形函数进行融合，以使用如前所讨论的自衍生局部整形方式方法生成两个或更多个预构建的局部色度整形函数。
[0383]
图2s图示了用于使用预定义和自衍生色度局部整形来生成色度局部整形函数/映射的(例如，基于mmr的、基于tpb的等)系数的示例流程。
[0384]
框2092包括基于如从多组训练图像对中选择的第g组训练图像对等图像数据子集来构建与全局整形函数或映射相关的3dmt。3dmt可以使用用于跨通道亮度局部整形的相同或类似的操作来构建，如上面表(1)至(3)中所述的操作。
[0385]
因此，可以为3dmt生成如表达式(19)所图示的多个3dmt映射对，如下所示：
[0386][0387][0388]
表达式(64)中的多个3dmt映射对然后可以用于得到全局整形函数或映射，并且为了生成第二色度整形函数或映射而被修改或增强。框2094包括修改映射对中的3dmt或经映射值以生成修改后的3dmt。
[0389]
为了实现饱和度的变化，可以设计表示为hc()的函数，并将其应用于3d直方图的(由具有非零hdr像素计数的有效q索引的)每个3d直方图仓中的平均sdr或经映射值以获得修改后的平均sdr或经映射值如下所示：
[0390][0391]
函数hc()包括首先将cb(表示为c0)和cr(表示为c1)的笛卡尔坐标系中移位的cb/cr(例如，参考神经色点(0.5，0.5)而不是非中性色原点(0，0)等)转换到极半径ρ和极角θ的极坐标系，如下所示：
[0392][0393]
[0394]
函数hc()包括进一步对由极半径表示的饱和度应用非线性函数或映射，如下所示：
[0395][0396]
其中，δc表示用于在接近中性色中保持线性映射的阈值。mc表示的最大可能值，当参考中性色点(05，0.5)而不是非中性色原点(0，0)对色度值进行归一化和移位时，该值为0.5。β表示用于实现饱和度变化的(例如，预配置的、可调整的、实际的等)设计参数。δc的示例值可以但不一定仅限于包括0.05。β的示例值可以但不一定仅限于包括0.5。
[0397]
如上述表达式(67)所示，对于近神经颜色(例如，等)，使用线性映射来避免或防止改变近中性颜色，更具体地说，改变其色调。
[0398]
由非线性函数hc()生成的修改后的经移位cb/cr值可以从极坐标系转换回笛卡尔坐标系。转换到笛卡尔坐标系中的修改后的经移位cb/cr值可以通过加回偏移量0.5而被移位回以生成修改后的cb/cr值，如下所示：
[0399][0400][0401]
上述表达式(68)中的修改后的cb/cr值可以用于形成修改后的3dmt中的多个修改后的3dmt映射对，如下所示：
[0402][0403][0404]
框2096包括由多个(原始)3dmt映射对构造或生成全局整形函数的第一(例如，mmr、tpb等)系数，以及由多个修改后的3dmt映射对构造或生成第二全局整形函数的第二(例如，mmr、tpb等)系数。
[0405]
例如，基于用原始颜色构建的原始3dmt对，可以用设计矩阵和向量来构建或生成第一系数，如下所示：
[0406]
[0407][0408]
其中，表示mmr/tpb基函数。
[0409]
可以经由最小二乘解(例如，以闭合形式等)获得第一系数(表示为)的优化全局整形解或优化值，如下所示：
[0410][0411]
用于获得全局整形函数的第一系数的最优值的前述操作可以扩展为获得第二全局整形函数的第二系数(表示为)。
[0412]
在这些扩展操作中，表达式(24)中针对全局整形函数的向量可以被如下所示的表示为的相应向量替代：
[0413][0414]
可以经由最小二乘解(例如，以闭合形式等)获得第二系数的优化局部整形解或优化值，如下所示：
[0415][0416]
框2098包括构造(例如，经融合的、基于mmr的、基于tpb的等)局部整形函数。
[0417]
给定如框2096中生成的两个全局整形函数，可以将表示为的第一全局整形函数加权因子和表示为的第二全局整形函数加权因子分别指派给第一全局整形函数和第二全局整形函数。在一些操作场景中，两个加权因子满足如下约束/条件：
[0418][0419]
因此，如本文所述的局部整形可以使用通过将全局整形函数的第一系数和第二全局整形函数的第二系数融合而生成的经融合的局部整形函数来执行：
[0420][0421]
仅出于说明的目的，将从12位(离线)训练输入图像预测或估计的中间l1值用作上述表达式(64)至(76)中表示为《g》的索引值。给定12位的位深度，索引值《g》可以是从[0,4095]的值范围中选择的值。类似地，给定10位的位深度，索引值《g》可以是从[0,1023]的值范围中选择的值。
[0422]
同样，将根据12位(例如，实际的、非训练的、要增强的、在线处理的等)输入图像预测或估计的中间l1值用作上述表达式(64)至(76)中表示为《l》的索引值。给定12位的位深度，索引值《l》可以是从[0,4095]的值范围中选择的值。类似地，给定10位的位深度，索引值《l》可以是从[0,1023]的值范围中选择的值。
[0423]
用于存储索引值《g》和/或《l》的所有可能组合的每个和每一个整形函数/映射的操作参数(如mmr或tpb系数)的存储器空间、易失性或非易失性存储空间等可以是相对大且昂贵的。
[0424]
在一些操作场景中，只有在索引值《g》和/或《l》的所有可能的组合中的(例如，代表性等)索引值的适当子集的操作参数(如mmr或tpb系数)被离线计算或生成并存储/缓存在存储器空间或存储装置中。例如，所有可能的组合的整个值范围可以被划分或分割(例如，按16、64、128、256等)为多个子范围。为多个子范围中的每个子范围(例如，均匀地，在特定位置，每16个、每64个、每128个、每256个等)选择代表性索引值《g》或《l》。针对代表性索引值《g》(以及对应的《l》值)的操作参数(如mmr或tpb系数和)被离线计算或生成并存储/缓存在存储器空间或存储装置中。
[0425]
在要对输入图像执行局部整形操作的图像处理系统的系统启动期间，针对代表性索引值《g》(以及对应的《l》值)的操作参数(如mmr或tpb系数和被取得、加载或以其他方式可用。
[0426]
在运行时，可以用相对宽的值范围(如[0,4095]、[0,1023]等)内的任何索引值《l》对输入图像执行如本文所述的局部整形。对于未被预生成的索引值《g》(以及对应的《l》值)覆盖的索引值，操作参数(如mmr或tpb系数)在系统启动开始时可能不容易从存储器空间或存储装置获得。对于不在代表性索引值中的索引值《l》，可以在针对被预生成的索引值《g》和/或《l》覆盖的(例如，两个最接近的等)索引值的可用操作参数(如mmr或tpb系数)被取得、加载或以其他方式可用之后执行插值操作。
[0427]
图2t图示了用于基于3dmt的色度局部整形函数或映射生成的示例流程。出于说明的目的，将生成基于mmr或tpb的色度局部整形函数以增强输入hdr图像2192的局部饱和度。色度局部整形函数(或映射)可以至少部分地基于如δc、mc、β、和等增强参数2194来生成，以实现局部饱和度变化和软限幅。
[0428]
框2196包括使用具有仓的3d直方图来构建3dmt，所述3d直方图存储输入hdr图像(2192)中的hdr像素的计数以及由输入hdr图像和输入sdr图像形成的图像对中的对应输入sdr图像的平均值。
[0429]
在一示例中，可能已经使用了对应的输入sdr图像(例如，通过先前执行的内容映射、色调映射和/或整形操作等)来生成hdr图像(2192)。在另一示例中，对应的输入sdr图像可能已经由hdr图像(2192)生成(例如，通过先前执行的内容映射、色调映射和/或整形操作等)。
[0430]
框2198包括使用3dmt来构建全局色度整形函数。例如，可以生成第一mmr或tpb系数以用完整的一组mmr项或张量积b样条基函数指定全局色度整形函数。
[0431]
框2200包括使用局部饱和度变化的增强参数δc、mc、β将3dmt修改为包括修改后的
映射对的相应修改后的3dmt。
[0432]
框2202包括使用修改后的3dmt来构建第二全局色度整形函数。第二全局色度整形函数可以与第一全局整形函数融合。例如，可以生成第二mmr或tpb系数以用mmr项或张量积b样条基函数指定全局整形函数。
[0433]
框2204包括使用增强参数和以利用由原始和修改后的3dmt得到的全局色度整形函数执行加权融合，以生成对应的经融合的跨通道局部整形函数。框2206包括输出(经融合的)跨通道局部整形函数。
[0434]
类似于局部亮度整形，局部色度整形可以使用具有索引值的引导图像来识别输入图像的特定输入像素的特定局部色度整形函数/映射。有多种不同的方式来构造用于局部色度整形的引导图像。在第一示例中，引导图像可以是基于输入图像中的色度码字构造的与亮度无关的引导图像，或根据输入图像计算的饱和度图像。在第二示例中，可以基于输入图像中的亮度和色度码字来构造引导图像。在第三示例中，用于局部亮度整形的相同引导图像可以用作或得到用于局部色度整形的引导图像。根据如444或420等颜色采样格式，可以适当地对用于局部亮度整形的引导图像进行下采样，以适合色度通道图像大小。在许多操作场景中，亮度引导图像可以被重新用于色度整形，同时仍然提供更好的外观，包括在经局部整形的图像中增强的局部饱和度，而不会引入视觉伪像。
[0435]
示例过程流程
[0436]
图4图示了根据实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、反向映射生成和应用系统等)可以执行此过程流程。在框402中，图像处理系统对在第一域中表示的第一图像执行第一整形映射，以生成在第二域中表示的第二图像。所述第一域具有第一动态范围，所述第一动态范围不同于所述第二域具有的第二动态范围。
[0437]
在框404中，图像处理系统对在所述第二域中表示的所述第二图像执行第二整形映射，以生成在所述第一域中表示的第三图像。所述第三图像在感知上与所述第一图像在以下至少一个方面不同：全局对比度、全局饱和度、局部对比度、局部饱和度等。
[0438]
在框406中，图像处理系统使得在显示设备上渲染由第三图像得到的显示图像。
[0439]
在实施例中，所述第一整形映射和所述第二整形映射形成以下之一：(a)全局前向整形映射和全局后向整形映射的组合；(b)全局后向整形映射和全局前向整形映射的组合；(c)全局前向整形映射和局部后向整形映射的组合；(d)全局后向整形映射和局部前向整形映射的组合；(e)局部后向整形映射和全局前向整形映射的组合；(f)局部前向整形映射和全局后向整形映射的组合；(g)局部前向整形映射和局部后向整形映射的组合；(h)局部后向整形映射和局部前向整形映射的组合；等等。
[0440]
在实施例中，所述第一图像的第一动态范围和所述第二图像的第二动态范围形成以下之一：所述第一图像的高动态范围(hdr)和所述第二图像的标准动态范围(sdr)的组合；所述第一图像的sdr和所述第二图像的hdr的组合；等等。
[0441]
在实施例中，通过对所述第二图像执行的第三整形映射生成经编码图像；所述经编码图像被编码在由接收设备接收的视频信号中；所述接收设备由与所述视频信号一起接收的经编码图像的经解码版本生成所述显示图像。
[0442]
在实施例中，在所述第一域中表示的所述第一图像由移动设备生成并上传。
[0443]
在实施例中，所述第一整形映射和所述第二整形映射中的至少一者包括亮度局部整形映射。
[0444]
在实施例中，所述亮度局部整形映射表示以下之一：(a)独立于输入色度码字由输入亮度码字生成输出亮度码字的单通道亮度局部整形映射；(b)由输入亮度码字和输入色度码字两者生成输出亮度码字的跨通道亮度局部整形映射；等等。
[0445]
在实施例中，所述亮度局部整形映射表示所述跨通道亮度局部整形映射；所述跨通道亮度局部整形映射是通过将跨通道亮度全局整形映射和融合前跨通道亮度局部整形映射融合而生成的；所述跨通道亮度全局整形是使用三维映射表(3dmt)生成的，所述3dmt是使用图像对中的码字计算的；所述融合前跨通道亮度局部整形映射是使用通过用局部对比度增强函数修改所述3dmt得到的修改后的3dmt生成的。
[0446]
在实施例中，所述第一整形映射和所述第二整形映射中的至少一者包括色度局部整形映射。
[0447]
在实施例中，所述色度局部整形映射表示以下之一：(a)由输入亮度码字和输入色度码字生成输出色度码字的跨通道mmr色度局部整形映射；(b)由输入亮度码字和输入色度码字两者生成输出色度码字的跨通道tpb色度局部整形映射；等等。
[0448]
在实施例中，所述色度局部整形映射是通过将第一跨通道色度全局整形映射和第二跨通道色度全局整形映射融合而生成的；所述第一跨通道色度全局整形是使用三维映射表(3dmt)生成的，所述3dmt是使用图像对中的码字计算的；所述第二跨通道色度全局整形映射是使用通过用饱和度增强函数修改所述3dmt得到的修改后的3dmt生成的。
[0449]
在实施例中，用噪声注入引导图像将图像滤波应用于所述第一图像、所述第二图像或由所述第二图像得到的图像中的至少一者以减少带伪像；所述噪声引导图像包括逐像素噪声注入局部整形函数索引；经滤波图像包括通过用所述噪声注入引导图像进行的所述图像滤波生成的码字；对所述经滤波图像中的所述码字应用另外的噪声注入以生成噪声注入码字。
[0450]
在实施例中，所述第二图像作为输入图像序列中的输入图像由视频编码器接收；由所述视频编码器接收的所述输入图像序列由所述视频编码器编码为视频信号。
[0451]
在实施例中，如显示设备、移动设备、机顶盒、多媒体设备等计算设备被配置用于执行前述方法中的任一种方法。在实施例中，一种装置包括处理器，并且被配置用于执行前述方法中的任一种方法。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，所述软件指令当由一个或多个处理器执行时使得执行前述方法中的任一种方法。
[0452]
在实施例中，一种计算设备包括一个或多个处理器以及一个或多个存储介质，所述一个或多个存储介质存储指令集，所述指令集当由所述一个或多个处理器执行时使得执行前述方法中的任一种方法。
[0453]
注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。
[0454]
示例计算机系统实施方式
[0455]
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(ic)设备(如微控制器、现场可编程门阵列(fpga)或另一个可配置或可编程逻辑器件
(pld)、离散时间或数字信号处理器(dsp)、专用ic(asic))和/或包括这种系统、设备或部件中的一个或多个的装置来实施。计算机和/或ic可以执行、控制或实施与对具有增强动态范围的图像的自适应感知量化有关的指令，如本文所描述的那些。计算机和/或ic可以计算与本文所描述的自适应感知量化过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。
[0456]
本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本公开的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的对hdr图像的自适应感知量化有关的方法。还可以以程序产品的形式提供本发明的实施例。程序产品可以包括携带一组计算机可读信号的任何非暂态介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时，使数据处理器执行本发明的实施例的方法。根据本发明的实施例的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括cd rom、dvd的光学数据存储介质、包括rom、闪速ram的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
[0457]
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对所述部件的引用(包括对“装置”的引用)都应该被解释为包括执行所描述部件的功能的任何部件为所述部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。
[0458]
根据一个实施例，本文描述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以用于执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备，如一个或多个专用集成电路(asic)或现场可编程门阵列(fpga)，或者可以包括被编程为根据固件、存储器、其他存储装置或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这种专用计算设备也可以将定制的硬接线逻辑、asic或fpga与定制编程相结合来实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施技术的任何其他设备。
[0459]
例如，图5是图示了可以在其上实施本发明的实施例的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机制、以及与总线502耦接以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。
[0460]
计算机系统500还包括耦接到总线502以用于存储要由处理器504执行的信息和指令的主存储器506，比如随机存取存储器(ram)或其他动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其他中间信息。在被存储于处理器504可访问的非暂态存储介质中时，这种指令使得计算机系统500变成被自定义为执行在指令中指定的操作的专用机器。
[0461]
计算机系统500进一步包括只读存储器(rom)508或耦接到总线502以用于存储处理器504的静态信息和指令的其他静态存储设备。提供存储设备510(如磁盘或光盘)，并将其耦接到总线502以用于存储信息和指令。
[0462]
计算机系统500可以经由总线502耦接到如液晶显示器等显示器512上，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦接到总线502，以用于将
信息和命令选择传送到处理器504。另一种类型的用户输入设备是如鼠标、轨迹球或光标方向键等光标控件516，以用于将方向信息和命令选择传送到处理器504并且用于控制在显示器512上的光标移动。典型地，此输入设备具有在两条轴线(第一轴线(例如，x轴)和第二轴线(例如，y轴))上的两个自由度，允许设备在平面中指定位置。
[0463]
计算机系统500可以使用自定义硬接线逻辑、一个或多个asic或fpga、固件和/或程序逻辑来实施本文描述的技术，这些自定义硬接线逻辑、一个或多个asic或fpga、固件和/或程序逻辑与计算机系统相结合使计算机系统500成为或编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行如本文所描述的技术。这种指令可以从如存储设备510等另一存储介质读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文描述的过程步骤。在替代性实施例中，可以使用硬接线电路来代替软件指令或者与软件指令相结合。
[0464]
如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，比如存储设备510。易失性介质包括动态存储器，比如主存储器506。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、cd-rom、任何其他光学数据存储介质、具有孔图案的任何物理介质、ram、prom和eprom、闪速eprom、nvram、任何其他存储器芯片或存储盒。
[0465]
存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，比如在无线电波和红外数据通信期间生成的那些声波或光波。
[0466]
各种形式的介质可以涉及将一个或多个指令的一个或多个序列载送到处理器504以供执行。例如，最初可以在远程计算机的磁盘或固态驱动器上载送指令。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以接收电话线上的数据并使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中载送的数据，并且适当的电路可以将数据放在总线502上。总线502将数据载送到主存储器506，处理器504从主存储器取得并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。
[0467]
计算机系统500还包括耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，所述网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(isdn)卡、电缆调制解调器、卫星调制解调器、或用于提供与对应类型电话线的数据通信连接的调制解调器。作为另一个示例，通信接口518可以是局域网(lan)卡，用于提供与兼容lan的数据通信连接。还可以实施无线链路。在任何这种实施方式中，通信接口518发送和接收载送表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
[0468]
网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(isp)526操作的数据设备的连接。isp 526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和因特网528都使用载送数字数据流的电信号、电磁信
号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的信号(其将数字数据载送到计算机系统500和从计算机系统载送数字数据)是传输介质的示例形式。
[0469]
计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可以通过因特网528、isp 526、本地网络522和通信接口518传输应用程序的请求代码。
[0470]
接收到的代码可以在被接收到时由处理器504执行和/或存储在存储设备510或其他非易失性存储装置中以供稍后执行。
[0471]
等同物、扩展、替代方案和杂项
[0472]
在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，指明本发明的要求保护的实施例以及申请人认为的本发明的要求保护的实施例的唯一且排他性指示是根据本技术以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续校正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应该支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、性质、特征、优点或属性不应该以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。
[0473]
枚举的示例性实施例
[0474]
本发明可以以本文描述的任何形式实施，包括但不限于以下描述了本发明实施例的一些部分的结构、特征和功能的枚举的示例实施例(eee)。
[0475]
eee1.一种用于增强图像的方法，包括：
[0476]
对在第一域中表示的第一图像执行第一整形映射，以生成在第二域中表示的第二图像，其中，所述第一域具有第一动态范围，所述第一动态范围不同于所述第二域具有的第二动态范围；
[0477]
对在所述第二域中表示的所述第二图像执行第二整形映射，以生成在所述第一域中表示的第三图像，其中，所述第三图像在感知上与所述第一图像在以下至少一个方面不同：全局对比度、全局饱和度、局部对比度、或局部饱和度；
[0478]
使得在显示设备上渲染由所述第三图像得到的显示图像。
[0479]
eee2.如eee1所述的方法，其中，所述第一整形映射和所述第二整形映射形成以下之一：(a)全局前向整形映射和全局后向整形映射的组合；(b)全局后向整形映射和全局前向整形映射的组合；(c)全局前向整形映射和局部后向整形映射的组合；(d)全局后向整形映射和局部前向整形映射的组合；(e)局部后向整形映射和全局前向整形映射的组合；(f)局部前向整形映射和全局后向整形映射的组合；(g)局部前向整形映射和局部后向整形映射的组合；或(h)局部后向整形映射和局部前向整形映射的组合。
[0480]
eee3.如eee1或eee2所述的方法，其中，所述第一图像的第一动态范围和所述第二图像的第二动态范围形成以下之一：所述第一图像的高动态范围(hdr)和所述第二图像的标准动态范围(sdr)的组合；或所述第一图像的sdr和所述第二图像的hdr的组合。
[0481]
eee4.如eee1至eee3中任一项所述的方法，其中，通过对所述第二图像执行的第三整形映射生成经编码图像，其中，所述经编码图像被编码在由接收设备接收的视频信号中，其中，所述接收设备由与所述视频信号一起接收的经编码图像的经解码版本生成所述显示图像。
[0482]
eee5.如eee1至eee4中任一项所述的方法，其中，在所述第一域中表示的所述第一图像由移动设备生成并上传。
[0483]
eee6.如eee1至eee5中任一项所述的方法，其中，所述第一整形映射和所述第二整形映射中的至少一者包括亮度局部整形映射。
[0484]
eee7.如eee6所述的方法，其中，所述亮度局部整形映射表示以下之一：(a)独立于输入色度码字由输入亮度码字生成输出亮度码字的单通道亮度局部整形映射；或(b)由输入亮度码字和输入色度码字两者生成输出亮度码字的跨通道亮度局部整形映射。
[0485]
eee8.如eee7所述的方法，其中，所述亮度局部整形映射表示所述跨通道亮度局部整形映射；其中，所述跨通道亮度局部整形映射是通过将跨通道亮度全局整形映射和融合前跨通道亮度局部整形映射融合而生成的；其中，所述跨通道亮度全局整形是使用三维映射表(3dmt)生成的，所述3dmt是使用图像对中的码字计算的；其中，所述融合前跨通道亮度局部整形映射是使用通过用局部对比度增强函数修改所述3dmt得到的修改后的3dmt生成的。
[0486]
eee9.如eee1至eee8中任一项所述的方法，其中，所述第一整形映射和所述第二整形映射中的至少一者包括色度局部整形映射。
[0487]
eee10.如eee9所述的方法，其中，所述色度局部整形映射表示以下之一：(a)由输入亮度码字和输入色度码字生成输出色度码字的跨通道多变量多元回归(mmr)色度局部整形映射；或(b)由输入亮度码字和输入色度码字两者生成输出色度码字的跨通道张量积b样条(tpb)色度局部整形映射。
[0488]
eee11.如eee9或eee10所述的方法，其中，所述色度局部整形映射是通过将第一跨通道色度全局整形映射和第二跨通道色度全局整形映射融合而生成的；其中，所述第一跨通道色度全局整形是使用三维映射表(3dmt)生成的，所述3dmt是使用图像对中的码字计算的；其中，所述第二跨通道色度全局整形映射是使用通过用局部饱和度增强函数修改所述3dmt得到的修改后的3dmt生成的。
[0489]
eee12.如eee1至eee11中任一项所述的方法，其中，用噪声注入引导图像将图像滤波应用于所述第一图像、所述第二图像或由所述第二图像得到的图像中的至少一者以减少带伪像；其中，所述噪声引导图像包括逐像素噪声注入局部整形函数索引；其中，经滤波图像包括通过用所述噪声注入引导图像进行的所述图像滤波生成的码字；其中，对所述经滤波图像中的所述码字应用另外的噪声注入以生成噪声注入码字。
[0490]
eee13.如eee1至eee12中任一项所述的方法，其中，所述第二图像作为输入图像序列中的输入图像由视频编码器接收；其中，由所述视频编码器接收的所述输入图像序列由所述视频编码器编码为视频信号。
[0491]
eee14.一种用于增强图像的方法，所述方法包括：
[0492]
由用第一码字空间中的第一码字编码的一个或多个第一图像和用第二码字空间中的第二码字编码的一个或多个第二图像构建三维映射表(3dmt)，其中，所述一个或多个第一图像对应于所述一个或多个第二图像，其中，所述第一码字空间被划分为多个仓，其中，所述3dmt存储多个映射对，每个映射对对应于所述多个仓中的相应仓，并且包括(a)所述一个或多个第一图像中位于所述相应仓中的第一码字的计数，以及(b)所述一个或多个第二图像中与所述第一码字相对应的第二码字的平均第二亮度码字值；
[0493]
对所述多个映射对中的每个映射对中的平均第二亮度码字值应用局部对比度增强操作以生成修改后的3dmt；
[0494]
由所述3dmt生成全局亮度整形函数并且由所述修改后的3dmt生成局部亮度整形函数；
[0495]
由所述全局亮度整形函数和所述局部亮度整形函数生成最终局部亮度整形函数；
[0496]
对输入图像应用所述最终局部亮度整形函数以生成局部对比度增强图像，其中，显示图像是由所述局部对比度增强图像得到的并在显示设备上渲染。
[0497]
eee14.一种用于增强图像的方法，所述方法包括：
[0498]
由用第一码字空间中的第一码字编码的一个或多个第一图像和用第二码字空间中的第二码字编码的一个或多个第二图像构建三维映射表(3dmt)，其中，所述一个或多个第一图像对应于所述一个或多个第二图像，其中，所述第一码字空间被划分为多个仓，其中，所述3dmt存储多个映射对，每个映射对对应于所述多个仓中的相应仓，并且包括(a)所述一个或多个第一图像中位于所述相应仓中的第一码字的计数，以及(b)所述一个或多个第二图像中与所述第一码字相对应的第二码字的平均色度码字值；
[0499]
对所述多个映射对中的每个映射对中的平均色度码字值应用一个或多个局部饱和度增强操作以生成修改后的3dmt；
[0500]
对于每个色度通道，由所述3dmt生成全局色度整形函数并且由所述修改后的3dmt生成第二全局色度整形函数；
[0501]
对于每个色度通道，由所述全局色度整形函数和所述第二全局色度整形函数生成最终局部亮度整形函数；
[0502]
对于每个通道，对输入图像应用所述最终局部色度整形函数以生成局部饱和度增强图像，其中，显示图像是由所述局部饱和度增强图像得到的并在显示设备上渲染。
[0503]
eee15.如eee1至eee14中任一项所述的方法，其中，所述图像滤波表示用引导图像进行的引导图像滤波；其中，所述引导图像包括针对多个像素位置计算的高频特征值，所述高频特征值分别由针对所述引导图像的一个或多个通道之一中的所述多个像素位置计算的图像梯度的倒数加权。
[0504]
eee16.如eee1至eee15中任一项所述的方法，其中，所述引导图像包括至少部分地基于光晕减少操作参数集合得到的引导图像值；所述方法进一步包括：
[0505]
针对多个图像对中的每个图像对，利用所述光晕减少操作参数集合的多个候选值集合将一个或多个局部前景区域中的某个局部前景区域的基于区域的纹理度量计算为所述图像对中所述第一动态范围的训练图像和所述第二动态范围的对应训练图像的方差比，其中，所述一个或多个局部前景区域是从在所述图像对中的所述第一动态范围的训练图像中识别的前景掩模中采样的；
[0506]
针对所述多个图像对中的每个图像对，利用所述光晕减少操作参数集合的所述多个候选值集合将一个或多个局部光晕伪像区域中的某个局部光晕伪像区域中的光晕度量计算为所述图像对中的所述第一动态范围的训练图像与所述第二动态范围的对应训练图像之间的相关系数，其中，所述一个或多个局部光晕伪像区域是从在所述第二动态范围的对应训练图像中识别的光晕掩模中采样的；
[0507]
针对所述光晕减少操作参数集合的所述多个候选值集合，计算以下的相应加权
和：(a)从所述多个图像对中的所述第一动态范围的训练图像中识别的前景掩模中采样的所有局部前景区域的所有基于区域的纹理度量，以及(b)从所述多个图像对中的所述第二动态范围的对应训练图像中识别的光晕掩模中采样的所有局部光晕伪像区域的所有光晕度量；
[0508]
确定所述光晕减少操作参数集合的优化值集合，其中，所述优化值集合用于生成以下的最小化加权和：(a)从所述多个图像对中的所述第一动态范围的训练图像中识别的前景掩模中采样的所有局部前景区域的所有基于区域的纹理度量，以及(b)从所述多个图像对中的所述第二动态范围的对应训练图像中识别的光晕掩模中采样的所有局部光晕伪像区域的所有光晕度量；
[0509]
对具有光晕减少操作参数集合的优化值集合的输入图像应用多个空间内核大小级别的图像滤波。
[0510]
eee16.一种计算机系统，被配置成执行如eee1至eee15中所述的方法中的任一种方法。
[0511]
eee17.一种装置，包括处理器并且被配置为执行如eee1至eee15中所述的方法中的任一种方法。
[0512]
eee18.一种非暂态计算机可读存储介质，具有存储于其上的用于执行如eee1至eee15中所述的方法中的任一种方法的计算机可执行指令。

技术特征：
1.一种用于增强图像的方法，包括：对在第一域中表示的第一图像执行第一整形映射，以生成在第二域中表示的第二图像，其中，所述第一域具有第一动态范围，所述第一动态范围不同于所述第二域具有的第二动态范围；对在所述第二域中表示的所述第二图像执行第二整形映射，以生成在所述第一域中表示的第三图像，其中，所述第三图像与所述第一图像在以下至少一个方面不同：全局对比度、全局饱和度、局部对比度或局部饱和度，其中，在全局对比度和全局饱和度中的至少一者方面的差异是由第一整形映射和第二整形映射中由应用于相应图像的所有像素的同一函数表示的至少一者引起的，并且其中，在局部对比度和局部饱和度中的至少一者方面的差异是由第一整形映射和第二整形映射中由能够在相应图像的像素级选择的函数表示的至少一者引起的；以及使得在显示设备上渲染由所述第三图像得到的显示图像。2.如权利要求1所述的方法，其中，所述第一整形映射和所述第二整形映射中的至少一者包括亮度局部整形映射；其中，所述亮度局部整形映射表示由输入亮度码字和输入色度码字两者生成输出亮度码字的跨通道亮度局部整形映射；其中，所述跨通道亮度局部整形映射是通过将跨通道亮度全局整形映射和融合之前的跨通道亮度局部整形映射融合而生成的；其中，融合所述跨通道亮度全局整形映射和所述融合之前的跨通道亮度局部整形映射包括计算所述跨通道亮度全局整形映射和所述融合之前的跨通道亮度局部整形映射的线性组合；其中，所述跨通道亮度全局整形是使用三维映射表(3dmt)生成的，所述3dmt是使用由所述第一图像和所述第二图像表示的图像对中的码字计算的；其中，所述融合之前的跨通道亮度局部整形映射是使用通过用局部对比度增强函数修改所述3dmt得到的修改后的3dmt生成的。3.如权利要求2所述的方法，进一步包括：由用第一码字空间中的第一码字编码的一个或多个第一图像和用第二码字空间中的第二码字编码的一个或多个第二图像构建所述三维映射表(3dmt)，其中，所述一个或多个第一图像对应于所述一个或多个第二图像，其中，所述第一码字空间被划分为多个仓，其中，所述3dmt存储多个映射对，每个映射对对应于所述多个仓中的相应仓，并且包括(a)所述一个或多个第一图像中位于所述相应仓中的第一码字的计数，以及(b)所述一个或多个第二图像中与所述第一码字相对应的第二码字的平均第二亮度码字值。4.如权利要求1至3中任一项所述的方法，其中，所述第一整形映射和所述第二整形映射中的至少一者包括色度局部整形映射，其中，所述色度局部整形映射是通过将第一跨通道色度全局整形映射和第二跨通道色度全局整形映射融合而生成的；其中，融合所述第一跨通道色度全局整形映射和所述第二跨通道色度全局整形映射包括计算所述第一跨通道色度全局整形映射和所述第二跨通道色度全局整形映射的线性组合；其中，所述第一跨通道色度全局整形是使用三维映射表(3dmt)生成的，所述3dmt是使用由所述第一图像和所述第二图像表示的图像对中的码字计算的；其中，所述第二跨通道色度全局整形映射是使用通过用局部饱和度增强函数修改所述3dmt得到的修改后的3dmt生成的。5.如权利要求4所述的方法，进一步包括：由用第一码字空间中的第一码字编码的一个或多个第一图像和用第二码字空间中的
第二码字编码的一个或多个第二图像构建三维映射表(3dmt)，其中，所述一个或多个第一图像对应于所述一个或多个第二图像，其中，所述第一码字空间被划分为多个仓，其中，所述3dmt存储多个映射对，每个映射对对应于所述多个仓中的相应仓，并且包括(a)所述一个或多个第一图像中位于所述相应仓中的第一码字的计数，以及(b)所述一个或多个第二图像中与所述第一码字相对应的第二码字的平均色度码字值。6.如权利要求4或权利要求5所述的方法，其中，所述色度局部整形映射表示以下之一：(a)由输入亮度码字和输入色度码字生成输出色度码字的跨通道多变量多元回归(mmr)色度局部整形映射；或(b)由输入亮度码字和输入色度码字两者生成输出色度码字的跨通道张量积b样条(tpb)色度局部整形映射。7.如权利要求1所述的方法，其中，所述第一整形映射和所述第二整形映射中的至少一者包括亮度局部整形映射；其中，所述亮度局部整形映射表示独立于输入色度码字由输入亮度码字生成输出亮度码字的单通道亮度局部整形映射。8.如权利要求1至7中任一项所述的方法，其中，所述第一整形映射和所述第二整形映射形成以下之一：(a)全局前向整形映射和全局后向整形映射的组合；(b)全局后向整形映射和全局前向整形映射的组合；(c)全局前向整形映射和局部后向整形映射的组合；(d)全局后向整形映射和局部前向整形映射的组合；(e)局部后向整形映射和全局前向整形映射的组合；(f)局部前向整形映射和全局后向整形映射的组合；(g)局部前向整形映射和局部后向整形映射的组合；或(h)局部后向整形映射和局部前向整形映射的组合。9.如权利要求1至8中任一项所述的方法，其中，所述第一图像的所述第一动态范围和所述第二图像的所述第二动态范围形成以下之一：所述第一图像的高动态范围(hdr)和所述第二图像的标准动态范围(sdr)的组合；或所述第一图像的sdr和所述第二图像的hdr的组合。10.如权利要求1至9中任一项所述的方法，其中，通过对所述第二图像执行的第三整形映射生成经编码图像，其中，所述经编码图像被编码在由接收设备接收的视频信号中，其中，所述接收设备从与所述视频信号一起接收的所述经编码图像的经解码版本生成所述显示图像。11.如权利要求1至10中任一项所述的方法，其中，在所述第一域中表示的所述第一图像由移动设备生成并上传。12.如权利要求1至11中任一项所述的方法，其中，用噪声注入引导图像将图像滤波应用于所述第一图像、所述第二图像或由所述第二图像得到的图像中的至少一者以减少带伪像；其中，图像滤波包括由要滤波的图像生成引导图像，所述引导图像提供所述要滤波的图像的像素的局部整形函数索引值；其中，所述噪声注入引导图像是根据所述引导图像计算的，并且包括逐像素噪声注入局部整形函数索引；其中，经滤波图像包括通过用所述噪声注入引导图像进行的所述图像滤波生成的码字；其中，对所述经滤波图像中的所述码字应用另外的噪声注入以生成噪声注入码字。13.如权利要求1至12中任一项所述的方法，其中，所述第二图像作为输入图像序列中的输入图像由视频编码器接收；其中，由所述视频编码器接收的所述输入图像序列由所述视频编码器编码为视频信号。14.一种装置，包括一个或多个处理器并且被配置为执行如权利要求1至13所述的方法
中的任一种方法。15.一种非暂态计算机可读存储介质，具有存储于其上的用于根据权利要求1至13所述的方法中的任一种方法、利用一个或多个处理器来执行方法的计算机可执行指令。

技术总结
对在第一域中表示的第一图像执行第一整形映射，以生成在第二域中表示的第二图像。所述第一域具有第一动态范围，所述第一动态范围不同于所述第二域具有的第二动态范围。对在所述第二域中表示的所述第二图像执行第二整形映射，以生成在所述第一域中表示的第三图像。所述第三图像在感知上与所述第一图像在以下至少一个方面不同：全局对比度、全局饱和度、局部对比度、局部饱和度等。由所述第三图像得到显示图像，并且在显示设备上渲染所述显示图像。像。


技术研发人员：苏冠铭 H
受保护的技术使用者：杜比实验室特许公司
技术研发日：2022.01.26
技术公布日：2023/10/15