图像处理方法、装置、计算机设备和存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。


背景技术：

2.随着计算机技术的发展，通过计算机设备可以对图像进行质量评估。图像质量评估在许多领域有着广泛的应用，因此对评估结果的高效性、可靠性的需求日益增加。图像质量评估，可以使用数学模型给出图像质量的量化值，传统技术中，通过对待评估图像和失真图像直接做差取平方求和，计算复杂度低，容易实现。
3.然而，传统的图像质量评估方法，存在评估结果准确性低的问题。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，可以提高图像质量评估结果的准确性。
5.一方面，本技术提供了一种图像处理方法。所述方法包括：获取待评估图像和所述待评估图像对应的参考图像；分别提取所述待评估图像和所述参考图像的像素梯度信息以及像素色度信息；基于提取到的像素梯度信息确定得到所述待评估图像和所述参考图像之间的对应像素点的梯度相似度，基于提取到的像素色度信息确定所述待评估图像和所述参考图像之间的对应像素点的色度相似度；基于所述梯度相似度和色度相似度，确定所述待评估图像的对比度评估信息；获取所述待评估图像的结构评估信息；所述结构评估信息用于表征所述待评估图像和所述参考图像之间的结构相似程度；基于所述对比度评估信息和所述结构评估信息，确定所述待评估图像对应的质量评估结果。
6.另一方面，本技术还提供了一种图像处理装置。所述装置包括：图像获取模块，用于获取待评估图像和所述待评估图像对应的参考图像；信息提取模块，用于分别提取所述待评估图像和所述参考图像的像素梯度信息以及像素色度信息；相似度计算模块，用于基于提取到的像素梯度信息确定得到所述待评估图像和所述参考图像之间的对应像素点的梯度相似度，基于提取到的像素色度信息确定所述待评估图像和所述参考图像之间的对应像素点的色度相似度；对比度评估模块，用于基于所述梯度相似度和色度相似度，确定所述待评估图像的对比度评估信息；结构评估模块，用于获取所述待评估图像的结构评估信息；所述结构评估信息用于表征所述待评估图像和所述参考图像之间的结构相似程度；评估结果获得模块，用于基于所述对比度评估信息和所述结构评估信息，确定所述待评估图像对应的质量评估结果。
7.另一方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理方法的步骤。
8.另一方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，
其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法的步骤。
9.另一方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像处理方法的步骤。
10.上述图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过分别提取所述待评估图像和所述参考图像的像素梯度信息以及像素色度信息，基于提取到的像素梯度信息确定得到所述待评估图像和所述参考图像之间的对应像素点的梯度相似度，基于提取到的像素色度信息确定所述待评估图像和所述参考图像之间的对应像素点的色度相似度，基于所述梯度相似度和色度相似度，确定所述待评估图像的对比度评估信息，获取所述待评估图像的结构评估信息，基于所述对比度评估信息和所述结构评估信息，确定所述待评估图像对应的质量评估结果，由于结合了梯度相似度、色度相似度来得到对比度评估信息，并且结合了结构评估信息，得到的评估结果更贴近人眼主观评测结果，提高了图像评估结果的准确性。
附图说明
11.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1为一个实施例中图像处理方法的应用环境图；
13.图2为一个实施例中图像处理方法的流程图；
14.图3为一个实施例中获取所述待评估图像的结构评估信息的步骤流程图；
15.图4为一个实施例中图像位置对应关系示意图；
16.图5为一个实施例中图像处理方法的总体流程图；
17.图6为一个实施例中图像处理装置的结构框图；
18.图7为一个实施例中计算机设备的结构框图。
具体实施方式
19.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
20.本技术实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
21.具体地，终端可以采集图像发送至服务器，请求服务器对采集的图像进行质量评估，服务器将终端发送的图像作为待评估图像，获取待评估图像对应的参考图像，分别提取待评估图像和参考图像的像素梯度信息以及像素色度信息，基于提取到的像素梯度信息确定得到待评估图像和参考图像之间的对应像素点的梯度相似度，并基于提取到的像素色度
信息确定待评估图像和参考图像之间的对应像素点的色度相似度，基于梯度相似度和色度相似度，确定待评估图像的对比度评估信息，获取待评估图像的结构评估信息，结构评估信息用于表征待评估图像和参考图像之间的结构相似程度基于对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果，向终端返回得到的质量评估结果。
22.在一个实施例中，如图2所示，提供了一种图像处理方法，该方法可以由终端和服务器协同执行，也可以由终端或者服务器单独执行。本实施例中以该方法应用于图1中的服务器为例进行举例说明，包括以下步骤：
23.步骤202，获取待评估图像和待评估图像对应的参考图像。
24.其中，待评估图像指的需要进行质量评估的图像。在一个实施例中，待评估图像可以是终端拍摄的夜景图像。待评估图像对应的参考图像指的是对待评估图像进行质量评估时作为评估参考的标准图像。可以理解的是，待评估图像和参考图像之间的相似度越高，则待评估图像的质量越好。
25.在一个实施例中，终端可以采集夜景图像，将夜景图像发送至服务器，请求服务器对夜景图像进行质量评估，服务器接收到夜景图像后，将夜景图像作为待评估图像，将对夜景图像进行长曝光得到的图像作为参考图像对终端拍摄的夜景图像的质量进行评估。
26.在一个实施例中，待评估图像也可以是参考图像进行失真处理后得到的失真图像。这里的失真处理可以是高斯模糊处理、添加白噪声、压缩处理等等。进而服务器可以对失真处理得到的图像进行质量评估。
27.步骤204，分别提取待评估图像和参考图像的像素梯度信息以及像素色度信息。
28.其中，待评估图像的像素梯度信息指的是待评估图像中各个像素的梯度信息，待评估图像的像素色度信息指的是待评估图像中各个像素的色度信息。参考图像的像素梯度信息指的是参考图像中各个像素的梯度信息，参考图像的像素色度信息指的是参考图像中各个像素的色度信息。像素的梯度信息例如可以是像素的垂直梯度和水平梯度中的至少一种。
29.具体地，服务器可以对待评估图像中的各个像素提取梯度信息，得到待评估图像的像素梯度信息，对待评估图像中的各个像素提取色度信息，得到待评估图像的像素色度信息。服务器可以对参考图像中的各个像素提取梯度信息，得到参考图像的像素梯度信息，对参考图像中的各个像素提取色度信息，得到参考图像的像素色度信息。
30.在一个实施例中，待评估图像和参考图像均为rgb图像，服务器可以基于待评估图像在各个颜色通道的像素值进行色度转换，得到待评估图像的像素色度信息，基于参考图像在各个颜色通道的像素值进行色度转换，得到参考图像的像素色度信息。
31.步骤206，基于提取到的像素梯度信息确定得到待评估图像和参考图像之间的对应像素点的梯度相似度，基于提取到的像素色度信息确定待评估图像和参考图像之间的对应像素点的色度相似度。
32.其中，待评估图像和参考图像之间的对应像素点指的是待评估图像和参考图像之间像素位置相同的像素点。例如，待评估图像中第一行第二列的像素点，在参考图像中与之对应的像素点指的是参考图像中第一行第二列的像素点。梯度相似度用于表征两个像素点之间的梯度信息的相似程度。色度相似度用于表征两个像素点之间的色度信息的相似程度。
33.具体地，参考图像与待评估图像包含相同的像素位置，对于每一个像素位置，服务器可以计算待评估图像和参考图像在该像素位置处的两个像素点之间的梯度相似度，并计算待评估图像和参考图像在该像素位置处的两个像素点之间的色度相似度。
34.步骤208，基于梯度相似度和色度相似度，确定待评估图像的对比度评估信息。
35.其中，待评估图像的对比度评估信息用于表征待评估图像和参考图像之间的对比度相似度。对比度评估信息与梯度相似度呈正相关，并且和色度相似度呈正相关。
36.具体地，对于每一个像素位置，服务器可以基于该像素位置对应的梯度相似度和色度相似度得到该像素位置对应的对比度相似度，基于所有像素位置的对比度相似度计算相似度平均值，得到待评估图像的对比度评估信息。
37.在一个实施例中，考虑到图像中各个区域所包含的图像内容对于图像的重要程度并不相同，可以对待评估图像进行划分，得到多个图像块，对各个图像块设置不同的权重，从而在计算待评估图像的对比度评估信息时，服务器可以将各个像素位置的对比度相似度与该像素位置所属图像块的权重进行相乘，以对各个像素位置的对比度相似度进行更新，最后将更新后的对比度相似度相加并除以像素位置数量，得到待评估图像的对比度评估信息。
38.步骤210，获取待评估图像的结构评估信息；结构评估信息用于表征待评估图像和参考图像之间的结构相似程度。
39.自然图像具有极高的结构性，表现在图像的像素间存在着很强的相关性，这些相关性在视觉场景中携带着关于物体结构的重要信息。假设人类视觉系统(hsv)主要从可视区域内获取结构信息，那么通过探测结构信息是否改变可以感知图像失真的近似信息，衡量两幅图像的相似度。基于此，本技术实施例中，可以进一步获取结构评估信息，结构评估信息用于表征待评估图像和参考图像之间的结构相似程度。
40.具体地，在一个实施例中，服务器可以分别计算待评估图像和参考图像的像素值离散度，并计算待评估图像和参考图像之间的像素值变化趋势相关度，进而可以基于待评估图像的像素值离散度、参考图像的像素值离散度以及待评估图像和参考图像之间的像素值变化趋势相关度确定待评估图像的结构评估信息。其中，结构评估信息与像素值变化趋势相关度呈正相关，与像素值离散度呈负相关。
41.步骤212，基于对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果。
42.其中，质量评估结果用于评估图像的质量损失程度。质量评估结果可以是具体数值，或者质量评估等级，质量评估等级例如可以是：差，一般，良好，非常好。
43.具体地，服务器可以将对比度评估信息和结构评估信息相乘，以得到待评估图像对应的质量评估结果。
44.在一个实施例中，服务器还可以获取待评估图像的亮度评估信息，亮度评估信息用于表征待评估图像与参考图像之间的亮度相似度，进而服务器可以基于亮度评估信息、对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果。
45.进一步地，服务器可以将质量评估结果返回至终端。
46.上述图像处理方法中，通过分别提取待评估图像和参考图像的像素梯度信息以及像素色度信息，基于提取到的像素梯度信息确定得到待评估图像和参考图像之间的对应像
素点的梯度相似度，基于提取到的像素色度信息确定待评估图像和参考图像之间的对应像素点的色度相似度，基于梯度相似度和色度相似度，确定待评估图像的对比度评估信息，获取待评估图像的结构评估信息，基于对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果，由于结合了梯度相似度、色度相似度来得到对比度评估信息，并且结合了结构评估信息，得到的评估结果更贴近人眼主观评测结果，提高了图像评估结果的准确性。
47.在一个实施例中，基于提取到的像素梯度信息确定待评估图像和参考图像之间的对应像素点的梯度相似度，包括：对于待评估图像的每个待评估像素点，计算待评估像素点的水平梯度和垂直梯度，基于水平梯度和垂直梯度确定待评估像素点的第一目标梯度；对于参考图像的每个参考像素点，计算参考像素点的水平梯度和垂直梯度，基于水平梯度和垂直梯度确定参考像素点的第二目标梯度；基于待评估图像和参考图像之间的对应像素点的第一目标梯度和第二目标梯度，确定待评估图像和参考图像之间的对应像素点的梯度相似度。
48.具体地，对于待评估图像的每个待评估像素点，服务器可以通过以下公式(1)计算待评估像素点的水平梯度：
[0049][0050]
其中，f(x)为像素值，cgh(x)为计算得到的水平梯度。
[0051]
对于待评估图像的每个待评估像素点，服务器可以通过以下公式(2)计算待评估像素点的垂直梯度：
[0052][0053]
其中，f(x)为像素值，cgv(x)为计算得到的垂直梯度。
[0054]
在计算得到待评估像素点的水平梯度和垂直梯度后，服务器可以通过以下公式(3)确定待评估像素点的第一目标梯度：
[0055][0056]
其中，cg(x)为第一目标梯度。
[0057]
对于参考图像的每个参考像素点，服务器可以采用与待评估像素点相同的计算方式，计算参考像素点的水平梯度和垂直梯度，以及基于水平梯度和垂直梯度确定参考像素点的第二目标梯度。
[0058]
在计算得到每个待评估像素点的第一目标梯度以及每个参考像素点的第二目标梯度后，服务器基于待评估图像和参考图像之间的对应像素点的第一目标梯度和第二目标梯度，并通过以下公式(4)计算待评估图像和参考图像之间的对应像素点的梯度相似度：
[0059]
[0060]
其中，cg1(x)为对应像素点的第一目标梯度，cg2(x)为对应像素点的第二目标梯度，m1是常量，s
cg
(x)为对应像素点的梯度相似度。
[0061]
上述实施例中，通过对待评估像素点和参考像素点按照相同的方式计算水平梯度和垂直梯度，并根据平梯度和垂直梯度计算目标梯度，最终基于目标梯度计算得到待评估图像和参考图像之间的对应像素点的梯度相似度，得到的梯度相似度可以准确地反映待评估图像和参考图像之间的对应像素点的梯度信息相似程度。
[0062]
在一个实施例中，基于提取到的像素色度信息确定待评估图像和参考图像之间的对应像素点的色度相似度，包括：对于待评估图像的每个待评估像素点，获取待评估像素点分别在红色通道、绿色通道以及蓝色通道的像素值，基于获得的像素值计算待评估像素点在第一色度通道的第一待评估色度值以及在第二色度通道的第二待评估色度值；对于参考图像的每个参考像素点，获取参考像素点分别在红色通道、绿色通道以及蓝色通道的像素值，基于获得的像素值计算参考像素点在第一色度通道的第一参考色度值以及在第二色度通道的第二参考色度值；基于待评估图像和参考图像之间的对应像素点的第一待评估色度值和第一参考色度值，确定待评估图像和参考图像之间的对应像素点的第一色度相似度分量；基于待评估图像和参考图像之间的对应像素点的第二待评估色度值和第二参考色度值，确定待评估图像和参考图像之间的对应像素点的第二色度相似度分量；基于第一色度相似度分量和第二色度相似度分量，确定待评估图像和参考图像之间的对应像素点的色度相似度。
[0063]
具体地，本实施例中，待评估图像和参考图像均为rgb图像，考虑到色度通道包含了色度信息，可以作为特征度量颜色失真，那么对于待评估图像的每个待评估像素点，获取待评估像素点分别在红色通道、绿色通道以及蓝色通道的像素值，并通过以下公式(5)计算待评估像素点在第一色度通道的第一待评估色度值以及在第二色度通道的第二待评估色度值：
[0064][0065]
其中，r代表红色通道的像素值，g代表绿色通道的像素值，b代表蓝色通道的像素值,p代表第一色度通道的第一待评估色度值，q代表第二色度通道的第二待评估色度值。
[0066]
同样的，对于参考图像的每个参考像素点，服务器在获取参考像素点分别在红色通道、绿色通道以及蓝色通道的像素值后，可以通过以上公式(5)基于获得的像素值计算参考像素点在第一色度通道的第一参考色度值以及在第二色度通道的第二参考色度值。
[0067]
在分别计算得到每一个评估像素点在第一色度通道的第一待评估色度值以及在第二色度通道的第二待评估色度值，以及每一个参考像素点在第一色度通道的第一参考色度值以及在第二色度通道的第二参考色度值，基于得到的这些色度值，服务器可以计算待评估图像和参考图像之间的对应像素点的第一色度相似度分量，并计算待评估图像和参考图像之间的对应像素点的第二色度相似度分量，基于第一色度相似度分量和第二色度相似度分量，确定待评估图像和参考图像之间的对应像素点的色度相似度，具体参考以下公式(6)：
[0068][0069]
上述公式中，s
cc
(x)为色度相似度，m2为常量，“*”的前一项为计算第一色度相似度分量，其中p1(x)、p2(x)分别为待评估图像和参考图像之间的对应像素点在第一色度通道的第一参考色度值；“*”的后一项为计算第二色度相似度分量，其中q1(x)、q2(x)分别为待评估图像和参考图像之间的对应像素点在第二色度通道的第二参考色度值。
[0070]
上述实施例中，通过参考图像和待评估图像各自的像素点在两个不同色度通道的色度相似度，来计算评估图像和参考图像之间的对应像素点的色度相似度，计算结果更加准确。
[0071]
在一个实施例中，基于梯度相似度和色度相似度，确定待评估图像的对比度评估信息，包括：将待评估图像和待评估图像之间的对应像素点组成像素点对；对于每一个像素点对，基于像素点对的梯度相似度和色度相似度确定对比度分量；对比度分量和像素点对的梯度相似度呈正相关，并且和像素点对的色度相似度呈正相关；基于各个像素点对的对比度分量进行均值计算，得到待评估图像的对比度评估信息。
[0072]
具体地，对于每一个像素点对，服务器基于像素点对的梯度相似度和色度相似度确定对比度分量，最后将所有对比度分量加和并且计算平均值，得到待评估图像的对比度评估信息。
[0073]
在一个具体的实施例中，服务器可以参考以下公式(7)计算得到待评估图像的对比度评估信息：
[0074][0075]
其中，c为对比度评估信息，n为待评估图像的像素点总数量，α和β为可变参数，默认为1。
[0076]
上述实施例中，通过计算所有对应像素点的色度相似度的均值作为待评估图像的色度评估信息，可以很好的对待评估图像的色度信息进行质量评估。
[0077]
在一个实施例中，如图3所示，获取待评估图像的结构评估信息，包括：
[0078]
步骤302，分别对待评估图像和参考图像进行划分，得到参考图像对应的多个参考图像块以及待评估图像对应的多个待评估图像块。
[0079]
步骤304，将待评估图像块以及与待评估图像块存在图像位置对应关系的参考图像块组成图像对，得到图像对集合。
[0080]
其中，参考图像块与待评估图像块之间存在图像位置对应关系指的是参考图像块在参考图像中的位置与待评估图像块在变换图像中的位置对应，那么对于参考图像块中每个像素，在与其位置对应的待评估图像块中均存在位置相同的像素。举个例子，假设将参考图像a划分为4个参考图像块a1、a2、a3、a4，变换图像b按照相同的方式划分为尺寸、位置及数量相同的4个待评估图像块b1、b2、b3、b4，则图像位置对应关系如图4所示，其中，虚线箭头表示图像位置对应关系，由图4可以看出，参考图像块a1和待评估图像块b1之间存在位置对应关系，参考图像块a2和待评估图像块b2之间存在位置对应关系，参考图像块a3和待评估图像块b3之间存在位置对应关系，参考图像块a4和待评估图像块b4之间存在位置对应关系，即组成图像对的参考图像块和待评估图像块在图像中所处的位置是一致的。
[0081]
具体地，服务器可以对参考图像进行划分，得到多个参考图像块，对变换图像进行划分，得到多个待评估图像块，将参考图像块以及与参考图像块存在图像位置对应关系的待评估图像块组成图像对，得到图像对集合。其中划分指的是将图像中的像素进行区域划分。其中多个指的是至少两个。在一些实施例中，服务器可以采用相同的图像块划分方式对参考图像以及变换图像分别进行划分，从而使得待评估图像块与参考图像块的数量、位置以及尺寸是匹配的。在一些实施例中，服务器可以获取滑动窗口，按照预设滑动方式将滑动窗口在参考图像上进行滑动，将处于滑动窗口内的图像区域作为参考图像块，按照该预设滑动方式将滑动窗口在变换图像上进行滑动，将处于滑动窗口内的图像区域作为待评估图像块，从而可以得到尺寸、数量完全相同，且图像位置一一对应的参考图像块和待评估图像块。
[0082]
步骤306，对于图像对集合中的图像对，计算图像对中的图像块之间的像素值变化趋势相关度，以及计算图像对中各个图像块对应的像素值离散度。
[0083]
其中，像素值变化趋势相关度指的是两个图像块之间的像素值的变换趋势之间的相关程度。像素值变化趋势相关度具体可以是两个图像块的像素值之间的协方差。像素值离散度指的是图像块中像素值的离散程度。像素值离散度具体可以是图像块的方差。
[0084]
步骤308，基于像素值变化趋势相关度以及图像对中各个图像块对应的像素值离散度得到图像对对应的中间相似度。
[0085]
其中，图像对对应的相似度与像素值变化趋势相关度成正相关关系，与像素值离散度成负相关关系。
[0086]
具体的，对于图像对集合中的图像对，服务器可以计算图像对中的图像块之间的像素值变化趋势相关度，以及图像对中各个图像块对应的像素值离散度，基于像素值变化趋势相关度以及图像对中各个图像块对应的像素值离散度得到图像对对应的中间相似度，该中间相似度用于表征对图像对中的图像块进行结构(structure)对比得到的相似度。
[0087]
在一个实施例中，像素值变化趋势相关度为协方差，像素值离散度为方差，服务器可以参考以下公式(8)计算图像对中的图像块之间的相似度，其中，s为图像块之间的相似度，σ
12
为图像块之间像素值的协方差，σ1和σ2分别为图像对中两个图像块像素值的方差，m4为常量：
[0088][0089]
步骤310，获取各个待评估图像块的预设关注度，基于预设关注度对待评估图像块所在图像对对应的结构相似度进行关注处理，得到图像对对应的目标相似度。
[0090]
其中，预设关注度指的是预先设定的对待评估图像块的关注程度。预设关注度例如可以是权重。
[0091]
具体地，对于每一个待评估图像块，服务器可以将该待评估图像的预设关注度与该待评估图像块所在图像对对应的结构相似度相乘，得到该待评估图像块所在图像对对应的目标相似度。
[0092]
步骤312，对图像对集合中各个图像对对应的目标相似度进行统计，得到待评估图像的结构评估信息。
[0093]
具体的，在得到图像对集合中各个图像对对应的相似度后，服务器可以对这些相
似度进行统计，得到统计相似度，统计具体可以是求相似度的平均值或者求相似度的中位数中的至少一种，将统计相似度作为待评估图像的结构评估信息。
[0094]
上述实施例中，通过对待评估图像和参考图像进行划分，可以以图像块为单位，通过图像块之间的像素值变化趋势相关度以及各个图像块的像素值离散度计算待评估图像和参考图像之间的结构相似度，并且可以通过获取各个待评估图像块的预设关注度对相似度进行关注处理，将关注处理得到的相似度进行统计得到结构评估信息，得到的结构评估信息更加准确。
[0095]
在一个实施例中，上述方法还包括：计算待评估图像各个像素点的第一像素值均值，以及计算参考图像各个像素点的第二像素值均值；基于第一像素值均值和第二像素值均值，确定待评估图像的亮度评估信息，亮度评估信息与第一像素值均值以及第二像素值均值的乘积呈正相关，并且第一像素值均值和第二像素值均值的平方和成负相关；基于对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果，包括：基于亮度评估信息、对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果。
[0096]
具体地，服务器可以对待评估图像所有像素点的像素值相加并除以待评估图像中像素点总数量得到第一像素值均值，并对参考图像所有像素点的像素值相加并除以参考图像中像素点总数量得到第二像素值均值，进而基于第一像素值均值和第二像素值均值，确定待评估图像的亮度评估信息。该亮度评估信息用于表征待评估图像和参考图像之间的亮度相似度。
[0097]
在一个具体的实施例中，服务器可以参考以下公式(9)计算得到亮度评估信息，其中，l为亮度评估信息，μ1为第二像素值均值，μ2为第二像素值均值，m3为常量：
[0098][0099]
在得到亮度评估信息后，服务器可以基于亮度评估信息、对比度评估信息和结构评估信息对待评估图像进行质量评估，得到待评估图像对应的质量评估结果，参考以下公式(10)：
[0100]
sitd＝c*l*s
ꢀꢀ
(10)
[0101]
上述实施例中，通过计算待评估图像和参考图像中的像素值均值得到亮度评估信息，结合亮度评估信息、对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果，得到的质量评估结果更加准确。
[0102]
在一个具体的实施例中，提供了一种图像处理方法，该图像处理方法的具体流程可以参见图5。以下结合图5，并且以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
[0103]
1、获取待评估图像和待评估图像对应的参考图像。
[0104]
其中，待评估图像为夜景图像。参考图像为对夜景图像进行长曝光得到的图像。待评估图像和参考图像均为rgb图像。
[0105]
2、分别提取待评估图像的每一个待评估像素点的像素梯度cg1以及参考图像的每一个参考像素点的像素梯度cg2，基于待评估图像的像素梯度cg1和参考图像的像素梯度cg2计算待评估图像和参考图像之间的对应像素点的梯度相似度scg。
[0106]
具体地，服务器可以参考以上公式(1)-(3)计算像素梯度，并参考以上公式(4)计
算梯度相似度。
[0107]
3、分别提取待评估图像的每一个待评估像素点在第一色度通道的色度p1和在第二色度通道的色度q1。
[0108]
4、分别提取参考图像的每一个参考像素点在第一色度通道的色度p2和在第二色度通道的色度q2。
[0109]
5、服务器基于待评估图像和参考图像之间的对应像素点在第一色度通道的色度p1和p2，以及在第二色度通道的色度q1和q2计算色度相似度scc。
[0110]
具体地，服务器可以获取待评估图像分别在r通道、g通道和b通道的像素值，并且获取参考图像分别在r通道、g通道和b通道的像素值，参考以上公式(5)提取第一色度通道的色度值以及第二色度通道的色度值，并参考以上公式(6)计算色度相似度scc。
[0111]
6、将待评估图像和待评估图像之间的对应像素点组成像素点对，对于每一个像素点对，基于像素点对的梯度相似度和色度相似度确定对比度分量，基于各个像素点对的对比度分量进行均值计算，得到待评估图像的对比度评估因子c。
[0112]
其中，对比度分量和像素点对的梯度相似度呈正相关，并且和像素点对的色度相似度呈正相关。服务器可以参考以上公式(7)计算得到对比度评估因子c。
[0113]
7、计算待评估图像所有的待评估像素点的像素值均值μ1以及参考图像所有的参考像素点的像素值均值μ2，基于μ1和μ2计算得到亮度评估因子l。
[0114]
具体地，服务器可以参考以上公式(9)计算得到亮度评估因子l。
[0115]
8、计算待评估图像所有的待评估像素点的像素值的方差σ1，计算参考图像所有的参考像素点的像素值的方差σ2。
[0116]
9、计算待评估图像和参考图像之间像素值的协方差σ
12
。
[0117]
10、基于方差σ1、方差σ2和协方差σ
12
，计算待评估图像和参考图像之间的结构评估因子s。
[0118]
具体地，服务器可以参考以上公式(8)计算得到结构评估因子s。
[0119]
11、基于亮度评估因子l、对比度评估因子c和结构评估因子s，确定待评估图像的质量评估结果。
[0120]
具体地，服务器可以参考以上公式(10)计算得到质量评估结果。
[0121]
上述实施例中，考虑到夜景图像往往对比度较大，并且图像色度变化比较明显，通过计算夜景图像和参考图像之间的梯度相似度以及色度相似度来得到对比度评估因子，并结合夜景图像的亮度评估因子和结构评估因子来得到夜景图像的质量评估结果，可以得到比较严谨的图像质量评估结果，更加贴近人眼主观评测的结果。
[0122]
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0123]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的方法的
图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
[0124]
在一个实施例中，如图6所示，提供了一种图像处理装置600，包括：
[0125]
图像获取模块602，用于获取待评估图像和待评估图像对应的参考图像；
[0126]
信息提取模块604，用于分别提取待评估图像和参考图像的像素梯度信息以及像素色度信息；
[0127]
相似度计算模块606，用于基于提取到的像素梯度信息确定得到待评估图像和参考图像之间的对应像素点的梯度相似度，基于提取到的像素色度信息确定待评估图像和参考图像之间的对应像素点的色度相似度；
[0128]
对比度评估模块608，用于基于梯度相似度和色度相似度，确定待评估图像的对比度评估信息；
[0129]
结构评估模块610，用于获取待评估图像的结构评估信息；结构评估信息用于表征待评估图像和参考图像之间的结构相似程度；
[0130]
评估结果获得模块612，用于基于对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果。
[0131]
上述图像处理装置，通过分别提取待评估图像和参考图像的像素梯度信息以及像素色度信息，基于提取到的像素梯度信息确定得到待评估图像和参考图像之间的对应像素点的梯度相似度，基于提取到的像素色度信息确定待评估图像和参考图像之间的对应像素点的色度相似度，基于梯度相似度和色度相似度，确定待评估图像的对比度评估信息，获取待评估图像的结构评估信息，基于对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果，由于结合了梯度相似度、色度相似度来得到对比度评估信息，并且结合了结构评估信息，得到的评估结果更贴近人眼主观评测结果，提高了图像评估结果的准确性。
[0132]
在一个实施例中，相似度计算模块，还用于对于待评估图像的每个待评估像素点，计算待评估像素点的水平梯度和垂直梯度，基于水平梯度和垂直梯度确定待评估像素点的第一目标梯度；对于参考图像的每个参考像素点，计算参考像素点的水平梯度和垂直梯度，基于水平梯度和垂直梯度确定参考像素点的第二目标梯度；基于待评估图像和参考图像之间的对应像素点的第一目标梯度和第二目标梯度，确定待评估图像和参考图像之间的对应像素点的梯度相似度。
[0133]
在一个实施例中，相似度计算模块，还用于对于待评估图像的每个待评估像素点，获取待评估像素点分别在红色通道、绿色通道以及蓝色通道的像素值，基于获得的像素值计算待评估像素点在第一色度通道的第一待评估色度值以及在第二色度通道的第二待评估色度值；对于参考图像的每个参考像素点，获取参考像素点分别在红色通道、绿色通道以及蓝色通道的像素值，基于获得的像素值计算参考像素点在第一色度通道的第一参考色度值以及在第二色度通道的第二参考色度值；基于待评估图像和参考图像之间的对应像素点的第一待评估色度值和第一参考色度值，确定待评估图像和参考图像之间的对应像素点的第一色度相似度分量；基于待评估图像和参考图像之间的对应像素点的第二待评估色度值和第二参考色度值，确定待评估图像和参考图像之间的对应像素点的第二色度相似度分量；基于第一色度相似度分量和第二色度相似度分量，确定待评估图像和参考图像之间的
对应像素点的色度相似度。
[0134]
在一个实施例中，对比度评估模块，还用于将待评估图像和待评估图像之间的对应像素点组成像素点对；对于每一个像素点对，基于像素点对的梯度相似度和色度相似度确定对比度分量；对比度分量和像素点对的梯度相似度呈正相关，并且和像素点对的色度相似度呈正相关；基于各个像素点对的对比度分量进行均值计算，得到待评估图像的对比度评估信息。
[0135]
在一个实施例中，结构评估模块，还用于分别对待评估图像和参考图像进行划分，得到参考图像对应的多个参考图像块以及待评估图像对应的多个待评估图像块；将待评估图像块以及与待评估图像块存在图像位置对应关系的参考图像块组成图像对，得到图像对集合；对于图像对集合中的图像对，计算图像对中的图像块之间的像素值变化趋势相关度，以及计算图像对中各个图像块对应的像素值离散度；基于像素值变化趋势相关度以及图像对中各个图像块对应的像素值离散度得到图像对对应的中间相似度；获取各个待评估图像块的预设关注度，基于预设关注度对待评估图像块所在图像对对应的中间相似度进行关注处理，得到图像对对应的目标相似度；对图像对集合中各个图像对对应的目标相似度进行统计，得到待评估图像的结构评估信息。
[0136]
在一个实施例中，上述装置还用于：亮度评估模块，用于计算待评估图像各个像素点的第一像素值均值，以及计算参考图像各个像素点的第二像素值均值；基于第一像素值均值和第二像素值均值，确定待评估图像的亮度评估信息，亮度评估信息与第一像素值均值以及第二像素值均值的乘积呈正相关，并且第一像素值均值和第二像素值均值的平方和成负相关；评估结果获得模块，还用于基于亮度评估信息、对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果。
[0137]
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0138]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
[0139]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0140]
本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
[0141]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
[0142]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0143]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0144]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0145]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种图像处理方法，其特征在于，包括：获取待评估图像和所述待评估图像对应的参考图像；分别提取所述待评估图像和所述参考图像的像素梯度信息以及像素色度信息；基于提取到的像素梯度信息确定得到所述待评估图像和所述参考图像之间的对应像素点的梯度相似度，基于提取到的像素色度信息确定所述待评估图像和所述参考图像之间的对应像素点的色度相似度；基于所述梯度相似度和色度相似度，确定所述待评估图像的对比度评估信息；获取所述待评估图像的结构评估信息；所述结构评估信息用于表征所述待评估图像和所述参考图像之间的结构相似程度；基于所述对比度评估信息和所述结构评估信息，确定所述待评估图像对应的质量评估结果。2.根据权利要求1所述的方法，其特征在于，所述基于提取到的像素梯度信息确定所述待评估图像和所述参考图像之间的对应像素点的梯度相似度，包括：对于所述待评估图像的每个待评估像素点，计算所述待评估像素点的水平梯度和垂直梯度，基于所述水平梯度和所述垂直梯度确定所述待评估像素点的第一目标梯度；对于所述参考图像的每个参考像素点，计算所述参考像素点的水平梯度和垂直梯度，基于所述水平梯度和所述垂直梯度确定所述参考像素点的第二目标梯度；基于所述待评估图像和所述参考图像之间的对应像素点的第一目标梯度和第二目标梯度，确定所述待评估图像和所述参考图像之间的对应像素点的梯度相似度。3.根据权利要求1所述的方法，其特征在于，所述基于提取到的像素色度信息确定所述待评估图像和所述参考图像之间的对应像素点的色度相似度，包括：对于所述待评估图像的每个待评估像素点，获取所述待评估像素点分别在红色通道、绿色通道以及蓝色通道的像素值，基于获得的像素值计算所述待评估像素点在第一色度通道的第一待评估色度值以及在第二色度通道的第二待评估色度值；对于所述参考图像的每个参考像素点，获取所述参考像素点分别在红色通道、绿色通道以及蓝色通道的像素值，基于获得的像素值计算所述参考像素点在第一色度通道的第一参考色度值以及在第二色度通道的第二参考色度值；基于所述待评估图像和所述参考图像之间的对应像素点的第一待评估色度值和第一参考色度值，确定所述待评估图像和所述参考图像之间的对应像素点的第一色度相似度分量；基于所述待评估图像和所述参考图像之间的对应像素点的第二待评估色度值和第二参考色度值，确定所述待评估图像和所述参考图像之间的对应像素点的第二色度相似度分量；基于所述第一色度相似度分量和所述第二色度相似度分量，确定所述待评估图像和所述参考图像之间的对应像素点的色度相似度。4.根据权利要求1所述的方法，其特征在于，所述基于所述梯度相似度和色度相似度，确定所述待评估图像的对比度评估信息，包括：将所述待评估图像和所述待评估图像之间的对应像素点组成像素点对；对于每一个像素点对，基于所述像素点对的梯度相似度和色度相似度确定对比度分
量；所述对比度分量和所述像素点对的梯度相似度呈正相关，并且和所述像素点对的色度相似度呈正相关；基于各个像素点对的对比度分量进行均值计算，得到所述待评估图像的对比度评估信息。5.根据权利要求1所述的方法，其特征在于，所述获取所述待评估图像的结构评估信息，包括：分别对所述待评估图像和所述参考图像进行划分，得到所述参考图像对应的多个参考图像块以及所述待评估图像对应的多个待评估图像块；将所述待评估图像块以及与所述待评估图像块存在图像位置对应关系的参考图像块组成图像对，得到图像对集合；对于所述图像对集合中的图像对，计算所述图像对中的图像块之间的像素值变化趋势相关度，以及计算所述图像对中各个图像块对应的像素值离散度；基于所述像素值变化趋势相关度以及所述图像对中各个图像块对应的像素值离散度得到所述图像对对应的中间相似度；获取各个待评估图像块的预设关注度，基于所述预设关注度对所述待评估图像块所在图像对对应的中间相似度进行关注处理，得到所述图像对对应的目标相似度；对所述图像对集合中各个所述图像对对应的目标相似度进行统计，得到所述待评估图像的结构评估信息。6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：计算所述待评估图像各个像素点的第一像素值均值，以及计算所述参考图像各个像素点的第二像素值均值；基于所述第一像素值均值和所述第二像素值均值，确定所述待评估图像的亮度评估信息，所述亮度评估信息与所述第一像素值均值以及第二像素值均值的乘积呈正相关，并且所述第一像素值均值和第二像素值均值的平方和成负相关；所述基于所述对比度评估信息和所述结构评估信息，确定所述待评估图像对应的质量评估结果，包括：基于所述亮度评估信息、所述对比度评估信息和所述结构评估信息，确定所述待评估图像对应的质量评估结果。7.一种图像处理装置，其特征在于，包括：图像获取模块，用于获取待评估图像和所述待评估图像对应的参考图像；信息提取模块，用于分别提取所述待评估图像和所述参考图像的像素梯度信息以及像素色度信息；相似度计算模块，用于基于提取到的像素梯度信息确定得到所述待评估图像和所述参考图像之间的对应像素点的梯度相似度，基于提取到的像素色度信息确定所述待评估图像和所述参考图像之间的对应像素点的色度相似度；对比度评估模块，用于基于所述梯度相似度和色度相似度，确定所述待评估图像的对比度评估信息；结构评估模块，用于获取所述待评估图像的结构评估信息；所述结构评估信息用于表征所述待评估图像和所述参考图像之间的结构相似程度；
评估结果获得模块，用于基于所述对比度评估信息和所述结构评估信息，确定所述待评估图像对应的质量评估结果。8.一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的图像处理方法的步骤。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的图像处理方法的步骤。

技术总结
本申请涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取待评估图像和待评估图像对应的参考图像；分别提取待评估图像和参考图像的像素梯度信息以及像素色度信息；基于提取到的像素梯度信息确定得到待评估图像和参考图像之间的对应像素点的梯度相似度，基于提取到的像素色度信息确定待评估图像和参考图像之间的对应像素点的色度相似度；基于梯度相似度和色度相似度，确定待评估图像的对比度评估信息；获取待评估图像的结构评估信息；结构评估信息用于表征结构相似程度；基于对比度评估信息和结构评估信息，确定待评估图像对应的质量评估结果。采用本方法可以提高图像质量评估结果的准确性。确性。确性。


技术研发人员：方国浩
受保护的技术使用者：哲库科技（上海）有限公司
技术研发日：2022.03.10
技术公布日：2023/9/23