图像超分辨率边缘处理方法、装置及可读存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像超分辨率边缘处理方法、装置及可读存储介质。


背景技术：

2.随着数字媒体技术的发展，人们对高清数字图像的需求逐渐增大，但高清图像的储存和传输所需要的资源消耗都十分庞大，为了解决这一问题，图像的超分辨率放大技术得到了广泛的关注。其中，图像的超分辨率放大是由低分辨率图像得到高分辨率图像的方法，其使得在储存和传输时可以只使用低分辨率图像，而在显示时则利用超分技术得到高分辨率图像，从而极大减少了系统资源的消耗。而目前处理图像放大、超分辨率的方法主要为传统的插值方法，其是超分辨率技术中最基本、简单且直接的一种方法，主要通过不同的计算方式来模拟像素之间对应的映射关系，并利用周围像素点的信息来对待处理图像进行插值，以得到重建后的结果。
3.相关技术中，传统插值方法是使用图像中待求像素点周围点的权重和来计算该像素点数值，不过由于权重和类似于平均算法且对每个像素点都是平等处理，而图像边缘部分却一般具有方向性，进而会造成超分图像产生一定的模糊效应；目前往往通过对放大后插值图像进行图像增强锐化处理来解决插值方法造成的图像模糊，但是由于放大后插值图像的图像信息已经丢失，因此对其进行图像增强锐化处理并不能很好的解决图像模糊问题。


技术实现要素：

4.本技术提供一种图像超分辨率边缘处理方法、装置及可读存储介质，以解决相关技术中通过传统插值处理整体图像而导致的边缘模糊问题。
5.第一方面，提供了一种图像超分辨率边缘处理方法，包括以下步骤：
6.对低分辨率灰度图像进行导数计算，得到导数矩阵；
7.根据导数矩阵中像素点的导数值非零响应特性对低分辨率灰度图像的边缘进行分段处理，得到多个边缘像素段及其对应的边缘方向；
8.判断低分辨率灰度图像中的目标像素点是否位于任意一个边缘像素段内，所述目标像素点与超分图像中的待求像素点具有对应关系；
9.若是，则根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值。
10.一些实施例中，所述对低分辨率灰度图像进行导数计算，得到导数矩阵，包括：
11.根据一阶导算子和二阶导算子分别对低分辨率灰度图像进行导数计算，得到一阶导数矩阵和二阶导数矩阵。
12.一些实施例中，所述边缘像素段包括硬边缘像素段和软边缘像素段，所述硬边缘像素段中导数值非零响应特性为一阶与二阶均具有相同短暂的非零响应且二阶中存在正
负两值，所述软边缘像素段中导数值非零响应特性为一阶具有连续非零响应且二阶非零响应仅出现在软边缘像素段的起点和终点。
13.一些实施例中，所述目标像素点所在边缘像素段为目标硬边缘像素段，所述根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值，包括：
14.根据目标像素点的坐标以及与目标硬边缘像素段对应的边缘方向构建边缘方向直线方程；
15.基于所述边缘方向直线方程以及距离所述目标像素点最近的一个目标整数点的坐标计算出待求像素点的超分像素值。
16.一些实施例中，所述目标像素点所在边缘像素段为目标软边缘像素段，所述根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值，包括：
17.根据目标像素点的坐标以及与目标软边缘像素段对应的边缘方向构建法向直线方程；
18.根据所述法向直线方程以及距离所述目标像素点最近的两个目标整数点的坐标计算出待求像素点的超分像素值。
19.一些实施例中，所述边缘方向根据边缘像素段中首端像素点的坐标和末端像素点的坐标确定，所述边缘方向对应的边缘方向值的计算公式为：
20.tanθ＝(b2-b1)/(a2-a1)
21.式中，tanθ表示边缘方向值，(a1,b1)表示首端像素点的坐标，(a2,b2)表示末端像素点的坐标。
22.一些实施例中，在所述根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值的步骤之后，还包括：
23.通过边缘检测算子对与低分辨率灰度图像对应的原始图像进行边缘检测，得到二值化图像；
24.基于每个边缘像素段中各个像素点的坐标对所述二值化图像中的边缘部分进行处理，以得到包括多个第一像素点的新二值化图像，所述第一像素点属于图像的细节部分；
25.根据所述第一像素点和预设像素块边长对新二值化图像中的细节部分进行分块处理，得到多个细节像素块；
26.通过迭代反投影方法对每个细节像素块进行超分重建处理，以得到细节像素块中每个像素点的超分像素值。
27.一些实施例中，在所述通过迭代反投影方法对每个细节像素块进行超分重建处理，以得到细节像素块中每个像素点的超分像素值的步骤之后，还包括：
28.通过插值方法对所述原始图像进行超分放大，得到放大后插值图像；
29.基于待求像素点的超分像素值和细节像素块中每个像素点的超分像素值对放大后插值图像中的像素值进行替换处理，以生成目标超分图像。
30.第二方面，提供了一种图像超分辨率边缘处理装置，包括：
31.第一处理单元，其用于对低分辨率灰度图像进行导数计算，得到导数矩阵；
32.第二处理单元，其用于根据导数矩阵中像素点的导数值非零响应特性对低分辨率
灰度图像的边缘进行分段处理，得到多个边缘像素段及其对应的边缘方向；
33.第三处理单元，其用于判断低分辨率灰度图像中的目标像素点是否位于任意一个边缘像素段内，所述目标像素点与超分图像中的待求像素点具有对应关系；
34.第四处理单元，其用于若是，则根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值。
35.第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行前述的图像超分辨率边缘处理方法。
36.本技术提供了一种图像超分辨率边缘处理方法、装置及可读存储介质，包括对低分辨率灰度图像进行导数计算，得到导数矩阵；根据导数矩阵中像素点的导数值非零响应特性对低分辨率灰度图像的边缘进行分段处理，得到多个边缘像素段及其对应的边缘方向；判断低分辨率灰度图像中的目标像素点是否位于任意一个边缘像素段内，所述目标像素点与超分图像中的待求像素点具有对应关系；若是，则根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值。本技术通过非零响应特性对图像的边缘部分进行分类，以对不同的边缘类型进行特性化处理，同时采用不同的插值计算公式加强对边缘的方向性处理，使边缘部分更加清晰，以解决边缘模糊问题，进而提升图像超分效果。
附图说明
37.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本技术实施例提供的一种图像超分辨率边缘处理方法的流程示意图；
39.图2为本技术实施例提供的图像超分辨率边缘处理的具体流程示意图；
40.图3为本技术实施例提供的各个边缘类型及其对应的一阶导函数和二阶导函数特性的示意图；
41.图4为本技术实施例提供的30
°
方向上的阶跃型边缘示意图；
42.图5为本技术实施例提供的45
°
方向上的斜坡型边缘示意图；
43.图6为本技术实施例提供的细节部分的分割示意图。
具体实施方式
44.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.本技术实施例提供了一种图像超分辨率边缘处理方法、装置及可读存储介质，其能解决相关技术中通过传统插值处理整体图像而导致的边缘模糊问题。
46.参见图1和图2所示，本技术实施例提供了一种图像超分辨率边缘处理方法，包括
以下步骤：
47.步骤s10：对低分辨率灰度图像进行导数计算，得到导数矩阵；
48.示范性的，在本实施例中，将通过高斯滤波等滤波方法对低分辨率的图像(比如分辨率为256x256的图像)进行去噪以及灰度化处理，以得到低分辨率灰度图像。其中，可以用(x,y)表示低分辨率灰度图像中像素点的坐标，并可以用f(x,y)表示对应像素点的灰度值。因此，在得到低分辨率灰度图像后，将对低分辨率灰度图像中像素点(x,y)对应的灰度值f(x,y)进行逐点运算，以得到导数矩阵。
49.进一步的，所述对低分辨率灰度图像进行导数计算，得到导数矩阵，包括：
50.根据一阶导算子和二阶导算子分别对低分辨率灰度图像进行导数计算，得到一阶导数矩阵和二阶导数矩阵。
51.示范性的，在本实施例中，可以用一阶导算子和二阶导算子分别处理低分辨率灰度图像，以得到大小相同的一阶导数矩阵和二阶导数矩阵。例如，分辨率为256
×
256的图像，则两个矩阵大小相同且均为256
×
256。应当理解的是，本实施例将从横向和纵向两个方向对每个像素点进行一阶导和二阶导的计算，因此每个像素点都有x轴和y轴两个方向上对应的一阶导数值和二阶导数值，即对于低分辨率灰度图像而言，其具有2个一阶导数矩阵和2个二阶导数矩阵。
52.可以理解的是，导数值非0的像素点具备“非零响应”，而本实施例为了便于检测，将“非零响应”定义为导数阈值高于灰度级数m/64之后取整的部分，并将“连续非零响应”定义为原图横向分辨率n/100个像素点连续导数值非0的像素部分，其中，m指的是灰度级数，n指的是横向分辨率。例如，分辨率为1280
×
720且灰度级为256的图像，其“非零响应”为256/64＝4，则矩阵中导数值高于4的像素点具备“非零响应”；“连续非零响应”为1280/100＝12.8，且取整后为12，则若矩阵中存在连续12个具备“非零响应”的像素点部分，则该部分具有“连续非零响应”。由此可见，可通过比较一阶导矩阵和二阶导矩阵中每个像素点对应的导数特征来确认边缘特征。
53.进一步的，所述边缘像素段包括硬边缘像素段和软边缘像素段，所述硬边缘像素段中导数值非零响应特性为一阶与二阶均具有相同短暂的非零响应且二阶中存在正负两值，所述软边缘像素段中导数值非零响应特性为一阶具有连续非零响应且二阶非零响应仅出现在软边缘像素段的起点和终点。
54.示范性的，在本实施例中，将对边缘类型进行定义，具体可包括硬边缘和软边缘。其中，硬边缘包括阶跃型和脉冲型，而软边缘则包括斜坡型和屋脊型。应当理解的是，硬边缘和软边缘可通过导数值的非零响应特性进行区分，具体的，(1)阶跃型、脉冲型(硬边缘)：一、二阶具有相同的响应且二阶有一个从正到负的过程；(2)斜坡型、屋脊型(软边缘)：一阶具有连续非零响应且二阶非零响应只出现在起点和终点。
55.步骤s20：根据导数矩阵中像素点的导数值非零响应特性对低分辨率灰度图像的边缘进行分段处理，得到多个边缘像素段及其对应的边缘方向；
56.示范性的，在本实施中，参见图3所示，将对边缘进行方向判断处理，并对具体像素点进行处理，以实现边缘分类并确定出边缘像素段。以下将以由左上角像素点开始向右下角方向处理为例进行阐释。
57.判断低分辨率灰度图像上某一像素点对应的两个方向上任意一个一阶导数是否
存在非零响应；若两个方向上的一阶导数均不存在非零响应，则判定该像素点为不需要处理的边缘部分；否则，将基于其他像素点的一阶导数继续判断该像素点与其他像素点间是否存在连续非零响应。需要说明的是，若该像素点仅有其中一个方向上的一阶导数存在非零响应，则沿着存在非零响应的方向继续探索是否存在连续非零响应；而若两个方向上的一阶导数均存在非零响应，则沿响应最强的方向继续检测是否存在连续非零响应。
58.若检测到该像素点与其他像素点间存在连续非零响应，即检测出具有连续非零响应的像素块，将继续对该像素块中每个像素点对应的二阶导数进行检测。当该像素块中仅有首尾两个像素点的二阶导数存在非零响应时，将判定该像素块为该方向上的软边缘，且该像素块将构成该方向上的软边缘像素段，否则判定该像素块为不需要处理的边缘部分。
59.若检测到该像素点与其他像素点间不存在连续非零响应，即检测到的不具有连续非零响应的像素块中每个像素点的一阶导数的非零响应均很短暂，此时将需要继续判断该像素块中像素点的二阶导数是否具有相同的短暂非零响应且出现正负两值，若是，则判定该像素块为该方向上的硬边缘部分，且该像素块将构成该方向上的硬边缘像素段，否则为不需要处理的边缘部分。
60.至此完成某一像素点的检测，并继续判断下一个像素点是否为已检测过的像素点，若是则跳过，若不是，则按照上述方法继续检测。由此可见，按照上述步骤检测后将会得到多个不同方向的边缘像素段，而根据边缘像素段中首尾像素点将可确定出其对应的边缘方向值。
61.进一步的，所述边缘方向根据边缘像素段中首端像素点的坐标和末端像素点的坐标确定，所述边缘方向对应的边缘方向值的计算公式为：
62.tanθ＝(b2-b1)/(a2-a1)
63.式中，tanθ表示边缘方向值，(a1,b1)表示首端像素点的坐标，(a2,b2)表示末端像素点的坐标。
64.示范性的，在本实施例中，对于某一边缘像素段而言，将其首端像素点的坐标和末端像素点的坐标代入以下公式，即可计算出该边缘像素段的边缘方向值tanθ：
65.tanθ＝(b2-b1)/(a2-a1)
66.通过上述边缘方向值tanθ即可获悉该边缘像素段对应的边缘方向，比如图4中所示的30
°
方向上的阶跃型边缘以及图5中所示的45
°
方向上的斜坡型边缘。
67.步骤s30：判断低分辨率灰度图像中的目标像素点是否位于任意一个边缘像素段内，所述目标像素点与超分图像中的待求像素点具有对应关系；
68.示范性的，在本实施例中，将通过判断低分辨率灰度图像中与超分图像中待求像素点对应的目标像素点是否位于任意一个边缘像素段范围内来确定待求像素点是否属于需要处理的边缘部分，若属于需要处理的边缘部分，则可通过其所在边缘像素段来判定其边缘类型和边缘方向。比如，假设图像超分倍数为r，超分后的待求像素点的坐标为(x,y)，则该待求像素点在原低分辨率灰度图像中对应的目标像素点的坐标点为(x/r,y/r)，此时需要判断该目标像素点(x/r,y/r)是否在边缘像素段范围内。
69.步骤s40：若是，则根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值。
70.示范性的，在本实施例中，当确认与待求像素点对应的目标像素点不在任意一个
边缘像素段范围内，说明该待求像素点属于不需要处理的边缘部分，则不对其进行下一步处理；而当确认与待求像素点对应的目标像素点在某一个边缘像素段范围内，说明该待求像素点属于需要处理的边缘部分，则需要根据目标像素点所在的边缘像素段的边缘方向对应的插值计算公式来计算出待求像素点的超分像素值。需要说明的是，本实施例针对不同边缘方向设定了不同的插值计算公式，以通过不同的插值计算公式来对不同边缘方向上的像素点进行超分像素值的计算。
71.由此可见，本实施例通过非零响应特性对图像的边缘部分进行分类，以对不同的边缘类型进行特性化处理，同时采用不同的插值计算公式加强对边缘的方向性处理，使边缘部分更加清晰，以解决边缘模糊问题，进而提升图像超分效果。
72.进一步的，所述目标像素点所在边缘像素段为目标硬边缘像素段，所述根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值，包括：
73.根据目标像素点的坐标以及与目标硬边缘像素段对应的边缘方向构建边缘方向直线方程；
74.基于所述边缘方向直线方程以及距离所述目标像素点最近的一个目标整数点的坐标计算出待求像素点的超分像素值。
75.示范性的，在本实施例中，对于阶跃型和脉冲型等硬边缘，将直接按倍数放大边缘相关部分。具体的，假设图像超分倍数为r，超分后的待求像素点的坐标为(x,y)，且该待求像素点在原低分辨率灰度图像中对应的目标像素点的坐标点为(x/r,y/r)，则根据该目标像素点所在的边缘像素段对应的边缘方向值并过点(x/r,y/r)建立边缘方向直线方程：y＝(x-x/r)
·
tanθ+y/r；再检测距离该直线上最近的整数点(即在超分后的图像上取沿边缘方向的最邻近点)，并将该点的像素值作为待求像素点的超分像素值，具体可取满足上述边缘方向直线方程的目标整数点(x0,y0)，且该目标整数点(x0,y0)是使距离l＝(x0-x/r)^2+(y0-y/r)^2最小的整数点；然后，将检测到的目标整数点的像素值作为待求像素点的超分像素值，即将目标整数点的像素值来填充待求像素点的像素值。
76.例如，假设待求像素点坐标为(33,60)，超分倍数为2，则其在原低分辨率灰度图像中对应的目标像素点的坐标为(16.5,30)，假设该目标像素点所在的硬边缘像素段对应的边缘方向值tanθ＝2，则过此目标像素点的边缘方向直线方程为y＝2(x-16.5)+30，此时，通过计算后可知，既满足该边缘方向直线方程，又能使距离l＝(x0-16.5)^2+(y0-30)^2最小的整数点为(16,29)，所以将该整数点(16,29)作为目标整数点，并用该目标整数点(16,29)的像素值来填充待求像素点的像素值。
77.进一步的，所述目标像素点所在边缘像素段为目标软边缘像素段，所述根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值，包括：
78.根据目标像素点的坐标以及与目标软边缘像素段对应的边缘方向构建法向直线方程；
79.根据所述法向直线方程以及距离所述目标像素点最近的两个目标整数点的坐标计算出待求像素点的超分像素值。
80.示范性的，在本实施例中，对于斜坡型和屋脊型等软边缘，同样需要进行方程创建
和整数点确定。具体的，假设图像超分倍数为r，超分后的待求像素点的坐标为(x,y)，且该待求像素点在原低分辨率灰度图像中对应的目标像素点的坐标点为(x/r,y/r)，则根据该目标像素点所在的边缘像素段对应的边缘方向值并过点(x/r,y/r)建立法向直线方程：y＝(x-x/r)
·
(tanθ+π/2)+y/r，同时取该直线方程上离目标像素点(x/r,y/r)最近的两个目标整数点(x1,y1)和(x2,y2)，则根据两个目标整数点的像素值g(x1,y1)和g(x2,y2)即可计算出待求像素点的超分像素值，其中超分像素值g(x/r,y/r)具体计算公式为：
[0081][0082]
应当理解的是，在灰度化(即单通道)的条件下，灰度值等于像素值，而在彩色图像中(即r,g,b三个通道)，灰度值不等于像素值。
[0083]
进一步的，在所述根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值的步骤之后，还包括：
[0084]
通过边缘检测算子对与低分辨率灰度图像对应的原始图像进行边缘检测，得到二值化图像；
[0085]
基于每个边缘像素段中各个像素点的坐标对所述二值化图像中的边缘部分进行处理，以得到包括多个第一像素点的新二值化图像，所述第一像素点属于图像的细节部分；
[0086]
根据所述第一像素点和预设像素块边长对新二值化图像中的细节部分进行分块处理，得到多个细节像素块；
[0087]
通过迭代反投影方法对每个细节像素块进行超分重建处理，以得到细节像素块中每个像素点的超分像素值。
[0088]
示范性的，在本实施例中，还将对图像的细节部分进行分割处理，以形成一个个易于处理的像素块，并利用重建或深度学习方法来处理这些像素块，以使得重建后的细节部分效果更好。具体的，可优选使用canny等边缘检测算子对原始图像进行图像边缘检测，其检测结果为一张二值化图像，其中，非边缘部分和非细节部分赋值为0，边缘部分和细节部分赋值为1；然后按照前述步骤确定的硬边缘像素段和软边缘像素段中各个像素点的坐标将二值化图像中对应的软边缘和硬边缘部分除去，即将这一部分值由1变为0，以形成新的二值化图像。可以理解的是，参见图6所示，新的二值化图像中只保留了较为杂乱的细节部分，也即新的二值化图像中赋值为1的像素点(即第一像素点)属于细节部分。
[0089]
接着可从新的二值化图像的左上角的第一个像素点开始逐点检测，遇到值为1的第一像素点即为细节部分，则以该第一像素点为中心以及预设的像素块边长进行像素块分割，比如原始图像的纵向分辨率为n，设像素块边长n＝n/100(比如n可取为3、4或5等)，则取该第一像素点周围n
×
n个像素点组成的像素块为一个处理单位；然后继续检测，若下一个值为1的像素点在已检测过的像素块中，则跳过；若不在，则继续以该点为中心取n
×
n的像素块，如此继续下去，将细节部分分割成了多个n
×
n的小像素块；最后利用重建或学习方法对这些像素块进行处理，比如，优选迭代反投影方法对每个细节像素块进行超分重建处理，以得到细节像素块中每个像素点的超分像素值。
[0090]
由此可见，本实施例通过对细节部分进行分块处理，进而对分块采用迭代反投影的方法，可有效提升计算效率。
[0091]
进一步的，在所述通过迭代反投影方法对每个细节像素块进行超分重建处理，以得到细节像素块中每个像素点的超分像素值的步骤之后，还包括：
[0092]
通过插值方法对所述原始图像进行超分放大，得到放大后插值图像；
[0093]
基于待求像素点的超分像素值和细节像素块中每个像素点的超分像素值对放大后插值图像中的像素值进行替换处理，以生成目标超分图像。
[0094]
示范性的，本实施例中，在实现对边缘部分和细节部分的超分重建后，将基于该超分重建后的边缘部分和细节部分进行最终超分图像的重建。具体的，可优选双三次插值等插值方法对原始图像进行放大，以得到放大后插值图像，比如得到512
×
512的待处理的放大后插值图像；然后根据前述步骤中确定的软边缘像素段和硬边缘像素段中各个像素点的坐标确定放大后插值图像中需要替换像素值的像素点坐标；最后按照像素点坐标值将软边缘像素段和硬边缘像素段中各个像素点的超分像素值替换至放大后插值图像中对应像素点处，进而生成最终的超分图像。由此可见，本实施例将通过两种处理方式分别得到的边缘超分结果和细节超分结果进行融合，以得到超分效果更好的超分图像。
[0095]
综上，本实施例通过非零响应特性对图像的边缘部分进行分类，以对每种不同属性的边缘采取不同的处理方法，同时针对边缘方向调整了插值计算公式，使边缘部分更加清晰。此外，本实施例利用传统最近邻插值法、双三次插值法以及本实施例进行实验，得到超分后的psnr(peaksignaltonoiseratio，峰值信噪比)值分别为27.6、28.4以及30.1，由此可见，本实施例对于超分效果的优化是有效可行的。
[0096]
本实施例还对细节部分进行分块处理，并对分块采用迭代反投影的方法进行超分重建，其与传统的深度学习esnr的方法对比，可有效优化计算效率的问题。比如，在intel(r)core(tm)i5-6500cpu@3.20ghz且内存4.00gb的运行环境下采用传统深度学习方法和本实施例分别对一幅256
×
256的图片进行2倍超分，其用时分别为5.456s和0.892s，由此可见，本实施例有效提升了计算效率。
[0097]
本技术实施例还提供了一种图像超分辨率边缘处理装置，包括：
[0098]
第一处理单元，其用于对低分辨率灰度图像进行导数计算，得到导数矩阵；
[0099]
第二处理单元，其用于根据导数矩阵中像素点的导数值非零响应特性对低分辨率灰度图像的边缘进行分段处理，得到多个边缘像素段及其对应的边缘方向；
[0100]
第三处理单元，其用于判断低分辨率灰度图像中的目标像素点是否位于任意一个边缘像素段内，所述目标像素点与超分图像中的待求像素点具有对应关系；
[0101]
第四处理单元，其用于若是，则根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值。
[0102]
进一步的，所述第一处理单元具体用于：
[0103]
根据一阶导算子和二阶导算子分别对低分辨率灰度图像进行导数计算，得到一阶导数矩阵和二阶导数矩阵。
[0104]
进一步的，所述边缘像素段包括硬边缘像素段和软边缘像素段，所述硬边缘像素段中导数值非零响应特性为一阶与二阶均具有相同短暂的非零响应且二阶中存在正负两值，所述软边缘像素段中导数值非零响应特性为一阶具有连续非零响应且二阶非零响应仅出现在软边缘像素段的起点和终点。
[0105]
进一步的，所述第四处理单元具体用于：
[0106]
根据目标像素点的坐标以及与目标硬边缘像素段对应的边缘方向构建边缘方向直线方程；
[0107]
基于所述边缘方向直线方程以及距离所述目标像素点最近的一个目标整数点的坐标计算出待求像素点的超分像素值。
[0108]
进一步的，所述目标像素点所在边缘像素段为目标软边缘像素段，所述第四处理单元具体还用于：
[0109]
根据目标像素点的坐标以及与目标软边缘像素段对应的边缘方向构建法向直线方程；
[0110]
根据所述法向直线方程以及距离所述目标像素点最近的两个目标整数点的坐标计算出待求像素点的超分像素值。
[0111]
进一步的，所述边缘方向根据边缘像素段中首端像素点的坐标和末端像素点的坐标确定，所述边缘方向对应的边缘方向值的计算公式为：
[0112]
tanθ＝(b2-b1)/(a2-a1)
[0113]
式中，tanθ表示边缘方向值，(a1,b1)表示首端像素点的坐标，(a2,b2)表示末端像素点的坐标。
[0114]
进一步的，所述装置还包括第五处理单元，其用于：
[0115]
通过边缘检测算子对与低分辨率灰度图像对应的原始图像进行边缘检测，得到二值化图像；
[0116]
基于每个边缘像素段中各个像素点的坐标对所述二值化图像中的边缘部分进行处理，以得到包括多个第一像素点的新二值化图像，所述第一像素点属于图像的细节部分；
[0117]
根据所述第一像素点和预设像素块边长对新二值化图像中的细节部分进行分块处理，得到多个细节像素块；
[0118]
通过迭代反投影方法对每个细节像素块进行超分重建处理，以得到细节像素块中每个像素点的超分像素值。
[0119]
进一步的，所述装置还包括第六处理单元，其用于：
[0120]
通过插值方法对所述原始图像进行超分放大，得到放大后插值图像；
[0121]
基于待求像素点的超分像素值和细节像素块中每个像素点的超分像素值对放大后插值图像中的像素值进行替换处理，以生成目标超分图像。
[0122]
需要说明的是，所属本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述图像超分辨率边缘处理方法实施例中的对应过程，在此不再赘述。
[0123]
本技术施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述的图像超分辨率边缘处理方法的全部步骤或部分步骤。
[0124]
本技术实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的仼何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、rom(read-only memory，只读存储器)、ram(randomaccessmemory，随机存取
存储器)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0125]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0126]
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0127]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0128]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种图像超分辨率边缘处理方法，其特征在于，包括以下步骤：对低分辨率灰度图像进行导数计算，得到导数矩阵；根据导数矩阵中像素点的导数值非零响应特性对低分辨率灰度图像的边缘进行分段处理，得到多个边缘像素段及其对应的边缘方向；判断低分辨率灰度图像中的目标像素点是否位于任意一个边缘像素段内，所述目标像素点与超分图像中的待求像素点具有对应关系；若是，则根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值。2.如权利要求1所述的图像超分辨率边缘处理方法，其特征在于，所述对低分辨率灰度图像进行导数计算，得到导数矩阵，包括：根据一阶导算子和二阶导算子分别对低分辨率灰度图像进行导数计算，得到一阶导数矩阵和二阶导数矩阵。3.如权利要求2所述的图像超分辨率边缘处理方法，其特征在于：所述边缘像素段包括硬边缘像素段和软边缘像素段，所述硬边缘像素段中导数值非零响应特性为一阶与二阶均具有相同短暂的非零响应且二阶中存在正负两值，所述软边缘像素段中导数值非零响应特性为一阶具有连续非零响应且二阶非零响应仅出现在软边缘像素段的起点和终点。4.如权利要求3所述的图像超分辨率边缘处理方法，其特征在于，所述目标像素点所在边缘像素段为目标硬边缘像素段，所述根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值，包括：根据目标像素点的坐标以及与目标硬边缘像素段对应的边缘方向构建边缘方向直线方程；基于所述边缘方向直线方程以及距离所述目标像素点最近的一个目标整数点的坐标计算出待求像素点的超分像素值。5.如权利要求3所述的图像超分辨率边缘处理方法，其特征在于，所述目标像素点所在边缘像素段为目标软边缘像素段，所述根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值，包括：根据目标像素点的坐标以及与目标软边缘像素段对应的边缘方向构建法向直线方程；根据所述法向直线方程以及距离所述目标像素点最近的两个目标整数点的坐标计算出待求像素点的超分像素值。6.如权利要求3所述的图像超分辨率边缘处理方法，其特征在于，所述边缘方向根据边缘像素段中首端像素点的坐标和末端像素点的坐标确定，所述边缘方向对应的边缘方向值的计算公式为：tanθ＝(b2-b1)/(a2-a1)式中，tanθ表示边缘方向值，(a1,b1)表示首端像素点的坐标，(a2,b2)表示末端像素点的坐标。7.如权利要求1所述的图像超分辨率边缘处理方法，其特征在于，在所述根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值的步骤之后，还包括：通过边缘检测算子对与低分辨率灰度图像对应的原始图像进行边缘检测，得到二值化
图像；基于每个边缘像素段中各个像素点的坐标对所述二值化图像中的边缘部分进行处理，以得到包括多个第一像素点的新二值化图像，所述第一像素点属于图像的细节部分；根据所述第一像素点和预设像素块边长对新二值化图像中的细节部分进行分块处理，得到多个细节像素块；通过迭代反投影方法对每个细节像素块进行超分重建处理，以得到细节像素块中每个像素点的超分像素值。8.如权利要求7所述的图像超分辨率边缘处理方法，其特征在于，在所述通过迭代反投影方法对每个细节像素块进行超分重建处理，以得到细节像素块中每个像素点的超分像素值的步骤之后，还包括：通过插值方法对所述原始图像进行超分放大，得到放大后插值图像；基于待求像素点的超分像素值和细节像素块中每个像素点的超分像素值对放大后插值图像中的像素值进行替换处理，以生成目标超分图像。9.一种图像超分辨率边缘处理装置，其特征在于，包括：第一处理单元，其用于对低分辨率灰度图像进行导数计算，得到导数矩阵；第二处理单元，其用于根据导数矩阵中像素点的导数值非零响应特性对低分辨率灰度图像的边缘进行分段处理，得到多个边缘像素段及其对应的边缘方向；第三处理单元，其用于判断低分辨率灰度图像中的目标像素点是否位于任意一个边缘像素段内，所述目标像素点与超分图像中的待求像素点具有对应关系；第四处理单元，其用于若是，则根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值。10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1至8中任一项所述的图像超分辨率边缘处理方法。

技术总结
本申请涉及一种图像超分辨率边缘处理方法、装置及可读存储介质，涉及图像处理技术领域，包括对低分辨率灰度图像进行导数计算，得到导数矩阵；根据导数矩阵中像素点的导数值非零响应特性对低分辨率灰度图像的边缘进行分段处理，得到多个边缘像素段及其对应的边缘方向；判断低分辨率灰度图像中的目标像素点是否位于任意一个边缘像素段内，所述目标像素点与超分图像中的待求像素点具有对应关系；若是，则根据与目标像素点所在边缘像素段的边缘方向对应的目标插值计算公式计算得到待求像素点的超分像素值。本申请通过对不同的边缘类型进行特性化处理，同时加强对边缘的方向性处理，使边缘部分更加清晰，以解决边缘模糊问题，进而提升图像超分效果。进而提升图像超分效果。进而提升图像超分效果。


技术研发人员：刘琪
受保护的技术使用者：烽火通信科技股份有限公司
技术研发日：2023.04.18
技术公布日：2023/8/1