基于软边重建的自校准深度曲线估计的低光照图像增强方法

1.本发明涉及图像处理技术领域，具体的说，涉及了一种基于软边重建的自校准深度曲线估计的低光照图像增强方法。


背景技术：

2.由于环境因素的影响，人们常常无法拍摄到合适的图像。而且经常因为背光、不均匀光照和低光照的影响，使得对图像信息的获取不完善，从而降低了图像的质量。不仅仅是日常图像，其它对图像质量有要求的行业，比如智能交通、视觉监控等都期待一个高质量的图像。
3.深度学习现如今已被广泛用于各种视觉处理的任务之中，其处理任务时的方便快捷大受欢迎。然而，早期的深度学习方法引入容易造成欠增强和过增强。为了处理这些问题，弱光照图像增强的可训练卷积神经网络(lightennet)被提出，该方法可以通过训练网络以缓解该问题。
4.虽然，该方法可以在一些图像上获得令人满意的增强效果，但是在一些有挑战性的真实场景上仍然有不好的结果。
5.低光cnn(low-light cnn)的学习框架，利用多尺度特征图来避免梯度消失问题，为了保留图像纹理使用ssim损失来训练模型，从而自适应地增强低光图像的对比度，但运算速度相对较慢。
6.为解决上述算法运算量大、运算时间长与性能增强之间的矛盾问题，以及深度学习方法导致的增强不足、细节丢失和颜色失真的问题，本领域技术人员一直在寻求一种既能够减轻运算量，又能够保证性能的优化方法。


技术实现要素：

7.本发明的目的是针对现有技术的不足，从而提供一种增强图像对比度适中、细节饱满、颜色不失真并使增强后的图像的曝光度和颜色接近真实场景图像的基于软边重建的自校准深度曲线估计的低光照图像增强方法。
8.为了实现上述目的，本发明所采用的技术方案是：步骤1)通过引入软边重建模块对输入图像进行软边重建，并提取图像的纹理和细节信息；
9.步骤2)通过自校准模块探索每一次输入的收敛特性，逐步修正后续每一级的输入，所述的自校准模块表达式如下：
[0010][0011]
其中，t≥1，y表示的是原始图像，x
t
表示的是上一级的输入，v
t
表示的是每个阶段的输出，k
θ
是引入的参数化算子，θ是具有学习功能的参数；
[0012]
自校准模块会在每个阶段结果之间进行收敛，具体的，它由上一级输入后和原始图像进行运算后得到z
t
，z
t
再经过和k
θ
运算后得到s
t
，s
t
再和原始图像运算后输出，整个自校准模块就运行结束；
[0013]
步骤3)经过迭代增光曲线对低光照图像迭代增强，从而得到一个高质量的图像。
[0014]
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明是在增强效果不减的基础上，重点解决低光照图像的增强不足、颜色失真和细节丢失等问题，本发明根据软边重建的策略和自校准深度曲线估计策略去增强低光照图像，在保证增强性能的同时显著减少了运行时间。
[0015]
具体的，本发明利用软边重建的自校准迭代图像增强策略：该方法先对输入图像进行边缘软化后再进行特征细节提取，然后自校准模块对输入进行收敛加速后送入增强网络，最后根据增光曲线对低光照图像进行迭代增强，从而得到高质量的图像。该方法既能更好地提取图像细节，还能加速网络的收敛速度，使输出的结果更高效、稳定。
[0016]
另外，本发明针对低光照图像纹理丢失和细节信息模糊的特点，通过引入软边重建模块检测不同尺度的图像特征，进而通过对图像边缘的软化提取和图像细节的重构，可以提取到图像清晰锐利的边缘特征，从而保证在最终的增强图像中可以得到更加丰富的边缘纹理和细节信息。
[0017]
最后，本发明针对低光照图像增强的曝光稳定性不足和处理效率不高的问题，本文通过引入自校准模块对输入图像进行逐级收敛来保证图像的曝光稳定性。此外，由于其具备足够轻量级的优点，可以显著提升网络的计算效力，从而加速网络收敛，这样在增强图像质量的同时减少了处理速度，提高了本方法的实用性。
附图说明
[0018]
图1为本发明软边重建的自校准深度曲线估计的低光照图像增强方法的流程示意图。
[0019]
图2为本发明的自校准模块运行的流程示意图。
[0020]
图3为本发明与其它方法针对全局过暗图像的增强结果对比。
[0021]
图4为本发明与其它方法针对极度黑暗图像的增强结果比较。
具体实施方式
[0022]
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
[0023]
为了验证本发明对低光图像增强的有效性，选取不同类型的低光照图像作为测试集，同时与tffr、zero-dce、zero-dce+、lr3m、l2lp、bimef、fbem、fbm、llie和aiem等方法进行主观和客观的对比。
[0024]
如图1所示，一种基于软边重建的自校准深度曲线估计的低光照图像增强方法，先对输入图像进行边缘软化后再进行特征细节提取，然后自校准模块对输入进行收敛加速后送入增强网络，最后根据增光曲线对低光照图像进行迭代增强，从而得到高质量的图像。表示如下：
[0025]
图像软边缘可以保留更准确的图像边缘信息，使用曲率公式从原始图像中得到对应的软边缘i
edge
，它可以准确地描述梯度域的变化。
[0026]iedge
＝div(u
x
,uy)
[0027]
其中，当时，i∈{x,y}，x和y分别代表水平和垂直方向，
▽
代表梯度操作，div代表散度操作。
[0028]
自校准模块流程图如图2所示，由上一级输入后和原始图像进行运算后得到z
t
，z
t
再经过和k
θ
运算后得到s
t
，s
t
再和原始图像运算后输出，整个自校准模块就运行结束。
[0029][0030]
在上述公式中，t≥1，y表示的是原始图像，x
t
表示的是上一级的输入，v
t
表示的是每个阶段的输出，k
θ
是引入的参数化算子，θ是具有学习功能的参数。本文构建的自校准模块通过整合物理原理，逐步修正每一级的输入，间接影响每一级的输出，显示了不同设置的视觉结果。
[0031]
为了合理的使用前两个模块处理后的输入，本发明使用了零参考深度曲线估计网络(deep curve estimation net)，将弱光图像自动映射到增强版的曲线，用来估计给定输入图像的一组最佳拟合光增强曲线，其中自适应曲线参数完全取决于输入图像。然后，该框架通过迭代地应用曲线来映射输入rgb通道的所有像素，以获得最终的增强图像。本模块可以将增强图像的每个像素值都落在归一化范围内，这样可以避免因像素值溢出而造成图像信息损失的问题，还可以控制曝光水平，降低过饱和的风险。此外，本模块简单且可以保证相邻像素的对比度差异，可以保证不同区域的亮度。对上述过程，用le来表示每一次的迭代结果：
[0032]
le1＝le(i；a1)
[0033]
其中le1表示的是第一次迭代的结果，i是最原始输入的图像，a1表示的是从上一个模块处理过后经过rgb通道图像，利用公式(3)，可以进一步演绎得到第n次的迭代结果为：
[0034]
len＝le(le
n-1
；an)
[0035]
其中len表示第n次迭代结果，le
n-1
表示n-1次的迭代结果，an表示的是第n次从上一个模块处理过后经过rgb通道图像。
[0036]
如图2所示，为本发明的自校准模块运行的流程示意图。由图2可知，自校准模块会在每个阶段结果之间进行收敛，提高曝光稳定性并大大减少计算负担，并在每个阶段的结果之间收敛以实现加速。本文构建的自校准模块通过整合物理原理，逐步修正每一级的输入，间接影响每一级的输出，显示了不同设置的视觉结果。
[0037]
如图3所示，本发明与其它方法针对全局过暗图像的增强结果对比。由图3可知，fbem、llie和zero-dce的方法处理中存在颜色失真，而在后边的图像中也有此情况发生；除此之外zero-dce+、fem、l2lp、aiem和lr3m等方法在右侧灯光处还存在有伪影、模糊、细节特征提取不足的情况。在bimef的方法中，虽然整体增强效果好，但是不如本文方法的细节提取优势，在一些条纹信息和纹理信息的提取中，本文的方法明显有其优越性。
[0038]
如图4所示，本发明与其它方法针对极度黑暗图像的增强结果比较。由图4可知，
aiem、zero-dce+等方法可以看出增强不足问题，此外在黑暗区域的细节信息提取也存在不足。而fem、l2lp和fbem等方法存在噪声严重的问题。lr3m、llie和bimef等方法存在细节不清晰、纹理模糊等问题。
[0039]
本实施例选用了常见的几种方法进行客观评估，分别是信息熵(entropy)、峰值信噪比(psnr)、结构相似性(ssim)、归一化均方根误差(nrmse)和均方根误差(rmse)。各种方法结果对比如表1所示，加粗字体代表最好的结果，蓝色字体代表第二好的结果。
[0040][0041][0042]
表1不同方法的客观评价
[0043]
从表1可以看出，本发明的方法在信息熵、结构相似性和归一化均方根误差这三项指标中结果显示最好，且远好于大多数的其他方法。在峰值信噪比和均方根误差这两项指标中虽然不是最好，但也是次好的结果，也优于了多数的方法。整体而言，本文的方法虽然个别指标不是最好的，但是从整体结果来看还是有相当强的优越性。
[0044][0045]
表2不同方法的最优结果客观评价
[0046]
表2是选用了所有验证图像中部分处理结果较好的图像，将它们分别用上述几种处理方法进行处理后，再进行均值化的结果。上表的结果显示本发明的方法具有较好的结果。其中，本发明的方法在单个图像处理结果中，每个评估指标的结果都取得了较好的成绩。在信息熵、峰值信噪比、结构相似性和归一化均方根误差这四项都是最优的，只有在均方根误差方面排在次优的位置。但是整体而言，本发明的方法不管是在整体数据集的处理方面，还是在单个图像的处理方面，都优于大多数方法且取得了较好的结果。
[0047]
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

技术特征：
1.一种基于软边重建的自校准深度曲线估计的低光照图像增强方法，其特征在于：通过以下步骤进行：步骤1)通过引入软边重建模块对输入图像进行软边重建，并提取图像的纹理和细节信息；步骤2)通过自校准模块探索每一次输入的收敛特性，逐步修正后续每一级的输入，所述的自校准模块表达式如下：其中，t≥1，y表示的是原始图像，x
t
表示的是上一级的输入，v
t
表示的是每个阶段的输出，k
θ
是引入的参数化算子，θ是具有学习功能的参数；自校准模块会在每个阶段结果之间进行收敛，具体的，它由上一级输入后和原始图像进行运算后得到z
t
，z
t
再经过和k
θ
运算后得到s
t
，s
t
再和原始图像运算后输出，整个自校准模块就运行结束；步骤3)经过迭代增光曲线对低光照图像迭代增强，从而得到一个高质量的图像。2.根据权利要求1所述的基于软边重建的自校准深度曲线估计的低光照图像增强方法，其特征在于：步骤1)中，图像软边缘可以保留更准确的图像边缘信息，使用以下曲率公式从原始图像中得到对应的软边缘i
edge
，以准确地描述梯度域的变化，公式表示如下：i
edge
＝div(u
x
,u
y
)其中，当时，i∈{x,y}，x和y分别代表水平和垂直方向，代表梯度操作，div代表散度操作。3.根据权利要求2所述的基于软边重建的自校准深度曲线估计的低光照图像增强方法，其特征在于：步骤3)中，将弱光图像自动映射到增强版的曲线，用来估计给定输入图像的一组最佳拟合光增强曲线，其中自适应曲线参数完全取决于输入图像，表达式表示如下：le1＝le(i；a1)其中，le1表示的是第一次迭代的结果，i是最原始输入的图像，a1表示的是从上一个模块处理过后经过rgb通道图像。4.根据权利要求3所述的基于软边重建的自校准深度曲线估计的低光照图像增强方法，其特征在于：利用第一次迭代的结果，可以进一步演绎得到第n次的迭代结果，表达式表示如下：le
n
＝le(le
n-1
；a
n
)其中，le
n
表示第n次迭代结果，le
n-1
表示n-1次的迭代结果，a
n
表示的是第n次从上一个模块处理过后经过rgb通道图像。

技术总结
本发明提供了一种基于软边重建的自校准深度曲线估计的低光照图像增强方法，通过以下步骤进行：步骤1)通过引入软边重建模块对输入图像进行软边重建，并提取图像的纹理和细节信息；步骤2)通过自校准模块探索每一次输入的收敛特性，逐步修正后续每一级的输入；步骤3)经过迭代增光曲线对低光照图像迭代增强，从而得到一个高质量的图像。该方法不仅在视觉上增强了亮度和对比度，还原了真实色彩，使图像更加符合人眼视觉系统特性，而且在PSNR、SSIM等客观指标上也要明显优于其它方法。该方法增强图像对比度适中、时间复杂度低、能够抑制噪声并使增强后的图像的对比度和颜色接近真实景象。使增强后的图像的对比度和颜色接近真实景象。使增强后的图像的对比度和颜色接近真实景象。


技术研发人员：曲培新 张卫东 田振 金松林 李国厚 白林锋 王应军 赵明富
受保护的技术使用者：河南科技学院
技术研发日：2022.10.28
技术公布日：2023/9/22