一种海上风电场监控图像增强的方法和系统与流程

1.本发明属于图像处理技术领域，具体涉及一种海上风电场监控图像增强的方法和系统。


背景技术：

2.近海风电场大都建立在距海岸、港口五十公里内的开放海域，往往处于航道附近，船舶往来极为频繁；由于可及性原因，无法做到全天候有人值守，经常有船舶误入或闯入海上风电场机组、升压站附近，造成基础磕碰或抛锚导致海底电缆被拖动甚至断裂，一旦主海缆断裂导致风电场停机，其损失不可估量。为了解决海上风电场区域安全监控问题，在海上风电场安装全天候监控摄像头，利用计算机视觉技术，实时分析海上风电场监控视频，自动闯入目标、异常情况等。但是，海上风电场环境比较恶劣，经常有大雾、阴雨天气，摄像头采集的图像容易出现低质量现象，例如对比度低、颜色失真和细节信息模糊等。由于其低质现象，海上风电场监控图像往往会造成目标识别、检测和跟踪等计算机视觉任务算法性能的降低；为了提升整体的目标识别、检测和跟踪的精度，业内人员进行了一系列的工作，具体的如：
3.(1)基于直方图的增强方法：通过统计方法调整图像中的像素值，使图像直方图达到均衡状态，从而对海上风电场监控图像的亮度和对比度进行提升。此类方法的增强结果图中常出现难以平衡图像暗区恢复和亮区保留的问题，同时也容易出现色彩失真问题，具有较弱的鲁棒性。
4.(2)基于retinex的传统增强方法：能够有效增强图像亮度且较好保存如边缘和角落等高频信息，但它们无法有效避免对比度不均匀和颜色失真等问题。
5.(3)基于伪雾图的增强方法：只能有效改善部分图像的视觉效果，但是易产生边缘效应、光晕效应和不实际现象。
6.(4)基于图像融合的方法：通常需要采集同一场景下的不同曝光程度子图，或者通过其他技术手段获取系列子图才能实现较好的图像融合，这局限了该方法的应用。此外，该方法在对照度不均匀图像进行增强的过程中，无法有效地提升较暗区域的亮度。
7.综合以上分析可以发现，上述方法均存在一定的问题，尤其是局部范围内出现多个船舶或者一个船舶运行路线较长，更加难以获取真实的图像。


技术实现要素：

8.本发明的目的在于对海上风电场区域的监控视频进行图像增强，提高视频分析质量，解决在海上风电场大雾、阴雨天气等恶劣天气条件下，摄像头采集的图像对比度低、颜色失真和细节信息模糊等问题。
9.为达到上述目的，本发明采用以下技术方案予以实现：
10.一种海上风电场监控图像增强的方法，包括以下步骤：
11.步骤1，对输入图像进行多尺度的非对称卷积运算，将非对称卷积结果进行拼接，
对拼接后的图像通过像素注意力模块进行特征筛选后，获得初步图像特征；所述非对称卷积运算为对输入图像进行非线性映射运算；
12.步骤2，对初步图像特征同步进行m个非对称卷积运算，将非对称卷积运算两两拼接，获得m/2个拼接结果，将m/2个拼接结果连接后，将连接的图像降维处理，获得特征图，将特征图通过密集特征提取模块降维后，获得降维后的特征图，m为偶数；
13.步骤3，将降维后的特征图依次通过像素注意力模块和通道注意模块进行特征筛选后，获得多通道特征图，将多通道特征图进行对数运算，去除环境光照和噪声分量，获得增强后的图像。
14.本发明的进一步改进在于：
15.优选的，步骤1中，所述非线性映射运算为：
16.hk×k(x
in
)＝max(x
in
*wk×k+b,0) (4)
17.其中，w，b分别表示该非线性映射层的权重与偏置，k
×
k表示卷积核的尺寸，x
in
表示原始图像像素点。
18.优选的，步骤1中，对非对称卷积结果进行拼接的公式为：
[0019][0020]
上式中，h表示非线性映射运算，表示卷积核为1
×
k1的非线性运算结果，表示卷积核尺寸为k2×
1的非线性运算结果，表示卷积核尺寸为k0×
k0的非线性运算结果。
[0021]
优选的，步骤1中，对拼接后的图像进行特征筛选的过程为，对拼接后的图像特征学习，通过sigmoid激活函数将结果映射到区间(0,1)之间，获得权重图；将权重图与输入图像的元素相乘或，获得初步图像特征。
[0022]
优选的，步骤2中，两两拼接的公式为：
[0023]
sconv(x
pa1
)＝concat[hk×k(x
pa1
),hk×k(hk×k(x
pa1
))] (9)
[0024]
其中，hk×k(x
pa1
)每一个像素的非对称卷积运算结果。
[0025]
优选的，步骤2中，通过非线性映射对连接的图像进行降维处理。
[0026]
优选的，步骤3中，通过通道注意模块进行特征筛选的过程为：
[0027][0028]
其中，x
pa2
为像素注意模块的特征筛选图像中像素，h
×
w为x
pa2
的尺寸，(i，j)为x
pa2
的具体位置；
[0029]
基于公式(14)，获得权重向量：
[0030]
cav(x
pa2
)＝s[aconv(aconv(v(x
pa2
)))] (15)
[0031]
在权重向量的基础上，基于式(16)，获得通道注意模块进行特征筛选后的多通道特征图：
[0032][0033]
优选的，x
pa2
的计算过程为：
[0034]
[0035]
其中，x
dense
为降维后的特征图。
[0036]
优选的，步骤3中，对数运算的过程为：
[0037][0038]
其中，为增强后的图像，为输入图像x的环境光照与噪声的估计，计算公式为：
[0039][0040]
其中，x
ca
为多通道特征图。
[0041]
优选的，步骤3后，通过损失函数
[0042]
一种海上风电场监控图像增强的系统，包括：
[0043]
特征提取模块，用于对输入图像进行多尺度的非对称卷积运算，将非对称卷积结果进行拼接，对拼接后的图像通过像素注意力模块进行特征筛选后，获得初步图像特征；所述非对称卷积运算为对输入图像进行非线性映射运算；
[0044]
密集特征提取模块，对初步图像特征同步进行m个非对称卷积运算，将非对称卷积运算两两拼接，获得m/2个拼接结果，将m/2个拼接结果连接后，将连接的图像降维处理，获得特征图，将特征图通过密集特征提取模块降维后，获得降维后的特征图，m为偶数；
[0045]
噪声去除模块，将降维后的特征图依次通过像素注意力模块和通道注意模块进行特征筛选后，获得多通道特征图，将多通道特征图进行通道压缩后，将压缩图像进行进行对数运算，去除环境光照和噪声分量，获得增强后的图像。
[0046]
与现有技术相比，本发明具有以下有益效果：
[0047]
本发明公开了一种海上风电场监控图像增强的方法和系统，该方法首先通过不同尺度卷积核对图像进行初步特征提取，并用像素注意模块对多尺度特征图进行针对性学习，获得初步图像特征；通过跳跃连接结构对初步图像特征进行特征提取，使图像特征被最大限度地利用，然后，利用注意力机制对特征图进行动态分配权重，实现有针对性的增强；最后将环境光照和噪声分量从海上风电场监控图像中除去，用通道注意模块和像素注意模块同时对提取到的特征图进行权重学习和照度估计，得到最终的增强图像，提高了视频的分析质量。
[0048]
进一步的，本发明结合retinex理论与卷积神经网络，引入注意力机制和密集卷积块来增强网络模型对图像特征的提取能力，提出了一种有效的海上风电场监控图像增强方法。
附图说明
[0049]
图1为本发明的海上风电场监控图像增强方法的网络结构。
具体实施方式
[0050]
下面结合附图和具体的实施例对本发明做进一步详细描述。
[0051]
本发明的实施例之一为公开了一种海上风电场监控图像增强的方法，该方法具体包括以下步骤：
[0052]
步骤1，建立实际拍摄的图像与目标图像之间的关系。
[0053]
设x为需要增强的海上风电场监控图像，y为与之对应的正常图像，为增强图像：
[0054][0055]
n表示图像的所有像素点，n代表具体的像素点，wn表示第n个像素点的权重值，fn表示像素点上的雾气等噪声变量。
[0056]
令：
[0057][0058]
则：
[0059][0060]
步骤2，建立网络
[0061]
本发明利用卷积神经网络对retinex理论中的分量进行估计；通过在网络中引入注意力机制与densenet模块，增强对图像有用特征的提取和降低干扰特征的影响，有效地对海上风电场监控图像的亮度、对比度以及色彩实现增强，当图像存在噪声时，同样能进行有效的降噪。网络结构如图1所示。
[0062]
整个网络结构分为f
ms
，f
dense
，f
gaussions
这3个子模块，分别用于进行多尺度特征提取、密集特征提取、环境光照与噪声分量估计。
[0063]
步骤2.1，f
ms
通过将多个不同尺寸和形状的卷积核直接用于对原始输入的海上风电场监控图像进行多尺度特征提取，并将得到的多尺度特征进行连接，利用像素注意模块进行特征筛选，得到初步图像特征f
ms
(x)。
[0064]
本发明将多尺度卷积设计为二维的方块形卷积与一维的卷积相结合的形式，实现对图像的多维特征提取。针对每一个尺寸和形状的卷积，采用非对称卷积方式代替部分的普通卷积，将一个非线性映射运算h(
·
)定义为一个卷积运算和一个relu激活函数的组合：
[0065]hk
×k(x
in
)＝max(x
in
*wk×k+b,0)(4)
[0066]
其中，w，b分别表示该非线性映射层的权重与偏置，k
×
k表示卷积核的尺寸，x
in
表示原始图像像素点；
[0067]
为了能够更好地提取到图像的特征，本发明采用3个不同尺度的卷积核分别通过非对称卷积对图像进行特征提取，然后将多个尺度的卷积结果进行通道拼接。此处多尺度卷积核大小分别为一个3
×
3，一个1
×
5和一个5
×
1，将3个不同尺度提取到的特征图进行通道连接，相对应的利用h3×3上述公式(4)能够计算出不同尺度卷积核的输出，分别分别获得h5×1、h1×5和。
[0068]
基于上述公式(4)，对多尺度卷积进行拼接，表示为：
[0069][0070][0071]
上式中，h表示非线性映射运算，表示卷积核为1
×
k1的非线性运算结果，表示卷积核尺寸为k2×
1的非线性运算结果，表示卷积核尺寸为k0×
k0的非线性运算结果。
[0072]
将卷积运算后拼接的结果x
out
输入至像素注意模块中，像素注意模块对不同的像素点赋予不同的学习权重，从而使网络能够有针对性地应对海上风电场监控图像中光照不均匀及存在噪声的问题。首先利用两个非对称卷积对图像进行特征学习，然后利用一个sigmoid激活函数将结果映射到(0,1)，由此得到与输入尺寸相同的权重图：
[0073]
pamap(x
in
)＝s(aconv(aconv(x
in
)))(6)
[0074]
其中，s(
·
)表示sigmoid函数。
[0075]
将得到的pamap(x
in
)与输入x
in
进行元素相乘，得到像素注意模块的输出：
[0076][0077]
像素注意模块输出了每一个像素的x
pa1
，所有的x
pa
构成了f
ms
(x)，为初步图像特征f
ms
(x)。
[0078]
步骤2.2，f
dense
利用多个跳跃连接对初步图像特征f
ms
(x)做进一步的特征提取，并将不同阶段输出的特征进行连接，得到特征图f
dense
(f
ms
(x))。该步骤密集跳跃结构实现在多尺度特征提取模块的结果提取到更丰富、更高阶的特征，为后续的环境光照与噪声分量估计奠定特征基础。
[0079]
首先通过下述的非线性映射运算，对每一个像素的x
pa
进行非对称卷积运算，
[0080]hk
×k(x
pa1
)＝max(x
pa1
*wk×k+b,0)(8)
[0081]
参见图1，该非对称卷积运算分为并行的四部分，即针对初步图像特征f
ms
(x)同时四个非对称卷积运算，获得四个非卷积运算结果hk×k(x
pa1
)。
[0082]
为了更好地定义密集特征提取模块，将跳跃卷积单元sconv定义为两个非线性运算和一个拼接层，通过下述公式(9)对上面获得的四个非卷积运算结果进行两两拼接，获得跳跃卷积单元。
[0083]
sconv(x
pa1
)＝concat[hk×k(x
pa1
),hk×k(hk×k(x
pa1
))](9)
[0084]
其中，hk×k(x
pa1
)每一个像素的非对称卷积运算结果。
[0085]
然后，f
dense
由n个跳跃卷积单元构成，且所有的跳跃卷积单元输出结果将被连接在一起，即：
[0086]fsconv
＝concat[sconv1,...,sconvi,...,sconvn](10)
[0087]
其中，sconvi表示第i个跳跃卷积单元的输出结果。
[0088]
用一个非线性映射对f
sconv
进行降维，得到密集特征提取模块f
dense
的输出结果，为降维后的特征图；：
[0089]
x
dense
＝hk×k(f
sconv
)(11)
[0090]
步骤2.3，为了避免在海上风电场监控图像增强过程中常出现的局部亮度增强不足或过度增强、色彩失真、噪声放大等现象，通过构建的像素注意模块和通道注意模块对特征进行筛选，再通过一个1
×
1卷积将多通道特征图进行通道压缩，随后进行对数运算即可得到输入图像的环境光照与噪声分量根据计算得到增强图像。
[0091]
(1)像素注意模块
[0092]
像素注意模块对不同的像素点赋予不同的学习权重，从而使网络能够有针对性地应对海上风电场监控图像中光照不均匀及存在噪声的问题。首先利用两个非对称卷积对图
像进行特征学习，然后利用一个sigmoid激活函数将结果映射到(0,1)，由此得到与输入尺寸相同的权重图：
[0093]
pamap(x
dense
)＝s(aconv(aconv(x
dense
)))(12)
[0094]
其中，s(
·
)表示sigmoid函数。
[0095]
将得到的pamap(x
in
)与输入x
ddense
进行元素相乘，得到像素注意模块的输出：
[0096][0097]
(2)通道注意模块
[0098]
本发明引入了通道注意模块，其目的是通过学习给不同的特征图赋予合适的权重，从而提升具有明显特征的特征图所占的比例，降低对噪声等特征的学习。
[0099]
首先，对输入h
×w×
c大小的x
pa2
进行全局平均池化，实现对每一层通道的空间信息压缩，从而得到一个1
×1×
c向量：
[0100][0101]
然后，利用两个非对称卷积aconv对向量进行权重学习，同样采用sigmoid激活函数将结果映射到(0,1)，得到权重向量：
[0102]
cav(x
pa2
)＝s[aconv(aconv(v(x
pa2
)))](15)
[0103]
最后，将得到的基于通道的权重向量与输入的各个通道层进行相乘，得到通道注意结果为：
[0104][0105]
其中，x
ca
为多通道特征图。
[0106]
输入图像x的环境光照与噪声的估计为:
[0107][0108]
为了避免在网络传播过程中出现像素点的值超出(0，1)范围，本发明在输出结果图之前，使用sigmoid函数进行像素值的映射:
[0109][0110]
上式中，为经过多尺度特征提取模块、密集特征提取模块和环境光照分量估计模块处理之后实现增强图像照度和抑制环境噪声的最终图像增强结果。
[0111]
本发明的实施例之一为公开了一种海上风电场监控图像增强的系统，该系统包括：
[0112]
特征提取模块，用于对输入图像进行多尺度的非对称卷积运算，将非对称卷积结果进行拼接，对拼接后的图像通过像素注意力模块进行特征筛选后，获得初步图像特征；所述非对称卷积运算为对输入图像进行非线性映射运算；
[0113]
密集特征提取模块，对初步图像特征同步进行m个非对称卷积运算，将非对称卷积运算两两拼接，将m/2个拼接结果连接后，将连接的图像降维处理，获得特征图，m为偶数；
[0114]
噪声去除模块，将特征图依次通过像素注意力模块和通道注意模块进行特征筛选后，获得多通道特征图，将多通道特征图进行通道压缩后，将压缩图像进行进行对数运算，去除环境光照和噪声分量，获得增强后的图像。
[0115]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种海上风电场监控图像增强的方法，其特征在于，包括以下步骤：步骤1，对输入图像进行多尺度的非对称卷积运算，将非对称卷积结果进行拼接，对拼接后的图像通过像素注意力模块进行特征筛选后，获得初步图像特征；所述非对称卷积运算为对输入图像进行非线性映射运算；步骤2，对初步图像特征同步进行m个非对称卷积运算，将非对称卷积运算两两拼接，获得m/2个拼接结果，将m/2个拼接结果连接后，将连接的图像降维处理，获得特征图，将特征图通过密集特征提取模块降维后，获得降维后的特征图，m为偶数；步骤3，将降维后的特征图依次通过像素注意力模块和通道注意模块进行特征筛选后，获得多通道特征图，将多通道特征图进行对数运算，去除环境光照和噪声分量，获得增强后的图像。2.根据权利要求1所述的一种海上风电场监控图像增强的方法，其特征在于，步骤1中，所述非线性映射运算为：h
k
×
k
(x
in
)＝max(x
in
*w
k
×
k
+b,0) (4)其中，w，b分别表示该非线性映射层的权重与偏置，k
×
k表示卷积核的尺寸，x
in
表示原始图像像素点。3.根据权利要求1所述的一种海上风电场监控图像增强的方法，其特征在于，步骤1中，对非对称卷积结果进行拼接的公式为：上式中，h表示非线性映射运算，表示卷积核为1
×
k1的非线性运算结果，表示卷积核尺寸为k2×
1的非线性运算结果，表示卷积核尺寸为k0×
k0的非线性运算结果。4.根据权利要求1所述的一种海上风电场监控图像增强的方法，其特征在于，步骤1中，对拼接后的图像进行特征筛选的过程为，对拼接后的图像特征学习，通过sigmoid激活函数将结果映射到区间(0,1)之间，获得权重图；将权重图与输入图像的元素相乘或，获得初步图像特征。5.根据权利要求1所述的一种海上风电场监控图像增强的方法，其特征在于，步骤2中，两两拼接的公式为：sconv(x
pa1
)＝concat[h
k
×
k
(x
pa1
),h
k
×
k
(h
k
×
k
(x
pa1
))] (9)其中，h
k
×
k
(x
pa1
)每一个像素的非对称卷积运算结果。6.根据权利要求1所述的一种海上风电场监控图像增强的方法，其特征在于，步骤2中，通过非线性映射对连接的图像进行降维处理。7.根据权利要求1所述的一种海上风电场监控图像增强的方法，其特征在于，步骤3中，通过通道注意模块进行特征筛选的过程为：其中，x
pa2
为像素注意模块的特征筛选图像中像素，h
×
w为x
pa2
的尺寸，(i，j)为x
pa2
的具体位置；
基于公式(14)，获得权重向量：cav(x
pa2
)＝s[aconv(aconv(v(x
pa2
)))] (15)在权重向量的基础上，基于式(16)，获得通道注意模块进行特征筛选后的多通道特征图：8.根据权利要求7所述的一种海上风电场监控图像增强的方法，其特征在于，x
pa2
的计算过程为：其中，x
dense
为降维后的特征图。9.根据权利要求1所述的一种海上风电场监控图像增强的方法，其特征在于，步骤3中，对数运算的过程为：其中，为增强后的图像，为输入图像x的环境光照与噪声的估计，计算公式为：其中，x
ca
为多通道特征图。10.一种海上风电场监控图像增强的系统，其特征在于，包括：特征提取模块，用于对输入图像进行多尺度的非对称卷积运算，将非对称卷积结果进行拼接，对拼接后的图像通过像素注意力模块进行特征筛选后，获得初步图像特征；所述非对称卷积运算为对输入图像进行非线性映射运算；密集特征提取模块，对初步图像特征同步进行m个非对称卷积运算，将非对称卷积运算两两拼接，获得m/2个拼接结果，将m/2个拼接结果连接后，将连接的图像降维处理，获得特征图，将特征图通过密集特征提取模块降维后，获得降维后的特征图，m为偶数；噪声去除模块，将降维后的特征图依次通过像素注意力模块和通道注意模块进行特征筛选后，获得多通道特征图，将多通道特征图进行通道压缩后，将压缩图像进行进行对数运算，去除环境光照和噪声分量，获得增强后的图像。

技术总结
本发明公开了一种海上风电场监控图像增强的方法和系统，该方法首先通过不同尺度卷积核对图像进行初步特征提取，并用像素注意模块对多尺度特征图进行针对性学习，获得初步图像特征；通过跳跃连接结构对初步图像特征进行特征提取，使图像特征被最大限度地利用，然后，利用注意力机制对特征图进行动态分配权重，实现有针对性的增强；最后将环境光照和噪声分量从海上风电场监控图像中除去，用通道注意模块和像素注意模块同时对提取到的特征图进行权重学习和照度估计，得到最终的增强图像，提高了视频的分析质量。视频的分析质量。视频的分析质量。


技术研发人员：樊伟哲 童博 豆增发 张宇 王新 王冰佳 张丽辉 胡若兰 赵剑剑 来毅 庞顺 李光涛 张波
受保护的技术使用者：华能盐城大丰新能源发电有限责任公司 西安交远能源科技有限公司
技术研发日：2023.07.07
技术公布日：2023/10/5