一种基于偏振镜控制的道路积水检测方法及装置与流程

1.本发明涉及道路积水检测领域，更具体的说是涉及一种基于偏振镜控制的道路积水检测方法及装置。


背景技术：

2.现有的道路积水检测方法，并未考虑到利用积水反光在偏振镜不同角度下成像变化的特点实现积水检测，既可保证了监控场景覆盖下的大范围积水检测，又能避免视频图像分析中类似积水的光亮图像的误报干扰。下面介绍几种常用的道路积水检测方案的优缺点
3.1)基于传感器的积水检测：
4.此方法为较为通用的检测方法，可广泛应用于各类场景。如cn202111545707基于积水环境的车速控制方法、装置、设备以及介质，cn202111405519一种地下积水应急系统，cn202121872432一种道路积水检测器，等等。此类方法的优点是检测灵敏度较高；缺点是由于使用传感器，需要在每个期望监控的点位都布置若干传感器来保证信号采样，如果对于大范围的道路做积水检测，需要布置大量的传感器，部署和维护成本都较高。
5.2)基于红外图像的积水检测：
6.此方法以红外图像来表达温度信息，利用温度等级来判断积水的区域，如cn202111139709基于图像处理的城市道路积水检测方法及系统。此类方法的优点是温度信息避免了rgb图像的干扰，可以过滤部分误报；缺点是红外成像和温度的映射受环境温度的干扰较大。
7.3)基于视频图像的积水检测：
8.此方法采用了基于监控相机的视频图像分析，如cn202111131998基于群体智能的积水区域处理方法、装置及存储介质，cn202110622559基于深度卷积神经网络的道路积水检测系统，cn202011490946一种图像识别的方法及装置，cn202110223872一种基于卷积神经网络的降雨强度检测方法，等等。此类方法的优点在于监控相机覆盖范围较广，可以在大范围内检测道路积水的情况；缺点在于与积水接近的图像特征会给检测带来一定干扰，产生误报。
9.4)偏振镜控制：
10.目前的偏振镜控制主要用于视频的成像控制使用，如cn202110704653无人机机载遥控偏振镜系统，cn202110437419一种摄像头自动光线调节装置及调节方法，cn202010835685基于光度立体法获取物体表面纹理的方法及摄影棚，cn202010622342一种极端环境下无人车视觉增强装置及方法，cn201821875720含有滤镜系统的镜头转接环，等等。此类方法通过调整偏振镜的旋转角度，或为了消除待检测目标的反光以提升检测效果，或为了避免光线干扰以提升图像画质，或为了消除光照因素来提取纹理特征。
11.上述方案虽然已实现了偏振镜的旋转控制，但均未将偏振镜在不同旋转角度的成像不同的效果与积水反光特点建立关系模型，实现利用偏振镜旋转成像图像序列达到积水
检测的目的。


技术实现要素：

12.有鉴于此，本发明提供了一种基于偏振镜控制的道路积水检测方法及装置，以解决背景技术中存在的问题。
13.为了实现上述目的，本发明采用如下技术方案：
14.一种基于偏振镜控制的道路积水检测方法，包括以下步骤：
15.获取待检测区域的图像，初步判断是否有积水；
16.若检测到疑似积水区域，控制偏振镜旋转并采集n张图像；
17.将采集到n张图像进行顺序分割，分割出疑似积水区域对应的图像；
18.计算疑似积水区域对应的图像亮度均值，若为真实积水区域，产生警报。
19.可选的，初步判断是否有积水的具体步骤如下：
20.将待检测区域的图像与积水模板图像采用归一化相关系数完成颜色匹配，得到初步匹配结果；
21.基于图像积水的纹理特征，利用粗糙度和对比度计算纹理匹配的相似度，进行二次匹配；
22.结合初步匹配结果和二次匹配结果判断积水情况。
23.可选的，颜色匹配的具体计算方法如下：
24.其中，x为像素点的横坐标，y为像素点的纵坐标，i(x,y)表示待匹配图像，t(x,y)表示积水模板图像，t'(x,y)表示模板图像减去自身均值除以自身方差的计算结果，i'(x,y)表示待匹配图像减去自身均值除以自身方差的计算结果，w表示模板图像宽度，h表示模板图像高度。对于每个像素坐标(x,y)，x'为模板匹配区域的横坐标，取值范围为0到w-1；y'为模板匹配区域的纵坐标，取值范围为0到h-1，计算模板匹配的相似度r(x,y)如下：
[0025][0026]
其中：
[0027][0028][0029]
当匹配区域的相似度r(x,y)超过设定阈值时，将匹配区域计为颜色匹配区域。
[0030]
可选的，粗糙度的计算方法为：
[0031]
计算图像活动窗口的平均强度值，窗口的大小表示为2k×2k
，其中k的取值范围为0-5，x为整幅图像像素点的横坐标，y为整幅图像像素点的纵坐标。i为活动窗口区域内的横坐标，j为活动窗口区域内的纵坐标，g(i,j)为活动窗口区域内的灰度值，则活动窗口的平均强度值ak(x,y)为：
[0032][0033]
计算每个像素水平和垂直方向互不重叠窗口间的平均强度差，e
k,h
(x,y)为水平平均强度差，e
k,v
(x,y)为垂直平均强度差：
[0034]ek,h
(x,y)＝|ak(x+2
k-1
,y)-ak(x-2
k-1
,y)|；
[0035]ek,v
(x,y)＝|ak(x,y+2
k-1
)-ak(x,y-2
k-1
)|；
[0036]
对于每个像素坐标(x,y)，使得平均强度差达到最大时的k值，对应活动窗口的最佳尺寸s
best
(x,y)＝2k，m为图像宽度，n为图像高度，计算图像中每个像素对应活动窗口的最佳尺寸s
best
的均值，得到粗糙度特征f
crs
：
[0037][0038]
可选的，对比度的计算方法为：
[0039]
令μ4为图像的四阶中心距，σ为图像灰度值的标准差，σ2为图像灰度值的方差，α4为图像灰度值的峰态，计算公式为α4＝μ4σ4，图像的对比度f
con
计算如下：
[0040][0041]
对于颜色匹配子模块检测到的颜色匹配区域，通过纹理匹配子模块做检测，当计算出的粗糙度f
crs
和对比度f
con
均达到设定阈值时，匹配区域判定为积水区域。
[0042]
可选的，将采集到n张图像进行顺序分割，分割出疑似积水区域对应的图像，具体步骤如下：
[0043]
获取图像序列in，依次送入yolov4网络，检测到对应的积水区域序列rn和对应的置信度序列cn；
[0044]
对于置信度序列cn，排序计算得到最大的置信度c
max
，对应的积水区域为r
max
；
[0045]
对于图像序列in，以r
max
对序列中的每张图像做分割，最终获得疑似积水区域序列wn。
[0046]
可选的，计算疑似积水区域对应的图像亮度均值，具体为：计算序列中每个积水区域内的亮度均值，得到待识别的亮度均值向量，将待识别的亮度均值向量送入预先训练好的偏振光照变化模型，连续检测到积水区域的时间超过了设定的持续时间阈值t，则判断为积水区域。
[0047]
可选的，还包括构建偏振光照变化模型，具体如下：预先选定若干积水场景，每个场景按照每旋转10度采样一次的方式，对每个积水场景采集36张图片，对每张图片标定积水区域后，计算积水区域的亮度均值l，每个场景得到一组随偏振镜角度变化的亮度均值向量l＝{l1,l2,
···
,l
t
}，其中t为偏振镜旋转间隔采样的序号，采集n组积水场景样本作为偏振光照变化模型训练样本，对此数据做时序上的一维卷积，得到偏振光照变化模型。
[0048]
一种基于偏振镜控制的道路积水检测装置，包括积水图像预检模块、偏振镜旋转控制模块、图像序列积水区域切分模块和积水图像序列分析模块；
[0049]
当积水图像预检模块检测到疑似积水区域，所述偏振镜旋转控制模块控制偏振镜旋转并采集图像；所述图像序列积水区域切分模块将采集到的图像进行序列分割，分割出
图像中的疑似积水区域；利用所述积水图像序列分析模块对疑似积水区域判断。
[0050]
经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于偏振镜控制的道路积水检测方法及装置，具有以下有益效果：
[0051]
1、偏振镜由马达驱动旋转，引入视频预检到疑似区域再驱动偏振镜旋转，可以避免偏振镜一直旋转，延长设备使用寿命；每旋转10度采集一张照片，既可以保证偏振镜在每个旋转角度得到的不同的成像效果都被采集到，又避免采样过多增加计算量；此外，在预检后再启动偏振镜旋转光照变化判断，也可有效减小计算量，降低设备的负载。
[0052]
2、本发明以不同积水情况在偏振镜旋转时的不同图像光照变化数据所建立的模型，可以反映出积水反光在偏振镜旋转时的变化特征，该特征可区分出积水区域与非积水区域；通过偏振光照变化模型判断旋转时的疑似区域光照变化情况，有效避免了单纯图像特征分析带来的误报，提升了检测的精度。
附图说明
[0053]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0054]
图1为本发明的技术路线图；
[0055]
图2为本发明的yolov4网络结构图；
[0056]
图3为本发明的一维卷积网络结构图。
具体实施方式
[0057]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058]
本发明实施例公开了一种基于偏振镜控制的道路积水检测方法，如图1所示，包括以下步骤：
[0059]
s1：获取待检测区域的图像，初步判断是否有积水；
[0060]
s2：若检测到疑似积水区域，控制偏振镜旋转并采集n张图像；
[0061]
s3：将采集到n张图像进行顺序分割，分割出疑似积水区域对应的图像；
[0062]
s4：计算疑似积水区域序列对应的图像亮度均值，得到亮度均值向量；将亮度均值向量送入预先训练好的偏振光照变化模型，识别是否符合积水区域的偏振光照变化，若符合则为真实积水区域，产生警报。
[0063]
具体的，在s1中，当相机采集到图片的时候，如果当前偏振镜不处于旋转状态，图像送入积水图像预检模块做预检测，粗略判断当前区域是否有积水。如果没检测到疑似积水区域，相机继续做图像采集。
[0064]
在s2中，如果积水图像预检模块检测到疑似积水区域，偏振镜旋转控制模块开始控制偏振镜做360度旋转，其中偏振镜每旋转10度采集一张图片，每次旋转共采集36张图
片。
[0065]
在s3中，当偏振镜一次360度旋转完毕时，将采集到的36张图像序列送入积水图像序列分割模块，分割出图像中的疑似积水区域。
[0066]
在s4中，将图像序列的分割结果送入积水图像序列分析模块，分析是否真正存在积水区域，如存在积水区域，产生报警。
[0067]
进一步的，s1中的积水图像预检测模块的目的是提高检测速度，过滤大多数明显没有积水的情况，因此预检测的检测条件会比较宽泛，由后续模块做详细的二次判断确认。积水图像检测有很多方法，如基于深度学习的检测、基于图像直方图的检测、基于边缘的检测等等，这里以采用颜色匹配加纹理匹配的方法，实现图像中疑似积水区域的快速预检。积水图像预检模块由颜色匹配子模块和纹理匹配子模块组成。
[0068]
颜色匹配采用归一化相关系数匹配的方法，以待匹配样本模板图像滑动过整个图像，以归一化相关匹配法比较模板图像与待匹配图像的重叠区域，令x为像素点的横坐标，y为像素点的纵坐标，i(x,y)为待匹配图像，t(x,y)为积水模板图像，t'(x,y)为模板图像减去自身均值除以自身方差的计算结果，i'(x,y)为待匹配图像减去自身均值除以自身方差的计算结果，w为模板图像宽度，h为模板图像高度。对于每个像素坐标(x,y)，x'为模板匹配区域的横坐标，取值范围为0到w-1；y'为模板匹配区域的纵坐标，取值范围为0到h-1，计算模板匹配的相似度r(x,y)如下：
[0069][0070]
其中：
[0071][0072][0073]
当匹配区域的相似度r(x,y)超过设定阈值时，将匹配区域计为颜色匹配区域。
[0074]
颜色匹配无法反映出积水的细节纹理特征，因此需要引入纹理特征进一步对颜色匹配区域进行二次匹配。有多种方法可以描述纹理特征，这里采用tamura算法进行纹理特征匹配。tamura纹理特征包含粗糙度、对比度、方向度、线像度、规整度和粗略度六种特征，这里我们主要利用了粗糙度和对比度计算纹理匹配的相似度。
[0075]
对于图像的粗糙度特征，首先计算图像活动窗口的平均强度值，窗口的大小表示为2k×2k
，其中k的取值范围为0-5，x为整幅图像像素点的横坐标，y为整幅图像像素点的纵坐标。i为活动窗口区域内的横坐标，j为活动窗口区域内的纵坐标，g(i,j)为活动窗口区域内的灰度值，则活动窗口的平均强度值ak(x,y)为：
[0076]
[0077]
计算每个像素水平和垂直方向互不重叠窗口间的平均强度差，e
k,h
(x,y)为水平平均强度差，e
k,v
(x,y)为垂直平均强度差：
[0078]ek,h
(x,y)＝|ak(x+2
k-1
,y)-ak(x-2
k-1
,y)|；
[0079]ek,v
(x,y)＝|ak(x,y+2
k-1
)-ak(x,y-2
k-1
)|；
[0080]
对于每个像素坐标(x,y)，使得平均强度差达到最大时的k值，对应活动窗口的最佳尺寸s
best
(x,y)＝2k，m为图像宽度，n为图像高度，计算图像中每个像素对应活动窗口的最佳尺寸s
best
的均值，得到粗糙度特征f
crs
：
[0081][0082]
通过统计像素的分布，可以计算图像的对比度，令μ4为图像的四阶中心距，σ为图像灰度值的标准差，σ2为图像灰度值的方差，α4为图像灰度值的峰态，计算公式为α4＝μ4σ4，图像的对比度f
con
计算如下：
[0083][0084]
对于颜色匹配子模块检测到的颜色匹配区域，进一步通过纹理匹配子模块做检测，当计算出的粗糙度f
crs
和对比度f
con
均达到设定阈值时，该区域判定为积水图像预检模块检测到的疑似积水区域。
[0085]
进一步的，在s2中，当通过积水图像预检模块检测到疑似积水区域时，偏振镜旋转控制模块向带有偏振镜旋转控制功能的监控相机发送偏振镜旋转指令，驱动偏振镜做360度旋转，其中偏振镜每旋转10度采集一张图片，每次旋转共采集36张图片。当偏振镜旋转360度以后，停止旋转，等待接收下一次积水图像预检模块的驱动指令。
[0086]
进一步的，在s3中，由于监控图像所监控的区域包含了大量的非积水区域，如果将这些区域的图像统一做特征提取送入后续序列分析模块，会对计算结果产生较大的误差，因此需要对图像中的积水区域做切分处理。由于偏振镜是360度旋转，在偏振镜旋转到某些角度下，真实积水区域所产生的成像效果可能不一定能被切分模块所检测到，或者切分的效果并不是非常的理想，因此，这里选取了序列图像中置信度最高的检测区域作为图像序列统一的切分区域。图像分割有很多种方法，这里我们以yolov4方法为例。yolo v4网络结构如图2所示。
[0087]
其中，图像序列积水区域切分流程如下：
[0088]
s31：对于图像序列in，n的取值范围为1-36，共36张图像，依次送入yolov4网络，检测到对应的积水区域序列rn和对应的置信度序列cn。
[0089]
s32：对于置信度序列cn，排序计算得到最大的置信度c
max
，对应的积水区域为r
max
。
[0090]
s33：对于图像序列in，以r
max
对序列中的每张图像做分割，最终获得积水区域序列wn。
[0091]
进一步的，在s4中，为了学习积水区域随着偏振镜的旋转而产生的光照变化的特点，这里预先选定了若干积水场景，每个场景按照每旋转10度采样一次的方式，对每个积水场景采集36张图片，对每张图片标定积水区域后，计算积水区域的亮度均值l，每个场景得到一组随偏振镜角度变化的亮度均值向量l＝{l1,l2,
···
,l
t
}，其中t为偏振镜旋转间隔采样的序号，取值范围为1-36。采集n组积水场景样本作为偏振光照变化模型训练样本，对
此数据做时序上的一维卷积，得到偏振光照变化模型，一维卷积网络结构如图3所示。
[0092]
对于图像序列积水区域切分模块所得到的积水区域序列wn，计算序列中每个积水区域内的亮度均值，得到待分析的亮度均值向量，将此向量送入预先训练好的偏振光照变化模型，判断是否为积水区域。当连续检测到积水区域的时间超过了设定的持续时间阈值t时，系统产生报警。
[0093]
本实施例还公开了一种基于偏振镜控制的道路积水检测装置，包括积水图像预检模块、偏振镜旋转控制模块、图像序列积水区域切分模块和积水图像序列分析模块；
[0094]
当积水图像预检模块检测到疑似积水区域，偏振镜旋转控制模块控制偏振镜旋转并采集图像；图像序列积水区域切分模块将采集到的图像进行序列分割，分割出图像中的疑似积水区域；利用积水图像序列分析模块对疑似积水区域判断。
[0095]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0096]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于偏振镜控制的道路积水检测方法，其特征在于，包括以下步骤：获取待检测区域的图像，初步判断是否有积水；若检测到疑似积水区域，控制偏振镜旋转并采集n张图像；将采集到n张图像进行顺序分割，分割出疑似积水区域对应的图像；计算疑似积水区域对应的图像亮度均值，若为真实积水区域，产生警报。2.根据权利要求1所述的一种基于偏振镜控制的道路积水检测方法，其特征在于，初步判断是否有积水的具体步骤如下：将待检测区域的图像与积水模板图像采用归一化相关系数完成颜色匹配，得到初步匹配结果；基于图像积水的纹理特征，利用粗糙度和对比度计算纹理匹配的相似度，进行二次匹配；结合初步匹配结果和二次匹配结果判断积水情况。3.根据权利要求2所述的一种基于偏振镜控制的道路积水检测方法，其特征在于，颜色匹配的具体计算方法如下：其中，x为像素点的横坐标，y为像素点的纵坐标，i(x,y)表示待匹配图像，t(x,y)表示积水模板图像，t'(x,y)表示模板图像减去自身均值除以自身方差的计算结果，i'(x,y)表示待匹配图像减去自身均值除以自身方差的计算结果，w表示模板图像宽度，h表示模板图像高度；对于每个像素坐标(x,y)，x'为模板匹配区域的横坐标，取值范围为0到w-1；y'为模板匹配区域的纵坐标，取值范围为0到h-1，计算模板匹配的相似度r(x,y)如下：其中：其中：当匹配区域的相似度r(x,y)超过设定阈值时，将匹配区域计为颜色匹配区域。4.根据权利要求2所述的一种基于偏振镜控制的道路积水检测方法，其特征在于，粗糙度的计算方法为：计算图像活动窗口的平均强度值，窗口的大小表示为2
k
×2k
，其中k的取值范围为0-5，x为整幅图像像素点的横坐标，y为整幅图像像素点的纵坐标；i为活动窗口区域内的横坐标，j为活动窗口区域内的纵坐标，g(i,j)为活动窗口区域内的灰度值，则活动窗口的平均强度值a
k
(x,y)为：
计算每个像素水平和垂直方向互不重叠窗口间的平均强度差，e
k,h
(x,y)为水平平均强度差，e
k,v
(x,y)为垂直平均强度差：e
k,h
(x,y)＝|a
k
(x+2
k-1
,y)-a
k
(x-2
k-1
,y)|；e
k,v
(x,y)＝|a
k
(x,y+2
k-1
)-a
k
(x,y-2
k-1
)|；对于每个像素坐标(x,y)，使得平均强度差达到最大时的k值，对应活动窗口的最佳尺寸s
best
(x,y)＝2
k
，m为图像宽度，n为图像高度，计算图像中每个像素对应活动窗口的最佳尺寸s
best
的均值，得到粗糙度特征f
crs
：5.根据权利要求3所述的一种基于偏振镜控制的道路积水检测方法，其特征在于，对比度的计算方法为：令μ4为图像的四阶中心距，σ为图像灰度值的标准差，σ2为图像灰度值的方差，α4为图像灰度值的峰态，计算公式为α4＝μ4/σ4，图像的对比度f
con
计算如下：对于颜色匹配子模块检测到的颜色匹配区域，通过纹理匹配子模块做检测，当计算出的粗糙度f
crs
和对比度f
con
均达到设定阈值时，匹配区域判定为积水区域。6.根据权利要求1所述的一种基于偏振镜控制的道路积水检测方法，其特征在于，将采集到n张图像进行顺序分割，分割出疑似积水区域对应的图像，具体步骤如下：获取图像序列i
n
，依次送入yolo v4网络，检测到对应的积水区域序列r
n
和对应的置信度序列c
n
；对于置信度序列c
n
，排序计算得到最大的置信度c
max
，对应的积水区域为r
max
；对于图像序列i
n
，以r
max
对序列中的每张图像做分割，最终获得疑似积水区域序列w
n
。7.根据权利要求1所述的一种基于偏振镜控制的道路积水检测方法，其特征在于，计算疑似积水区域对应的图像亮度均值，具体为：计算序列中每个积水区域内的亮度均值，得到待识别的亮度均值向量，将待识别的亮度均值向量送入预先训练好的偏振光照变化模型，连续检测到积水区域的时间超过了设定的持续时间阈值t，则判断为积水区域。8.根据权利要求1所述的一种基于偏振镜控制的道路积水检测方法，其特征在于，还包括构建偏振光照变化模型，具体如下：预先选定若干积水场景，每个场景按照每旋转10度采样一次的方式，对每个积水场景采集36张图片，对每张图片标定积水区域后，计算积水区域的亮度均值l，每个场景得到一组随偏振镜角度变化的亮度均值向量l＝{l1,l2,
···
,l
t
}，其中t为偏振镜旋转间隔采样的序号，采集n组积水场景样本作为偏振光照变化模型训练样本，对此数据做时序上的一维卷积，得到偏振光照变化模型。9.一种基于偏振镜控制的道路积水检测装置，其特征在于，包括积水图像预检模块、偏振镜旋转控制模块、图像序列积水区域切分模块和积水图像序列分析模块；当积水图像预检模块检测到疑似积水区域，所述偏振镜旋转控制模块控制偏振镜旋转并采集图像；所述图像序列积水区域切分模块将采集到的图像进行序列分割，分割出图像中的疑似积水区域；利用所述积水图像序列分析模块对疑似积水区域判断。

技术总结
本发明公开了一种基于偏振镜控制的道路积水检测方法及装置，涉及道路积水检测领域。本发明的方法包括以下步骤：获取待检测区域的图像，初步判断是否有积水；若检测到疑似积水区域，控制偏振镜旋转并采集N张图像；将采集到N张图像进行顺序分割，分割出疑似积水区域对应的图像；计算疑似积水区域对应的图像亮度均值，若为真实积水区域，产生警报。本发明以不同积水情况在偏振镜旋转时的不同图像光照变化数据所建立的模型，可以反映出积水反光在偏振镜旋转时的变化特征，该特征可区分出积水区域与非积水区域；通过偏振光照变化模型判断旋转时的疑似区域光照变化情况，有效避免了单纯图像特征分析带来的误报，提升了检测的精度。提升了检测的精度。提升了检测的精度。


技术研发人员：谢晨 潘今一 周波 汤安平 张伟 俞斌 张晰伦
受保护的技术使用者：佛山弘视智能信息科技有限公司
技术研发日：2023.04.28
技术公布日：2023/8/28