基于深度学习的轻量级消防通道堵塞检测方法

1.本发明涉及消防通道堵塞检测技术领域，尤其涉及基于深度学习的轻量级消防通道堵塞检测方法。


背景技术：

2.基于深度学习的消防通道堵塞检测技术的研究，其主要目的是为了能够有效的减少由于消防通道堵塞或占用而导致的重大火灾事故的发生，在消防通道被堵塞或占用时，可以通过模型来识别消防通道中存在的障碍物，同时发出预警提示给相关保安或者负责人及时处理堵塞情况。同时还可以将图片保存作为处罚和追责的工具，反馈给有关的消防部门；
3.本部分研究内容是针对消防通道场景下，对目标检测的神经网络模型进行相关优化处理：一是，在大多数楼栋住宅的消防通道场景下，堵塞占用的情况往往是家庭日用品，自行车，或者废弃品，如纸箱，生活垃圾等杂物堆积而造成的堵塞，这种堵塞的检测往往存在很多重叠或遮挡的情况，给模型的检测带来困难；二是，该系统需要将摄像头采集到的图像数据在摄像头中的目标检测模型进行相关识别，而一般来说嵌入式设备推理能力有限，如果模型推理的速度过慢，会影响整个系统的正常运行，所以需要设计一种兼顾检测精度与推理速度的目标检测模型，为此，我们提出基于深度学习的轻量级消防通道堵塞检测方法。


技术实现要素：

4.本发明的目的是为了提出基于深度学习的轻量级消防通道堵塞检测方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.基于深度学习的轻量级消防通道堵塞检测方法，该消防通道堵塞检测方法主要包括以下步骤：
7.s1、模型轻量化；
8.s2、模型的边界框损失函数优化；
9.s3、融合ca注意力机制；
10.s4、面向消防通道场景下的自适应图像增强。
11.作为本发明进一步的方案：步骤s1中所述模型轻量化是将yolov5的主干网络替换为轻量化网络mobilenetv3，其特点具体表现为：
12.mobilenetv3采用了深度可分离卷积，深度分离卷积是mobilenet系列的主要特点，也是其发挥轻量级作用的主要因素，深度可分离卷积分为两个过程：
13.a、channel方向通道可分离卷积；
14.b、正常的1x1卷积输出指定的channel个数；
15.mobilenet使用3
×
3深度可分离卷积，其计算量比标准卷积少8-9倍，而仅在精度上有小幅下降。
16.作为本发明进一步的方案：步骤s2中通过引入eiou损失优化原有ciou损失，eiou是在ciou的惩罚项基础上将预测框和真实框的纵横比的影响因子拆开，分别计算预测框和真实框的长和宽，来解决ciou存在的问题，具体为：
[0017][0018][0019]
其中eiou损失函数包含三个部分：预测框和真实框的重叠损失l
iou
，预测框和真实框的中心距离损失l
dis
，预测框和真实框的宽和高损失l
asp
；eiou损失的前两部分延续ciou中的方法，但是宽高损失直接使预测框与真实框的宽度和高度之差最小，使得收敛速度更快，且不受宽和高为线性比例时失效的影响。
[0020]
作为本发明进一步的方案：步骤s3中所述ca注意力机制可看作增强移动网络特征表达能力的计算单元，接受中间特征：
[0021]
x＝[x1,x2,
…
,xc]∈rc×h×wꢀꢀ
(3.15)
[0022]
作为输入，同时输出与x大小完全相同的增强特征：
[0023]
y＝[y1,y2,
…
,yc]
ꢀꢀꢀ
(3.16)
[0024]
作为本发明进一步的方案：步骤s4中利用人工神经网络对图像进行自适应的增强，实现反射率/照度分解和弱光增强的结合，该人工神经网络由分解、调整和重构三个步骤组成，具体如下：
[0025]
在分解步骤中，通过一个分解网络将输入图像分解为r和i，在训练阶段接收成对的低光/正常光图像，在低光图像和常光图像具有相同反射率的指导下，学习微光图像及其对应的常光图像的分解；在训练过程中，不需要提供反射率和照度的正确值，只要有包括反射率的一致性和照明映射的平滑性嵌入到网络作为损失函数，故分解网络的损失函数为公式如下：
[0026]
l
decome
＝l
recon
+λ
ir
l
ir
+λ
is
l
is
ꢀꢀ
(3.2)
[0027]
其中，l
recon
为重建损失，l
ir
为不变反射率损失，l
is
以及平滑度损失，λ
ir
，λ
is
分别为l
ir
和l
is
的权重系数；
[0028]
在假设r
low
和r
high
都可以用对应的光照映射重建图像的基础上，则重建损失l
recon
的公式为：
[0029][0030]
引入不变反射率损失l
ir
约束反射率的一致性，故l
ir
的表达式为：
[0031]
l
ir
＝||r
low-r
normal
||1ꢀꢀ
(3.4)
[0032]
在测试阶段只接收低光图像作为输入，在低光/常光图像具有相同的反射率和光照平滑度的约束下，分解网络可以学会以数据驱动的方式提取不同光照图像之间的一致r；
[0033]
在调整步骤中，使用一个增强网络来提高照明图的亮度。增强网络采用了编码器-解码器的整体框架。该方法采用多尺度拼接方法，在保持大区域内光照与上下文信息的全局一致性的同时，集中注意力调整局部分布；
[0034]
在重构步骤中，通过元素乘法将调整后的照度和反射率结合起来还原成增强后的图像，增强网络的损失函数l由重建损失l
recon
和照明平滑损失l
is
组成，即公式为：
[0035]
l＝l
recon
+l
is
ꢀꢀꢀ
(3.5)
[0036]
该训练部分，本人工神经网络使用lowlightpaireddataset(lol)数据集进行训练，该数据集为一个包含低/正常光图像对的低光数据集，同时添加上自制的包含低/正常光图像对的消防通道低光数据集，以增强模型对于消防通道的自适应增强效果。
[0037]
相比于现有技术，本发明的有益效果在于：
[0038]
一是，在嵌入式ai摄像头中部署已经训练完的消防通道堵塞检测的深度学习模型；
[0039]
二是，实现在线推理功能，提供的推理api接口可以调用已在云端部署的模型进行推理工作，并可以根据推理结果定制自定义返回的结果报告，当前检测情况是否为堵塞情况等；
[0040]
三是，实现在云端进行模型快速管理的功能，并且提供简单的api接口进行快速管理配置。
附图说明
[0041]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0042]
图1为本发明提出的基于深度学习的轻量级消防通道堵塞检测方法的流程图；
[0043]
图2为本实施例中mobilenetv3的网络结构图；
[0044]
图3为本实施例中mobilenet的网络结构图。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0046]
参照图1-图3，基于深度学习的轻量级消防通道堵塞检测方法，主要基于yolov5目标检测模型，在其基础之上针对当前消防通道场景进行相关优化改进，该消防通道堵塞检测方法主要包括以下步骤：
[0047]
s1、模型轻量化：
[0048]
通过将yolov5的主干网络替换为轻量化网络mobilenetv3，轻量化网络的特点是参数少、计算量小、推理时间短，更适用于存储空间和功耗受限的场景，例如移动端嵌入式设备等边缘计算设备，因此轻量化网络受到了广泛的关注，其中mobilenet更是其中的佼佼者，mobilenetv3经过了v1和v2前两代的积累，性能和速度都表现优异，参考图2，mobilenetv3的网络结构图；
[0049]
需要进一步说明的是，mobilenetv3采用了深度可分离卷积，深度分离卷积是mobilenet系列的主要特点，也是其发挥轻量级作用的主要因素，深度可分离卷积分为两个过程：
[0050]
a、channel方向通道可分离卷积；
[0051]
b、正常的1x1卷积输出指定的channel个数；
[0052]
参考图3，mobilenet使用3
×
3深度可分离卷积，其计算量比标准卷积少8-9倍，而仅在精度上有小幅下降。
[0053]
s2、模型的边界框损失函数优化：
[0054]
目标定位是要在图像中确定目标的位置，输出其在图像中的坐标信息，目标定位依赖边界框回归模块去定位目标，边界框回归是指使用矩形边界框去预测目标对象在图像中的位置，然后不断细化预测边界框的位置。
[0055]
yolov5中的边界框损失函数使用的是ciou损失函数，而ciou损失函数是由diou改进而来，虽然diou解决了当预测框和真实框相交(部分重叠)、预测框包含在真实框内部两种情况下的预测框回归收敛问题，但是这都是通过最小化预测框和真实框两个中心点的距离实现的。为了加快这两种情况下的预测框回归收敛更快、更准确，因此提出了ciou损失函数如下：
[0056][0057][0058][0059]
其中α是用于平衡比例的参数，v用来衡量预测框和真实框的宽和高之间的比例一致性。b代表预测框，b
gt
代表真实框，ω
gt
,h
gt
代表真实框的宽和高，w和h代表预测框的宽和高。ρ2(b,b
gt
)为预测框与真实框中心点的欧式距离。
[0060]
但从公式可以看出ciou使用的是预测框和真实框的宽和高的相对比例，并不是宽和高的值。根据纵横比v的定义，可以看出只要预测框的宽和高和真实框的比例满足：
[0061]
{(w＝kw
gt
,h＝kh
gt
)|k∈r
+
}
ꢀꢀ
(3.9)
[0062]
那么ciou中的添加的相对比例的惩罚项便不再起作用。从预测框的宽和高的相对于v的公式：
[0063][0064][0065]
可以推导出：
[0066][0067]
表明预测框w和h的梯度值是具有相反的符号。这个相反的符号在训练的过程中问题就很大，它表明预测框回归过程中w和h其中某一个值增大时，另外一个值必须减小，预测框回归过程中它的w和h不能同增或者同减。
[0068]
ciou将边界框的纵横比作为惩罚项加入到边界框损失函数中，一定程度上可以加快预测框的回归收敛过程，但是一旦收敛到预测框和真实框的宽和高呈现线性比例时，就会导致预测框回归时的宽和高不能同时增大或者减少。
[0069]
针对ciou的缺陷，设计一种新的eiou损失函数，通过引入eiou损失优化原有ciou损失，eiou是在ciou的惩罚项基础上将预测框和真实框的纵横比的影响因子拆开，分别计算预测框和真实框的长和宽，来解决ciou存在的问题，具体为：
[0070][0071][0072]
其中eiou损失函数包含三个部分：预测框和真实框的重叠损失l
iou
，预测框和真实框的中心距离损失l
dis
，预测框和真实框的宽和高损失l
asp
；eiou损失的前两部分延续ciou中的方法，但是宽高损失直接使预测框与真实框的宽度和高度之差最小，使得收敛速度更快，且不受宽和高为线性比例时失效的影响。
[0073]
s3、融合ca注意力机制：
[0074]
目前，轻量级网络的注意力机制大都采用se模块，仅考虑了通道间的信息，忽略了位置信息，尽管后来的bam和cbam尝试在降低通道数后通过卷积来提取位置注意力信息，但卷积只能提取局部关系，缺乏长距离关系提取的能力。为此，提出了新的高效注意力机制coordinate attention(ca)，能够将横向和纵向的位置信息编码到通道注意力中，使得移动网络能够关注大范围的位置信息又不会带来过多的计算量。
[0075]
因此，ca注意力机制可看作增强移动网络特征表达能力的计算单元，接受中间特征：
[0076]
x＝[x1,x2,
…
,xc]∈rc×h×wꢀꢀ
(3.15)
[0077]
作为输入，同时输出与x大小完全相同的增强特征：
[0078]
y＝[y1,y2,
…
,yc]
ꢀꢀꢀ
(3.16)
[0079]
显然，ca注意力机制的优势主要有以下几点：
[0080]
a.不仅获取了通道间的信息，还考虑了方向相关的位置信息，有助于模型更好地定位和识别目标；
[0081]
b.足够灵活和轻量，能够简单的插入移动网络的核心结构中；
[0082]
c.可以作为预训练模型用于多种任务中，如检测和分割，均有不错的性能提升；
[0083]
由于yolov5的网络结构的头部工作为对目标位置的定位，故本研究计划将ca注意力机制融合进yolov5的头部网络，以增强模型对目标定位的精度。
[0084]
s4、面向消防通道场景下的自适应图像增强：
[0085]
使用深度学习网络对采集到的图像或视频数据进行自适应的图像处理。在楼栋住宅消防通道场景下，因为缺乏照明，摄像头采集图像时往往都是处在低光环境之下，图像捕获时光线不足会显著降低图像的可见性。细节的丢失和低对比度会影响许多针对普通光图像设计的目标检测模型的性能，为了使隐藏的细节可见，提高目标检测模型的检测性能，需要对弱光图像进行增强。
[0086]
retinex-net最初是由wei等人提出的一种基于端对端有监督学习的低光图像增强网络，该算法在retinex理论的基础上，使用卷积神经网络对图像进行增强。retinex理论以物体具有颜色恒常性为基础，物体的颜色亮度只和物体在各种波长的反射率有关，因此
要排除光照强度的影响。将观测到的图像可以分解为反射和照度两部分，那么它可以表示为公式(3.1)，其中，s代表原图像，r代表反射分量，i代表光照分量，
°
代表逐项素乘积，反射率描述了被捕获物体的内在特性，它被认为在任何亮度条件下都是一致的。照度表示物体上的各种明度。
[0087]
在低光图像上，它通常受到黑暗和照明分布不平衡的影响。
[0088][0089]
基于retinex理论，利用人工神经网络对图像进行自适应的增强，实现反射率/照度分解和弱光增强的结合，该人工神经网络由分解、调整和重构三个步骤组成，具体如下：
[0090]
在分解步骤中，通过一个分解网络将输入图像分解为r和i，在训练阶段接收成对的低光/正常光图像，在低光图像和常光图像具有相同反射率的指导下，学习微光图像及其对应的常光图像的分解；在训练过程中，不需要提供反射率和照度的正确值，只要有包括反射率的一致性和照明映射的平滑性嵌入到网络作为损失函数，故分解网络的损失函数为公式如下：
[0091]
l
decome
＝l
recon
+λ
ir
l
ir
+λ
is
l
is
ꢀꢀ
(3.2)
[0092]
其中，l
recon
为重建损失，l
ir
为不变反射率损失，l
is
以及平滑度损失，l
ir
，l
is
分别为l
ir
和l
is
的权重系数；
[0093]
在假设r
low
和r
high
都可以用对应的光照映射重建图像的基础上，则重建损失l
recon
的公式为：
[0094][0095]
引入不变反射率损失l
ir
约束反射率的一致性，故l
ir
的表达式为：
[0096]
l
ir
＝||r
low-r
normal
||1ꢀꢀ
(3.4)
[0097]
在测试阶段只接收低光图像作为输入，在低光/常光图像具有相同的反射率和光照平滑度的约束下，分解网络可以学会以数据驱动的方式提取不同光照图像之间的一致r；
[0098]
在调整步骤中，使用一个增强网络来提高照明图的亮度。增强网络采用了编码器-解码器的整体框架。该方法采用多尺度拼接方法，在保持大区域内光照与上下文信息的全局一致性的同时，集中注意力调整局部分布；
[0099]
在重构步骤中，通过元素乘法将调整后的照度和反射率结合起来还原成增强后的图像，增强网络的损失函数l由重建损失l
recon
和照明平滑损失l
is
组成，即公式为：
[0100]
l＝l
recon
+l
is
ꢀꢀ
(3.5)
[0101]
该训练部分，本人工神经网络使用lowlightpaireddataset(lol)数据集进行训练，该数据集为一个包含低/正常光图像对的低光数据集，同时添加上自制的包含低/正常光图像对的消防通道低光数据集，以增强模型对于消防通道的自适应增强效果。
[0102]
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

技术特征：
1.基于深度学习的轻量级消防通道堵塞检测方法，其特征在于，该消防通道堵塞检测方法主要包括以下步骤：s1、模型轻量化；s2、模型的边界框损失函数优化；s3、融合ca注意力机制；s4、面向消防通道场景下的自适应图像增强。2.根据权利要求1所述的基于深度学习的轻量级消防通道堵塞检测方法，其特征在于，步骤s1中所述模型轻量化是将yolov5的主干网络替换为轻量化网络mobilenetv3，其特点具体表现为：mobilenetv3采用了深度可分离卷积，深度分离卷积是mobilenet系列的主要特点，也是其发挥轻量级作用的主要因素，深度可分离卷积分为两个过程：a、channel方向通道可分离卷积；b、正常的1x1卷积输出指定的channel个数；mobilenet使用3
×
3深度可分离卷积，其计算量比标准卷积少8-9倍，而仅在精度上有小幅下降。3.根据权利要求1所述的基于深度学习的轻量级消防通道堵塞检测方法，其特征在于，步骤s2中通过引入eiou损失优化原有ciou损失，eiou是在ciou的惩罚项基础上将预测框和真实框的纵横比的影响因子拆开，分别计算预测框和真实框的长和宽，来解决ciou存在的问题，具体为：问题，具体为：其中eiou损失函数包含三个部分：预测框和真实框的重叠损失l
iou
，预测框和真实框的中心距离损失l
dis
，预测框和真实框的宽和高损失l
asp
；eiou损失的前两部分延续ciou中的方法，但是宽高损失直接使预测框与真实框的宽度和高度之差最小，使得收敛速度更快，且不受宽和高为线性比例时失效的影响。4.根据权利要求1所述的基于深度学习的轻量级消防通道堵塞检测方法，其特征在于，步骤s3中所述ca注意力机制可看作增强移动网络特征表达能力的计算单元，接受中间特征：x＝[x1，x2，
…
，x
c
]∈r
c
×
h
×
w
ꢀꢀꢀꢀ
(3.15)作为输入，同时输出与x大小完全相同的增强特征：y＝[y1，y2，
…
，y
c
]
ꢀꢀꢀꢀꢀꢀ
(3.16)。5.根据权利要求1所述的基于深度学习的轻量级消防通道堵塞检测方法，其特征在于，步骤s4中利用人工神经网络对图像进行自适应的增强，实现反射率/照度分解和弱光增强的结合，该人工神经网络由分解、调整和重构三个步骤组成，具体如下：在分解步骤中，通过一个分解网络将输入图像分解为r和i，在训练阶段接收成对的低
光/正常光图像，在低光图像和常光图像具有相同反射率的指导下，学习微光图像及其对应的常光图像的分解；在训练过程中，不需要提供反射率和照度的正确值，只要有包括反射率的一致性和照明映射的平滑性嵌入到网络作为损失函数，故分解网络的损失函数为公式如下：l
decome
＝l
recon
+λ
ir
l
ir
+λ
is
l
is
ꢀꢀꢀꢀ
(3.2)其中，l
recon
为重建损失，l
ir
为不变反射率损失，l
is
以及平滑度损失，λ
ir
，λ
is
分别为l
ir
和l
is
的权重系数；在假设r
low
和r
high
都可以用对应的光照映射重建图像的基础上，则重建损失l
recon
的公式为：引入不变反射率损失l
ir
约束反射率的一致性，故l
ir
的表达式为：l
ir
＝||r
low-r
normal
||1ꢀꢀꢀꢀ
(3.4)在测试阶段只接收低光图像作为输入，在低光/常光图像具有相同的反射率和光照平滑度的约束下，分解网络可以学会以数据驱动的方式提取不同光照图像之间的一致r；在调整步骤中，使用一个增强网络来提高照明图的亮度，增强网络采用了编码器-解码器的整体框架，该方法采用多尺度拼接方法，在保持大区域内光照与上下文信息的全局一致性的同时，集中注意力调整局部分布；在重构步骤中，通过元素乘法将调整后的照度和反射率结合起来还原成增强后的图像，增强网络的损失函数l由重建损失l
recon
和照明平滑损失l
is
组成，即公式为：l＝l
recon
+l
is
ꢀꢀꢀꢀ
(3.5)该训练部分，本人工神经网络使用lowlightpaireddataset(lol)数据集进行训练，该数据集为一个包含低/正常光图像对的低光数据集，同时添加上自制的包含低/正常光图像对的消防通道低光数据集，以增强模型对于消防通道的自适应增强效果。

技术总结
本发明公开了基于深度学习的轻量级消防通道堵塞检测方法，涉及消防通道堵塞检测技术领域，基于YOLOv5目标检测模型，在其基础之上针对当前消防通道场景进行相关优化改进；本发明通过在嵌入式AI摄像头中部署已经训练完的消防通道堵塞检测的深度学习模型，能够实现在线推理功能，提供的推理API接口可以调用已在云端部署的模型进行推理工作，并可以根据推理结果定制自定义返回的结果报告，实时监测当前检测情况是否为堵塞情况，实现在云端进行模型快速管理的功能，并且提供简单的API接口进行快速管理配置。快速管理配置。快速管理配置。


技术研发人员：周子越 杜勇前 林雨 王立川 黄宇鹏
受保护的技术使用者：华侨大学
技术研发日：2023.05.22
技术公布日：2023/8/24