一种基于视觉的城市内涝智能预警方法及系统与流程

1.本发明涉及防汛技术领域，特别是指一种基于视觉的城市内涝智能预警方法及系统。


背景技术：

2.传统的以水位计为代表的点检测方式，无法全面反映城市道路积水情况，存在监测盲区。视频监控摄像头广泛布设在城市路口、桥梁等易发生内涝的场所，可以全天候监测城市积水情况。但是依靠人工监测视频十分耗时耗力，无法实现实时预警。机器视觉技术可以自动识别视频中的积水情况，实现智能预警报警，提高防汛救灾效率。
3.针对视频监控的城市内涝识别，现有技术存在如下不足：（1）针对不同路况的积水情况识别效果差异大；（2）无法精确计算积水量，无法评估积水对交通的影响程度；（3）未考虑道路本底高程信息，积水深度计算不准确；（4）缺乏对人员返流行为的智能检测。
4.为解决上述技术问题，本发明提出一种基于视觉的城市内涝智能预警方法及系统。该方法利用图像处理与深度学习算法，实现对城市道路视频监控图像的积水智能识别与预警，可以准确获取积水分布区域、计算积水量，实现对人员返流行为的监测，对城市防汛决策提供支持，具有广阔的应用前景。


技术实现要素：

5.本发明实施例提供了一种基于视觉的城市内涝智能预警方法及系统。所述技术方案如下：本发明实施例提供的技术方案带来的有益效果至少包括：第一方面，一种基于视觉的城市内涝智能预警方法，所述方法包括：图像采集，获取视觉镜头采集的场景图像；图像预处理，对图像进行增强、矫正等预处理；roi区域分级，根据路口类型、车道类型等对积水区域进行分类和编号；输入模型检测，采用mask r-cnn模型结合resnet backbone进行积水检测分割，将预处理后的图像输入积水检测模型进行检测，输出分割结果图，获取图像各积水区域的轮廓；绘制积水分布最小矩形框，计算积水面积和深度；映射至道路场景图像上；分级预警。
6.优选的是，所述方法还包括d级危房人员返流检测方法。
7.优选的是，所述d级危房人员返流检测方法采用视觉识别方式，通过区域识别算法模型自动辨识人员进入禁区，结合热成像技术，保障昼夜识别能力。
8.优选的是，所述roi区域分级包括：一般路口积水roi编号为roi_1;
t字路口车道转角积水roi编号为roi_2;十字路口中心交叉区积水roi编号为roi_3。
9.优选的是，所述积水面积和深度计算是通过将积水区域像素数量转换为实际面积并结合道路本底高程数据，根据积水轮廓线高程计算积水深度。
10.优选的是，所述结合道路本底高程数据为对特定路口历年积水分析得出不同路口经验值。
11.第二方面，所述系统采用b/s架构，包括：基础资源层，用于提供网络环境、系统运行环境、前端视觉和视觉管理平台；核心算法层，用于实现积水检测和人员返流事件检测算法的设计、训练、测试和运行，为系统应用提供计算服务支持；应用层，用于实现积水检测和d级危房人员返流事件识别、预警信息处理和推送、积水分析统计报表和视觉管理功能。
12.第三方面，本装置包括：图像采集模块，用于获取视频图像；图像预处理模块，用于对采集图像进行处理提升质量；roi区域分割模块，用于对图像进行区域分割，提取积水潜在区域；积水识别模块，用于基于积水算法模型对提取的roi区域进行积水识别，输出积水区域分割结果；轮廓分析模块，用于对积水区域进行轮廓分析，提取轮廓线信息；积水信息计算模块，用于根据积水轮廓线信息计算积水面积和估算积水深度；报警模块。
13.优选的是，所述应用层还实现视觉管理功，包括：视觉设备管理模块，用于对视觉设备进行添加、删除、修改、查询等管理。
14.优选的是，所述行为分析模块采用基于卷积lstm的行为分类模型。
15.本发明中roi区域划分可以减少算力并且提高精度，对于实际部署的积水智能预警系统非常重要，具有明显的优化作用。
16.采用mask r-cnn模型结合resnet backbone进行积水检测分割的实际意义在于构建了一种能够准确捕捉图像中积水区域的模型，并具备较强的分割能力。这样的模型可以有效地识别和定位积水区域，为后续的处理和分析提供了可靠的基础。
17.3、可针对不同路况的积水情况，评估积水对交通的影响程度，充分考虑道路本底高程信息，积水深度计算准确。
18.4、本发明在内涝智能预警架构中提出了基础资源层、核心算法层、应用层的系统架构，实现了算法、应用、管理的解耦。
附图说明
19.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本发明一种基于视觉的城市内涝智能预警方法流程图；图2是本发明d级危房人员返流事件识别方法流程图；图3是本发明提供的积水面积、报警时间柱形图；图4是本发明提供的积水深度、报警时间折形图；
实施方式
21.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
22.本发明实施例提供了一种基于视觉的城市内涝智能预警方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。
23.如图1所示的一种基于视觉的城市内涝智能预警方法流程图，该方法的处理流程可以包括如下的步骤：步骤s100，图像采集，获取视觉镜头采集的场景图像。
24.具体为，步骤s110采用市政摄像头实时采集路口场景视频画面；步骤s120支持n台摄像头同时工作，获取多角度场景信息；步骤s130根据路口类型，安装不同数量和角度的摄像头；步骤s140图像采集模块支持图片和视频数据的采集；步骤s150图像获取模块通过网络上传至服务器端。
25.步骤s200，图像预处理，对图像进行增强、矫正等预处理。
26.具体为，步骤s210图像规格化：将不同摄像头读取的图像调整至统一分辨率和色彩空间；步骤s220图像增强：采用匀化操作、sharpen滤波等提升图像对比度；步骤s230高斯滤波：减小图像噪声，提高图像质量；步骤s240直方图均衡化：步骤s250改善暗部及高光区域，更均衡分布像素值。
27.步骤s300， roi区域分级，需要先理解场景，然后根据道路情况将积水区域进行分类、根据路口类型和车道类型等对积水区域进行分类和编号具体为，步骤310一般路口积水roi编号为roi_1;步骤320 t字路口车道转角积水roi编号为roi_2;步骤330十字路口中心交叉区积水roi编号为roi_3。
28.需要说明的是，roi区域分级和编号提高积水检测的准确性，通过理解场景并对积水区域进行分类和编号，可以根据不同路口和车道类型的特征，针对性地处理积水情况。这有助于提高积水检测的准确性，减少误报和漏报的情况发生。将积水区域分级和编号，可以更好地区分和识别不同类型的积水情况，为后续的分析和处理提供更精确的数据基础。
29.优化资源分配和应急响应：不同类型的积水区域可能需要采取不同的处理措施和应急响应。通过对积水区域进行分类和编号，可以更好地了解每个区域的特点和重要性，从而优化资源的分配和应急响应的安排。例如，在一般路口的积水区域（roi_1）可能需要较低级别的处理，而t字路口车道转角的积水区域（roi_2）可能需要更高级别的处理。这样可以提高处理效率，快速响应重要区域的需求。
30.步骤400，输入模型检测，将预处理后的图像输入积水检测模型进行检测，输出分割结果图，获取图像各积水区域的轮廓。
31.具体为，步骤410构建积水检测模型:收集和标注积水图像数据集，包含积水和非积水区域的像素级标注；选择mask r-cnn模型，使用resnet backbone调整网络结构；训练
积水检测分割模型，使用交叉熵损失函数，采用图像增强等方式提升鲁棒性；保存训练好的模型参数。
32.需要说明的是，通过收集和标注积水图像数据集，并使用mask r-cnn模型进行训练，可以使模型学习到积水和非积水区域的特征，并具备较好的分割能力，采用mask r-cnn模型结合resnet backbone进行积水检测分割，该结构能够较好地捕捉图像中的目标实例，并具备较强的分割能力。模型可以有效地识别和定位积水区域，为后续的处理和分析提供了可靠的基础。
33.步骤420图像输入：读取s2阶段预处理后的rgb图像，进行归一化等前处理。可选的是，使用减均值除方差方法。
34.需要说明的是，对预处理后的rgb图像进行归一化等前处理，有助于提高模型的输入质量和稳定性。
35.步骤430模型推理：具体为，加载训练好的模型参数，将图像输入模型进行前向运算，获取模型输出的积水区域概率预测结果。
36.需要说明的是，加载训练好的模型参数，对图像进行前向运算，得到模型输出的积水区域概率预测结果，即模型对图像中各像素属于积水区域的置信度。
37.步骤440生成分割结果图：对概率预测结果设定阈值，阈值为0.5，生成二值分割图，获取积水轮廓。需要说明的是，针对分割图，使用opencv提取各连通域的外接轮廓，编码轮廓，输出积水区域轮廓结果。
38.步骤500，绘制积水分布最小矩形框，计算积水面积和深度。
39.具体为，步骤510计算积水像素点，通过像素与真实比例换算获得积水面积；步骤520获取路面本底高程数据，不通过路面的高程数据不同，根据具体测算得知不同高程数据，比对积水轮廓线的相对高程，估算积水深度；步骤530积水量计算公式：积水量=积水面积
×
积水深度，计算检测到的积水区域的面积、深度和积水量，为分级预警提供依据。所述积水面积通过将积水区域像素数量转换为实际面积；结合道路本底高程数据，根据积水轮廓线高程计算积水深度。
40.需要说明的是，所述结合道路本底高程数据为对特定路口历年积水分析得出不同路口经验值。其中高程数是指道路实际路面所在的海拔高度数据，可通过实际测量获得，也可以从城市数字高程模型中提取。在计算积水深度时，可以将积水区域轮廓线的高程与道路本底高程数据相减，得到积水深度，不同路口的经验高程值不同，具体情况非常复杂，也可通过分析历年不同路口的积水情况，得到该路口常年积水的平均深度经验值，在实际高程数据不可得时，可以用此经验值估算积水深度，高程数据是计算积水深度的重要参考，可以提高深度计算的准确性，特别是具体某路口的经验积水深度，可以提高模型在该位置地适应性不同路况下，同样积水量对交通影响不同。充分考虑高程信息，可以更准确判断积水对交通通行的阻断程度。
41.例如高速公路积水5cm，对通行影响很小；但在路口转弯处5cm的积水则可能导致车辆打滑，精确评估交通影响，可以发布更适当和有针对性的预警。
42.步骤600，影射至道路场景图像上。
43.其中，在检测到积水区域后，需要将积水分布信息反映到原图像上，即将检测结果投影到道路图像中，影射至道路场景图像：将检测结果反映到原图像上，更直观显示积水分
布。
44.步骤700，分级预警。
45.其中，根据积水的规模大小进行预警层级划分，反映积水事故的严重程度，帮助城市管理部门更灵敏和准确地响应，第一时间抵达事故现场，可有效区分重大和次要积水事件，避免因次要事件而消耗应急资源，具体操作为：积水预警分为四个等级：一般积水、较严重积水、严重积水和内涝，积水等级按积水深度划分，积水深度达到5—10cm为一般积水，积水深度达到10—20cm为较严重积水，积水深度达到20—50cm为严重积水，积水深度超过50cm为内涝。积水预警信息内容包括积水位置、积水等级、积水面积、积水深度、值守人员姓名和电话、责任单位、所属城区、防范措施和监控视频画面，消息推送机制为即时推送，消息接收端包括pc客户端和移动客户端。
46.步骤800，本发明包括d级危房人员返流检测。
47.具体为，如图2所述，d级危房人员返流检测方法采用视觉识别方式，通过区域识别算法模型自动辨识人员进入禁区，结合热成像技术，保障昼夜识别能力具体步骤为：步骤s810获取当前场景图像；步骤s820确定当前场景图像对应的警示区域积分图；步骤s830利用检测模型，获得当前场景图像中属于目标物体的目标物体框；步骤s840根据目标物体框的顶点在警示区域积分图对应像素点的像素值，计算目标物体框 与警示区域的重叠面积；步骤s850基于重叠面积确定目标物体是否入侵警示区域；步骤s860进一步为了保障昼夜识别能力，可结合热成像技术综合判断，是否有人入侵警示区域。d级危房人员返流事件告警不分等级，检测到即告警，告警信息包括事件发生位置、值守人员姓名和电话、责任单位、所属城区、防范措施和监控视频画面。
48.另一方面，本发明提供了一种基于视觉的城市内涝智能预警系统，该系统应用于上述检测方法，该系统包括：一种基于视觉的城市内涝智能预警系统，所述系统采用b/s架构，包括：基础资源层，用于提供网络环境、系统运行环境、前端视觉和视觉管理平台；核心算法层，用于实现积水检测和人员返流事件检测算法的设计、训练、测试和运行，为系统应用提供计算服务支持；应用层，用于实现积水检测和d级危房人员返流事件识别、预警信息处理和推送、积水分析统计报表和视觉管理功能。
49.具体为，本系统由如下模块组成：图像采集模块，用于获取视频图像；采用市政摄像头实时采集路口场景视频画面和rgb图像；支持多摄像头同时工作，获得多角度视角信息；图像分辨率支持1080p等高清，通过网络上传至服务器；图像采集频率高达30-60fps，满足实时监测要求。
50.图像预处理模块，用于对采集图像进行处理提升质量；（1）进行图像规格化将不同摄像头读取的图像准确调节至统一分辨率和色彩空间，应用sharpen滤波等方法提升图像对比度和清晰度，进行高斯滤波降噪，结合直方图均衡化增强暗部细节，提高检测精度。
51.区域分割模块，用于对图像进行区域分割，提取积水潜在区域，划分方法同上。
52.积水识别模块，用于基于积水算法模型mask r-cnn对提取的roi区域进行积水识别，输出积水区域分割结果。
53.轮廓分析模块，用于对积水区域进行轮廓分析，提取轮廓线信息；（1）采用opencv
函数分析积水区域轮廓线；（2）提取出积水轮廓点集合，计算积水面积；（3）比对积水轮廓线高程估算积水深度。
54.积水信息计算模块，用于根据积水轮廓线信息计算积水面积和估算积水深度，1）计算积水面积、积水深度及积水量；（2）根据积水规模综合分级，为应急管理提供决策支持。
55.所述d级危房人员返流事件检测采用视觉识别方式实现，具体方式见上述描述。
56.进一步，所述应用层还实现视觉管理功能，包括：视觉设备管理模块，用于对视觉设备进行添加、删除、修改、查询等管理。
57.所述行为分析模块采用基于卷积lstm的行为分类模型。
58.需要说明的是：lstm（long short-term memory）是一种递归神经网络（recurrent neural network，rnn）的变体，主要用于处理序列数据。与传统的rnn相比，lstm具有更强的记忆能力，能够更好地捕捉序列中的长期依赖关系。
59.行为分析模块中，采用基于卷积lstm的行为分类模型可以对图像序列进行分析和分类，从而识别不同的行为模式。卷积lstm结合了卷积神经网络（convolutional neural network，cnn）和lstm的特性，能够同时提取图像的空间特征和时间序列特征，对行为进行准确分类和识别。
60.通过采用基于卷积lstm的行为分类模型，系统可以对视频图像中的行为进行分析，例如识别人员返流事件等。这样的行为分析功能可以进一步提升城市内涝智能预警系统的准确性和实用性，为系统的应用层提供更全面的功能支持。
61.因此，lstm在上述系统中的意义在于应用于行为分析模块，通过基于卷积lstm的行为分类模型对视频图像进行行为识别和分类，提升整个系统的智能性和功能性。
62.可自动生成积水分析统计报表。所述报表包括积水次数、时长、面积、深度等统计信息，以便相关部门进行数据分析、决策支持和防汛工作评估。
63.使用本发明提供的一种基于视觉的城市内涝智能预警方法及系统对某地进行预警，2023年6月11日（星期日），在某城区防汛ai预警系统接入分析的85处摄像头中，有36处报警。其中3处最高积水深度超过5cm，分别为a路、b街、c路防疫区积水风险点。积水最严重的是b街风险积水点。
64.其中，表1为本系统显示随着时间变化，上述b街路段积水面积和积水高度的变化表，为了更直观显示，图3表示时间-积水面积柱形图，图4表示时间-积水高度折线图，通过图3和图4可以直观看出在9点13分积水最深，达到约11cm，积水面积约55平方米，为严重积水，系统进行报警，以便相关人员及时处理。
65.表1积水高度面积报警时间统计表序号高度（cm）面积（
㎡
）报警时间12129:00:0925259:04:5235279:05:2346329:05:5355249:06:2463149:06:5477369:07:57
86329:08:2997339:08:59107349:12:281111559:13:59129469:14:31137359:15:021410529:17:04157339:17:36169469:18:07179459:19:15186299:20:16197359:21:18207379:21:49217369:22:19227359:22:50235269:23:51247369:25:23255269:26:59268429:28:09278419:28:40288429:31:24296319:32:59305279:33:30319459:34:33322109:35:08332129:36:03
66.以上所述仅为本发明实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

技术特征：
1.一种基于视觉的城市内涝智能预警方法，其特征在于，所述方法包括：图像采集，获取视觉镜头采集的场景图像；图像预处理，对图像进行增强、矫正等预处理；roi区域分级，根据路口类型、车道类型等对积水区域进行分类和编号；输入模型检测，采用mask r-cnn模型结合resnet backbone进行积水检测分割，将预处理后的图像输入积水检测模型进行检测，输出分割结果图，获取图像各积水区域的轮廓；绘制积水分布最小矩形框，计算积水面积和深度；映射至道路场景图像上；分级预警。2.根据权利要求1所述的方法，其特征在于，所述方法还包括d级危房人员返流检测方法。3.根据权利要求2所述的方法，其特征在于，所述d级危房人员返流检测方法采用视觉识别方式，通过区域识别算法模型自动辨识人员进入禁区，结合热成像技术，保障昼夜识别能力。4.根据权利要求1所述的方法，其特征在于，其特征在于，所述roi区域分级包括：一般路口积水roi编号为roi_1;t字路口车道转角积水roi编号为roi_2;十字路口中心交叉区积水roi编号为roi_3。5.根据权利要求1所述的方法，其特征在于，所述积水面积和深度计算是通过将积水区域像素数量转换为实际面积并结合道路本底高程数据，根据积水轮廓线高程计算积水深度。6.根据权利要求5所述的方法，其特征在于，所述结合道路本底高程数据为对特定路口历年积水分析得出不同路口经验值。7.一种基于视觉的城市内涝智能预警系统，其特征在于，所述系统采用b/s架构，包括：基础资源层，用于提供网络环境、系统运行环境、前端视觉和视觉管理平台；核心算法层，用于实现积水检测和人员返流事件检测算法的设计、训练、测试和运行，为系统应用提供计算服务支持；应用层，用于实现积水检测和d级危房人员返流事件识别、预警信息处理和推送、积水分析统计报表和视觉管理功能。8.根据权利要求7所述的系统，其特征在于，包括：图像采集模块，用于获取视频图像；图像预处理模块，用于对采集图像进行处理提升质量；roi区域分割模块，用于对图像进行区域分割，提取积水潜在区域；积水识别模块，用于基于积水算法模型对提取的roi区域进行积水识别，输出积水区域分割结果；轮廓分析模块，用于对积水区域进行轮廓分析，提取轮廓线信息；积水信息计算模块，用于根据积水轮廓线信息计算积水面积和估算积水深度；报警模块。9.根据权利要求7所述的系统，其特征在于，所述应用层还实现视觉管理功，包括：视觉
设备管理模块，用于对视觉设备进行添加、删除、修改、查询等管理。10.根据权利要求7所述的系统，其特征在于，所述行为分析模块采用基于卷积lstm的行为分类模型。

技术总结
一种基于视觉的城市内涝智能预警方法和系统，本发明涉及防汛技术领域，本方法包括图像采集、图像预处理、ROI区域分级、输入模型检测、绘制积水分布最小矩形框、影射至道路场景图像上、分级预警等步骤。本专利能够通过对积水区域进行分级、检测和计算，实现对城市内涝的快速预警和处理，进一步提高城市的应急响应能力。同时，还提供了一种D级危房人员返流检测方法，能够自动辨识人员进入禁区，结合热成像技术，保障昼夜识别能力，提高了城市应急响应的准确性和效率。的准确性和效率。的准确性和效率。


技术研发人员：王亚山 石光耀 王云峰 曲志刚
受保护的技术使用者：易启科技（吉林省）有限公司
技术研发日：2023.08.14
技术公布日：2023/9/20