一种便携式吊装作业违章抓拍预警系统的制作方法

1.本发明属于计算机视觉领域，尤其涉及一种便携式吊装作业违章抓拍预警系统。


背景技术：

2.吊装作业环境复杂，作业现场具有不确定性，存在室外作业、交叉作业、夜间作业、高空作业等情况，因此存在很多风险因素。传统的视频管控过程大多采用人工方式，工作量大、昼夜值班等方式会导致值班人员出现视觉上的疲倦，在特殊情况出现时，存在不能及时进行预警的可能性，对工人的违规操作和可能出现的安全隐患难以做出“提前预警、提前干预、提前处理”，已经无法满足安全生产管理的应用需求。
3.近年来，随着计算机硬件和卷积神经网络等软硬设施的发展，利用计算机进行大规模自动化处理实时监控视频，以及对作业现场违规操作的智能检测得以实现。深度神经网络是机器学习领域的前沿，能够自动地学习得到深层次的特征信息。卷积神经网络是其中最突出的模型，目前广泛应用于目标分类、检测和分割任务中。
4.因此当下迫切需要一套有效的吊装作业施工现场违章识别管理系统，借助现场视频数据，引入智能分析手段，实现施工违章行为的自动监测，在减少人工监控劳动强度，维护工作人员的生命财产安全，避免意外事故出现的同时，可以更加及时有效地查找安全生产薄弱环节和安全隐患，有效消减风险隐患、提高现场安全管理水平，确保生产施工现场重点环节始终处于受控状态。


技术实现要素：

5.本发明的目的是在于实现吊装作业现场违章操作的智能检测和实时预警，提供了一种便携式吊装作业违章抓拍预警系统，自动检测违章操作，实时预警，减少人力物力成本，有效避免了吊装作业现场意外事故的发生。
6.为了实现上述目的，本发明采用下述技术方案：
7.(1)利用摄像头拍摄的视频流数据构建数据集；
8.(2)搭建基于pytorch框架下的yolov5目标检测模型；
9.(3)利用标注好的数据集在yolov5目标检测模型上进行训练并优化；
10.(4)将摄像头拍摄的视频流数据输入到已训练好的yolov5模型中得到目标检测数据；
11.(5)利用得到的目标检测数据结合图像处理算法进行手扶吊物、吊臂下站人、未穿工衣等15项违规操作的识别；
12.(6)识别到违规时，将违规信息发送到云端保存记录并在现场发出声音警报。
13.本发明进一步的改进在于，步骤(1)的具体实现步骤为：
14.(101)将吊装作业现场的视频流数据转换为帧数据；
15.(102)利用labelimg对帧数据中的目标进行标定，目标的标签包括吊车、吊钩、吊车支腿、支腿垫板、人、安全帽、护目镜等，得到图像及对应的标签文件。
16.本发明进一步的改进在于，步骤(2)的具体实现步骤为：
17.(201)主干网络，用以提取图像中目标的多尺度特征；
18.(202)输出网络，利用损失函数分析所述多尺度特征计算目标的位置偏差，同时再次进行边框回归获得目标检测框最终的精确位置。
19.本发明进一步的改进在于，步骤(3)的具体实现步骤包括：
20.(301)改进sam结构，改进pan结构，使模型更适合在单块gpu上训练。改进后的sam结构如图1所示，改进后的pan结构如图2所示；
21.(302)利用标注好的数据集训练yolov5目标检测模型。
22.本发明进一步的改进在于，步骤(5)的具体实现步骤为：15项违规操作包括：吊车支腿未加垫板、作业人员进入机械旋转半径内、手扶吊物、斜牵斜挂吊装重物、吊钩无防脱装置、起重物上有人或有浮置物、吊臂下站人、吊装作业无司索指挥、违禁使用手机、未戴安全帽、未穿工衣、人员聚集、人员倒卧、吸烟、吊装作业现场警戒线识别。
23.本发明进一步的改进在于，步骤(6)的具体实现步骤为：
24.(601)识别到违规操作时，对违规操作图片左上角进行违规标记并上传至数据库；
25.(602)将违规操作一段时间内的视频保存并上传至数据库，用于记录和人工审核；
26.(603)利用报警设备对违规现场进行警报提示。
27.本发明至少具有如下有益的技术效果：
28.首先，在时间效率上，采用本发明可以通过计算机以及吊装作业现场的摄像头自动实时检测作业现场的工作状态，比人工查看摄像头确认再反馈的流程更加准确快速，降低大量的人力物力成本。
29.在生产效率上，采用本发明大大降低了时间成本，而且监察人员可以在通过计算机方便地访问数据库，及时查看整个作业现场的工作状态；同时还可以直接读取数据库中的数据进行日常的监控操作。现场的报警设备也能在出现危险违规操作时及时报警提醒现场人员，极大地降低生产作业过程中产生的危险，提高生产作业效率。
30.在应用成本上，无需额外加装传感器等硬件设备，降低了硬件成本，本发明使用计算机视觉与深度学习技术，通过生产作业现场现有的摄像头，在服务端增加服务器并安装相应软件即可，方便吊装作业现场快速实现智能化检测。
31.此外，使用本发明可以记录违规操作发生地点的摄像头编号以及违规画面，包括文字表格形式以及图像视频等多媒体形式进行记录，从而得到更加丰富且更具信赖的档案资料，有助于监察人员后续的查找和存档。
32.本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
33.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明对sam结构改进前后对比示意图，图a为原sam结构图，图b为本发明改
进后的sam结构图。
35.图2为本发明对pan结构改进前后对比示意图，图a为原pan结构图，图b为本发明改进后的pan结构图。
36.图3为本发明实施例的一种便携式吊装作业违章抓拍预警系统的流程图。
具体实施方式
37.为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
38.本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
39.如图3所示，本发明提供一种便携式吊装作业违章抓拍预警系统，包括以下步骤：
40.(1)利用摄像头拍摄的视频流数据构建数据集；先对视频数据流进行分帧处理得到图像数据，利用labelimg对数据集进行人工标注，得到标注好的数据集。
41.(2)在pytorch框架下构建基于yolov5的目标检测模型。
42.(3)利用标注好的数据集对yolov5目标检测模型进行训练及优化，具体步骤为：
43.(a)改进sam结构，改进pan结构，使模型更适合在单块gpu上训练。改进后的sam结构如图1所示，改进后的pan结构如图2所示；
44.(b)利用标注好的数据集训练yolov5目标检测模型。
45.(4)将摄像头拍摄的视频流数据输入到已训练好的yolov5模型中得到目标检测数据；
46.(5)利用得到的目标检测数据结合图像处理算法进行手扶吊物、吊臂下站人、未穿工衣等15项违规操作的识别；15项违规操作包括：吊车支腿未加垫板、作业人员进入机械旋转半径内、手扶吊物、斜牵斜挂吊装重物、吊钩无防脱装置、起重物上有人或有浮置物、吊臂下站人、吊装作业无司索指挥、违禁使用手机、未戴安全帽、未穿工衣、人员聚集、人员倒卧、吸烟、吊装作业现场警戒线识别。
47.(6)识别到违规时，将违规信息发送到云端保存记录并在现场发出声音警报，具体步骤包括：
48.(a)识别到违规操作时，对违规操作图片左上角进行违规标记并上传至数据库；
49.(b)将违规操作一段时间内的视频保存并上传至数据库，用于记录和人工审核；
50.(c)利用报警设备对违规现场进行警报提示。
51.实施例
52.图3给出了本实施例的流程图。本实施例选择一段包含违规操作“吊车支腿未加垫板”的视频数据，该视频流的一种便携式吊装作业违章抓拍预警系统，由以下步骤组成：
53.(1)利用摄像头拍摄的视频流数据构建数据集；采集总时长为60min的包含违规操作“吊车支腿未加垫板”的视频数据，对其进行分帧处理得到图像数据，从所有图像数据中随机挑选6000张图像作为原始数据集，利用labelimg对得到的图像数据进行人工标注，得到标注好的数据集。
54.(2)在pytorch框架下构建基于yolov5的目标检测模型；
55.(3)根据数据集对yolov5目标检测模型进行训练及优化，具体步骤为：
56.(a)改进sam，改进pan，使模型更适合在单块gpu上训练。改进后的sam结构如图1所示，改进后的pan结构如图2所示；
57.(b)利用标注好的数据集训练yolov5目标检测模型。
58.(4)将摄像头拍摄的视频流数据输入到已训练好的yolov5模型中得到目标检测数据；
59.(5)利用得到的目标检测数据结合图像处理算法进行手扶吊物、吊臂下站人、未穿工衣等15项违规操作的识别。本例中对违规操作“吊车支腿未加垫板”的检测步骤如下：
60.(a)通过yolov5目标检测模型检测出的结果找到液压支腿检测框的位置；
61.(b)按比例取液压支腿下区域像素点，对下方区域进行轮廓矩/凸包监测/角点检测，确认下方置物特征形状是否与垫板特征匹配。
62.(6)识别到违规时，将违规信息发送到云端保存记录并在现场发出声音警报，具体步骤包括：
63.(a)识别到违规操作时，对违规操作图片左上角进行违规标记并上传至数据库；
64.(b)将违规操作30s内的视频保存并上传至数据库，用于记录和人工审核；
65.(c)利用报警设备对违规现场进行警报提示。
66.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
67.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
68.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
69.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
70.以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

技术特征：
1.一种便携式吊装作业违章抓拍预警系统，其特征在于，包括：(1)利用摄像头拍摄的视频流数据构建数据集；先对视频数据流进行分帧处理得到图像数据，利用labelimg对数据集进行人工标注，得到标注好的数据集；(2)在pytorch框架下构建基于yolov5的目标检测模型；(3)利用标注好的数据集对yolov5目标检测模型进行训练及优化；(4)将摄像头拍摄的视频流数据输入到已训练好的yolov5模型中得到目标检测数据；(5)利用得到的目标检测数据结合图像处理算法进行手扶吊物、吊臂下站人、未穿工衣等15项违规操作的识别；(6)识别到违规时，将违规信息发送到云端保存记录并在现场发出声音警报。2.根据权利要求1所述的一种便携式吊装作业违章抓拍预警系统，其特征在于，所述制作的数据集包括：将吊装作业现场的视频流数据转换为帧数据，利用labelimg对帧数据中的目标进行标定，目标的标签包括吊车、吊钩、吊车支腿、支腿垫板、人、安全帽、护目镜等，得到图像及对应的标签文件。3.根据权利要求1所述的一种便携式吊装作业违章抓拍预警系统，其特征在于，所述基于yolov5的目标检测模型包括：(a)主干网络，用以提取图像中目标的多尺度特征；(b)输出网络，利用损失函数分析所述多尺度特征计算目标的位置偏差，同时再次进行边框回归获得目标检测框最终的精确位置。4.根据权利要求1所述的一种便携式吊装作业违章抓拍预警系统，其特征在于，所述利用标注好的数据集对yolov5目标检测模型进行训练及优化包括：(a)改进sam结构，改进pan结构，使模型更适合在单块gpu上训练；(b)利用标注好的数据集训练yolov5目标检测模型。5.根据权利要求4所述的一种便携式吊装作业违章抓拍预警系统，其特征在于，所述标注好的检测数据为包括图像中所有可用目标的包围框标签以及坐标的图像数据。6.根据权利要求1所述的一种便携式吊装作业违章抓拍预警系统，其特征在于，所述摄像头拍摄的视频流数据为吊装作业现场的视频流数据，是未经过处理的、无标注的原始数据。7.根据权利要求1所述的一种便携式吊装作业违章抓拍预警系统，其特征在于，所述15项违规操作包括：吊车支腿未加垫板、作业人员进入机械旋转半径内、手扶吊物、斜牵斜挂吊装重物、吊钩无防脱装置、起重物上有人或有浮置物、吊臂下站人、吊装作业无司索指挥、违禁使用手机、未戴安全帽、未穿工衣、人员聚集、人员倒卧、吸烟、吊装作业现场警戒线识别。8.根据权利要求7所述的所述的一种便携式吊装作业违章抓拍预警系统，其特征在于，所述识别到违规后的具体实现步骤为：(a)识别到违规操作时，对违规操作图片左上角进行违规标记并上传至数据库；(b)将违规操作一段时间内的视频保存并上传至数据库，用于记录和人工审核；(c)利用报警设备对违规现场进行警报提示。

技术总结
本发明公开了一种便携式吊装作业违章抓拍预警系统，包括：利用摄像头拍摄的视频流数据构建数据集；利用LabelImg对数据集进行人工标注；搭建基于PyTorch框架下的YOLOv5目标检测模型；利用标注好的数据集在YOLOv5目标检测模型上进行训练并优化；将摄像头拍摄的视频流数据输入到已训练好的YOLOv5网络中得到目标检测数据；利用得到的目标检测数据结合图像处理算法进行手扶吊物、吊臂下站人、未穿工衣等15项违规操作的识别；识别到违规时，将违规信息发送到云端保存记录并在现场发出声音警报。本发明体积小、部署方便，具有替代人工监测不及时、人工视角不足的优势，可做到现场实时预警和云端数据推送，有效避免吊装作业安全事故的发生。的发生。的发生。


技术研发人员：陶茜茜 赵静 梁鸿 宋贞耀
受保护的技术使用者：山东鼎鸿安全科技有限公司
技术研发日：2023.07.04
技术公布日：2023/9/20