塔机吊物的重量检测与类型识别系统及方法

1.本发明属于建筑施工数字化管理技术领域，涉及一种塔机吊物的重量检测与类型识别系统，本发明还涉及一种塔机吊物的重量检测与类型识别方法。


背景技术：

2.建筑施工的效率以及吊物管理直接影响施工企业效益，施工进度与吊物的精细化、数字化管理是提高施工企业效益的重要手段。由于施工现场分散，施工企业对现场的进度与吊物管理主要依据的是项目部的报表，人工统计手段落后，施工现场吊物是否真正应用到了施工中，项目进度是否真实，远程管理部门是不确定的，管理的实时性以及准确性难以满足实际要求。为了实现对施工项目的精细化管理，需要通过技术手段准确、及时把控项目进度以及吊物使用情况。
3.塔式起重机(以下简称塔机)主要应用于建筑施工过程中吊物的垂直吊载、水平运输，在施工过程中塔机吊运的吊物种类多，施工的主要吊物如钢筋、钢卷、模板和钢结构等，都是通过塔机来完成吊运。随着建筑bim技术的应用，以及装配式建筑的发展，通过统计施工过程中，塔机吊运吊物的种类以及数量，辅助实现施工进度以及现场吊物使用的精准监管，成为一个研究的方向。


技术实现要素：

4.本发明的目的是提供一种塔机吊物的重量检测与类型识别系统，解决了现有技术在施工现场人工统计，施工现场吊物是否真正应用到了施工中，项目进度是否真实，远程管理部门不好确定，管理的实时性以及准确性难以满足实际要求的问题。
5.本发明的另一目的是提供一种塔机吊物的重量检测与类型识别方法，解决了现有技术施工现场吊物类型无法识别，导致物料管理混乱、项目进度把控不准的问题。
6.本发明所采用的技术方案是，一种塔机吊物的重量检测与类型识别系统，包括主处理器，主处理器的vga口对外连接有显示器、主处理器的dc口连接有电源模块、主处理器的rj45口连接有通信模块、主处理器的csi口连接有摄像头、主处理器的ad0口连接有电阻应变式传感器、主处理器的ad1口连接有电位计式传感器、主处理器的并口连接有回转型的多圈编码器。
7.本发明所采用的另一技术方案是，一种塔机吊物的重量检测与类型识别方法，步骤包括：
8.步骤1、改进yolov5目标识别网络结构并进行训练，得到yolov5塔机吊物类型识别模型；
9.步骤2、统计塔机工作过程中每一次吊运任务的吊运信息；
10.步骤3、累计施工期间涉及的所有吊物的吊运信息，得到本施工项目名下的吊物重量检测与类型识别的全部完整信息。
11.本发明的有益效果是，1)利用塔机小车上的吊钩摄像头实时获取吊钩环境图像，
根据施工现场吊物的视频特点，对yolov5目标识别网络进行了改进，实现了复杂工况背景下塔机吊物类型的图像识别；2)结合塔机的运动信息与吊重信息，产生包括起吊时间、吊物类型、吊物重量、卸料时间以及吊物类型识别图像的塔机吊运记录，并通过5g网络通信模块上传显示器，分别累计所有吊运记录中不同吊物类别的的重量信息，与建筑物bim模型相比较，实现施工进度管理以及吊物精细化管理系统，有利于提高企业效益。
附图说明
12.图1是本发明方法采用的塔机吊物的重量检测与类型识别系统简图；
13.图2是本发明方法中的塔机吊运信息生成流程图；
14.图3是本发明方法中的yolov5塔机吊物类型识别网络结构图；
15.图4是本发明方法中的yolov5塔机吊物类型识别模型训练流程图；
16.图5为本发明方法实施例的塔机吊物样本集的部分图片；
17.图6为本发明方法实施例1判定的钢卷图片；
18.图7为本发明方法实施例2判定的铁框图片；
19.图8为本发明方法实施例3判定的模板图片；
20.图9为本发明方法实施例4判定的推车图片。
具体实施方式
21.下面结合附图和具体实施方式对本发明进行详细说明。
22.参照图1，本发明塔机吊物的重量检测和类型识别系统的主体结构是，包括主处理器，主处理器的vga口对外连接有显示器、主处理器的dc口连接有电源模块、主处理器的rj45口连接有通信模块、主处理器的csi口连接有摄像头、主处理器的ad0口连接有电阻应变式传感器、主处理器的ad1口连接有电位计式传感器、主处理器的并口连接有回转型的多圈编码器。
23.主处理器的型号选用瑞芯微rv1109，瑞芯微rv1109具有多个接口，瑞芯微rv1109内置有独立npu，预置有yolov5塔机吊物类型识别模型的处理程序，能够提供1.2tops算力，具有处理图像的能力，电源模块采用12v的电源进行供电；通信模块采用5g网络，用于将塔机吊运信息传输到远程监管平台；显示器用于实时显示塔机运行状态；摄像头安装在塔机小车上，实时拍摄塔机吊钩及吊物视频图像，摄像头的视频信号通过csi口输入主处理器中，以便主处理器利用吊钩摄像头视频识别吊物类型；根据塔机工作原理，塔机起升钢绳张力与吊物重量成比例关系，使用电阻应变式传感器，通过ad0口输入主处理器中进行载重检测；电位计式传感器输出模拟量，通过ad1口输入主处理器得到小车幅度；多圈编码器通过并口输入主处理器中，用于检测塔机转角。
24.塔机在施工现场实施各种吊物的垂直或水平运输，塔机通过起吊、运输和卸载3个阶段完成一次吊运任务。在塔机起吊阶段，钢绳张力增大，吊重值突然增大；随后，在运输阶段，吊物随变幅或回转运动发生摆动，钢绳张力会产生波动；最后，在卸载阶段，钢绳张力突然减小。据此，结合塔机钢绳张力变化以及塔机运动状态实施塔机的吊运信息生成。本发明方法的识别系统以rv1109作为主处理器接收小车摄像头视频以及塔机吊重、小车幅度、塔机转角三种传感器信息，实现吊物重量检测、吊物类型识别以及塔机运行状态检测，生成塔
机的吊运信息，并将塔机的吊运信息通过5g网络的通信模块传输到远程监管平台。
25.本发明的方法，整体步骤包括：
26.步骤1、改进yolov5目标识别网络结构，并进行训练，得到yolov5塔机吊物类型识别模型；
27.yolov5目标识别算法是一种基于anchor识别方式的端到端的目标识别算法，具有识别速度快、准确率高和易部署等优点，由于塔机工作环境复杂，吊物类型多、背景复杂且形状尺度变化大，导致现有的yolov5目标识别算法识别吊物类型的速度和准确率不够。图3是本发明创新的yolov5塔机吊物类型识别模型的结构，它是基于yolov5目标识别网络改进而来。本发明方法对现有技术的yolov5目标识别算法进行了创新改进，创新点有两处：1)本发明方法在现有技术的yolov5目标识别算法的特征提取模块中插入simam注意力机制，降低复杂背景对吊物类型识别的影响；simam注意力机制由一维的通道和二维的空间位置组成，形成三维的注意力机制，该simam注意力机制无需向原始网络添加参数，通过推断得到特征图的3d注意力权重，减少了网络计算量，降低了复杂背景对吊物类型识别的影响，提高了吊物类型识别准确率；2)将现有技术的yolov5目标识别算法特征融合中的panet模块替换为bifpn模块，提高有效特征的利用率。bifpn模块是双向加权特征金字塔网络，能够自顶向下的传递高层特征的语义信息、并且自底向上的传递低层特征的位置信息，相较于panet模块，bifpn模块增加了残差连接，删除了单条输入边的节点，融合各个尺度特征权重，在原始输入节点和输出节点之间添加额外的边，在不增加太多计算成本的情况下能够融合更多的特征，增加了有效特征的利用率，提高了吊物类型识别速度和准确率。因此，创新后的yolov5塔机吊物类型识别模型能有效抑制复杂背景对类型识别的影响，提高有效特征的利用率，识别速度快、识别准确率高且鲁棒性好。
28.参照图4，是本发明创新后的yolov5塔机吊物类型识别模型的训练流程图，将大量样本输入图3所示的yolov5塔机吊物类型识别网络进行训练后，得到训练好的塔机吊物类型识别模型，才能在图2所示的步骤8中进行调用，本发明的yolov5塔机吊物类型识别模型训练过程包括：吊物视频采集、吊物类别标注、建立塔机吊物数据集、建立yolov5塔机吊物类型识别算法架构以及训练得到yolov5塔机吊物类型识别模型，具体步骤如下：
29.1.1)吊物视频采集，
30.通过塔机吊钩上的摄像头录制不同吊物的视频，利用视频分帧技术得到不同工况下的多个类别吊物的视频集；
31.1.2)吊物类别标注，
32.利用labelimg软件对采集到的视频集进行吊物类别标注。在labelimg环境下对视频集图像帧中的吊物进行画框标注，并对画框标注“标签”，标注标签后该图片会自动保存为xml格式，以此得到一个吊物样本；
33.吊物标签分别设置为：推车(car)、钢卷(coil)、混凝土砖块(concrete)、铁框(frame)、模板(template)、钢管(tube)和钢筋(rebar)，根据现场需要还可以增设其他类别；
34.1.3)建立塔机吊物数据集，
35.对不同吊物进行标注，将标注得到的xml格式的数据转换为yolov5算法进行训练的txt格式，得到多类别、大样本的吊物数据集。
36.参照图5，为本发明方法实施例制作的塔机吊物样本集的部分图片。
37.1.4)建立yolov5塔机吊物类型识别算法架构，
38.建立pytorch3.9深度学习环境，用python编程语言搭建出yolov5塔机吊物类型识别模型的架构，即在现有技术yolov5目标识别网络中的特征提取模块插入simam注意力机制，同时将目标识别模块的panet模块替换成bifpn模块。
39.1.5)训练得到yolov5塔机吊物类型识别模型，
40.将塔机吊物数据集输入改进后的yolov5塔机吊物类型识别网络并进行训练，直至各项参数收敛，即得到优化好的yolov5塔机吊物类型识别模型，实现塔机吊物类型识别的目的。
41.步骤2、统计塔机工作过程中每一次吊运任务的吊运信息，
42.参照图2，本发明方法中塔机的吊运信息的生成过程如下：
43.2.1)系统初始化，
44.将起吊重量l0、起吊幅度r0、起吊转角θ0和起吊标志flag初始化置零，完成塔机吊运信息的初始化；
45.2.2)采样塔机当前的运行信息，
46.塔机正常运行中，采集前述各个传感器的检测数值，得到塔机当前的运行信息，包括当前吊重l、小车幅度r及塔机转角θ三项信息；
47.2.3)计算当前额定载重le，
48.塔机的载荷曲线给出了塔机不同幅度下的允许载荷，由当前塔机小车幅度r结合塔机载荷曲线，得到塔机当前的额定载重le；
49.2.4)判断起吊标志flag是否为0，
50.如果起吊标志flag＝0，说明塔机当前还未进入起吊状态，运行步骤5；反之，则运行步骤10；
51.2.5)判断吊重差l-l0是否大于0.1倍的额定载重le，
52.将采样得到的当前吊重l与起吊重量l0作差，如果l-l0》0.1*le，说明塔机当前已经起吊重物，运行步骤6；反之，则返回步骤2；
53.2.6)更新吊运信息，
54.确认塔机已经起吊重物，则对吊运信息进行更新，即l0＝l、r0＝r、θ0＝θ，并记录当前时间为起吊时间t0；
55.2.7)获取当前吊钩上吊物的视频图像，
56.利用塔机小车吊钩上的摄像头，获取当前吊钩上的吊物的视频图像im；
57.2.8)利用yolov5塔机吊物类型识别模型，识别当前吊物类型，
58.利用yolov5塔机吊物类型识别模型对当前吊钩上吊物的视频图像im进行识别，得到当前吊物的类型名称n；
59.2.9)起吊标志置1，
60.将起吊标志flag置1，然后返回执行步骤2；
61.2.10)判断l
0-l是否大于额定载重0.1*le，
62.如果l
0-l》0.1*le，说明塔机吊重减轻，继续执行步骤11；反之，则返回步骤2；(说明：此步骤的l0已经在步骤6被赋值为吊物实际重量l，被减的l是卸料阶段采集到的重量，
因此应该是大于)。
63.2.11)判断|r-r0|是否大于rm，或|θ-θ0|是否大于θm，
64.塔机运输阶段是塔机起吊吊物后通过转动或变幅运动，将吊物运输到目的地，因此，准确判断塔机的卸料点需要结合两个条件：条件一)步骤10中吊重的减轻；条件二)塔机起吊吊物到卸料是否有变幅运动或转角运动。
65.定义rm为塔机变幅运动的判断阈值，θm为塔机转角运动的判断阈值，如果|r-r0|》rm或|θ-θ0|》θm，判断塔机进行过变幅运动或转角运动，而且步骤10已经判断到塔机吊重减轻，因此，此时能够确定塔机进行了卸料，继续执行步骤12；反之，返回步骤2；
66.2.12)记录卸料时间，
67.确认当前已经完成卸料，则记录当前时间为卸料时间t1；
68.2.13)生成塔机吊运信息，
69.将上述的起吊时间t0、吊物类型名称n、起吊重量l0、卸料时间t1和吊钩视频图像im存储在同一个目录下，得到一条完整的吊运信息；
70.以此类推，重新设置flag＝0，返回步骤2，重新开始一个新的吊运信息的循环过程。
71.步骤3、累计施工期间涉及的所有吊物的吊运信息，得到本施工项目名下的吊物重量检测与类型识别的全部完整信息，实现准确监管施工进度以及吊物使用情况。
72.在某施工现场塔机上进行应用，在塔机上安装好摄像头、电阻应变式传感器、电位计式传感器、多圈编码器；显示屏上实时显示塔机当前吊物类型、吊物重量(吨)、小车幅度(米)和塔机转角(度)，及时记录了塔机的吊运信息。本发明塔机吊物的重量检测与类型识别系统能够识别施工现场的钢卷、铁框、推车、模板、混凝土砖块、钢管和钢筋等7种物料，见图5。
73.下表1到表4给出了四个实施例记录的4种不同吊物类型的塔机吊运信息，四个表格中清晰记录了起吊时间、吊物类型、吊物重量、卸料时间和吊物类型识别图像等吊运信息。
74.实施例1
75.表1记录塔机进行了一次2吨的钢卷吊运，各项参数及检测结果如下：
76.表1、塔机吊运钢卷的吊运信息列表
[0077][0078]
实施例2
[0079]
本实施例2的工作过程与实施例1一致，表2为一次0.8吨的铁框吊运，各项参数及检测结果如下：
[0080]
表2、塔机吊运铁框的吊运信息列表
[0081][0082]
实施例3
[0083]
本实施例3的工作过程与实施例1一致，表3为一次0.5吨的模板吊运；各项参数及检测结果如下：
[0084]
表3、塔机吊运模板的吊运信息列表
[0085][0086]
实施例4
[0087]
本实施例4的工作过程与实施例1一致，表4为一次0.2吨的推车吊运，各项参数及检测结果如下：
[0088]
表4、塔机吊运推车的吊运信息列表
[0089][0090]
综上所述，本发明方法的塔机吊物的重量检测与类型识别系统准确记录了塔机的每次吊运信息，包括起吊时间、吊物类型、吊物重量、卸料时间和吊物类型识别图像，为施工进度和吊物使用情况的准确把控，提供了依据，有利于提高施工精细化管理。

技术特征：
1.一种塔机吊物的重量检测与类型识别系统，其特征在于：包括主处理器，主处理器的vga口对外连接有显示器、主处理器的dc口连接有电源模块、主处理器的rj45口连接有通信模块、主处理器的csi口连接有摄像头、主处理器的ad0口连接有电阻应变式传感器、主处理器的ad1口连接有电位计式传感器、主处理器的并口连接有回转型的多圈编码器。2.根据权利要求1所述的塔机吊物的重量检测与类型识别系统，其特征在于：所述的主处理器的型号选用瑞芯微rv1109，主处理器中预置有yolov5塔机吊物类型识别模型的处理程序。3.根据权利要求1所述的塔机吊物的重量检测与类型识别系统，其特征在于：所述的摄像头安装在塔机小车上，实时拍摄塔机吊钩及吊物视频图像；电源模块采用12v的电源；通信模块采用5g网络。4.根据权利要求1所述的塔机吊物的重量检测与类型识别系统，其特征在于：所述的电阻应变式传感器用于载重检测；电位计式传感器用于小车幅度检测；多圈编码器用于塔机转角检测。5.一种塔机吊物的重量检测与类型识别方法，其特征在于，步骤包括：步骤1、改进yolov5目标识别网络结构，并进行训练，得到yolov5塔机吊物类型识别模型；步骤2、统计塔机工作过程中每一次吊运任务的吊运信息；步骤3、累计施工期间涉及的所有吊物的吊运信息，得到本施工项目名下的吊物重量检测与类型识别的全部完整信息。6.根据权利要求5所述的塔机吊物的重量检测与类型识别方法，其特征在于，步骤1中，具体过程是：yolov5塔机吊物类型识别模型的结构，基于yolov5目标识别网络改进而来，创新点有两处：1)在yolov5目标识别算法的特征提取模块中插入simam注意力机制；2)将yolov5目标识别算法特征融合中的panet模块替换为bifpn模块，yolov5塔机吊物类型识别模型的训练过程，具体步骤如下：1.1)吊物视频采集，通过塔机吊钩上的摄像头录制不同吊物的视频，利用视频分帧技术得到不同工况下的多个类别吊物的视频集；1.2)吊物类别标注，利用labelimg软件对采集到的视频集进行吊物类别标注；在labelimg环境下对视频集图像帧中的吊物进行画框标注，并对画框标注“标签”，标注标签后该图片会自动保存为xml格式，以此得到一个吊物样本；1.3)建立塔机吊物数据集，对不同吊物进行标注，将标注得到的xml格式的数据转换为yolov5算法进行训练的txt格式，得到多类别、大样本的吊物数据集；1.4)建立yolov5塔机吊物类型识别算法架构，建立pytorch3.9深度学习环境，用python编程语言搭建出yolov5塔机吊物类型识别算法架构；1.5)训练得到yolov5塔机吊物类型识别模型，
将塔机吊物数据集输入改进后的yolov5塔机吊物类型识别网络并进行训练，直至各项参数收敛，即得到优化好的yolov5塔机吊物类型识别模型。7.根据权利要求5所述的塔机吊物的重量检测与类型识别方法，其特征在于，步骤2中，塔机的吊运信息的生成过程如下：2.1)系统初始化，将起吊重量l0、起吊幅度r0、起吊转角θ0和起吊标志flag初始化置零，完成塔机吊运信息的初始化；2.2)采样塔机当前的运行信息，塔机正常运行中，采集前述各个传感器的检测数值，得到塔机当前的运行信息，包括当前吊重l、小车幅度r及塔机转角θ三项信息；2.3)计算当前额定载重l
e
，塔机的载荷曲线给出了塔机不同幅度下的允许载荷，由当前塔机小车幅度r结合塔机载荷曲线，得到塔机当前的额定载重l
e
；2.4)判断起吊标志flag是否为0，如果起吊标志flag＝0，说明塔机当前还未进入起吊状态，运行步骤5；反之，则运行步骤10；2.5)判断吊重差l-l0是否大于0.1倍的额定载重l
e
，将采样得到的当前吊重l与起吊重量l0作差，如果l-l0>0.1*l
e
，说明塔机当前已经起吊重物，运行步骤6；反之，则返回步骤2；2.6)更新吊运信息，确认塔机已经起吊重物，则对吊运信息进行更新，即l0＝l、r0＝r、θ0＝θ，并记录当前时间为起吊时间t0；2.7)获取当前吊钩上吊物的视频图像，利用塔机小车吊钩上的摄像头，获取当前吊钩上的吊物的视频图像i
m
；2.8)利用yolov5塔机吊物类型识别模型识别当前吊物类型，利用yolov5塔机吊物类型识别模型对当前吊钩上吊物的视频图像i
m
进行识别，得到当前吊物的类型名称n；2.9)起吊标志置1，将起吊标志flag置1，然后返回执行步骤2；2.10)判断l
0-l是否大于额定载重0.1*l
e
，如果l
0-l>0.1*l
e
，说明塔机吊重减轻，继续执行步骤11；反之，则返回步骤2；2.11)判断|r-r0|是否大于r
m
，或|θ-θ0|是否大于θ
m
，塔机运输阶段是塔机起吊吊物后通过转动或变幅运动，将吊物运输到目的地，因此，准确判断塔机的卸料点需要结合两个条件：条件一)步骤10中吊重的减轻；条件二)塔机起吊吊物到卸料是否有变幅运动或转角运动；定义r
m
为塔机变幅运动的判断阈值，θ
m
为塔机转角运动的判断阈值，如果|r-r0|>r
m
或|θ-θ0|>θ
m
，判断塔机进行过变幅运动或转角运动，而且步骤10已经判断到塔机吊重减轻，因此，此时能够确定塔机进行了卸料，继续执行步骤12；反之，返回步骤2；2.12)记录卸料时间，
确认当前已经完成卸料，则记录当前时间为卸料时间t1；2.13)生成塔机吊运信息，将上述的起吊时间t0、吊物类型名称n、起吊重量l0、卸料时间t1和吊物类型识别图像i
m
存储在同一个目录下，得到一条完整的吊运信息；以此类推，重新设置flag＝0，返回步骤2，重新开始一个新的吊运信息的循环过程。

技术总结
本发明公开了一种塔机吊物的重量检测与类型识别系统，包括主处理器，主处理器对外分别连接有显示器、电源模块、通信模块、摄像头、电阻应变式传感器、电位计式传感器、多圈编码器。本发明还公开了一种塔机吊物的重量检测与类型识别方法，利用yolov5塔机吊物类型识别模型，统计塔机工作过程中每一次吊运任务的吊运信息，累计施工期间涉及的所有吊物的吊运信息，得到本施工项目名下的吊物重量检测与类型识别的全部完整信息。本发明系统及方法，设计了塔机吊运信息生成流程，通过统计塔机吊运信息，实现了施工现场吊物使用和工程进度精准管理。理。理。


技术研发人员：杨静 洪俊豪
受保护的技术使用者：西安理工大学
技术研发日：2023.06.26
技术公布日：2023/9/22