架空输电线路可视化监拍隐患识别方法和装置与流程

1.本发明涉及电力技术领域，特别是指一种架空输电线路可视化监拍隐患识别方法和装置。


背景技术：

2.目前架空输电线路可视化监拍隐患识别算法，通过目标检测方案实现隐患的识别，前端装置或者后端服务识别到隐患后向平台发送告警，监控人员收到告警后根据告警的经验判定决定后续的安排，对于紧急的告警通过声光告警器或者现场巡视解决，对于非紧急的告警保持密切跟踪，不做处理，对于完全没有威胁的告警不做处理。
3.随着可视化监拍装置数量日益增多，采集真空期逐步缩短，平台上的告警量与日俱增，人员监控受限于人数、人员疲劳等可能造成漏看的情况，从而导致紧急的告警沉默于告警消息之中，进而引发跳闸或者人员伤亡、车辆损坏等严重事故。


技术实现要素：

4.为解决现有技术的缺陷，本发明提供一种架空输电线路可视化监拍隐患识别方法和装置，减少了运维人员对告警处理的工作量，避免了告警处理不及时引发的跳闸或者人员伤亡、车辆损坏等严重事故，能在节约设备电量的同时实现对隐患发展变化过程的有效监控。
5.本发明提供技术方案如下：
6.一种架空输电线路可视化监拍隐患识别方法，所述方法包括：
7.s1：获取通过监拍装置定时抓拍的图像，并通过训练后的隐患识别模型对所述图像的隐患进行检测，判断是否有隐患并判断隐患类型；其中，所述隐患类型包括施工机械、导线异物和烟雾山火；
8.s2：当所述隐患类型判断为施工机械或烟雾山火时，执行s3；当所述隐患类型判断为导线异物时，将告警等级判定为危急告警，并执行s4；
9.s3：根据所述施工机械或烟雾山火的运动趋势以及所述施工机械或烟雾山火的告警位置与设定的架空输电线路的防护区的位置关系，将告警等级判定为一般告警、重点告警或危急告警；
10.s4：对于一般告警，不做处理，等待下一个巡视周期从s1执行；对于重点告警，通过监拍装置进行定时密集抓拍，输出重点告警信息和定时密集抓拍的图像；对于危急告警，调整监拍装置的位置和焦距，采集告警位置的视频流，对所述视频流进行分析，输出危急告警信息以及视频流的分析结果。
11.进一步的，通过如下过程设定所述架空输电线路的防护区：
12.获取包括架空输电线路的导线和杆塔的目标图像，分别通过杆塔检测模型和导线检测模型对目标图像的杆塔和导线进行检测，得到杆塔位置和导线位置；
13.根据导线位置与杆塔位置的相对位置信息确定主杆塔，并利用导线位置确定主杆
塔两侧的最外侧导线，将所述主杆塔和最外侧导线之间的区域确定为初始防护区；
14.根据架空输电线路的电压等级对所述初始防护区进行外扩，得到架空输电线路的防护区。
15.进一步的，通过如下过程对所述初始防护区进行外扩：
16.设定外扩系数k并计算外扩距离r；
17.其中，(r＝x
r-x
l
)*k/2，xr和x
l
分别为所述初始防护区右侧边缘点的x坐标和左侧边缘点的x坐标；
18.对所述初始防护区的每一个轮廓点pi，当轮廓点pi为凸点、凹点或平点时，分别通过如下式(1)、式(2)和式(3)计算其外扩后的轮廓点qi；
[0019][0020][0021][0022]
其中，
[0023]
p
i-1
和p
i+1
分别为轮廓点pi的前一个轮廓点和后一个轮廓点，θi为线段p
i-1 pi与p
i+1
pi的夹角，ei为p
i-1
指向pi的单位向量，e
i+1
为pi指向p
i+1
的单位向量。
[0024]
进一步的，所述s3包括：
[0025]
s31：计算前后两幅图像的烟雾山火的告警位置的检测框的交并比iou1，将所述交并比iou1与设定的阈值t1进行比较，若iou1小于t1，则将告警等级判定为重点告警，否则执行s32；
[0026]
计算前后两幅图像的施工机械的告警位置的检测框的交并比iou2，将所述交并比iou2与设定的阈值t2进行比较，若iou2大于t2，则将告警等级判定为一般告警，否则执行s32；
[0027]
s32：判断施工机械或烟雾山火的告警位置的检测框与所述架空输电线路的防护区是否存在交集，若否，则将告警等级判定为一般告警，若是，执行s33；
[0028]
s33：若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离大于第一距离，则将告警等级判定为一般告警；
[0029]
若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离在第二距离和第一距离之间，则将告警等级判定为重点告警；
[0030]
若施工机械或烟雾山火的告警位置位于架空输电线路的防护区内或施工机械或烟雾山火的告警位与导线位置的最近距离小于第二距离，则将告警等级判定为危急告警；
[0031]
其中，所述第二距离小于所述第一距离。
[0032]
进一步的，通过如下过程对所述视频流进行分析：
[0033]
通过视频检测模型对所述视频流每一帧图像的隐患进行检测，通过目标跟踪模型
对检测的隐患进行连续性分析，通过趋势判定方法计算施工机械的运动状态或烟雾山火的扩散趋势。
[0034]
进一步的，通过如下过程调整监拍装置的位置：
[0035]
计算监拍装置的x方向调整尺度angle_x和y方向调整尺度angle_y，并根据angle_x和angle_y调整监拍装置的位置；
[0036]
angle_x＝(bbox_center_x-image_center_x)*fov_width/width
[0037]
angle_y＝(bbox_center_y-image_center_y)*fov_height/height
[0038]
其中，bbox_center_x和bbox_center_y分别为告警位置的中心的x和y坐标，image_center_x和image_center_y为图像的中心的x和y坐标，fov_width和fov_height分别为监拍装置的宽度视角和高度视角，width和height分别为图像的宽和高；
[0039]
通过如下过程调整监拍装置的焦距：
[0040]
计算监拍装置的新焦距new_focal，并根据新焦距new_focal调整监拍装置的焦距；
[0041]
new_focal＝current_focal+bbox_width/width*scale
[0042]
其中，current_focal为监拍装置的当前焦距，bbox_width为监拍装置的宽度，scale为设定的调整比例系数。
[0043]
一种架空输电线路可视化监拍隐患识别装置，所述装置包括：
[0044]
隐患检测模块，用于获取通过监拍装置定时抓拍的图像，并通过训练后的隐患识别模型对所述图像的隐患进行检测，判断是否有隐患并判断隐患类型；其中，所述隐患类型包括施工机械、导线异物和烟雾山火；
[0045]
第一等级判断模块，用于当所述隐患类型判断为施工机械或烟雾山火时，执行第二级判断模块；当所述隐患类型判断为导线异物时，将告警等级判定为危急告警，并执行告警处理模块；
[0046]
第二等级判断模块，用于根据所述施工机械或烟雾山火的运动趋势以及所述施工机械或烟雾山火的告警位置与设定的架空输电线路的防护区的位置关系，将告警等级判定为一般告警、重点告警或危急告警；
[0047]
告警处理模块，用于对于一般告警，不做处理，等待下一个巡视周期从隐患检测模块执行；对于重点告警，通过监拍装置进行定时密集抓拍，输出重点告警信息和定时密集抓拍的图像；对于危急告警，调整监拍装置的位置和焦距，采集告警位置的视频流，对所述视频流进行分析，输出危急告警信息以及视频流的分析结果。
[0048]
进一步的，通过如下过程设定所述架空输电线路的防护区：
[0049]
获取包括架空输电线路的导线和杆塔的目标图像，分别通过杆塔检测模型和导线检测模型对目标图像的杆塔和导线进行检测，得到杆塔位置和导线位置；
[0050]
根据导线位置与杆塔位置的相对位置信息确定主杆塔，并利用导线位置确定主杆塔两侧的最外侧导线，将所述主杆塔和最外侧导线之间的区域确定为初始防护区；
[0051]
根据架空输电线路的电压等级对所述初始防护区进行外扩，得到架空输电线路的防护区。
[0052]
进一步的，通过如下过程对所述初始防护区进行外扩：
[0053]
设定外扩系数k并计算外扩距离r；
[0054]
其中，(r＝x
r-x
l
)*k/2，xr和x
l
分别为所述初始防护区右侧边缘点的x坐标和左侧边缘点的x坐标；
[0055]
对所述初始防护区的每一个轮廓点pi，当轮廓点pi为凸点、凹点或平点时，分别通过如下式(1)、式(2)和式(3)计算其外扩后的轮廓点qi；
[0056][0057][0058][0059]
其中，
[0060]
p
i-1
和p
i+1
分别为轮廓点pi的前一个轮廓点和后一个轮廓点，θi为线段p
i-1 pi与p
i+1
pi的夹角，ei为p
i-1
指向pi的单位向量，e
i+1
为pi指向p
i+1
的单位向量。
[0061]
进一步的，所述第二等级判断模块包括：
[0062]
运动趋势判断单元，用于计算前后两幅图像的烟雾山火的告警位置的检测框的交并比iou1，将所述交并比iou1与设定的阈值t1进行比较，若iou1小于t1，则将告警等级判定为重点告警，否则执行定性分析单元；
[0063]
计算前后两幅图像的施工机械的告警位置的检测框的交并比iou2，将所述交并比iou2与设定的阈值t2进行比较，若iou2大于t2，则将告警等级判定为一般告警，否则执行定性分析单元；
[0064]
定性分析单元，用于判断施工机械或烟雾山火的告警位置的检测框与所述架空输电线路的防护区是否存在交集，若否，则将告警等级判定为一般告警，若是，执行定量分析单元；
[0065]
定量分析单元，用于若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离大于第一距离，则将告警等级判定为一般告警；
[0066]
若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离在第二距离和第一距离之间，则将告警等级判定为重点告警；
[0067]
若施工机械或烟雾山火的告警位置位于架空输电线路的防护区内或施工机械或烟雾山火的告警位与导线位置的最近距离小于第二距离，则将告警等级判定为危急告警；
[0068]
其中，所述第二距离小于所述第一距离。
[0069]
进一步的，通过如下过程对所述视频流进行分析：
[0070]
通过视频检测模型对所述视频流每一帧图像的隐患进行检测，通过目标跟踪模型对检测的隐患进行连续性分析，通过趋势判定方法计算施工机械的运动状态或烟雾山火的扩散趋势。
[0071]
进一步的，通过如下过程调整监拍装置的位置：
[0072]
计算监拍装置的x方向调整尺度angle_x和y方向调整尺度angle_y，并根据angle_
x和angle_y调整监拍装置的位置；
[0073]
angle_x＝(bbox_center_x-image_center_x)*fov_width/width
[0074]
angle_y＝(bbox_center_y-image_center_y)*fov_height/height
[0075]
其中，bbox_center_x和bbox_center_y分别为告警位置的中心的x和y坐标，image_center_x和image_center_y为图像的中心的x和y坐标，fov_width和fov_height分别为监拍装置的宽度视角和高度视角，width和height分别为图像的宽和高；
[0076]
通过如下过程调整监拍装置的焦距：
[0077]
计算监拍装置的新焦距new_focal，并根据新焦距new_focal调整监拍装置的焦距；
[0078]
new_focal＝current_focal+bbox_width/width*scale
[0079]
其中，current_focal为监拍装置的当前焦距，bbox_width为监拍装置的宽度，scale为设定的调整比例系数。
[0080]
一种用于架空输电线路可视化监拍隐患识别的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括所述架空输电线路可视化监拍隐患识别方法的步骤。
[0081]
一种用于架空输电线路可视化监拍隐患识别的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现所述架空输电线路可视化监拍隐患识别方法的步骤。
[0082]
本发明具有以下有益效果：
[0083]
1、本发明将隐患的威胁程度划分为三个等级，具体是危急告警、重要告警、一般告警。其中危急告警是指运维人员必须干预的告警，重要告警是重点监视的告警，为后续发展成危机告警做干预准备，一般告警是不需要关注的告警，对导线和杆塔无威胁。本发明可以根据隐患的类型进行针对性的分析，充分挖掘输电线路业务场景的隐患特征对有效告警进行定义，危急告警和重要告警才是需要关注的有效告警，而一般告警为无需关注的无效告警。运维人员只需关注重点告警，并优先处理危急告警即可，对一般告警无需关注处理。减少了运维人员对告警处理的工作量，避免了对告警漏看的情况，避免了告警引发的跳闸或者人员伤亡、车辆损坏等严重事故。
[0084]
2、监拍装置由于功耗要求，不能长时间开启视频分析，同时视频分析模型一般识别精度比图像分析模型识别精度低很多，因此本发明分为图像分析以及视频分析两个过程。正常通过监拍装置定时抓拍图像进行分析，当判断为重点告警时密集进行抓抓拍，当危急告警时才采集视频并分析，通过重点告警和危急告警下的有效处理手段，能在节约设备电量的同时实现对隐患发展变化过程的有效监控。
附图说明
[0085]
图1为本发明的架空输电线路可视化监拍隐患识别方法的流程图；
[0086]
图2为架空输电线路的初始防护区的示意图；
[0087]
图3为初始防护区外扩的示意图；
[0088]
图4为初始防护区外扩后的防护区的示意图；
[0089]
图5为iou的示意图；
[0090]
图6为本发明的架空输电线路可视化监拍隐患识别装置的示意图。
具体实施方式
[0091]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0092]
本发明实施例提供一种架空输电线路可视化监拍隐患识别方法，如图1所示，所述方法包括：
[0093]
s1：获取通过监拍装置定时抓拍的图像，并通过训练后的隐患识别模型对图像的隐患进行检测，判断是否有隐患并判断隐患类型；其中，隐患类型包括施工机械、导线异物和烟雾山火。
[0094]
输电线路业务场景隐患分析需求是通过安装在输电线路杆塔上的相机等监拍装置采集场景图像，常规间隔10-30分钟拍摄一张图像，间隔时间可调。以某地市安装的1.3万台架空输电线路来说，1.3万个场景，据统计存在隐患场景大概是20％，每10分钟拍摄一张图像，一个小时需要采集6张，1.3万个场景的告警概率1.3*6*0.2＝1.56万张。每10分钟要查看1.3万*0.2＝2600张隐患图像，一般常规的运维团队，负责1.3万台设备的大概不到10人，每人需要负责260个场景，除了确认告警还要确认威胁程度，还需要长时间监控，疲劳程度可见一斑。
[0095]
对于某些场景下，隐患一动不动或者在距离导线很远的区域活动，对杆塔不构成威胁，完全没有必要上报给运维人员跟进；但是对于某些隐患，比如导线异物，悬挂到杆塔上就很危险，必须尽快处理；对于烟火，火势较小可控的情况下，只需要关注即可，不需要跟进处理；对于吊车，距离导线较远的情况下也没必要推送给运维人员。因此，有必要对隐患的威胁程度进行分级，根据隐患的级别判断是否推送给运维人员，减少运维人员的工作量。
[0096]
因为隐患的级别与隐患的类型是相关的，不同的隐患类型判断隐患级别的方式不相同，因此本发明首先对定时抓拍的图像进行隐患检测，判断是否有隐患并判断隐患类型，同时对隐患进行定位，得到隐患位置。隐患位置通常可以以检测框表示。
[0097]
常规的隐患识别模型有多种，例如基于yolov5、基于faster rcnn以及基于cascadercnn的隐患识别模型等，隐患识别模型使用前需要进行训练。
[0098]
以yolov5目标检测模型为例，将标注好的隐患数据(包含三大类：施工机械、导线异物和烟雾山火，其中施工机械又包括吊车、水泥泵车、打桩机、翻斗车等类别)输入到yolov5网络，对训练数据进行mosaic增强以及锚框自适应计算、图像缩放之后输入到骨干网络中提取图像特征，最后输入到fpn和pan结构融合多尺度特征，最终输入到损失函数中计算损失，反向传播误差，实现模型的参数训练过程。
[0099]
训练后即可对输入的图像进行隐患检测，如果识别没有隐患，则继续定时等待下一次采集图像。如果检测到隐患，给出隐患位置的检测框，并对目标类型进行判断，判断为
施工机械、导线异物和烟雾山火。
[0100]
s2：当隐患类型判断为施工机械或烟雾山火时，执行s3；当隐患类型判断为导线异物时，将告警等级判定为危急告警，并执行s4。
[0101]
不同类型的告警物因为其威胁程度不同，划分等级的方式也有差异。如果是导线异物，随时威胁导线安全运行，必须紧急处理，因此直接判定危急告警，提醒运维人员必须紧急处理，直到消警；如果是烟火以及施工机械类型，需要进一步分析。
[0102]
s3：根据施工机械或烟雾山火的运动趋势以及施工机械或烟雾山火的告警位置与设定的架空输电线路的防护区的位置关系，将告警等级判定为一般告警、重点告警或危急告警。
[0103]
施工机械或烟雾山火的运动趋势以及相对位置会对架空输电线路产生不同的威胁，因此需要结合其运动趋势和相对位置判断告警等级。烟雾和施工机械的类型不同，但判断逻辑类似。
[0104]
s4：对于一般告警，不做处理，无需上报给运维人员跟进，等待下一个巡视周期从s1执行。
[0105]
对于重点告警，通过监拍装置进行定时密集抓拍，输出重点告警信息和定时密集抓拍的图像。
[0106]
重点告警启动后，反馈给监拍装置进行密集抓拍，紧密观察隐患的进一步发展变化。图像分析的监拍规则一般10-30分钟拍摄一次，密集监拍的采集间隔可以缩短到1-5分钟。此间隔仅为示例，可以实际根据情况设置。密集抓拍后，将重点告警的等级和密集抓拍的图像上报给运维人员跟进。
[0107]
对于危急告警，调整监拍装置的位置和焦距，采集告警位置的视频流，对视频流进行分析，输出危急告警信息以及视频流的分析结果。
[0108]
危急告警启动后，调整相机云台以及相机焦距，启动实时视频分析或者静默视频分析方案。相机云台和相机焦距的调整方案，目的在于保持隐患目标始终位于画面的中间并且足够大。实时视频分析方案和静默视频分析方案，用于对获取视频流数据进行进一步的隐患检测，对隐患进行更严密的分析。视频分析的隐患识别方法与图片的隐患分析类似，分析后，将危急告警信息以及视频流的分析结果上报给运维人员，以进行干预。视频流的分析结果可以是实时视频、短视频、抽样合成的短视频、密集图像序列等不同的形式。
[0109]
本发明具有如下有益效果：
[0110]
1、本发明将隐患的威胁程度划分为三个等级，具体是危急告警、重要告警、一般告警。其中危急告警是指运维人员必须干预的告警，重要告警是重点监视的告警，为后续发展成危机告警做干预准备，一般告警是不需要关注的告警，对导线和杆塔无威胁。本发明可以根据隐患的类型进行针对性的分析，充分挖掘输电线路业务场景的隐患特征对有效告警进行定义，危急告警和重要告警才是需要关注的有效告警，而一般告警为无需关注的无效告警。运维人员只需关注重点告警，并优先处理危急告警即可，对一般告警无需关注处理。减少了运维人员对告警处理的工作量，避免了对告警漏看的情况，避免了告警引发的跳闸或者人员伤亡、车辆损坏等严重事故。
[0111]
2、监拍装置由于功耗要求，不能长时间开启视频分析，同时视频分析模型一般识别精度比图像分析模型识别精度低很多，因此本发明分为图像分析以及视频分析两个过
程。正常通过监拍装置定时抓拍图像进行分析，当判断为重点告警时密集进行抓抓拍，当危急告警时才采集视频并分析，通过重点告警和危急告警下的有效处理手段，能在节约设备电量的同时实现对隐患发展变化过程的有效监控。
[0112]
本发明定义了架空输电线路的防护区，该防护区可以根据经验划定，也可以根据图像识别的方法设定。示例性的，可以通过如下过程设定架空输电线路的防护区：
[0113]
1、获取包括架空输电线路的导线和杆塔的目标图像，分别通过杆塔检测模型和导线检测模型对目标图像的杆塔和导线进行检测，得到杆塔位置和导线位置。
[0114]
其中，杆塔检测可以采用基于深度学习的方法，杆塔检测模型使用mobilenet作为模型主干网络，损失函数为gfloss(generalfocalloss)，具体为：
[0115]
gfloss＝qfl+γdfl
[0116]
其中，超参数γ＝0.25，qfl与dfl如下：
[0117]
qfl(p)＝-|y-σ|
β
((1-y)log(1-σ)+ylog(σ))
[0118]
dfl(si,s
i+1
)＝-((y
i+1-y)log(si)+(y-yi)log(s
i+1
))
[0119][0120][0121]
qfl中y取值为0或1，表示的预测框与真实框iou值，σ是分类分支经过sigmoid激活函数后类别预测值，范围为0～1，β为超参设置为2。dfl中，y为预测边界值，yi为均分后取整后真实边框值，这里超参数i取值为1～16的整数。
[0122]
导线检测部分也同样采用基于深度学习方法，模型部分与杆塔检测模型设置一致，不同的是导线检测训练过程中损失函数不同，导线检测损失函数为celoss。
[0123]
2、根据导线位置与杆塔位置的相对位置信息确定主杆塔，并利用导线位置确定主杆塔两侧的最外侧导线，将主杆塔和最外侧导线之间的区域确定为初始防护区。
[0124]
图像中杆塔的数量有多个，需要确定与导线对应的杆塔，即主杆塔。主杆塔如图2中中间的杆塔所示，可以根据导线与杆塔的位置关系来确定，一般的，导线与主杆塔直接相连，并且位置接近，如此可以通过位置确定主杆塔。
[0125]
最外侧导线可以根据导线的斜率确定，由于相机的成像特点，导线在图像中是中心投影的方式成像，内侧导线和外侧导线的斜率不同，外侧导线的斜率小于内侧导线，如图2所示。因此可以根据导线的斜率确定主杆塔两侧的最外侧导线。
[0126]
最后，即可根据主杆塔和最外侧导线确定初始防护区，初始防护区可以根据最外侧两侧导线与主杆塔底端映射构成，如图2所示。
[0127]
3、根据架空输电线路的电压等级对初始防护区进行外扩，得到架空输电线路的防护区。
[0128]
由于架空输电线路的电压等级不同，其安全区域也就不同，因此可以根据架空输电线路的电压等级对初始防护区进行外扩，得到最终的防护区。
[0129]
外扩的方法可以通过经验手动调整，也可以根据初始防护区自动扩充。
[0130]
示例性的，可以通过如下过程对初始防护区进行外扩：
[0131]
1、设定外扩系数k并计算外扩距离r。
[0132]
其中，(r＝x
r-x
l
)*k/2，xr和x
l
分别为初始防护区右侧边缘点的x坐标和左侧边缘点的x坐标。
[0133]
2、对初始防护区的每一个轮廓点pi，当轮廓点pi为凸点、凹点或平点时，分别通过如下式(1)、式(2)和式(3)计算其外扩后的轮廓点qi。
[0134][0135][0136][0137]
其中，
[0138]
p
i-1
和p
i+1
分别为轮廓点pi的前一个轮廓点和后一个轮廓点，θi为线段p
i-1 pi与p
i+1
pi的夹角，ei为p
i-1
指向pi的单位向量，e
i+1
为pi指向p
i+1
的单位向量。
[0139]
凸点、凹点或平点可以根据轮廓点附近求导得到，凸点、凹点或平点的外扩如图3中(a)、(b)、(c)所示。外扩后的防护区的一个示例如图4所示，外扩系数k＝1.5。
[0140]
作为本发明实施例的一种该景，前述的s3包括：
[0141]
s31：计算前后两幅图像的烟雾山火的告警位置的检测框的交并比iou1，将交并比iou1与设定的阈值t1进行比较，若iou1小于t1，则将告警等级判定为重点告警，否则执行s32。
[0142]
交并比iou用于表示两个检测框的重叠程度，其示意图如图5所示，其公式如下：
[0143][0144]
iou1用于对烟火进行火情趋势判断，烟雾山火的告警位置的检测框中包括了火焰和烟雾区域的信息，可以通过烟雾的扩散判断火情是否扩大。以前后两次检测结果的交并比iou1来推断，如果交并比iou1＜t1则表示火情已扩散，则进行重点告警，提醒运维人员持续关注。如果交并比《t1则考虑，火情没有扩大，则进行s32的定性和定量分析。
[0145]
计算前后两幅图像的施工机械的告警位置的检测框的交并比iou2，将交并比iou2与设定的阈值t2进行比较，若iou2大于t2，则将告警等级判定为一般告警，否则执行s32。
[0146]
对于施工机械的告警与烟雾山火的告警类似，通过交并比iou2对施工机械进行运动趋势判定，如果iou2小于t2，施工机械发生较大的运动，则进行s32的定性或者定量分析，如果iou2大于t2，施工机械几乎没有运动，则进行一般告警。
[0147]
阈值t1和t2的数值可调，示例性的，可以取0.8。
[0148]
s32：判断施工机械或烟雾山火的告警位置的检测框与架空输电线路的防护区是否存在交集，若否，则将告警等级判定为一般告警，若是，执行s33。
[0149]
本步骤用于首先进行定性分析，判断施工机械或烟雾山火的告警位置有没有在防护区内，判断办法可以使用烟检测框与防护区位置框的位置关系判定，具体做法是判断检测框与防护区是否存在交集，如果存在交集，则认为施工机械或烟雾山火的在防护区边缘或者内部，进行s33的定量分析。如果不存在交集，则认为隐患距离防护区较远，反馈一般告
警。
[0150]
s33：若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离大于第一距离，则将告警等级判定为一般告警。其中，第二距离小于第一距离。
[0151]
例如，如果烟雾或者机械发生在防护区边缘并且距离导线的最近距离超过50米，则进行一般告警。
[0152]
若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离在第二距离和第一距离之间，则将告警等级判定为重点告警。
[0153]
例如，如果烟雾或者施工机械发生在防护区的边缘或者净空距离在30-50米之间则进行重点告警。
[0154]
若施工机械或烟雾山火的告警位置位于架空输电线路的防护区内或施工机械或烟雾山火的告警位与导线位置的最近距离小于第二距离，则将告警等级判定为危急告警。
[0155]
例如，如果烟雾或者施工机械在防护区内部或者距离导线的净空距离小于30米，则进行危急告警。以上范围可依据实际需求进行设定，不局限于30、50这两个数字。
[0156]
本发明设计了一套行之有效的有效告警分析方法，利用隐患的多维度特征指标，包括历史告警指标、当前告警指标、目标运动状态分析、定性定量估计等，对告警等级进行划分，将危急告警优先发送给监控人员，并针对危急告警进行实时跟踪，在实现隐患的及时预警的同时记录危急告警的过程，避免跳闸事故的发生，同时实现隐患过程的追溯，保护输电线路的安全稳定运行。
[0157]
作为本发明实施例的另一种改进，可以通过如下过程对视频流进行分析：
[0158]
获取视频流中的每一帧图像，通过视频检测模型对视频流每一帧图像的隐患进行检测，然后通过目标跟踪模型对检测的隐患目标进行连续性分析，进而通过趋势判定方法计算施工机械的运动状态或烟雾山火的扩散趋势。
[0159]
本发明中所依赖的基础方法，比如目标检测方法、目标跟踪方法、烟雾扩散方法以及施工机械运动分析方法不做具体限定。例如，目标跟踪算法可以是常见的kcf、sort、deepsort等单目标、多目标算法。烟雾扩散以及施工机械的运动状态分析可以使用基于光流、基于目标框的移动等方法进行分析。实时视频分析方法即每秒分析不少于15帧图像，静默视频分析方法可以是1s分析10张以内图像，比如1s分析1张。
[0160]
进一步的，可以通过如下过程调整监拍装置的位置：
[0161]
计算监拍装置的x方向调整尺度angle_x和y方向调整尺度angle_y，并根据angle_x和angle_y调整监拍装置的位置。
[0162]
angle_x＝(bbox_center_x-image_center_x)*fov_width/width
[0163]
angle_y＝(bbox_center_y-image_center_y)*fov_height/height
[0164]
其中，bbox_center_x和bbox_center_y分别为告警位置的中心的x和y坐标，image_center_x和image_center_y为图像的中心的x和y坐标，fov_width和fov_height分别为监拍装置的宽度视角和高度视角，可以为查找表，width和height分别为图像的宽和高。对于视角与像素非均匀分布的相机，可以使用查找表的方式计算这些像素对应的偏移角度更加精确。
[0165]
相应的，可以通过如下过程调整监拍装置的焦距：
[0166]
计算监拍装置的新焦距new_focal，并根据新焦距new_focal调整监拍装置的焦距。
[0167]
new_focal＝current_focal+bbox_width/width*scale
[0168]
其中，current_focal为监拍装置的当前焦距，bbox_width为监拍装置的宽度，scale为设定的调整比例系数。scale与目标底部所在的位置有关系，目标底部越靠近图像上方，表示目标距离相机越远比例越大，不同相机参数有差异。
[0169]
本发明实施例还提供一种架空输电线路可视化监拍隐患识别装置，如图6所示，该装置包括：
[0170]
隐患检测模块1，用于获取通过监拍装置定时抓拍的图像，并通过训练后的隐患识别模型对图像的隐患进行检测，判断是否有隐患并判断隐患类型；其中，隐患类型包括施工机械、导线异物和烟雾山火。
[0171]
第一等级判断模块2，用于当隐患类型判断为施工机械或烟雾山火时，执行第二级判断模块3；当隐患类型判断为导线异物时，将告警等级判定为危急告警，并执行告警处理模块4。
[0172]
第二等级判断模块3，用于根据施工机械或烟雾山火的运动趋势以及施工机械或烟雾山火的告警位置与设定的架空输电线路的防护区的位置关系，将告警等级判定为一般告警、重点告警或危急告警。
[0173]
告警处理模块4，用于对于一般告警，不做处理，等待下一个巡视周期从隐患检测模块1执行；对于重点告警，通过监拍装置进行定时密集抓拍，输出重点告警信息和定时密集抓拍的图像；对于危急告警，调整监拍装置的位置和焦距，采集告警位置的视频流，对视频流进行分析，输出危急告警信息以及视频流的分析结果。
[0174]
本发明定义了架空输电线路的防护区，该防护区可以根据经验划定，也可以根据图像识别的方法设定。示例性的，可以通过如下过程设定架空输电线路的防护区：
[0175]
获取包括架空输电线路的导线和杆塔的目标图像，分别通过杆塔检测模型和导线检测模型对目标图像的杆塔和导线进行检测，得到杆塔位置和导线位置。
[0176]
根据导线位置与杆塔位置的相对位置信息确定主杆塔，并利用导线位置确定主杆塔两侧的最外侧导线，将主杆塔和最外侧导线之间的区域确定为初始防护区。
[0177]
根据架空输电线路的电压等级对初始防护区进行外扩，得到架空输电线路的防护区。
[0178]
进一步的，可以通过如下过程对初始防护区进行外扩：
[0179]
设定外扩系数k并计算外扩距离r。
[0180]
其中，(r＝x
r-x
l
)*k/2，xr和x
l
分别为初始防护区右侧边缘点的x坐标和左侧边缘点的x坐标。
[0181]
对初始防护区的每一个轮廓点pi，当轮廓点pi为凸点、凹点或平点时，分别通过如下式(1)、式(2)和式(3)计算其外扩后的轮廓点qi。
[0182]
[0183][0184][0185]
其中，
[0186]
p
i-1
和p
i+1
分别为轮廓点pi的前一个轮廓点和后一个轮廓点，θi为线段p
i-1 pi与p
i+1
pi的夹角，ei为p
i-1
指向pi的单位向量，e
i+1
为pi指向p
i+1
的单位向量。
[0187]
作为本发明实施例的一种改进，前述的第二等级判断模块包括：
[0188]
运动趋势判断单元，用于计算前后两幅图像的烟雾山火的告警位置的检测框的交并比iou1，将交并比iou1与设定的阈值t1进行比较，若iou1小于t1，则将告警等级判定为重点告警，否则执行定性分析单元。
[0189]
计算前后两幅图像的施工机械的告警位置的检测框的交并比iou2，将交并比iou2与设定的阈值t2进行比较，若iou2大于t2，则将告警等级判定为一般告警，否则执行定性分析单元。
[0190]
定性分析单元，用于判断施工机械或烟雾山火的告警位置的检测框与架空输电线路的防护区是否存在交集，若否，则将告警等级判定为一般告警，若是，执行定量分析单元。
[0191]
定量分析单元，用于若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离大于第一距离，则将告警等级判定为一般告警。
[0192]
若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离在第二距离和第一距离之间，则将告警等级判定为重点告警。
[0193]
若施工机械或烟雾山火的告警位置位于架空输电线路的防护区内或施工机械或烟雾山火的告警位与导线位置的最近距离小于第二距离，则将告警等级判定为危急告警。
[0194]
其中，第二距离小于第一距离。
[0195]
作为本发明实施例的另一种改进，可以通过如下过程对视频流进行分析：
[0196]
通过视频检测模型对视频流每一帧图像的隐患进行检测，通过目标跟踪模型对检测的隐患进行连续性分析，通过趋势判定方法计算施工机械的运动状态或烟雾山火的扩散趋势。
[0197]
进一步的，可以通过如下过程调整监拍装置的位置：
[0198]
计算监拍装置的x方向调整尺度angle_x和y方向调整尺度angle_y，并根据angle_x和angle_y调整监拍装置的位置。
[0199]
angle_x＝(bbox_center_x-image_center_x)*fov_width/width
[0200]
angle_y＝(bbox_center_y-image_center_y)*fov_height/height
[0201]
其中，bbox_center_x和bbox_center_y分别为告警位置的中心的x和y坐标，image_center_x和image_center_y为图像的中心的x和y坐标，fov_width和fov_height分别为监拍装置的宽度视角和高度视角，width和height分别为图像的宽和高。
[0202]
相应的，可以通过如下过程调整监拍装置的焦距：
[0203]
计算监拍装置的新焦距new_focal，并根据新焦距new_focal调整监拍装置的焦距。
[0204]
new_focal＝current_focal+bbox_width/width*scale
[0205]
其中，current_focal为监拍装置的当前焦距，bbox_width为监拍装置的宽度，scale为设定的调整比例系数。
[0206]
上述实施例所提供的装置，其实现原理及产生的技术效果和前述方法的实施例一一对应，为简要描述，该装置的实施例部分未提及之处，可参考前述方法的实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，该装置描述的模块和单元的具体工作过程，均可以参考前述方法的实施例中的对应过程，在此不再赘述。
[0207]
本发明提供的上述实施例所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书方法实施例所描述方案的效果。因此，本发明实施例还提供用于架空输电线路可视化监拍隐患识别的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被处理器执行时实现包括前述实施例的架空输电线路可视化监拍隐患识别方法的步骤。
[0208]
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如ram、rom等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、u盘；利用光学方式存储信息的装置如，cd或dvd。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
[0209]
上述所述的存储介质根据方法实施例的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例相同，具体可以参照相关方法实施例的描述，在此不作一一赘述。
[0210]
本发明实施例还提供一种用于架空输电线路可视化监拍隐患识别的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述架空输电线路可视化监拍隐患识别的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个所述架空输电线路可视化监拍隐患识别方法的步骤。
[0211]
上述所述的设备根据方法实施例的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例相同，具体可以参照相关方法实施例的描述，在此不作一一赘述。
[0212]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种架空输电线路可视化监拍隐患识别方法，其特征在于，所述方法包括：s1：获取通过监拍装置定时抓拍的图像，并通过训练后的隐患识别模型对所述图像的隐患进行检测，判断是否有隐患并判断隐患类型；其中，所述隐患类型包括施工机械、导线异物和烟雾山火；s2：当所述隐患类型判断为施工机械或烟雾山火时，执行s3；当所述隐患类型判断为导线异物时，将告警等级判定为危急告警，并执行s4；s3：根据所述施工机械或烟雾山火的运动趋势以及所述施工机械或烟雾山火的告警位置与设定的架空输电线路的防护区的位置关系，将告警等级判定为一般告警、重点告警或危急告警；s4：对于一般告警，不做处理，等待下一个巡视周期从s1执行；对于重点告警，通过监拍装置进行定时密集抓拍，输出重点告警信息和定时密集抓拍的图像；对于危急告警，调整监拍装置的位置和焦距，采集告警位置的视频流，对所述视频流进行分析，输出危急告警信息以及视频流的分析结果。2.根据权利要求1所述的架空输电线路可视化监拍隐患识别方法，其特征在于，通过如下过程设定所述架空输电线路的防护区：获取包括架空输电线路的导线和杆塔的目标图像，分别通过杆塔检测模型和导线检测模型对目标图像的杆塔和导线进行检测，得到杆塔位置和导线位置；根据导线位置与杆塔位置的相对位置信息确定主杆塔，并利用导线位置确定主杆塔两侧的最外侧导线，将所述主杆塔和最外侧导线之间的区域确定为初始防护区；根据架空输电线路的电压等级对所述初始防护区进行外扩，得到架空输电线路的防护区。3.根据权利要求2所述的架空输电线路可视化监拍隐患识别方法，其特征在于，通过如下过程对所述初始防护区进行外扩：设定外扩系数k并计算外扩距离r；其中，(r＝x
r-x
l
)*k/2，x
r
和x
l
分别为所述初始防护区右侧边缘点的x坐标和左侧边缘点的x坐标；对所述初始防护区的每一个轮廓点p
i
，当轮廓点p
i
为凸点、凹点或平点时，分别通过如下式(1)、式(2)和式(3)计算其外扩后的轮廓点q
i
；；；其中，p
i-1
和p
i+1
分别为轮廓点p
i
的前一个轮廓点和后一个轮廓点，θ
i
为线段p
i-1 p
i
与p
i+1
p
i
的夹角，e
i
为p
i-1
指向p
i
的单位向量，e
i+1
为p
i
指向p
i+1
的单位向量。4.根据权利要求1所述的架空输电线路可视化监拍隐患识别方法，其特征在于，所述s3
包括：s31：计算前后两幅图像的烟雾山火的告警位置的检测框的交并比iou1，将所述交并比iou1与设定的阈值t1进行比较，若iou1小于t1，则将告警等级判定为重点告警，否则执行s32；计算前后两幅图像的施工机械的告警位置的检测框的交并比iou2，将所述交并比iou2与设定的阈值t2进行比较，若iou2大于t2，则将告警等级判定为一般告警，否则执行s32；s32：判断施工机械或烟雾山火的告警位置的检测框与所述架空输电线路的防护区是否存在交集，若否，则将告警等级判定为一般告警，若是，执行s33；s33：若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离大于第一距离，则将告警等级判定为一般告警；若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离在第二距离和第一距离之间，则将告警等级判定为重点告警；若施工机械或烟雾山火的告警位置位于架空输电线路的防护区内或施工机械或烟雾山火的告警位与导线位置的最近距离小于第二距离，则将告警等级判定为危急告警；其中，所述第二距离小于所述第一距离。5.根据权利要求1-4任一所述的架空输电线路可视化监拍隐患识别方法，其特征在于，通过如下过程对所述视频流进行分析：通过视频检测模型对所述视频流每一帧图像的隐患进行检测，通过目标跟踪模型对检测的隐患进行连续性分析，通过趋势判定方法计算施工机械的运动状态或烟雾山火的扩散趋势。6.根据权利要求5所述的架空输电线路可视化监拍隐患识别方法，其特征在于，通过如下过程调整监拍装置的位置：计算监拍装置的x方向调整尺度angle_x和y方向调整尺度angle_y，并根据angle_x和angle_y调整监拍装置的位置；angle_x＝(bbox_center_x-image_center_x)*fov_width/widthangle_y＝(bbox_center_y-image_center_y)*fov_height/height其中，bbox_center_x和bbox_center_y分别为告警位置的中心的x和y坐标，image_center_x和image_center_y为图像的中心的x和y坐标，fov_width和fov_height分别为监拍装置的宽度视角和高度视角，width和height分别为图像的宽和高；通过如下过程调整监拍装置的焦距：计算监拍装置的新焦距new_focal，并根据新焦距new_focal调整监拍装置的焦距；new_focal＝current_focal+bbox_width/width*scale其中，current_focal为监拍装置的当前焦距，bbox_width为监拍装置的宽度，scale为设定的调整比例系数。7.一种架空输电线路可视化监拍隐患识别装置，其特征在于，所述装置包括：隐患检测模块，用于获取通过监拍装置定时抓拍的图像，并通过训练后的隐患识别模型对所述图像的隐患进行检测，判断是否有隐患并判断隐患类型；其中，所述隐患类型包括施工机械、导线异物和烟雾山火；
第一等级判断模块，用于当所述隐患类型判断为施工机械或烟雾山火时，执行第二级判断模块；当所述隐患类型判断为导线异物时，将告警等级判定为危急告警，并执行告警处理模块；第二等级判断模块，用于根据所述施工机械或烟雾山火的运动趋势以及所述施工机械或烟雾山火的告警位置与设定的架空输电线路的防护区的位置关系，将告警等级判定为一般告警、重点告警或危急告警；告警处理模块，用于对于一般告警，不做处理，等待下一个巡视周期从隐患检测模块执行；对于重点告警，通过监拍装置进行定时密集抓拍，输出重点告警信息和定时密集抓拍的图像；对于危急告警，调整监拍装置的位置和焦距，采集告警位置的视频流，对所述视频流进行分析，输出危急告警信息以及视频流的分析结果。8.根据权利要求7所述的架空输电线路可视化监拍隐患识别装置，其特征在于，所述第二等级判断模块包括：运动趋势判断单元，用于计算前后两幅图像的烟雾山火的告警位置的检测框的交并比iou1，将所述交并比iou1与设定的阈值t1进行比较，若iou1小于t1，则将告警等级判定为重点告警，否则执行定性分析单元；计算前后两幅图像的施工机械的告警位置的检测框的交并比iou2，将所述交并比iou2与设定的阈值t2进行比较，若iou2大于t2，则将告警等级判定为一般告警，否则执行定性分析单元；定性分析单元，用于判断施工机械或烟雾山火的告警位置的检测框与所述架空输电线路的防护区是否存在交集，若否，则将告警等级判定为一般告警，若是，执行定量分析单元；定量分析单元，用于若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离大于第一距离，则将告警等级判定为一般告警；若施工机械或烟雾山火的告警位置位于架空输电线路的防护区外或施工机械或烟雾山火的告警位与导线位置的最近距离在第二距离和第一距离之间，则将告警等级判定为重点告警；若施工机械或烟雾山火的告警位置位于架空输电线路的防护区内或施工机械或烟雾山火的告警位与导线位置的最近距离小于第二距离，则将告警等级判定为危急告警；其中，所述第二距离小于所述第一距离。9.一种用于架空输电线路可视化监拍隐患识别的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-6任一所述架空输电线路可视化监拍隐患识别方法的步骤。10.一种用于架空输电线路可视化监拍隐患识别的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-6中任意一项所述架空输电线路可视化监拍隐患识别方法的步骤。

技术总结
本发明公开了一种架空输电线路可视化监拍隐患识别方法和装置，属于电力技术领域。首先通过隐患识别模型对定时抓拍的图像进行隐患检测，当隐患类型为导线异物时，判定为危急告警，当隐患类型为施工机械或烟雾山火时，根据施工机械或烟雾山火的运动趋势，以及告警位置与架空输电线路的防护区的位置关系，判定为一般告警、重点告警或危急告警；对于重点告警，进行定时密集抓拍；对于危急告警，采集告警位置的视频流，对所述视频流进行分析。本发明减少了运维人员对告警处理的工作量，避免了告警处理不及时引发的跳闸或者人员伤亡、车辆损坏等严重事故，能在节约设备电量的同时实现对隐患发展变化过程的有效监控。患发展变化过程的有效监控。患发展变化过程的有效监控。


技术研发人员：刘焕云 蔡富东 吕昌峰 郭国信 帅民伟 丁健配
受保护的技术使用者：山东信通电子股份有限公司
技术研发日：2023.05.15
技术公布日：2023/9/23