一种基于CA-SiamFC的变电站危险区域人员安全监视方法及装置与流程

一种基于ca-siamfc的变电站危险区域人员安全监视方法及装置
技术领域
1.本技术基于图像检测的领域，尤其涉及一种基于ca-siamfc的变电站危险区域人员安全监视方法。还涉及一种基于ca-siamfc的变电站危险区域人员安全监视装置。


背景技术：

2.变电站是电力传输的关键环节，现场工作环境复杂且设备较多，稍不注意就容易发生重大事故。其中，作业人员是变电站等危险场所中运行维护与检查维修场景中重要参与者，人员的操作流程和操作规范与运维安全息息相关。
3.目前变电站现场安全管控采用人工观察的方式，在变电站进行工作时会有安全监督员实时观察工作现场情况，观察现场工作人员是否与带电设备保持足够的安全距离，利用在变电站工作区域布设安全围栏的方法对作业区域进行管控。但是在变电站实际作业现场，变电站内进出通道过长，基本无法进行完整封闭，工作人员有些时候会走一些规定之外的路径到达工作区域，增加了人员误入带电间隔而触电的风险；当变电站内作业面积过大、作业点较多时，现场安全监护人员不足，难以对作业区域进行实时监督，增加了安全风险。


技术实现要素：

4.本技术的目的在于克服现有技术中的缺陷，提供一种基于ca-siamfc的变电站危险区域人员安全监视方法。还涉及一种基于ca-siamfc的变电站危险区域人员安全监视装置。
5.本技术提供的一种基于ca-siamfc的变电站危险区域人员安全监视方法，包括：
6.收集变电站作业人员视频数据集；
7.根据所述视频数据集，训练ca-siamfc模型，该ca-siamfc模型包括sia mfc模型，所述siamfc模型中的图像特征引入坐标注意力机制权重；
8.基于训练好的所述ca-siamfc模型，输入变电站危险区域监测视频图像进行跟踪检测，判定人员安全情况。
9.可选地，所述坐标注意力机制步骤，包括：
10.将输入数据的位置信息编码为与特征维度相同的向量；
11.使用卷积神经网络等方式提取输入数据的空间特征；
12.将位置编码与提取的特征进行相乘，得到具有位置信息的特征表示；
13.根据注意力权重对特征进行加权求和，得到最终加权特征。
14.可选地，所述训练ca-siamfc模型，包括：
15.使用训练数据集生成正样本和负样本，根据样本的特征计算目标损失函数；通过优化算法更新网络参数，以最小化目标损失函数；
16.基于所述siamfc模型的两个共享权重的子网络组成，分别输入模板图像和搜索图像，使用相同的参数进行训练。
17.可选地，所述分别输入模板图像和搜索图像，包括：
18.对每个训练样本，随机选择一个图像作为模板图像，从同一序列中随机选择一个不同于模板图像的图像作为搜索图像。
19.可选地，所述使用训练数据集生成正样本和负样本，包括：
20.使用目标边界框标注，将模板图像和搜索图像中的目标裁剪出来作为正样本，通过从搜索图像中随机裁剪出与正样本尺寸相同但不重叠的区域来生成一些负样本。
21.可选地，所述使用相同的参数进行训练，包括：
22.通过多次迭代训练，每次迭代中，使用不同的图像序列和目标边界框标注生成新的训练样本。
23.可选地，所述输入变电站危险区域图像进行检测，包括：
24.模板分支在第一帧提取特征，搜索分支提取后续帧特征，得到了两个特征图；
25.通过互相关操作得到输出得分图，完成所述检测。
26.可选地，还包括：
27.根据所述得分图确定输入的搜索区域上目标框的中心和大小；
28.确定一号最大响应点，确定尺度；
29.确定二号最大响应点，将此最大响应点对应到输入的搜索区域，确定目标框的中心；
30.根据处理后的最大响应点的坐标，对应到输入的搜索区域上，和中心的距离来对应；
31.将所述响应点作为搜索区域中预测的目标物体中心位置，由所述尺度信息和初始帧中的目标框大小确定当前预测框大小；
32.重复上述步骤，实现对变电站作业人员的跟踪。
33.本技术还提供一种基于ca-siamfc的变电站危险区域人员安全监视装置，包括：
34.收集模块，用于收集变电站作业人员视频数据集；
35.训练模块，用于所述视频数据集来训练ca-siamfc模型，该ca-siamfc模型包括siamfc模型，所述siamfc模型中的图像特征引入坐标注意力机制权重；
36.检测模块，基于训练好的所述ca-siamfc模型，输入变电站危险区域监测视频图像进行跟踪检测，判定人员安全情况。
37.本技术的优点和有益效果：
38.本技术提供的一种基于ca-siamfc的变电站危险区域人员安全监视方法，包括：收集变电站作业人员视频数据集；根据所述视频数据集，训练ca-siamfc模型，该ca-siamfc模型包括siamfc模型，所述siamfc模型中的图像特征引入坐标注意力机制权重；基于训练好的所述ca-siamfc模型，输入变电站危险区域监测视频图像进行跟踪检测，判定人员安全情况。本技术基于卷积神经网络模型的识别，可以自动对变电站危险区域人员安全监视，降低人员风险。
附图说明
39.图1是基于ca-siamfc的变电站危险区域人员安全监视流程示意图。
40.图2是基于ca-siamfc的变电站危险区域人员安全监视装置示意图。
具体实施方式
41.下面结合附图和具体实施例对本技术作进一步说明，以使本领域的技术人员可以更好地理解本技术并能予以实施。
42.以下内容均是为了详细说明本技术要保护的技术方案所提供的具体实施过程的示例，但是本技术还可以采用不同于此的描述的其他方式实施，本领域技术人员可以在本技术构思的指引下，采用不同的技术手段实现本技术，因此本技术不受下面具体实施例的限制。
43.本技术提供的一种基于ca-siamfc的变电站危险区域人员安全监视方法，包括：收集变电站作业人员视频数据集；根据所述视频数据集，训练ca-siamfc模型，该ca-siamfc模型包括siamfc模型，所述siamfc模型中的图像特征引入坐标注意力机制权重；基于训练好的所述ca-siamfc模型，输入变电站危险区域视频图像进行检测，判定人员安全情况。本技术基于卷积神经网络模型的识别，可以自动对变电站危险区域人员安全监视，降低人员风险。
44.请参照图1所示，s101收集变电站作业人员视频数据集。
45.可采用的方式是，收集的数据集主要是从国内外网页上搜索变电站作业人员工作视频，采用下载或录屏等方法，然后进行筛选和整合处理，得到自制视频数据集。
46.请参照图1所示，s102根据所述视频数据集，来训练ca-siamfc模型。该ca-siamfc模型包括siamfc模型，所述siamfc模型中的图像特征引入坐标注意力机制权重。
47.运用深度学习算法，引入坐标注意力机制ca，在目标跟踪算法siamfc的基础上构建于ca-siamfc的跟踪模型；
48.具体的，全卷积孪生网络(fully-convolutional siamese networks，siamfc)是一种基于全卷积神经网络的视觉目标跟踪算法。它采用孪生网络结构，同时处理模板图像和搜索图像，并通过计算二者之间的相似度得到目标的位置。
49.网络结构主要分为两个分支：模板分支，输入的模板图像为初始帧中作业人员目标图像，然后使用多个卷积层对模板图像进行特征提取，得到模板特征，最后使用一个卷积层和全连接层将模板特征映射到分类得分；搜索分支，输入的搜索图像为当前帧中的图像，包含作业人员目标。然后使用多个卷积层对搜索图像进行特征提取，得到搜索特征。
50.本技术通过计算模板特征与搜索特征之间的相似度来得到目标响应图，通过使用互相关操作进行相似度的计算。最后在目标响应图中选择响应最高的位置作为当前帧中目标的估计位置，用于更新下一帧的搜索区域。
51.进一步的，引入坐标注意力机制提供的权重。
52.坐标注意力机制ca是一种用于增强神经网络对空间信息的关注和处理的机制。它帮助网络在处理图像或空间序列数据时，更加关注特定位置或区域的相关特征。
53.在神经网络中，通常使用卷积操作来提取输入数据的空间特征。然而，某些任务可能需要网络更加关注特定的区域或位置，以更好地处理和理解相关信息。坐标注意力机制就是为了解决这个问题而被引入。
54.坐标注意力机制的基本思想是引入一个额外的注意力权重，用于调整网络对空间位置的关注程度。这个注意力权重可以根据输入数据中的位置信息进行计算，并且辅助网络决定哪些位置的特征更加重要。
55.具体来说，坐标注意力机制通常由以下步骤组成：
56.位置编码：将输入数据的位置信息编码为与特征维度相同的向量。通常使用一些函数或映射来生成位置编码，例如正弦函数或线性映射。
57.特征提取：使用卷积神经网络等方式提取输入数据的空间特征。
58.注意力权重计算：将位置编码与提取的特征进行相乘，得到具有位置信息的特征表示。这相当于为每个位置赋予一个注意力权重，用于调整网络对不同位置的关注度。
59.特征加权：根据注意力权重对特征进行加权求和，得到最终加权特征。注意力权重可以根据任务需求被归一化或者进行进一步的调整。
60.后续处理：根据具体任务需求，继续进行下一步的处理，例如分类、目标检测或图像生成等。
61.坐标注意力机制可以帮助网络更有效地利用空间位置信息，提高模型的性能和鲁棒性。
62.ca坐标注意力机制旨在增强移动网络学习特征的表达能力，它可以对网络中的任意中间特征张量：
63.x＝[x1,x2,k,xc]∈rh×w×c[0064]
进行转化变化后输出同样尺寸的张量：
[0065]
y＝[y1,y2,k,yc]∈rh×w×c[0066]
坐标注意力模块为了获取图像宽度和高度上的注意力并对精确位置信息进行编码，先将输入特征图分为宽度和高度两个方向分别进行全局平均池化，分别获得在宽度和高度两个方向的特征图，公式如下所示：
[0067][0068][0069]
接着将获得全局感受野的宽度和高度两个方向的特征图拼接在一起，之后将它们送入共享的卷积核为1
×
1的卷积模块，将其维度降低为原来的c/r。
[0070]
然后将经过批量归一化处理的特征图f1送入sigmoid激活函数，得到形如1
×
(w+h)
×
c/r的特征图f，公式如下所示：
[0071]
f＝δ(f1([zh,zw]))
[0072]
接着将特征图f按照原来的高度和宽度进行卷积核为1
×
1的卷积分别得到通道数与原来一样的特征图fh和fw，经过sigmoid激活函数后分别得到特征图在高度和宽度上的注意力权重gh和在宽度方向的注意力权重gw，公式如下所示：
[0073]gh
＝σ(fh(fh))
[0074]gw
＝σ(fw(fw))
[0075]
经过上述计算后将会得到输入特征图在高度方向的注意力权重gh和在宽度方向的注意力权重gw。
[0076]
最后在原始特征图上通过乘法加权计算，将得到最终在宽度和高度方向上带有注意力权重的特征图，公式如下所示：
[0077][0078]
这样不仅能够节约参数和计算力，并且保证了其能够作为即插即用的模块集成到现有的网络结构中。
[0079]
对提出ca-siamfc模型进行训练：
[0080]
利用服务器对ca-siamfc网络进行训练，训练环境选择python3.8，深度学习框架为pytorch1.8.1，cdua为11.1，操作系统选择ubuntu18.04，处理器为16核心inter i9-12900kf，内存32gb，显卡为nvidia rtx3090ti，显存24gb。
[0081]
采用在线训练的方式，通过不断与跟踪目标进行交互来提高跟踪准确度。使用训练数据集生成正样本和负样本，根据样本的特征计算目标损失函数。最后通过优化算法更新网络参数，以最小化目标损失函数。这包括调整图像大小、归一化、增强等操作，以便于神经网络模型的训练。
[0082]
所述的siamfc采用了一个基于卷积神经网络cnn的siamese架构。该网络由两个共享权重的子网络组成，分别输入模板图像和搜索图像。
[0083]
这两个子网络使用相同的参数进行训练。对每个训练样本，首先从图像序列中随机选择一个图像作为模板图像，然后从同一序列中随机选择一个不同于模板图像的图像作为搜索图像。使用目标边界框标注，将模板图像和搜索图像中的目标裁剪出来作为正样本。生成负样本来平衡训练数据，通过从搜索图像中随机裁剪出与正样本尺寸相同但不重叠的区域来实现。这些负样本应不包含目标对象。
[0084]
根据正样本和负样本的特征向量，计算目标损失函数。使用基于卷积特征的相关滤波器来计算目标响应图。使用生成的正样本和负样本，通过优化算法进行网络模型的训练。通常采用梯度下降法来最小化目标损失函数，以更新网络参数。
[0085]
通过多次迭代训练，不断提高模型的性能。每次迭代中，使用不同的图像序列和目标边界框标注生成新的训练样本。这些步骤循环迭代，直到目标跟踪准确性达到预定的要求为止。这样siamfc可以通过与目标的交互来不断学习和适应目标的外观变化，实现准确的视觉目标跟踪功能。
[0086]
训练开始时候，要保证两条支路上目标物体在输入图片的中心位置，且目标物体在整幅图像中有一定的占比。
[0087]
例如：模板图片大小为127
×
127
×
3，以目标中心为裁剪中心，确定一个稍大的正方形，记边长为c。裁剪时可能会超出原图片，以图片颜色均值填充，然后再将裁剪区域resize到127
×
127大小。搜索图片大小为255
×
255
×
3，以目标中心为裁剪中心，先确定上方正方形边长，再按比例127：255确定搜索区域图片的正方形裁剪区域边长c
′
。
[0088]
具体实现上，卷积后的通道数和论文描述不同。训练批次中每个输入样本对的卷积操作可以用groups参数实现。添加批归一化层，否则会出现nan的情况，要对其进行初始化。
[0089]
训练网络的输出是一个17
×
17的2d响应图，由于siamfc是全卷积网络，所以不用关心物体在图片中的位置，将以物体为中心的图像输入两条支路。这样可以直接将真实框(ground truth)设为中心响应最大的17
×
17的2d响应图，根据输入和网络缩放情况，将响应图中心点及其马氏距离为2的点设为1，其余点设为0。采用的是交叉熵损失函数。马氏距离等于超参数除以总步长，文中超参数设置为16，总步长设为8。
[0090]
为了增强鲁棒性，对输入图片加入干扰。
[0091]
具体的，由于响应图上相邻的两点在输入的搜索图片上对应区域中心的间隔为2
×2×
2＝8。其中互相关操作的实现方式是将模板的特征图作为卷积核，与目标的特征图进行卷积操作。
[0092]
请参照图1所示，s103基于训练好的所述ca-siamfc模型，输入变电站危险区域视频图像进行检测，判定人员安全情况。
[0093]
跟踪测试时网络输入的模板图片是在第一帧上裁剪和resize的区域，搜索图片则根据上一帧的预测边界框确定。
[0094]
模板分支和搜索分支公用一个alexnet网络，权重相同，但提取的先后顺序不同。模板分支只在第一帧提取特征，后续只在搜索分支提取。
[0095]
两个输入分别通过权值共享的特征提取网络，分别得到了两个特征图，模板的特征图尺寸为6
×6×
128，目标的特征图尺寸为22
×
22
×
128。
[0096]
通过互相关操作，得到一个17
×
17的输出得分图，该输出的每个值代表模板与目标在当前位置的相似程度，得分最大的位置就是当前目标的中心位置。然后标记边界框，逐帧进行作业人员的跟踪。
[0097]
跟踪预测部分需要确定输入的搜索区域上目标框的中心和大小，首先找到一号最大响应点，确定尺度：三个17
×
17的2d响应分别经过16倍双三次插值上采样变成三个272
×
272大小的2d响应。
[0098]
对于第一个和第三个非正常尺度的2d响应乘以一个设置为0.9745的惩罚值。第二个是正常尺度，可以将惩罚值设置为1.0。选取惩罚后的三个2d响应中最大值所在的那一个响应对应的尺度作为目标的最佳尺度，将这个响应称为272
×
272的最佳响应。
[0099]
找到二号最大响应点，将此最大响应点对应到输入的搜索区域，确定目标框的中心：对272
×
272的最佳响应进行归一化处理，然后用一个对应大小的与余弦窗进行惩罚，因为余弦窗中心位置的值最大，往四周方向的值逐渐减小。
[0100]
找到处理后的最佳响应中最大值的坐标，将这个坐标对应到输入的搜索区域上的一个点，这里需要通过和中心的距离来对应，将这个点作为搜索区域中预测的目标物体中心位置。由最佳尺度和初始帧中的目标框大小确定当前预测框大小，宽高比保持不变。随着不断地跟踪迭代，实现对变电站作业人员的跟踪。
[0101]
本技术还提供一种基于ca-siamfc的变电站危险区域人员安全监视装置，包括：
[0102]
收集模块201，用于收集变电站作业人员视频数据集；
[0103]
训练模块202，用于根据所述视频数据集，训练ca-siamfc模型，该ca-siamfc模型包括siamfc模型，所述siamfc模型中的图像特征引入坐标注意力机制权重；
[0104]
检测模块203，基于训练好的所述ca-siamfc模型，输入变电站危险区域监测视频图像进行跟踪检测，判定人员安全情况。
[0105]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：
1.一种基于ca-siamfc的变电站危险区域人员安全监视方法，其特征在于，包括：收集变电站作业人员视频数据集；根据所述视频数据集，训练ca-siamfc模型，该ca-siamfc模型包括sia mfc模型，所述siamfc模型中的图像特征引入坐标注意力机制权重；基于训练好的所述ca-siamfc模型，输入变电站危险区域监测视频图像进行跟踪检测，判定人员安全情况。2.根据权利要求1所述基于ca-siamfc的变电站危险区域人员安全监视方法，其特征在于，所述坐标注意力机制步骤，包括：将输入数据的位置信息编码为与特征维度相同的向量；使用卷积神经网络等方式提取输入数据的空间特征；将位置编码与提取的特征进行相乘，得到具有位置信息的特征表示；根据注意力权重对特征进行加权求和，得到最终加权特征。3.根据权利要求1所述基于ca-siamfc的变电站危险区域人员安全监视方法，其特征在于，所述训练ca-siamfc模型，包括：使用训练数据集生成正样本和负样本，根据样本的特征计算目标损失函数；通过优化算法更新网络参数，以最小化目标损失函数；基于所述siamfc模型的两个共享权重的子网络组成，分别输入模板图像和搜索图像，使用相同的参数进行训练。4.根据权利要求3所述基于ca-siamfc的变电站危险区域人员安全监视方法，其特征在于，所述分别输入模板图像和搜索图像，包括：对每个训练样本，随机选择一个图像作为模板图像，从同一序列中随机选择一个不同于模板图像的图像作为搜索图像。5.根据权利要求3所述基于ca-siamfc的变电站危险区域人员安全监视方法，其特征在于，所述使用训练数据集生成正样本和负样本，包括：使用目标边界框标注，将模板图像和搜索图像中的目标裁剪出来作为正样本，通过从搜索图像中随机裁剪出与正样本尺寸相同但不重叠的区域来生成一些负样本。6.根据权利要求3所述基于ca-siamfc的变电站危险区域人员安全监视方法，其特征在于，所述使用相同的参数进行训练，包括：通过多次迭代训练，每次迭代中，使用不同的图像序列和目标边界框标注生成新的训练样本。7.根据权利要求1所述基于ca-siamfc的变电站危险区域人员安全监视方法，其特征在于，所述输入变电站危险区域监测视频图像进行跟踪检测，包括：模板分支在第一帧提取特征，搜索分支提取后续帧特征，得到了两个特征图；通过互相关操作得到输出得分图，完成所述检测。8.根据权利要求7所述基于ca-siamfc的变电站危险区域人员安全监视方法，其特征在于，还包括：根据所述得分图确定输入的搜索区域上目标框的中心和大小；确定一号最大响应点，确定尺度；确定二号最大响应点，将此最大响应点对应到输入的搜索区域，确定目标框的中心；
根据处理后的最大响应点的坐标，对应到输入的搜索区域上，和中心的距离来对应；将所述响应点作为搜索区域中预测的目标物体中心位置，由所述尺度和初始帧中的目标框大小确定当前预测框大小；重复上述步骤，实现对变电站作业人员的跟踪。9.一种基于ca-siamfc的变电站危险区域人员安全监视装置，其特征在于，包括：收集模块，用于收集变电站作业人员视频数据集；训练模块，用于根据所述视频数据集，训练ca-siamfc模型，该ca-siam fc模型包括siamfc模型，所述siamfc模型中的图像特征引入坐标注意力机制权重；检测模块，基于训练好的所述ca-siamfc模型，输入变电站危险区域监测视频图像进行跟踪检测，判定人员安全情况。

技术总结
本申请提供的一种基于CA-SiamFC的变电站危险区域人员安全监视方法，包括：收集变电站作业人员视频数据集；根据所述视频数据集，训练CA-SiamFC模型，该CA-SiamFC模型包括SiamFC模型，所述SiamFC模型中的图像特征引入坐标注意力机制权重；基于训练好的所述CA-SiamFC模型，输入变电站危险区域监测视频图像进行跟踪检测，判定人员安全情况。本申请基于卷积神经网络模型的识别，可以自动对变电站危险区域人员安全监视，降低人员风险。降低人员风险。降低人员风险。


技术研发人员：蔡利峰 赵玉波 刘东 姜仆壮 隋昊 费宇隆 张希伦 赵海多 吴迪 刘炜
受保护的技术使用者：国网辽宁省电力有限公司朝阳供电公司
技术研发日：2023.06.25
技术公布日：2023/10/5