基于遥感深度学习的电力杆塔识别方法及存储介质与流程

1.本发明涉及杆塔识别技术领域，尤其涉及一种基于遥感深度学习的电力杆塔识别方法及存储介质。


背景技术：

2.目前大多数遥感技术在电网管理中的应用主要集中于将无人机作为成像载荷的载体，通过搭载不同种类的硬件载荷，对电力杆塔类目标进行推扫与成像，基于计算机视觉领域的图像处理技术，对电力杆塔目标进行检测与识别。随着电网基础设施的区域建设，电力设施的覆盖面积越来越广泛，特别是一些交通不便的偏远山区地带，无人机难以企及，而且对于大范围的检测任务，使用无人机推扫成像会耗费大量的人力物力成本，而卫星则不受此影响。同时随着高分辨率遥感卫星数据的普及和应用，在亚米级影像中也可以观测到电力杆塔等电力设施，因此，高分辨率遥感卫星数据源为电力杆塔目标的大范围普查与检测识别带来了便捷。
3.在基于遥感卫星数据的杆塔识别方面，传统的杆塔识别主要采取目视解译以及机器视觉与模式匹配的方法。其中，目视解译方法需要较高的时间成本和人力成本，且识别准确性受制于数据解译人员的专业水平与精细程度，由于视觉疲劳的影响，长时间大范围的解译会显著影响解译的准确性。
4.机器视觉与模式匹配方法聚焦于目标的轮廓与形状等信息，主要包括两个步骤：1)目标轮廓提取；根据图像的形态特征描述图像的组分，基于形态学完成电力杆塔轮廓的分离。2)orb特征匹配；利用orb方法的放射不变性与特征匹配的高效性匹配特征点，并根据正确匹配点计算电力杆塔在图像中的实际范围。该方法存在着对复杂背景、边缘不清晰的目标不够鲁棒的问题，在目标轮廓不是特别清晰的情况下很难实现高精度杆塔识别。
5.传统的杆塔识别方法受技术的局限性以及新生技术迭代与更新的影响，进展较为缓慢。与传统机器视觉中衍生出的特征提取算子相比，深度学习卷积神经网络具有更复杂的特征提取能力与自主学习能力。但是传统的r-cnn系列网络架构为代表的双阶段目标检测模型由于需要依靠区域建议网络得到的高质量候选区域来获得良好的检测精度，需占用大量的计算资源。以yolo系列为代表的单阶段目标检测模型在提升了检测性能后，兼具了先进的检测精度，但是由于网络模型缺乏针对某类目标特性的结构改进，使得模型对单一类别的检测中缺少针对性。此外，在亚米级遥感卫星影像中电力杆塔的尺度较小，目前的深度学习网络模型对小尺度目标不敏感，无法保证小尺度目标的检测性能。


技术实现要素：

6.本发明所要解决的技术问题是：提供一种基于遥感深度学习的电力杆塔识别方法及存储介质，可提高电力杆塔识别的准确性，实现高精度杆塔识别。
7.为了解决上述技术问题，本发明采用的技术方案为：一种基于遥感深度学习的电力杆塔识别方法，包括：
8.获取输电线路的遥感影像，并根据所述遥感影像，获取电力杆塔样本，所述电力杆塔样本包括切片图像及其标签文本，所述标签文本包括切片图像中所包含的各标注框的类别及位置信息；
9.根据所述电力杆塔样本，对预设的深度学习模型进行训练，得到训练好的深度学习模型，所述深度学习模型为改进的yolov5模型，所述改进的yolov5模型包括输入端、主干网络、颈部网络和头部预测网络，所述主干网络包括依次连接的第一spd-conv模块、非跨步卷积模块、第二spd-conv模块、第一se模块、第一c3模块、第三spd-conv模块、第二c3模块、第四spd-conv模块、第三c3模块、第五spd-conv模块、第四c3模块、第二se模块和sppf模块；
10.获取待测遥感影像，并通过训练好的深度学习模型对所述待测遥感影像进行电力杆塔识别，得到电力杆塔的检测框。
11.本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法。
12.本发明的有益效果在于：通过采用遥感卫星数据实现电力杆塔识别，为电力杆塔的识别提供了稳定可靠的数据源；在深度学习模型中，通过用spd-conv结构代替跨步卷积，弥补了跨步卷积所带来的特征细粒度丢失等问题，在提升了小尺度目标检测性能的同时提升了计算效率；通过在主干网络中设置se模块，通过se注意力机制学习不同通道间的重要性，增加网络对于电力杆塔局部特征捕获与表达能力。本发明中的深度学习模型可提高小尺度目标的检测性能，从而提升电力杆塔识别的准确性。
附图说明
13.图1为本发明的一种基于遥感深度学习的电力杆塔识别方法的流程图；
14.图2为本发明实施例一的方法流程图；
15.图3为本发明实施例一的改进的yolov5模型的结构示意图；
16.图4为本发明实施例一的spd-conv模块的数据处理示意图；
17.图5为本发明实施例一的se模块的数据处理示意图。
具体实施方式
18.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。
19.请参阅图1，一种基于遥感深度学习的电力杆塔识别方法，包括：
20.获取输电线路的遥感影像，并根据所述遥感影像，获取电力杆塔样本，所述电力杆塔样本包括切片图像及其标签文本，所述标签文本包括切片图像中所包含的各标注框的类别及位置信息；
21.根据所述电力杆塔样本，对预设的深度学习模型进行训练，得到训练好的深度学习模型，所述深度学习模型为改进的yolov5模型，所述改进的yolov5模型包括输入端、主干网络、颈部网络和头部预测网络，所述主干网络包括依次连接的第一spd-conv模块、非跨步卷积模块、第二spd-conv模块、第一se模块、第一c3模块、第三spd-conv模块、第二c3模块、第四spd-conv模块、第三c3模块、第五spd-conv模块、第四c3模块、第二se模块和sppf模块；
22.获取待测遥感影像，并通过训练好的深度学习模型对所述待测遥感影像进行电力
杆塔识别，得到电力杆塔的检测框。
23.从上述描述可知，本发明的有益效果在于：可提高小尺度目标的检测性能，从而提升电力杆塔识别的准确性。
24.进一步地，所述颈部网络包括依次连接的三个特征金字塔模块以及依次连接的三个路径聚合模块；所述特征金字塔模块包括依次连接的非跨步卷积层、上采样层、注意力加权融合层和c3层，所述路径聚合模块包括依次连接的spd层、注意力加权融合层、非跨步卷积层和c3层；
25.所述三个特征金字塔模块分别为第一特征金字塔模块、第二特征金字塔模块和第三特征金字塔模块；所述第一特征金字塔模块中的非跨步卷积层与所述主干网络中的sppf模块连接，所述第一特征金字塔模块中的注意力加权融合层与所述主干网络中的第三c3模块连接；所述第二特征金字塔模块中的注意力加权融合层与所述主干网络中的第二c3模块连接；所述第三特征金字塔模块中的注意力加权融合层与所述主干网络中的第一c3模块连接；
26.所述三个路径聚合模块分别为第一路径聚合模块、第二路径聚合模块和第三路径聚合模块；所述第一路径聚合模块中的spd层与所述第三特征金字塔模块中的c3层连接；所述第一路径聚合模块中的注意力加权融合层与所述第三特征金字塔模块中的非跨步卷积层连接；所述第二路径聚合模块中的注意力加权融合层与所述第二特征金字塔模块中的非跨步卷积层连接；所述第三路径聚合模块中的注意力加权融合层与所述第一特征金字塔模块中的非跨步卷积层连接；
27.所述头部预测网络包括四个卷积模块，所述四个卷积模块分别与所述第三特征金字塔模块中的c3层以及三个路径聚合模块中的c3层一一对应连接。
28.进一步地，所述注意力加权融合层对应的融合公式为x＝conv(concat(w1x1，w2x2))，其中，x1和x2为待融合的两张特征图，w1和w2分别为待融合的两张特征图对应的归一化权重，concat()表示按照通道维度进行堆叠操作，conv()表示进行1
×
1的非跨步卷积操作，x为融合后的特征图。
29.由上述描述可知，通过用注意力加权融合层代替原concat模块，给特征图不同的权重后再进行堆叠，强化上下层间高效的语义信息；在原有的三个尺度的基础上，再添加一个检测尺度，提高网络对小尺度目标的敏感性，从而提高小目标检测精度。
30.进一步地，模型训练的损失函数为loss＝λ1l
loc
+λ2l
obj
+λ3l
cls
；
31.其中，loss为损失值，l
loc
为定位损失，λ1为定位损失权重，l
obj
为置信度损失，λ2为置信度损失权重，l
cls
为分类损失，λ3为分类损失权重；
32.所述定位损失的计算公式为
[0033][0034]
[0035][0036][0037]
其中，b和b
gt
分别表示预测框和标注框，w和h分别为预测框的宽度和高度，w
gt
和h
gt
分别为标注框的宽度和高度，ρ(b，b
gt
)表示预测框的中心点与标注框的中心点之间的距离，c表示预测框与标注框的最小边界矩形的对角线距离，α为权重系数；
[0038]
所述置信度损失和分类损失通过二元交叉熵损失函数计算得到。
[0039]
进一步地，所述获取输电线路的遥感影像之后，进一步包括：
[0040]
对所述遥感影像进行预处理，所述预处理包括辐射定标、大气校正、正射校正以及真彩色转换。
[0041]
由上述描述可知，将像素值转换到0-255区间，得到rgb三波段真彩图影像数据。
[0042]
进一步地，所述根据所述遥感影像，获取电力杆塔样本，具体为：
[0043]
在所述遥感影像中的输电走廊区域范围内确定预设大小的缓冲区域；
[0044]
在所述缓冲区域内，通过矩形矢量依次对各电力杆塔进行标绘，所述矩形矢量的四边靠近电力杆塔的外接矩形且包含电力杆塔区域；
[0045]
若一电力杆塔的影子清晰且其影子区域在所述一电力杆塔的电力杆塔区域的面积占比小于预设的比例阈值，则所述一电力杆塔对应的矩形矢量包含所述一电力杆塔的影子区域，并对所述一电力杆塔对应的矩形矢量的影子标志字段进行标注；
[0046]
分别根据各矩形矢量的最大经纬度和最小经纬度，计算各矩形矢量的中心点地理空间坐标；
[0047]
分别根据各矩形矢量的中心点地理空间坐标以及预设的切片图像尺寸，在所述遥感影像中提取切片图像；
[0048]
分别根据各切片图像中所含的各矩形矢量的位置信息，确定各切片图像中所含的各矩形矢量对应的电力杆塔的标注框的位置信息，并根据各标注框对应的目标类别的类别编号以及位置信息，生成各切片图像的标签文本。
[0049]
进一步地，所述分别根据各切片图像中所含的各矩形矢量的位置信息，确定各切片图像中所含的各矩形矢量对应的电力杆塔的标注框的位置信息，并根据各标注框对应的目标类别的类别编号以及位置信息，生成各切片图像的标签文本，具体为：
[0050]
将一切片图像中所包含的各矩形矢量的最大经纬度和最小经纬度转换为所述一切片图像中的行列号，作为所述一切片图像中所包含的各矩形矢量对应的电力杆塔的标注框坐标；
[0051]
根据所述一切片图像尺寸，对所述一切片图像中的各标注框坐标进行归一化处理；
[0052]
分别根据归一化后的各标注框坐标，计算归一化后的各标注框的中心点的行列号以及各标注框的归一化宽度和归一化高度；
[0053]
对所述一切片图像中的各标注框的数据进行逐行排列，生成所述一切片图像的标
签文本，所述标注框的数据包括标注框对应的目标类别的类别编号、归一化后的标注框中心点列号、归一化后的标注框中心点行号、标注框的归一化宽度和归一化高度。
[0054]
进一步地，所述在所述缓冲区域内，通过矩形矢量依次对各电力杆塔进行标绘之后，进一步包括：
[0055]
根据预设的电力杆塔点位信息，所述电力杆塔点位信息包括杆塔编号和经纬度，对所述矩形矢量进行筛选。
[0056]
由上述描述可知，根据在输电线路建设过程中存储的电力杆塔点位信息，对矩形矢量进行筛选，可保证剩余的矩形矢量所框选的目标均为电力杆塔，从而保证样本的准确性。
[0057]
进一步地，所述根据所述遥感影像，获取电力杆塔样本之后，进一步包括：
[0058]
对所述电力杆塔样本进行样本增强处理，样本增强处理包括翻转、旋转、亮度增强、添加噪声和仿射变换中的至少一种。
[0059]
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法。
[0060]
实施例一
[0061]
请参照图2-5，本发明的实施例一为：一种电力杆塔识别方法，本方法基于亚米级遥感卫星影像数据，利用深度学习技术实现输电走廊区域电力杆塔的识别。
[0062]
如图2所示，包括如下步骤：
[0063]
s1：获取输电线路的遥感影像，并对所述遥感影像进行预处理。
[0064]
具体地，获取指定区域的亚米级遥感卫星影像，然后进行辐射定标、大气校正、正射校正、真彩色转换等处理，将像素值转换到0-255区间，得到rgb三波段真彩图影像数据。
[0065]
s2：根据所述遥感影像，获取电力杆塔样本，电力杆塔样本包括切片图像及其标签文本，标签文本包括切片图像中所包含的各标注框的类别及位置信息。
[0066]
具体地，在遥感影像中的输电走廊区域范围内确定预设大小的缓冲区域，本实施例中，构建5公里缓冲区域。然后在缓冲区域内，使用矩形矢量逐一对电力杆塔进行标绘。其中，矩形矢量的四边要尽可能贴近杆塔范围的外接矩形，并包含所有杆塔区域。进一步地，对于一些影子较为清晰且影子区域面积在完整电力杆塔区域面积的占比不高(即小于预设的比例阈值)，则将影子区域也划入到杆塔区域范围，即该电力杆塔对应的矩形矢量也包含该电力杆塔的影子区域，并对该电力杆塔对应的矩形矢量的影子标志字段进行标注，例如，含有影子区域则标注为1，无影子区域则标注为0。
[0067]
进一步地，预先构建电力杆塔点位信息库，该信息库中主要包括输电电路建设过程中存储的电力杆塔点位信息，包括杆塔编号和经纬度。此时，即可根据该信息库中的电力杆塔点位信息，对矩形矢量进行筛选，将经纬度与信息库中的电力杆塔点位信息不匹配的矩形矢量剔除，以提高样本准确性。
[0068]
接着，分别根据每个矩形矢量的最大经纬度和最小经纬度，计算各矩形矢量的中心点地理空间坐标；在预处理后的遥感影像中，分别以各矩形矢量的中心点地理空间坐标为基准，向周围裁剪出预设尺寸(本实施例中为640
×
640)的切片图像。对于每个矩形矢量，以其中心点裁剪出的切片图像中可能还包含了其他矩形矢量，将各切片图像中所包含的所有矩形矢量的最大经纬度和最小经纬度进行坐标转化，由地理空间坐标转化为其所在的切
片图像中的行列号，作为矩形矢量对应的电力杆塔的标注框坐标。由于后续标注框需要保持水平，因此对标绘的矩形矢量的最大最小经纬度进行坐标转化处理，而非标矩形矢量的边界点坐标。再将标注框坐标按照切片图像尺寸逐一进行坐标归一化处理，根据归一化后的标注框坐标，即可计算得到归一化的标注框的中心点的行列号以及标注框的归一化宽度和归一化高度。然后按照类别、标注框中心坐标以及标注框相对宽高的顺序，将同一切片图像中的每一个标注框的数据进行逐行排列，并输出为txt文本，即该切片图像的标签文本，标签文本中的每一行表示一个标注框对象，具体数据包括类别编号、归一化后的标注框中心点列号、归一化后的标注框中心点行号、标注框的归一化宽度和归一化高度。其中，类别编号即标注框对应的目标类别的类别编号，本实施例中即均为电力杆塔对应的类别编号。
[0069]
最后，对电力杆塔样本进行样本增强处理，样本增强处理包括翻转、旋转、亮度增强、添加噪声和仿射变换等。进一步地，在样本增强过程中进行随机翻转与旋转外，还会根据所拍摄区域卫星的过境时间与侧摆角进行翻转和旋转，从而针对性地增强电力杆塔在此种环境下呈现出的角度与姿态。
[0070]
s3：构建深度学习模型，本实施例中，深度学习模型为改进的yolov5模型，如图3所示，改进的yolov5模型，由输入端input、主干网络backbone、颈部网络neck和头部预测网络head四部分组成。
[0071]
其中，如图3所示，主干网络backbone包括五个spd-conv(space-to-depth convolution)模块、一个非跨步卷积模块、两个se模块、四个c3模块和一个sppf模块，具体排列连接顺序为第一spd-conv模块(spd+conv+bn+silu)、非跨步卷积模块(conv+bn+silu)、第二spd-conv模块、第一se模块(se attension)、第一c3模块(c3 bottleneck 1
×
3)、第三spd-conv模块、第二c3模块(c3 bottleneck 1
×
6)、第四spd-conv模块、第三c3模块(c3 bottleneck1
×
9)、第五spd-conv模块、第四c3模块(c3 bottleneck 1
×
3)、第二se模块和sppf模块。第一spd-conv模块与输入端input连接。
[0072]
颈部网络neck包括neck依次连接的三个特征金字塔模块(fpn)以及依次连接的三个路径聚合模块(pan)；所述特征金字塔模块包括依次连接的非跨步卷积层(conv+bn+silu)、上采样层(upsample)、注意力加权融合层(aw concat)和c3层(c3 bottleneck 2
×
3)，所述路径聚合模块包括依次连接的spd层、注意力加权融合层(aw concat)、非跨步卷积层(conv+bn+silu)和c3层(c3 bottleneck 2
×
3)。
[0073]
图3中的三个特征金字塔模块从下至上分别为第一特征金字塔模块、第二特征金字塔模块和第三特征金字塔模块；所述第一特征金字塔模块中的非跨步卷积层与所述主干网络中的sppf模块连接，所述第一特征金字塔模块中的注意力加权融合层与所述主干网络中的第三c3模块(c3 bottleneck 1
×
9)连接；所述第二特征金字塔模块中的注意力加权融合层与所述主干网络中的第二c3模块(c3 bottleneck 1
×
6)连接；所述第三特征金字塔模块中的注意力加权融合层与所述主干网络中的第一c3模块(c3 bottleneck 1
×
3)连接。
[0074]
图3中的三个路径聚合模块从上至下分别为第一路径聚合模块、第二路径聚合模块和第三路径聚合模块；所述第一路径聚合模块中的spd层与所述第三特征金字塔模块中的c3层连接；所述第一路径聚合模块中的注意力加权融合层与所述第三特征金字塔模块中的非跨步卷积层连接；所述第二路径聚合模块中的注意力加权融合层与所述第二特征金字塔模块中的非跨步卷积层连接；所述第三路径聚合模块中的注意力加权融合层与所述第一
特征金字塔模块中的非跨步卷积层连接。
[0075]
头部预测网络head包括四个卷积模块(conv2d)，所述四个卷积模块分别与所述第三特征金字塔模块中的c3层以及三个路径聚合模块中的c3层一一对应连接。
[0076]
上述c3层的结构与c3模块类似，具体结构如图3的左下角所示。
[0077]
输入端input用于对输入的训练样本进行预处理，主要包括mosaic数据增强与自适应图片缩放等。其中，mosaic数据增强是将数据增强后的随机四张图片拼接为一张图片，补充训练样本集，使得每一batch size涵盖的图像特征更丰富，减少了gpu的占用；自适应图片缩放是将尺寸不一的训练样本统一缩放到相同大小，并对边界部分进行自适应填充。本实施例中，将训练样本统一为640
×
640大小的三通道rgb图像。
[0078]
本实施例中，对于主干网络，将原yolov5_6.1结构中的跨步卷积层(步长stride＝2)改为spd-conv模块，spd-conv模块由spd层和步长为1的非跨步卷积层(conv+bn+silu)组成，用于压缩特征图的尺寸及扩增特征图的通道数。
[0079]
如图4所示，spd层用于根据预设的下采样比例，对给定的特征图x(即输入到该spd-conv模块的特征图)进行下采样，本实施例中，下采样比例为2，得到四个相同维度的子特征图，并按照通道维度，将所述四个子特征图进行堆叠，得到第一特征图x1，第一特征图x1的通道数为给定的特征图x的通道数的四倍，第一特征图x1的尺寸为给定的特征图x的尺寸的一半，即由x(s，s，c)转化为x1(s/2，s/2，4c)。非跨步卷积层用于根据预设的步长(即1)，对第一特征图x1进行卷积，得到第二特征图x2，第二特征图x2的通道数小于第一特征图x1的通道数。即经spd层后，再通过非跨步卷积层压缩特征深度，由x1(s/2，s/2，4c)转化为x2(s/2，s/2，c’)，其中c’＜4c。
[0080]
在spd-conv模块中，将原有激活函数relu函数替换为silu函数，使其在接近0时具有更平滑的曲线，并将网络的输出范围控制在0和1之间，具有较高的稳定性，在深层模型上的效果优于relu函数。
[0081]
通过spd-conv结构弥补了跨步卷积所带来的特征细粒度丢失等问题，在提升了小尺度目标检测性能的同时提升了计算效率。
[0082]
如图3所示，输入主干网络的特征图通过一个spd-conv模块(第一spd-conv模块)处理后，大小由初始的640
×
640
×
3变为320
×
320
×
6；然后通过第一非跨步卷积模块(conv+bn+silu)将特征图通道扩大为64，此时特征图的大小为320
×
320
×
64；再通过一个spd-conv模块(第二spd-conv模块)压缩特征图尺寸及扩大通道数，此时特征图的大小为160
×
160
×
128。
[0083]
接着引入激励注意力机制(squeeze and exciation，se)，即se模块(se attension)，通过自学习的方式逐一获取每个通道的重要程度。
[0084]
se模块主要由squeeze模块和exciation模块两部分组成，如图5所示，squeeze模块用于将输入se模块的特征图进行全局平均池化，使其含有全局感受野，全局平均池化后的特征图的尺寸为1
×
1，通道数与输入的特征图的通道数一致，即特征图由w
×h×
c变为1
×1×
c。exciation模块用于根据全局平均池化后的特征图，通过1
×
1卷积或全连接层确定输入的特征图中各通道的权重，即利用1
×
1卷积或者全连接层来学习不同通道间的直接相关性，确定不同通道的权重ω。最后，将exciation模块输出的各通道的权重与输入se模块的特征图通过乘法加权的方式得到强化特征图，从而加强重要特征，抑制非重要特征，以帮
助模型更好的提取目标特征。
[0085]
继续如图3所示，在se模块后，通过依次交替的c3模块和spd-conv模块进行处理(即第一c3模块、第三spd-conv模块、第二c3模块、第四spd-conv模块、第三c3模块、第五spd-conv模块、第四c3模块)。其中，c3模块主要是对残差特征进行学习与连接，如图3左下角的c3模块示意图所示，c3模块将特征图按通道维度分为两个分支，一个分支直接进入一个1
×
1标准卷积模块，另一分支经过三个标准卷积层和多个bottleneck瓶颈结构(如图3右下角的bottleneck示意图所示)堆叠，对残差特征进行学习与连接，然后将两个分支的特征输出进行concat，以此提高网络特征提取能力。
[0086]
接着，再次通过se模块(第二se模块)强化特征表达。
[0087]
最后，通过sppf模块对池化特征进行提取，提高网络感受野。如图3下面中间的sppf模块示意图所示，sppf模块将输入串行输入至3个5
×
5大小的最大池化层后，再将不同池化层的输出进行concat，在不改变特征图大小的情况下，对不同大小的感受野特征进行提取和融合，此时输出维度变为20
×
20
×
1024。
[0088]
至此主干网络backbone部分结束，得到感受野最大的深层特征图。
[0089]
颈部网络neck沿用yolov5_6.1结构中的特征金字塔网络(fpn)与路径聚合网络(pan)的特征提取思路，fpn先通过上采样的方式将深层特征语义信息传递到浅层，但是在pan结构中，将yolov5_6.1的下采样方式修改为spd-conv卷积来降低特征细粒度损失，进而将浅层语义信息再依次传递至深层，进而实现多尺度的特征融合。在多尺度特征融合过程中，fpn+pan会变换特征图维度，使同样尺寸的特征图之间可以进行连接，使融合输出的特征图中既包含自顶向下传递的特征，又包含自底向上传递的特征。由于原网络中的concat连接对融合特征的贡献是均衡的，因此，将原concat模块修改为注意力加权融合(attension weight concat)模块，给特征图不同的权重后再进行堆叠，强化上下层间高效的语义信息，对应的融合公式为：
[0090]
x＝conv(concat(w1x1，w2x2))；
[0091]
其中，x1和x2为待融合的两张特征图，w1和w2分别为融合前各层特征的归一化权重，concat()表示给特征图不同权重后的特征堆叠过程，conv()为对堆叠后的特征图进行1
×
1的非跨步卷积(conv+bn+silu)，得到融合特征图x。
[0092]
由于电力杆塔亚米级遥感卫星中的尺度较小，较深的特征图感受野较大，很难学习到局部特征，导致尺寸较小物体的区域信息在多次卷积后被丢失，造成漏检率升高的问题。为了改进此现象，本实施例在原有20
×
20，40
×
40，80
×
80三个尺度的基础上，添加160
×
160检测尺度，提高小物体检测精度。
[0093]
具体地，在颈部网络neck中设置三个特征金字塔模块，通过第三特征金字塔模块中的非跨步卷积层(conv+bn+silu)和上采样层(upsample)依次对第二特征金字塔模块输出的特征图(80
×
80
×
256)进行卷积和2倍上采样，然后通过第三特征金字塔模块中注意力加权融合层(aw concat)对2倍上采样后的特征图(160
×
160
×
128)与主干网络中第一c3模块(c3 bottleneck 1
×
3)输出的特征图(160
×
160
×
128)进行加权特征融合，再通过第三特征金字塔模块中的c3层(c3 bottleneck 2
×
3)输出160
×
160
×
128的特征图，补充160
×
160的检测尺度。
[0094]
通过第一路径聚合模块中的spd层将第三特征金字塔模块输出的特征图(160
×
160
×
128)的尺寸缩小为80
×
80，将通道数扩增为512；然后通过第一路径聚合模块中的注意力加权融合层(aw concat)对尺寸缩小后的特征图(80
×
80
×
512)与第三特征金字塔模块中的非跨步卷积层(conv+bn+silu)输出的特征图(80
×
80
×
128)进行加权特征融合；再通过第一路径聚合模块中的非跨步卷积层(conv+bn+silu)进行1
×
1卷积压缩特征通道；最后通过第一路径聚合模块中的c3层(c3 bottleneck 2
×
3)对残差特征进行学习与连接，输出80
×
80
×
256的特征图。
[0095]
同理，第二特征金字塔模块对第一特征金字塔模块输出的特征图(40
×
40
×
512)进行非跨步卷积与2倍上采样后，与主干网络中第二c3模块(c3bottleneck 1
×
6)输出的特征图(80
×
80
×
256)进行加权特征融合，并通过c3层输出80
×
80
×
256的特征图。
[0096]
第二路径聚合模块根据第一路径聚合模块输出的特征图(80
×
80
×
256)与第二特征金字塔模块中的非跨步卷积层(conv+bn+silu)输出的特征图(40
×
40
×
256)，输出40
×
40
×
512的特征图。
[0097]
第一特征金字塔模块对主干网络中sppf模块输出的特征图(20
×
20
×
1024)进行非跨步卷积与2倍上采样后，与主干网络中第三c3模块(c3bottleneck 1
×
9)输出的特征图(40
×
40
×
512)进行加权特征融合，并通过c3层输出40
×
40
×
512的特征图。
[0098]
第三路径聚合模块根据第二路径聚合模块输出的特征图(40
×
40
×
512)与第一特征金字塔模块中的非跨步卷积层(conv+bn+silu)输出的特征图(20
×
20
×
512)，输出20
×
20
×
1024的特征图。
[0099]
也就是说，颈部网络neck共输出160
×
160
×
128、80
×
80
×
256、40
×
40
×
512、20
×
20
×
1024四组特征图。
[0100]
头部预测网络head使用4个1
×
1卷积层(conv2d)进行定位与分类，共形成20
×
20，40
×
40，80
×
80，160
×
160四种不同尺度的特征图，输出通道数c＝(4+1+ncls)
×
3，其中4代表预测框坐标，1代表置信度，ncls代表预测类别数量，3代表候选框个数。由于网络只针对电力杆塔进行检测识别，因此，最终的输出维度为20
×
20
×
18、40
×
40
×
18、80
×
80
×
18、160
×
160
×
18。
[0101]
s4：根据电力杆塔样本，对深度学习模型进行训练，得到训练好的深度学习模型。
[0102]
训练开始前设定batch size、epoch、learning rate等重要训练参数。batch size指每次训练传给深度学习模型的样本数量，根据gpu显存大小适当调整，优选范围为16-64；epoch指训练批次，即训练迭代往复的次数，一般不少于200次；learning rate指学习率，即在梯度下降法中，指导如何使用损失函数的梯度调整网络权重的超参数，一般不大于0.01。
[0103]
每batch size样本进入网络后依次进入输入端进行样本预处理，后经主干网络backbone中的spd-conv、c3模块迭代，提取图像深层特征，经se模块后再通过sppf模块对池化特征进行提取，提高网络感受野。在颈部网络neck先通过fpn自顶向下传递强语义特征，将不同尺度特征图上的特征进行融合，再经过pan自底向上传达强定位特征，使顶层特征图也收到底层的丰富信息。最后经过头部预测网络head输出20
×
20
×
18，40
×
40
×
18，80
×
80
×
18，160
×
160
×
18四个尺度的预测结果。
[0104]
损失函数方面分为定位损失、置信度损失和分类损失三部分，即损失值的计算公式为loss＝λ1l
loc
+λ2l
obj
+λ3l
cls
，其中，loss为损失值，l
loc
为定位损失，λ1为定位损失权重，l
obj
为置信度损失，λ2为置信度损失权重，l
cls
为分类损失，λ3为分类损失权重。本实施例中，
由于类别为电力杆塔单类，分类损失l
cls
为0，因此分类损失权重λ3＝0，定位损失权重λ1和置信度损失权重λ2分别设置为0.5。
[0105]
本实施例中，选取ciou作为定位损失，计算公式如下：
[0106][0107][0108][0109][0110]
其中，b和b
gt
分别表示预测框和标注框，w和h分别为预测框的宽度和高度，w
gt
和h
gt
分别为标注框的宽度和高度，ρ(b，b
gt
)表示预测框的中心点与标注框的中心点之间的距离，c表示预测框与标注框的最小边界矩形的对角线距离，α为权重系数。
[0111]
置信度损失与分类损失均采用二元交叉熵损失函数，计算公式如下：
[0112][0113][0114]
其中，n为预测框个数，xi为第i个预测框的标签值，yi为第i个预测框的预测值。
[0115]
当连续50训练批次的损失值无下降或全部批次训练结束后，停止训练，并保存损失值最小对应的一组模型参数以及最后一组模型参数。
[0116]
s5：获取待测遥感影像，并通过训练好的深度学习模型对所述待测遥感影像进行电力杆塔识别，得到电力杆塔的检测框。
[0117]
进行识别前，先设定置信度阈值与交并比(iou)阈值，其中，阈值范围在0-1之间，本实施例中，置信度阈值设为0.5，iou阈值设为0.45。
[0118]
将识别结果中的各电力杆塔检测框按照置信度由高到低进行排序，并留下置信度高于置信度阈值的检测框。然后分别计算置信度最高的检测框与其他检测框的iou，将其他检测框中iou大于iou阈值的检测框删除。最后得到剩余检测框的坐标信息、置信度和类别标签，并标绘到待测遥感影像中，再经矢量化处理，得到电力杆塔矢量化识别结果。
[0119]
针对无人机数据成本高，受地形环境影响因素大等问题，本实施例充分利用亚米级遥感卫星数据实现电力杆塔的识别，利用遥感卫星数据具备低成本、广覆盖、受地形环境影响较低等优势，为电力杆塔等电力基础设施的大面积巡检带来了诸多便捷。
[0120]
在检测识别方法方面，本实施例突破传统检测遥感解译方法的技术瓶颈，以yolov5单阶段目标检测网络结构为基础，进行目标识别网络结构的改进，在不丢失细粒度特征的前提下优化特征提取与特征融合策略，提高对小尺度目标的识别能力，为电力杆塔
的高精度识别提供技术支撑。首先，根据电力杆塔的目标特性制定相关联的数据增强策略。其次，针对遥感卫星影像中杆塔特征细粒度不足的问题，采用spd卷积层代替步长为2的卷积层以及池化层，在不丢失细粒度特征的同时进行尺寸缩减；同时将通道注意力机制(se)引入到yolov5特征提取的模块中，增加网络对于电力杆塔局部特征捕获与表达能力。最后，由于在大尺寸遥感影像中电力杆塔属于小尺度目标，为了提升网络对小尺度目标的敏感性，在三尺度检测基础上增加一个小尺度目标检测层，并在特征融合过程中引入多尺度加权特征融合，给定不同层特征图不同的权重来进行融合，提升多尺度特征表达能力，同时提高小尺度目标的检测性能，为电力杆塔的高精度识别提供技术支撑。
[0121]
实施例二
[0122]
本实施例是对应上述实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中基于遥感深度学习的电力杆塔识别方法的各个步骤，且能达到相同的技术效果，此处不再累述。
[0123]
综上所述，本发明提供的一种基于遥感深度学习的电力杆塔识别方法及存储介质，通过采用遥感卫星数据实现电力杆塔识别，为电力杆塔的识别提供了稳定可靠的数据源；在深度学习模型中，通过用spd-conv结构代替跨步卷积，弥补了跨步卷积所带来的特征细粒度丢失等问题，在提升了小尺度目标检测性能的同时提升了计算效率；通过在主干网络中设置se模块，通过se注意力机制学习不同通道间的重要性，增加网络对于电力杆塔局部特征捕获与表达能力；在特征融合过程中，通过用注意力加权融合层代替原concat模块，给特征图不同的权重后再进行堆叠，强化上下层间高效的语义信息；在原有的三个尺度(20
×
20，40
×
40，80
×
80)的基础上，再添加一个检测尺度(160
×
160)，提高网络对小尺度目标的敏感性，从而提高小目标检测精度。本发明整体提升了深度学习模型的检测识别性能，提高模型的可靠性，从而提升电力杆塔识别的准确性。
[0124]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种基于遥感深度学习的电力杆塔识别方法，其特征在于，包括：获取输电线路的遥感影像，并根据所述遥感影像，获取电力杆塔样本，所述电力杆塔样本包括切片图像及其标签文本，所述标签文本包括切片图像中所包含的各标注框的类别及位置信息；根据所述电力杆塔样本，对预设的深度学习模型进行训练，得到训练好的深度学习模型，所述深度学习模型为改进的yolov5模型，所述改进的yolov5模型包括输入端、主干网络、颈部网络和头部预测网络，所述主干网络包括依次连接的第一spd-conv模块、非跨步卷积模块、第二spd-conv模块、第一se模块、第一c3模块、第三spd-conv模块、第二c3模块、第四spd-conv模块、第三c3模块、第五spd-conv模块、第四c3模块、第二se模块和sppf模块；获取待测遥感影像，并通过训练好的深度学习模型对所述待测遥感影像进行电力杆塔识别，得到电力杆塔的检测框。2.根据权利要求1所述的基于遥感深度学习的电力杆塔识别方法，其特征在于，所述颈部网络包括依次连接的三个特征金字塔模块以及依次连接的三个路径聚合模块；所述特征金字塔模块包括依次连接的非跨步卷积层、上采样层、注意力加权融合层和c3层，所述路径聚合模块包括依次连接的spd层、注意力加权融合层、非跨步卷积层和c3层；所述三个特征金字塔模块分别为第一特征金字塔模块、第二特征金字塔模块和第三特征金字塔模块；所述第一特征金字塔模块中的非跨步卷积层与所述主干网络中的sppf模块连接，所述第一特征金字塔模块中的注意力加权融合层与所述主干网络中的第三c3模块连接；所述第二特征金字塔模块中的注意力加权融合层与所述主干网络中的第二c3模块连接；所述第三特征金字塔模块中的注意力加权融合层与所述主干网络中的第一c3模块连接；所述三个路径聚合模块分别为第一路径聚合模块、第二路径聚合模块和第三路径聚合模块；所述第一路径聚合模块中的spd层与所述第三特征金字塔模块中的c3层连接；所述第一路径聚合模块中的注意力加权融合层与所述第三特征金字塔模块中的非跨步卷积层连接；所述第二路径聚合模块中的注意力加权融合层与所述第二特征金字塔模块中的非跨步卷积层连接；所述第三路径聚合模块中的注意力加权融合层与所述第一特征金字塔模块中的非跨步卷积层连接；所述头部预测网络包括四个卷积模块，所述四个卷积模块分别与所述第三特征金字塔模块中的c3层以及三个路径聚合模块中的c3层一一对应连接。3.根据权利要求2所述的基于遥感深度学习的电力杆塔识别方法，其特征在于，所述注意力加权融合层对应的融合公式为x＝conv(concat(w1x1，w2x2))，其中，x1和x2为待融合的两张特征图，w1和w2分别为待融合的两张特征图对应的归一化权重，concat()表示按照通道维度进行堆叠操作，conv()表示进行1
×
1的非跨步卷积操作，x为融合后的特征图。4.根据权利要求1所述的基于遥感深度学习的电力杆塔识别方法，其特征在于，模型训练的损失函数为loss＝λ1l
loc
+λ2l
obj
+λ3l
cls
；其中，loss为损失值，l
loc
为定位损失，λ1为定位损失权重，l
obj
为置信度损失，λ2为置信度损失权重，l
cls
为分类损失，λ3为分类损失权重；所述定位损失的计算公式为
其中，b和b
gt
分别表示预测框和标注框，w和h分别为预测框的宽度和高度，w
gt
和h
gt
分别为标注框的宽度和高度，ρ(b，b
gt
)表示预测框的中心点与标注框的中心点之间的距离，c表示预测框与标注框的最小边界矩形的对角线距离，α为权重系数；所述置信度损失和分类损失通过二元交叉熵损失函数计算得到。5.根据权利要求1所述的基于遥感深度学习的电力杆塔识别方法，其特征在于，所述获取输电线路的遥感影像之后，进一步包括：对所述遥感影像进行预处理，所述预处理包括辐射定标、大气校正、正射校正以及真彩色转换。6.根据权利要求1所述的基于遥感深度学习的电力杆塔识别方法，其特征在于，所述根据所述遥感影像，获取电力杆塔样本，具体为：在所述遥感影像中的输电走廊区域范围内确定预设大小的缓冲区域；在所述缓冲区域内，通过矩形矢量依次对各电力杆塔进行标绘，所述矩形矢量的四边靠近电力杆塔的外接矩形且包含电力杆塔区域；若一电力杆塔的影子清晰且其影子区域在所述一电力杆塔的电力杆塔区域的面积占比小于预设的比例阈值，则所述一电力杆塔对应的矩形矢量包含所述一电力杆塔的影子区域，并对所述一电力杆塔对应的矩形矢量的影子标志字段进行标注；分别根据各矩形矢量的最大经纬度和最小经纬度，计算各矩形矢量的中心点地理空间坐标；分别根据各矩形矢量的中心点地理空间坐标以及预设的切片图像尺寸，在所述遥感影像中提取切片图像；分别根据各切片图像中所含的各矩形矢量的位置信息，确定各切片图像中所含的各矩形矢量对应的电力杆塔的标注框的位置信息，并根据各标注框对应的目标类别的类别编号以及位置信息，生成各切片图像的标签文本。7.根据权利要求6所述的基于遥感深度学习的电力杆塔识别方法，其特征在于，所述分别根据各切片图像中所含的各矩形矢量的位置信息，确定各切片图像中所含的各矩形矢量对应的电力杆塔的标注框的位置信息，并根据各标注框对应的目标类别的类别编号以及位置信息，生成各切片图像的标签文本，具体为：将一切片图像中所包含的各矩形矢量的最大经纬度和最小经纬度转换为所述一切片
图像中的行列号，作为所述一切片图像中所包含的各矩形矢量对应的电力杆塔的标注框坐标；根据所述一切片图像尺寸，对所述一切片图像中的各标注框坐标进行归一化处理；分别根据归一化后的各标注框坐标，计算归一化后的各标注框的中心点的行列号以及各标注框的归一化宽度和归一化高度；对所述一切片图像中的各标注框的数据进行逐行排列，生成所述一切片图像的标签文本，所述标注框的数据包括标注框对应的目标类别的类别编号、归一化后的标注框中心点列号、归一化后的标注框中心点行号、标注框的归一化宽度和归一化高度。8.根据权利要求6所述的基于遥感深度学习的电力杆塔识别方法，其特征在于，所述在所述缓冲区域内，通过矩形矢量依次对各电力杆塔进行标绘之后，进一步包括：根据预设的电力杆塔点位信息，所述电力杆塔点位信息包括杆塔编号和经纬度，对所述矩形矢量进行筛选。9.根据权利要求1所述的基于遥感深度学习的电力杆塔识别方法，其特征在于，所述根据所述遥感影像，获取电力杆塔样本之后，进一步包括：对所述电力杆塔样本进行样本增强处理，样本增强处理包括翻转、旋转、亮度增强、添加噪声和仿射变换中的至少一种。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9任一项所述的方法。

技术总结
本发明公开了一种基于遥感深度学习的电力杆塔识别方法及存储介质，方法包括：获取输电线路的遥感影像，并获取电力杆塔样本；根据电力杆塔样本，对预设的深度学习模型进行训练，得到训练好的模型，模型包括输入端、主干网络、颈部网络和头部预测网络，主干网络包括依次连接的第一SPD-Conv模块、非跨步卷积模块、第二SPD-Conv模块、第一SE模块、第一C3模块、第三SPD-Conv模块、第二C3模块、第四SPD-Conv模块、第三C3模块、第五SPD-Conv模块、第四C3模块、第二SE模块和SPPF模块；获取待测遥感影像，并通过训练好的模型对待测遥感影像进行电力杆塔识别。本发明可实现高精度杆塔识别。本发明可实现高精度杆塔识别。本发明可实现高精度杆塔识别。


技术研发人员：朱厦 臧志斌 张春光 赵光 李静 林啸 夏传福 李录 于一鸣
受保护的技术使用者：国网信息通信产业集团有限公司
技术研发日：2023.07.18
技术公布日：2023/10/20