一种遥感图像滑坡检测方法及系统与流程

1.本发明涉及滑坡检测领域，特别是涉及一种遥感图像滑坡检测方法及系统。


背景技术：

2.滑坡是常见的自然灾害之一，滑坡发生时不仅破坏自然环境，而且对村庄、城镇房屋及基础设施等造成毁坏，严重时构成大量人员伤亡。滑坡识别与预警防范是减少和避免地质灾害损失的重要课题，对于进行滑坡预防和建立滑坡数据库具有重要意义。
3.传统的滑坡识别依靠地质工作人员，通过实地勘探和遥感影像目视解译等手段绘制地质灾害编目结果。但受传统技术和条件的限制，现有的滑坡编目结果完整性和现势性都难以满足当前经济发展和防灾减灾需求。利用滑坡遥感影像的光谱、纹理特征的滑坡识别方法，发展较为成熟，主要可分为人工目视解译方法、变化检测方法、机器学习方法和深度学习方法。
4.目视解译法是地质灾害研究中常用的方法，研究人员通过对遥感图像进行目视解读，同时结合地质灾害的非遥感数据进行分析和推理，以识别潜在的灾害隐患区域。例如，刘春玲等利用高分一号卫星遥感数据，在东南亚跨境区内成功解译出重大工程扰动滑坡情况。虽然该方法在滑坡识别方面表现出较高的准确性，但严重依赖研究人员的先验知识和经验。
5.变化检测法是另一种常用的滑坡识别方法，它使用同一地区多个时间点的光学图像，结合像元基础上的多阈值分析和面向对象分析方法进行分析。该方法避免了像元分析方法中噪声引起的“椒盐”效应，充分利用各种图像信息，从而提高了滑坡识别的准确率和效率。但该方法需要多个时相的光学图像数据。例如，张帅娟等利用变化检测法成功提取西藏甲玛矿区滑坡情况。
6.传统滑坡识别主要依靠专家进行目视解译，随着计算机发展，逐渐形成了人工设计多阈值的变化检测方法，近年来随着人工智能技术的发展，出现了基于机器学习和深度学习的滑坡识别方法。
7.机器学习法是利用各种统计学模型，提取滑坡体与光学影像的各类相关特征，使用分类器识别出特征之间的关系，进行滑坡识别。该方法虽然耗费时间、人力较少，但特征选择和参数调节麻烦。目前多种机器学习方法，如支持向量机、随机森林等，已经和基于像元、面向对象分析等方法结合，成为滑坡识别领域的新方法。如喜文飞等在滇东北山区利用改进的retinex算法去除影像粗差，结合svm模型识别滑坡。
8.深度学习滑坡识别方法以卷积神经网络为主，构建深度学习网络，通过学习图像的高阶语义特征来识别滑坡。目前利用深度学习方法识别滑坡有两种方式，一是基于目标检测算法检测滑坡，二是基于语义分割算法检测滑坡。目标检测算法是根据需要的目标种类，寻找图像中对应种类的目标物体，确定它们的类别和位置。目前目标检测的算法，主要分为单阶段检测算法和双阶段检测算法。在单阶段检测算法中，目前应用最多的是yolo系列，如heyi，hou等利用改进的yolox目标检测模型来检测复杂滑坡，提升了复杂小型滑坡的
检测精度；而在双阶段检测算法中，目前fasterr-cnn(faster region convolutionalneuralnetworks)应用较多，如niu,c等结合注意力模块改进faster r-cnn模型，提升了对于非滑坡和泥石流的检测精度。单阶段检测算法，相较于双阶段检测算法，在检测速度上表现良好，但是在检测精度上不够准确。
9.fasterr-cnn作为双阶段目标检测算法中应用最多的模型，其检测精度相较于单阶段检测算法表现良好，相比于前身fast r-cnn，提出的rpn可以快速提供大量的区域候选框，在保证检查精度的同时，提升检测速度。但是，faster r-cnn目前效果最佳的特征提取网络vgg16(visual geometry group)和resnet50(residual networks)，由于网络结构过深，在反向传播过程中容易出现梯度逐渐消失的问题。


技术实现要素：

10.本发明的目的是提供一种遥感图像滑坡检测方法及系统，可避免网络过深带来的梯度消失问题，提高检测精度。
11.为实现上述目的，本发明提供了如下方案：
12.一种遥感图像滑坡检测方法，包括：
13.将faster r-cnn模型中的主干特征提取网络替换为darknet53，获得改进的faster r-cnn模型；
14.获取包含多张滑坡遥感图像样本的滑坡数据集；
15.采用数据增强的方法扩充滑坡数据集，获得增强后的滑坡数据集；
16.利用增强后的滑坡数据集训练所述改进的faster r-cnn模型，获得训练好的改进faster r-cnn模型；
17.将待检测滑坡遥感图像输入所述训练好的改进faster r-cnn模型，识别出待检测滑坡图像中的滑坡。
18.一种遥感图像滑坡检测系统，包括：
19.网络改进模块，用于将faster r-cnn模型中的主干特征提取网络替换为darknet53，获得改进的fasterr-cnn模型；
20.数据集获取模块，用于获取包含多张滑坡遥感图像样本的滑坡数据集；
21.扩充模块，用于采用数据增强的方法扩充滑坡数据集，获得增强后的滑坡数据集；
22.训练模块，用于利用增强后的滑坡数据集训练所述改进的faster r-cnn模型，获得训练好的改进faster r-cnn模型；
23.识别模块，用于将待检测滑坡遥感图像输入所述训练好的改进faster r-cnn模型，识别出待检测滑坡图像中的滑坡。
24.根据本发明提供的具体实施例，本发明公开了以下技术效果：
25.本发明公开一种遥感图像滑坡检测方法及系统，采用数据增强的方法扩充滑坡数据集，解决了训练集中滑坡样本数量较少的问题；以darknet53替换faster r-cnn常用的主干特征提取网络，避免了网络过深带来的梯度消失问题，提高了检测精度。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所
需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
27.图1为本发明实施例提供的一种遥感图像滑坡检测方法的流程图；
28.图2为本发明实施例提供的改进的faster r-cnn模型的网络结构图；
29.图3为本发明实施例提供的滑坡数据集的部分样本；
30.图4为本发明实施例提供的滑坡数据集数据增强处理部分结果图；
31.图5为本发明实施例提供的本发明方法批量检测效果样本图；
32.图6为本发明实施例提供的resnet50批量检测效果样本图；
33.图7为本发明实施例提供的vgg16批量检测效果样本图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
36.如图1所示，本发明实施例提供了一种遥感图像滑坡检测方法，包括：
37.步骤1：将fasterr-cnn模型中的主干特征提取网络替换为darknet53，获得改进的faster r-cnn模型。
38.faster r-cnn的常用特征提取网络vgg16和resnet50，采用多个3
×
3的卷积核提取特征，能够获取更多且更深层次的特征。然而随着网络层次加深，精度不升反降。这是因为网络过深会导致反向传播时，梯度逐渐消失，无法调整前面网络层的权重。
39.相比之下，yolov3的特征提取网络darknet53，由于残差结构的跳跃连接，可以避免网络过深出现梯度消失问题，且拥有参数量小、精度较高的优点。而在yolov3中，单一darknet53提取的特征层，未经过rpn生成候选区域，导致yolov3识别精度不及faster r-cnn。因此，本发明尝试将darknet53与faster r-cnn优势融合，以darknet53替换faster r-cnn中特征提取网络vgg16和resnet50，将提取的特征层经过rpn生成候选区域，提升目标检测模型精度。
40.在实验过程中，由于residuablock的残差边在跳跃连接之后，直接将feature map的输入层特征映射到输出层，会造成输出层的分布不均匀，影响网络拟合能力。因此，本发明在darknet53和rpn之间，增加了一个bn层和leaky relu层，使输出的特征层满足同一分布，避免过拟合问题，增加了网络的非线性。
41.同时结合数据增强技术对滑坡数据集进行处理，将改进后的算法应用于滑坡数据集上。对比实验表明，该算法在滑坡数据集上性能表现良好。
42.图2中cbr代表conv层、bn层和lr层，lr层代表leaky relu激活函数层，bottleneck代表残差网络块，roi pool代表roi池化层，classifier代表分类器，bbox_pred代表回归预测，cls_pred代表分类预测。
43.步骤2：获取包含多张滑坡遥感图像样本的滑坡数据集。
44.为了训练和测试本发明所提出的改进faster r-cnn的滑坡检测算法，本发明选择中国武汉大学最新的公开数据集毕节滑坡数据集，该数据集标注的770个滑坡样本位置。
45.图3展示了此公开数据集中所选的滑坡示例。此公开数据集包括770个滑坡样本，滑坡数据来源是2018年5月至8月拍摄的triplesat卫星图像，滑坡图像地面分辨率为0.8m。图3中的(a)部分、(b)部分、(c)部分、(d)部分、(e)部分、(f)部分、(g)部分和(h)部分展示了滑坡数据集的部分样本。
46.步骤3：采用数据增强的方法扩充滑坡数据集，获得增强后的滑坡数据集。
47.在目标检测领域，训练集样本数量是决定深度学习模型表现的一个重要因素。但是目前滑坡训练集样本的数量通常不能满足深度学习模型训练，这导致模型训练时容易出现过拟合问题。因此，本发明通过线下数据增强的技术以解决这一难题，其不仅可以扩充训练样本的数量，还可以保证样本特征的多样性，有效解决小样本数据集的过拟合问题，提升了模型的训练效果。
48.由于武汉大学的毕节滑坡数据集样本较少，所以本发明使用imgaug图像增强库，对原有的数据集进行数据增强。本发明选用的图像增强方式有hsv(颜色抖动)、hsv+亮度、hsv+亮度+高斯噪声、高斯噪声、亮度、翻转、缩放+平移、旋转这八种图像增强方式。
49.本发明使用武汉大学的毕节滑坡数据集，原始数据集包含770张滑坡图像，数据增强后的数据集包含6930张滑坡图像。数据增强后的结果如图4所示。图4中的(a)部分为原始图像，图4中的(b)部分为翻转后的图像，图4中的(c)部分为缩放+平移后的图像，图4中的(d)部分为添加高斯噪声后的图像，图4中的(e)部分为改变亮度后的图像，图4中的(f)部分为旋转后的图像，图4中的(g)部分为颜色抖动后的图像，图4中的(h)部分为颜色抖动+改变亮度后的图像，图4中的(i)部分为颜色抖动+改变亮度+添加高斯噪声后的图像。
50.步骤4：利用增强后的滑坡数据集训练所述改进的fasterr-cnn模型，获得训练好的改进fasterr-cnn模型。
51.本发明的深度学习模型均使用pytorch1.10.0的深度学习框架，所用计算机处理器为intelxeon silver4110，操作系统环境为windows 10，cpu内存为64gb，gpu型号为nvidia geforce gtx 1080ti，显存为11g，在训练过程中使用cuda11.3和cudnn8.2.0的显卡驱动进行gpu加速计算，本发明算法模型的初始学习率(learning rate)设定为0.0001，训练轮数(epoch)设置为120轮。
52.为避免显存性能的问题，本发明按照不同的批处理大小(batch-size)分为两个训练阶段：主干冻结阶段和主干解冻阶段，前50轮为冻结阶段，batch-size为8；后70轮设置为解冻阶段，batch-size为4。
53.为保证实验结果的准确性和模型的可重复性，本实验通过设置随机数种子，产生固定的随机数，在每次模型训练时，使用相同的随机数种子，保证模型训练的初始权重相同，从而使得模型的训练结果保持在稳定的水平，并且实验结果可以被重现。需要注意的是，神经网络模型的预测效果主要与网络结构和迭代次数有关，而与随机数种子的设置无关。
54.步骤5：将待检测滑坡遥感图像输入所述训练好的改进fasterr-cnn模型，识别出待检测滑坡图像中的滑坡。
55.本发明在算法的实现过程中，选择基于pytorch的深度学习框架，采用darknet53网络替换fasterr-cnn中常用的网络vgg16和resnet50；在rpn前，增加了bn层和leaky relu层，使得提取的特征层满足同一分布，增加网络非线性，从而提升模型的检测精度。
56.此外，针对滑坡数据集中滑坡样本数量少的问题，本发明采用线下数据增强的方法进行滑坡数据集的扩充，使模型训练更加充分，进一步提升检测效果。通过实验表明，本发明提出的算法，相较于原算法，在提升检测精度的同时，降低模型参数量，能够更加准确地检测滑坡，在滑坡检测领域有重要的实用价值，为进一步提升滑坡识别和预警防范提供有力的技术支持。
57.下面通过实验手段评价本发明方法的检测结果。
58.(1)模型评价指标
59.为验证本发明算法的性能，本发明使用数据增强的方法将武汉大学滑坡数据集，扩充到6930个样本，并将本发明提出算法与fasterr-cnn(vgg16)算法、faster r-cnn(resnet50)算法进行对比实验。为确定网络模型的最佳训练效果
30
，将10％的数据集作为测试集，其余的90％的训练样本按照8：2的比例划分为训练集和验证集，分别对不同的网络模型进行训练。本发明使用ap、recall和precision和f1 score四个指标来评估上述算法的性能。
60.本发明在训练集上，分别对faster r-cnn(vgg16)算法、faster r-cnn(resnet50)算法和本发明提出算法三种算法进行了120轮的训练，从中选取三种算法最佳的训练权重，并在测试集上评估模型精度，评估结果见表1。由表1可知，本发明提出算法的ap、precision、recall和f1 score分别达到92.05％、69.59％、93.80％和0.80，相较于faster r-cnn(vgg16)，ap提升了10.71％，precision提升了10.44％，recall提升了7.51％，f1 score提升了0.10。相较于fasterr-cnn(resnet50)，ap提升了0.42％，precision提升了1.52％，recall降低了1.87％，f1 score相持平。
61.本发明提出算法的所有评价指标均优于fasterr-cnn(vgg16)，在ap、precision上优于faster r-cnn(resnet50)，在f1 score上相持平，在recall上略低。这表明本发明采用darknet53，增强了特征传播，改进梯度消失问题，使得模型的ap和precision得到提升；由于在rpn前加入bn层和leaky relu层，使特征层满足同一分布，增强网络非线性，保持模型性能，因此f1 score得分良好；由表2、表3可知，由于本发明提出的算法相较resnet50，参数量更少、检测时间更短，所以在precision较大时，样本检测数量略微下降，导致本发明提出算法的recall比resnet50略低。
62.表1三种算法的模型评价指标对比
63.64.注：加粗数字表示每个评价指标的最佳值。
65.本发明对三种算法的参数量进行对比，对比结果见表2。其中vgg16的参数量最小，resnet50的参数量最大，本发明提出算法在参数量上比vgg16增加27.581mb，相比resnet50降低80.833mb。
66.表2三种算法的模型总参数量对比
67.算法参数量(mb)fasterr-cnn(vgg16)28.275fasterr-cnn(resnet50)136.689本发明算法55.856
68.注：加粗数字表示参数量的最佳值。
69.虽然vgg16参数量最小，但由表1可知，其所有评价指标均为最差；虽然resnet50所有评价指标均优于vgg16，但由表2可知，其参数量过大，导致模型检测速度降低；虽然本发明提出算法参数量不及vgg16小，但所有评价指标均优于vgg16，并且在ap和precision高于resnet50的情况下，参数量远低于resnet50。
70.(2)批量图像检测效果
71.本发明使用三种算法对训练集770张滑坡样本进行批量检测，检测时间长短反映检测速度快慢，三种算法批量检测时间对比见表3。由表3可知，vgg16的检测时间最短，为47s；本发明算法次之，为57s；resnet50的检测时间最长，为1min18s。
72.由于vgg16参数量最小，所以检测时间最短，resnet50参数量最大，所以检测时间最长。虽然vgg16的检测时间最短，但由图7可知，其对于滑坡影像的检测结果不太理想，不能很好的识别出滑坡精准边界，偶尔出现将道路错误识别为滑坡的问题。虽然本发明提出算法检测时间不如vgg16，但由图5可知，其检测结果最为精确，对滑坡边界的确定最为准确，并且没有出现将非滑坡错误检测为滑坡的问题。
73.表3三种算法对训练集滑坡样本的批量检测时间对比
74.算法检测时间(time)fasterr-cnn(vgg16)47sfasterr-cnn(resnet50)1min18s本发明算法57s
75.注：加粗数字表示检测时间的最佳值。
76.本发明提出的算法和resnet50、vgg16在770张滑坡样本上的批量检测效果，部分样本对比结果见图5至图7，其中图5是本发明提出算法的检测结果，图6是resnet50的检测结果，图7是vgg16的检测结果。图5中的(a)部分、(b)部分、(c)部分、(d)部分展示了本发明提出算法对4张不同滑坡样本的检测结果，图6中的(a)部分、(b)部分、(c)部分、(d)部分展示了resnet50对4张不同滑坡样本的检测结果，图7中的(a)部分、(b)部分、(c)部分、(d)部分展示了vgg16对4张不同滑坡样本的检测结果。如图6所示的检测结果出现错检问题，resnet50容易将非滑坡识别为滑坡，同时对于滑坡边界检测不够准确；图7的检测结果，相较图6较少出现错检问题，但vgg16对于滑坡边界检测依然不够准确；反观图5的检测结果，几乎没有出现错检问题，同时本发明提出算法对于滑坡边界检测较为精确。
77.resnet50的p-r曲线在recall较小时，precision波动过大，容易导致将非滑坡错
误识别为滑坡。vgg16的p-r曲线虽然在recall较小时，较为准确，较少出现错检问题，但在recall较大时，precision下降过快，导致滑坡边界检测不够准确。本发明提出的算法，在recall较小时，p-r曲线的precision起伏平缓，因此能够准确识别滑坡，较少出现错检问题；在recall较大时，precision未出现下降过快的现象，因此对于滑坡边界检测准确。
78.目前，使用基于faster r-cnn的目标检测算法进行滑坡灾害检测是非常有效的，但是fasterr-cnn由于特征提取网络过深，在训练过程中会出现梯度逐渐消失从而无法调整网络层权重的现象。因此，本发明在faster r-cnn算法的基础上改进，提出新的遥感图像目标检测算法。本发明将faster r-cnn算法中主干特征提取网络vgg16和resnet50替换为darknet53，darknet53采用跳跃连接，避免了网络过深出现的梯度消失问题。之后本发明采用数据增强的方法扩充滑坡数据集，以解决训练集中滑坡样本数量较少的问题。最后通过实验对比本发明提出算法和faster r-cnn(vgg16)算法、faster r-cnn(resnet50)算法，评估本发明提出的算法的有效性。实验结果表明，在相同滑坡数据集上，本发明算法的ap值可以达到92.05％,f1 score可以达到0.80，recall可以达到93.80％，precision可以达到69.59％，相较于fasterr-cnn(vgg16)算法，ap值提升10.71％，相较于fasterr-cnn(resnet50)算法，ap值提升0.42％。
79.为了执行上述实施例对应的方法，以实现相应的功能和技术效果，下面提供一种遥感图像滑坡检测系统，包括：
80.网络改进模块，用于将fasterr-cnn模型中的主干特征提取网络替换为darknet53，获得改进的fasterr-cnn模型。
81.数据集获取模块，用于获取包含多张滑坡遥感图像样本的滑坡数据集。
82.扩充模块，用于采用数据增强的方法扩充滑坡数据集，获得增强后的滑坡数据集。
83.训练模块，用于利用增强后的滑坡数据集训练所述改进的fasterr-cnn模型，获得训练好的改进fasterr-cnn模型。
84.识别模块，用于将待检测滑坡遥感图像输入所述训练好的改进faster r-cnn模型，识别出待检测滑坡图像中的滑坡。
85.在所述改进的fasterr-cnn模型中的darknet53和rpn层之间增加一个br层；所述br层包括bn层和leaky relu层。
86.数据增强的方法包括：颜色抖动，颜色抖动+改变亮度，颜色抖动+改变亮度+添加高斯噪声，添加高斯噪声，改变亮度，翻转，缩放+平移，以及旋转。
87.对所述改进的faster r-cnn模型训练时：设定初始学习率为0.0001，训练轮数为120轮；分为两个训练阶段：主干冻结阶段和主干解冻阶段；前50轮为主干冻结阶段，batch-size为8；后70轮设置为主干解冻阶段，batch-size为4；在每次迭代训练改进的fasterr-cnn模型时，使用相同的随机数种子，以保证模型训练的初始权重相同。
88.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
89.本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依
据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
size为8；后70轮设置为主干解冻阶段，batch-size为4；在每次迭代训练改进的fasterr-cnn模型时，使用相同的随机数种子，以保证模型训练的初始权重相同。

技术总结
本发明公开一种遥感图像滑坡检测方法及系统，属于滑坡检测技术领域。该方法采用数据增强的方法扩充滑坡数据集，解决了训练集中滑坡样本数量较少的问题；以DarkNet53替换FasterR-CNN常用的主干特征提取网络，避免了网络过深带来的梯度消失问题，提高了检测精度。度。度。


技术研发人员：毛曦 路文娟 程瑶 王继周 杜川 秦瀚
受保护的技术使用者：中国测绘科学研究院
技术研发日：2023.06.21
技术公布日：2023/9/25