一种轻量化路面裂缝检测方法

1.本发明涉及路面裂缝检测技术领域，具体涉及一种轻量化路面裂缝检测方法。


背景技术：

2.裂缝作为路面损伤情况的早期表现形式，及时准确地发现路面裂缝，对于路面日常维护以及延长路面使用寿命具有重要意义。在道路日常的维护中，对出现裂缝的路面进行检测养护，避免路面损伤的继续扩大，能够显著提升路面的使用时间。早期对路面裂缝检测主要依靠工人进行肉眼检测，这种方式检测时间长、检测效率低，且在检查过程中需要工人在道路上进行观察，容易造成安全事故。
3.近些年，随着计算机算力的提升，基于深度学习的裂缝检测方法得以应用，基于深度学习的路面裂缝检测方法在存在复杂噪声背景下，也能够对图像裂缝进行识别检测，随着模型参数量提升，模型的性能也得到提高，实现了较高的准确率。
4.但是，现今的裂缝检测模型大都参数量较大、计算复杂，缺乏针对移动端设备的模型。具体存在以下缺点：
5.(1)在特征提取阶段，普通卷积操作本身计算量大，多层卷积的堆叠也会导致模型整体花费时间较多，同时普通卷积操作所需要的参数量较大，导致整个模型参数量激增，不利于移动端设备的应用。
6.(2)现有裂缝检测算法用于检测路面裂缝图像背景简单且裂缝对比度高的路面图像时，能够实现较好裂缝图像分割，一旦路面裂缝图像背景变得复杂，如果路面图像中出现污点、树叶、车道线和阴影等噪声干扰时，当前算法并不能很好地将裂缝与噪声区别出来，使得最终的预测结果中含有大量的噪声，导致检测精度较低。
7.(3)低层特征细节信息丰富分辨率高，包含着裂缝位置和细节信息，但缺乏抽象语义特征，同时也包含背景噪声信息。高层特征语义信息较强，但分辨率很低，缺乏裂缝像素的细节信息，细节感知较差。对于裂缝检测而言，裂缝拓扑结构复杂多变，例如横向裂缝，纵向裂缝，块状裂缝和龟裂裂缝等，而且实际的路面图像中裂缝像素数目在整个图像像素总数目占比较少，仅使用单一层次提取的特征，会造成最终的预测结果与路面真实情况相差甚远。


技术实现要素：

8.本发明的目的在于提供一种轻量化路面裂缝检测方法，引入轻量化特征提取模块并对裂缝检测分割任务进行改进，降低模型复杂度，提高裂缝检测的准确率。
9.为实现上述目的，本发明提供了一种轻量化路面裂缝检测方法，包括下列步骤：
10.步骤1：采集真实路面图像，建立路面图像数据库；
11.步骤2：筛选所述路面图像数据库中的图像并处理获得groundtrue数据，构建训练集和测试集；
12.步骤3：使用所述训练集训练轻量化裂缝路面检测网络模型；
13.步骤4：使用所述测试集对训练后的网络模型进行测试，根据测试结果计算precision、recall、f-score、prams以及flops评价指标；
14.若评估指标满足要求则说明网络模型满足要求，保存网络模型用于提取路面裂缝；
15.若否则修改网络模型的超参数重新训练；
16.步骤5：使用保存后的网络模型进行路面裂缝检测，对裂缝进行分类和严重程度的评估。
17.可选的，在步骤3中，具体包括下列步骤：
18.步骤3.1：使用多重卷积模式对待检测图像进行特征提取，在所述多重卷积模式下，第一层为普通卷积，第二层与最后一层为深度可分离卷积；
19.步骤3.2：使用四组轻量化特征提取组进行编码器阶段的图像特征提取，每组轻量化特征提取组包含两个轻量化特征提取模块，同时进行图像尺寸的压缩；
20.步骤3.3：将协调注意力机制模块融入第一组卷积操作以及每组轻量化特征提取组；
21.步骤3.4：通过上采样操作恢复网络深层特征信息并与编码器阶段提取的细节特征进行融合；
22.步骤3.5：使用轻量化特征提取组对融合的特征图像进行进一步的特征提取；
23.步骤3.6：重复执行步骤3.2到步骤3.5三次，形成最终特征图像；
24.步骤3.7：使用卷积操作形成最终预测图像；
25.步骤3.8：对网络模型进行训练。
26.可选的，所述轻量化特征提取模块分两次特征提取以及一次维度降维与一次维度升维操作，在特征提取阶段使用两个深度可分离卷积替代了传统的卷积操作，深度可分离卷积通过将一次普通卷积分解为逐通道卷积以及点卷积的方式，减少使用普通卷积操作带来的参数量以及计算量的增加；在图像特征升维降维时，使用两个小核卷积进行维度转变。
27.可选的，所述协调注意力机制模块分别从x轴水平方向以及y轴垂直方向上进行全局池化，保留了水平方向与垂直方向上的长距依赖关系信息，再将水平与垂直的信息进行拼接，之后通过卷积操作将水平与垂直方向上的信息进行交互，得到的特征图通过bn与非线性激活函数之后操作之后进行分割，分别对每个分割图求卷积，施加水平与垂直方向的关注，最后进入sigmoid函数得到能够准确地定位出目标对象位置的特征图。
28.可选的，在编码器阶段，使用一组卷积操作以及四组轻量化特征提取模块操作组，每组特征提取末尾添加协调注意力模块，增强裂缝特征信息的表达，第一组卷积操作对图像信息进行直接提取使用普通卷积与深度可分离卷积组合的方式，后四组轻量化特征提取模块操作组每组由两个轻量化特征提取模块构成，每组操作在对图像特征提取的同时，对图像尺寸进行压缩，降低网络模型后续的计算量，在每组操作之后对特征图像施加协调注意力机制，实现裂缝特征的增强。
29.可选的，在步骤3.3至步骤3.6的执行过程中，还包括解码器阶段，对于编码器不同阶段所保留的细节特征将会在解码器阶段进行融合，编码器的最后的特征信息将会在解码器阶段通过上采样进行特征的恢复与语义的增强，通过与编码器不同阶段特征进行融合，增强裂缝图像语义特征，同时利用编码器阶段保留的裂缝图像细节特征，对融合后的图像
实现裂缝细节的增强，并且通过轻量化特征提取模块提取融合后的特征，同时在提取过程中，对融合后的特征图施加协调注意力机制，强化裂缝信息的表达，过滤掉图像噪声，通过解码器层层提取恢复融合，最终形成裂缝预测图像。
30.可选的，步骤3.8的过程，包括下列步骤：
31.步骤3.8.1：选用pytorch对网络模型进行复现；
32.步骤3.8.2：设置模型参数，输入图像大小为256
×
256，学习率为le-4，融合层权重设置为1，每100个epoch学习率降低10倍，权重衰减为2e-4，训练的epoch数量为700，并且每50个epoch保存一次模型；
33.步骤3.8.3：在配备tesla-v100-sxm2-32gbgpu和4核inter(r)xeno(r)sliver4214cpu的服务器上进行实验；
34.步骤3.8.4：根据实验结果对网络模型的参数进行调整，对裂缝检测效果进行评价；
35.步骤3.8.5：重复步骤3.8.2至3.8.4，调整网络模型参数使裂缝检测效果达到最好。
36.本发明提供了一种轻量化路面裂缝检测方法，通过将轻量化特征提取模块sandglass与协调注意力机制融入到编码解码结构中，构建了轻量化像素级别的裂缝检测网络，经过使用路面图像数据库对网络模型进行训练，使网络模型能够实现在较少的算力情况下实现同等较大网络模型一样的检测效果，同时因为引入了适用于移动端的协调注意力机制模块，减少噪声的影响，提高裂缝检测的准确率，最后通过改进了编码-解码结构，将不同层次的特征图进行融合，使最终的预测结果更接近路面真实情况。进一步的，本发明可以将改进的方法有效地应用到移动设备上，实现端到端的实时有效检测。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明的一种轻量化路面裂缝检测方法的流程示意图。
39.图2是本发明的轻量化特征提取模块结构示意图。
40.图3是本发明的协调注意力机制结构示意图。
41.图4是本发明的轻量化裂缝路面检测网络模型的网络结构示意图。
42.图5是本发明的具体实施例与其它算法在deepcrack、cfd和crack500数据集上测试结果图像对比图。
具体实施方式
43.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
44.请参阅图1，本发明提供了一种轻量化路面裂缝检测方法，包括下列步骤：
45.s1：采集真实路面图像，建立路面图像数据库；
46.s2：筛选所述路面图像数据库中的图像并处理获得groundtrue数据，构建训练集和测试集；
47.s3：使用所述训练集训练轻量化裂缝路面检测网络模型；
48.s4：使用所述测试集对训练后的网络模型进行测试，根据测试结果计算precision、recall、f-score、prams以及flops评价指标；
49.若评估指标满足要求则说明网络模型满足要求，保存网络模型用于提取路面裂缝；
50.若否则修改网络模型的超参数重新训练；
51.s5：使用保存后的网络模型进行路面裂缝检测，对裂缝进行分类和严重程度的评估。
52.以下结合具体术语以及实施例步骤对本发明作进一步说明：
53.(1)轻量化特征提取模块(sandglass模块)
54.现有裂缝检测方法大都使用普通卷积操作对图像特征进行提取，随着网络深度不断增加，整个网络参数量也随之增加，导致整个网络模型计算量增加，参数量过大，难以应用到移动设备。为避免该现象的发生，通过引入轻量化特征提取模块(以下简称sandglass模块)，减少普通卷积的使用来解决这一问题。sandglass模块如图2所示，整个模块分为两次特征提取以及一次维度降维与一次维度升维操作，在特征提取阶段使用两个深度可分离卷积替代了传统的卷积操作，深度可分离卷积通过将一次普通卷积分解为逐通道卷积以及点卷积的方式，减少使用普通卷积操作带来的参数量以及计算量的增加。在图像特征升维降维时，使用两个小核卷积进行维度转变。同时sandglass结构整体添加了图像特征的恒等映射，当网络模型经过sandglass模块学习到的产生较特征损失时，则直接采用恒等映射，不对特征图像进行任何处理，直接传递，使得sandglass模块能够构建较深层次的网络。sandglass特征提取模块参数量以及计算量远小于普通卷积，能够用于构建小型移动端网络。
55.在步骤s3中，使用所述训练集训练轻量化裂缝路面检测网络模型的过程，包括下列步骤：
56.步骤3.1：使用多重卷积模式对待检测图像进行特征提取，在所述多重卷积模式下，第一层为普通卷积，第二层与最后一层为深度可分离卷积；
57.步骤3.2：使用四组轻量化特征提取组进行编码器阶段的图像特征提取，每组sandglass提取组包含两个sandglass模块，同时进行图像尺寸的压缩；
58.步骤3.3：将协调注意力机制模块融入第一组卷积操作以及每组sandglass提取组；
59.步骤3.4：通过上采样操作恢复网络深层特征信息并与编码器阶段提取的细节特征进行融合；
60.步骤3.5：使用轻量化特征提取组对融合的特征图像进行进一步的特征提取；
61.步骤3.6：重复执行步骤3.2到步骤3.5三次，形成最终特征图像；
62.步骤3.7：使用卷积操作形成最终预测图像；
63.步骤3.8：对网络模型进行训练。
64.(2)协调注意力机制模块
65.请参阅图3，其中协调注意力机制(coordinateattention，ca)模块分别从x轴水平方向以及y轴垂直方向上进行全局池化，保留了水平方向与垂直方向上的长距依赖关系信息，再将水平与垂直的信息进行拼接，之后通过卷积操作将水平与垂直方向上的信息进行交互，得到的特征图通过bn与非线性激活函数之后操作之后进行分割，分别对每个分割图求卷积，施加水平与垂直方向的关注，最后进入sigmoid函数得到能够准确地定位出目标对象地位置的特征图。
66.(3)轻量化裂缝路面检测网络模型
67.本发明将裂缝检测分为编码器阶段和解码器两部分。在编码器阶段阶段，使用一组卷积操作以及四组轻量化特征提取组，每组特征提取末尾添加协调注意力模块，增强裂缝特征信息的表达，第一组卷积操作对图像信息进行直接提取使用普通卷积与深度可分离卷积组合的方式，后四组轻量化特征提取组每组由两个sandglass模块构成，每组操作在对图像特征提取的同时，对图像尺寸进行压缩，降低网络模型后续的计算量，在每组操作之后对特征图像施加协调注意力机制，实现裂缝特征的增强。在解码阶段，对于编码器不同阶段所保留的细节特征将会在解码器阶段进行融合，编码器的最后的特征信息将会在解码器阶段通过上采样进行特征的恢复与语义的增强，通过与编码器不同阶段特征进行融合，增强裂缝图像语义特征，同时利用编码器阶段保留的裂缝图像细节特征，对融合后的图像实现裂缝细节的增强，并且通过轻量化特征提取模块提取融合后的特征，同时在提取过程中，对融合后的特征图施加协调注意力机制，强化裂缝信息的表达，过滤掉图像噪声，通过解码器层层提取恢复融合，最终形成裂缝预测图像，具体的轻量化裂缝路面检测网络模型结构图如图4所示。
68.另外，在步骤3.8对网络模型进行训练中，具体包括下列步骤：
69.步骤3.8.1：选用pytorch对网络模型进行复现；
70.步骤3.8.2：设置模型参数，输入图像大小为256
×
256，学习率为le-4，融合层权重设置为1，每100个epoch学习率降低10倍，权重衰减为2e-4，训练的epoch数量为700，并且每50个epoch保存一次模型；
71.步骤3.8.3：在配备tesla-v100-sxm2-32gbgpu和4核inter(r)xeno(r)sliver4214cpu的服务器上进行实验；
72.步骤3.8.4：根据实验结果对网络模型的参数进行调整，对裂缝检测效果进行评价；
73.步骤3.8.5：重复步骤3.8.2至3.8.4，调整网络模型参数使裂缝检测效果达到最好。
74.进一步的，为了验证提出的裂缝检测方法的有效性，本发明还提出了一个具体实施例：
75.在三个公开裂缝数据集deepcrack、cfd和crack500上进行验证，同时与当前流行的边缘检测方法segnet、cracksegnet、图像分割方法u-net和deeplabv3+、裂缝检测方法deepcrack和fphbn进行对比，并使用precision、recall、f-score、params以及flops评估。在三个数据集上的测试结果如图5所示，从视觉角度来看，本发明所提取的裂缝特征清晰且特征图受噪声影响较小，有些方法受噪声影响导致裂缝特征模糊甚至残缺。从客观角度出
发，本发明使用precision、recall、f-score、params以及flops最终的预测结果进行评估，从表1可以看出本发明的模型参数量以及模型复杂程度远小于其他方法，具有较大的移动端应用潜力。从表2、表3、表4可以看出本发明的各项指标接近其他方法，在某些特定裂缝检测场景实现了准确率以及f-score的最优。综上所述，本发明提出的裂缝检测方法实现了在较小参数量以及计算量的情况下，实现了对裂缝图像的检测且保持较高的准确率，具有较好的效果。
76.综上所述，本发明与现有技术相比较，具有以下优点：
77.1.改进使用传统卷积操作进行特征提取，使用轻量级特征提取图像特征提取，通过深度可分卷积与小卷积核组合使得整个网络模型计算量大以及计算量幅降低的同时网络模型具有较好的图像特征提取能力，使得网络模型能够实现在较少的算力情况下实现同等较大网络模型一样的检测效果。
78.2.引入适用于移动端设备的协调注意力机制模块，通过协调注意力机制，该模式下网络可以增强裂缝特征，抑制非裂缝特征，减少噪声的影响，提高裂缝检测的准确率。
79.3.改进了编码-解码结构，通过将轻量化特征提取模块与协调注意力机制模块嵌入到编码-解码结构中，增强了编码器的特征提取以及解码器的尺寸恢复能力，分别提取不同层次获取的特征图，通过轻量化特征提取模块、上采样等一系列操作处理后，通过解码器将不同层次的特征图进行融合，使最终的预测结果更接近路面真实情况。
80.以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

技术特征：
1.一种轻量化路面裂缝检测方法，其特征在于，包括下列步骤：步骤1：采集真实路面图像，建立路面图像数据库；步骤2：筛选所述路面图像数据库中的图像并处理获得groundtrue数据，构建训练集和测试集；步骤3：使用所述训练集训练轻量化裂缝路面检测网络模型；步骤4：使用所述测试集对训练后的网络模型进行测试，根据测试结果计算precision、recall、f-score、prams以及flops评价指标；若评估指标满足要求则说明网络模型满足要求，保存网络模型用于提取路面裂缝；若否则修改网络模型的超参数重新训练；步骤5：使用保存后的网络模型进行路面裂缝检测，对裂缝进行分类和严重程度的评估。2.如权利要求1所述的轻量化路面裂缝检测方法，其特征在于，在步骤3中，具体包括下列步骤：步骤3.1：使用多重卷积模式对待检测图像进行特征提取，在所述多重卷积模式下，第一层为普通卷积，第二层与最后一层为深度可分离卷积；步骤3.2：使用四组轻量化特征提取组进行编码器阶段的图像特征提取，每组轻量化特征提取组包含两个轻量化特征提取模块，同时进行图像尺寸的压缩；步骤3.3：将协调注意力机制模块融入第一组卷积操作以及每组轻量化特征提取组；步骤3.4：通过上采样操作恢复网络深层特征信息并与编码器阶段提取的细节特征进行融合；步骤3.5：使用轻量化特征提取组对融合的特征图像进行进一步的特征提取；步骤3.6：重复执行步骤3.2到步骤3.5三次，形成最终特征图像；步骤3.7：使用卷积操作形成最终预测图像；步骤3.8：对网络模型进行训练。3.如权利要求2所述的轻量化路面裂缝检测方法，其特征在于，所述轻量化特征提取模块分两次特征提取以及一次维度降维与一次维度升维操作，在特征提取阶段使用两个深度可分离卷积替代了传统的卷积操作，深度可分离卷积通过将一次普通卷积分解为逐通道卷积以及点卷积的方式，减少使用普通卷积操作带来的参数量以及计算量的增加；在图像特征升维降维时，使用两个小核卷积进行维度转变。4.如权利要求3所述的轻量化路面裂缝检测方法，其特征在于，所述协调注意力机制模块分别从x轴水平方向以及y轴垂直方向上进行全局池化，保留了水平方向与垂直方向上的长距依赖关系信息，再将水平与垂直的信息进行拼接，之后通过卷积操作将水平与垂直方向上的信息进行交互，得到的特征图通过bn与非线性激活函数之后操作之后进行分割，分别对每个分割图求卷积，施加水平与垂直方向的关注，最后进入sigmoid函数得到能够准确地定位出目标对象位置的特征图。5.如权利要求4所述的轻量化路面裂缝检测方法，其特征在于，在编码器阶段，使用一组卷积操作以及四组轻量化特征提取模块操作组，每组特征提取末尾添加协调注意力模块，增强裂缝特征信息的表达，第一组卷积操作对图像信息进行直接提取使用普通卷积与深度可分离卷积组合的方式，后四组轻量化特征提取模块操作组
每组由两个轻量化特征提取模块构成，每组操作在对图像特征提取的同时，对图像尺寸进行压缩，降低网络模型后续的计算量，在每组操作之后对特征图像施加协调注意力机制，实现裂缝特征的增强。6.如权利要求5所述的轻量化路面裂缝检测方法，其特征在于，在步骤3.3至步骤3.6的执行过程中，还包括解码器阶段，对于编码器不同阶段所保留的细节特征将会在解码器阶段进行融合，编码器的最后的特征信息将会在解码器阶段通过上采样进行特征的恢复与语义的增强，通过与编码器不同阶段特征进行融合，增强裂缝图像语义特征，同时利用编码器阶段保留的裂缝图像细节特征，对融合后的图像实现裂缝细节的增强，并且通过轻量化特征提取模块提取融合后的特征，同时在提取过程中，对融合后的特征图施加协调注意力机制，强化裂缝信息的表达，过滤掉图像噪声，通过解码器层层提取恢复融合，最终形成裂缝预测图像。7.如权利要求6所述的轻量化路面裂缝检测方法，其特征在于，步骤3.8的过程，包括下列步骤：步骤3.8.1：选用pytorch对网络模型进行复现；步骤3.8.2：设置模型参数，输入图像大小为256
×
256，学习率为le-4，融合层权重设置为1，每100个epoch学习率降低10倍，权重衰减为2e-4，训练的epoch数量为700，并且每50个epoch保存一次模型；步骤3.8.3：在配备tesla-v100-sxm2-32gbgpu和4核inter(r)xeno(r)sliver4214cpu的服务器上进行实验；步骤3.8.4：根据实验结果对网络模型的参数进行调整，对裂缝检测效果进行评价；步骤3.8.5：重复步骤3.8.2至3.8.4，调整网络模型参数使裂缝检测效果达到最好。

技术总结
本发明涉及路面裂缝检测技术领域，具体涉及一种轻量化路面裂缝检测方法，通过将轻量化特征提取模块SandGlass与协调注意力机制融入到编码解码结构中，构建了轻量化像素级别的裂缝检测网络，使用路面图像数据库对网络模型进行训练，使网络模型能够实现在较少的算力情况下实现同等较大网络模型一样的检测效果，同时因为引入了适用于移动端的协调注意力机制模块，减少噪声的影响，提高裂缝检测的准确率，最后通过改进了编码-解码结构，将不同层次的特征图进行融合，使最终的预测结果更接近路面真实情况。进一步的，本发明可以将改进的方法有效地应用到移动设备上，实现端到端的实时有效检测。检测。检测。


技术研发人员：瞿中 陈鑫
受保护的技术使用者：重庆邮电大学
技术研发日：2023.03.24
技术公布日：2023/8/1