一种基于动态坐标卷积的混凝土裂缝检测方法及系统

1.本发明属于目标检测技术领域，尤其涉及一种基于动态坐标卷积的混凝土裂缝检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.世界上建造的桥梁大部分是混凝土桥，桥梁在服役过程中，需要定期进行检测，以利于制定相应的养护对策；裂缝是混凝土桥梁的主要病害之一，已成为混凝土桥梁检测和维修的重要内容；传统的人工检测方法存在不准确、效率低的缺点，一旦桥梁裂缝未及时检测，造成桥梁坍塌，将会带来极大的财产损失。
4.目前，部分安装的混凝土裂缝检测系统已成功检测并通过人工现场修补多个桥梁，预防了因桥面或路面开裂而导致的坍塌问题，但现有整体检测系统在应用过程中依然存在诸多问题：
5.(1)受限的裂缝特征识别：现有的目标检测算法主要针对物体识别和分类，可能无法充分捕捉裂缝的微小特征和细节，这可能导致检测效果不佳，对于裂缝的准确识别和定位具有挑战性。
6.(2)对复杂背景的适应性不足：在实际应用中，裂缝可能出现在各种复杂的背景中，例如不同纹理、光照条件等；现有目标检测算法可能无法很好地适应这些复杂背景，从而影响裂缝检测的准确性。
7.(3)实时性和计算效率：在裂缝检测中，实时性和计算效率至关重要，尤其是在大规模的基础设施检测中，然而，很多现有的目标检测算法需要大量的计算资源和时间，可能无法满足实时性要求。
8.(4)鲁棒性和泛化能力：裂缝形状、大小和方向可能存在很大的差异，目前的目标检测算法无法在这些不同情况下都表现出良好的鲁棒性和泛化能力，导致识别结果受限。


技术实现要素：

9.为克服上述现有技术的不足，本发明提供了一种基于动态坐标卷积的混凝土裂缝检测方法及系统，将动态坐标卷积与yolov5框架体系相融合，在模型参数数量几乎不变的情况下，大幅提高混凝土裂缝检测精度。
10.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
11.本发明第一方面提供了一种基于动态坐标卷积的混凝土裂缝检测方法；
12.一种基于动态坐标卷积的混凝土裂缝检测方法，包括：
13.获取混凝土表面裂缝图像集，对图像进行预处理，得到数据集；
14.基于小批量随机梯度下降优化算法，使用数据集对构建的裂缝检测模型进行训练；
15.将待检测的混凝土表面裂缝图像输入到训练好的裂缝检测模型中进行推理，得到裂缝检测结果；
16.其中，所述裂缝检测模型，基于yolov5，增加基于动态坐标卷积方法的瓶颈残差结构，提取裂缝特征，对混凝土表面裂纹进行识别与分类。
17.进一步的，所述预处理，包括：
18.(1)使用k-means方法聚类图像集，生成先验框；
19.(2)基于正负样本平衡性原则对图像集进行数据增强。
20.进一步的，所述裂缝检测模型，包括骨干、颈部和头部三部分；
21.所述骨干，用于提取图像特征；
22.所述颈部，用于特征融合；
23.所述头部，用于解码和输出裂缝的预测框坐标信息及分类信息。
24.进一步的，所述骨干，由conv、c3、sppf和瓶颈残差结构组成，具体连接顺序为：conv、conv、c3、conv、c3、conv、瓶颈残差结构、conv、瓶颈残差结构、sppf。
25.进一步的，所述瓶颈残差结构，包括conv和残差模块；
26.输入的特征，经过conv和残差模块处理，与conv得到的残差项在通道维度进行特征融合，得到瓶颈残差图像特征。
27.进一步的，所述残差模块，包括conv和动态坐标卷积模块；
28.输入的特征，通过conv生成隐层输出，将隐层输出输入到动态坐标卷积模块中进行运算，得到具有坐标信息的图像特征。
29.进一步的，所述动态坐标卷积模块，包括依次连接的坐标卷积、conv和动态卷积；
30.所述坐标卷积，为输入的特征增加两个坐标通道，经过concat层与输入的特征进行拼接，提取坐标特征；
31.所述动态卷积，为输入的特征计算注意力，根据注意力动态集成多个并行的卷积核为一个动态核，提取动态特征。
32.本发明第二方面提供了一种基于动态坐标卷积的混凝土裂缝检测系统。
33.一种基于动态坐标卷积的混凝土裂缝检测系统，包括数据集构建模块、模型训练模块和裂缝推理模块：
34.数据集构建模块，被配置为：获取混凝土表面裂缝图像集，对图像进行预处理，得到数据集；
35.模型训练模块，被配置为：基于小批量随机梯度下降优化算法，使用数据集对构建的裂缝检测模型进行训练；
36.裂缝推理模块，被配置为：将待检测的混凝土表面裂缝图像输入到训练好的裂缝检测模型中进行推理，得到裂缝检测结果；
37.其中，所述裂缝检测模型，基于yolov5，增加基于动态坐标卷积方法的瓶颈残差结构，提取裂缝特征，对混凝土表面裂纹进行识别与分类。
38.本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种基于动态坐标卷积的混凝土裂缝检测方法中的步骤。
39.本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在
处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种基于动态坐标卷积的混凝土裂缝检测方法中的步骤。
40.以上一个或多个技术方案存在以下有益效果：
41.1、以深度学习算法为理论依据，引入一种动态坐标卷积crconv方法，构建裂缝检测模型yolov5-cr，有效加强在不同裂缝形状、大小和方向下的检测性能，增强了模型对裂缝特征的识别能力，提高混凝土裂缝的识别检测精度，而且能够及时地检测出桥梁混凝土裂缝早期的桥面开裂产生的缝隙，改进性系统可以根据检测结果快速做出反应，对预防桥梁坍塌等措施具有重要作用。
42.2、构建适用于该场景的裂缝检测模型，形成了一套完善的、与需求相适应的数据库模型，以提高坐标卷积与动态卷积的学习能力。
43.3、以需求为导向，采用以上网络模型算法，通过训练大量的数据集训练实现更精准的裂纹图像以及裂缝预测类别，大幅度提高了混凝土裂缝识别精度；通过逐步增加样本集数量提高模型的泛化能力，进一步优化检测算法的鲁棒性和稳定性。
44.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
45.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
46.图1为第一个实施例的方法流程图。
47.图2为第一个实施例裂缝检测模型yolov5-cr的模型结构图。
48.图3为第一个实施例动态坐标卷积(crconv)的结构图。
49.图4为第一个实施例残差模块(crbottleneck)的结构图。
50.图5为第一个实施例瓶颈残差结构(crdcsp)的结构图。
51.图6为第二个实施例的系统结构图。
具体实施方式
52.下面结合附图与实施例对本发明作进一步说明。
53.实施例一
54.本实施例公开了一种基于动态坐标卷积的混凝土裂缝检测方法，实现混凝土表面裂缝及类别识别的过程，主要包括三个步骤：数据集构建、模型训练和裂缝推理。
55.如图1所示，一种基于动态坐标卷积的混凝土裂缝检测方法，包括：
56.步骤s1：获取混凝土表面裂缝图像集，对图像进行预处理，得到数据集。
57.首先，为确保裂缝图像的形态、光照、大小和清晰度具有多样性，采集大量混凝土表面裂缝图像集，然后通过k-means算法和正负样本平衡性原则对图像集进行预处理，具体为：
58.(1)使用k-means方法聚类图像集，生成先验框。
59.目标检测网络(faster rcnn、ssd、yolo v2&v3、yolov5等)中，均会用到先验框，先验框是提前在图像上预设好的不同大小、不同长宽比的框。
60.本实施例中模型的先验框是使用k-means方法聚类获得的，而非人工设计的，因此，在开展后续的工作之前，先使用k-means方法为模型获得适用于混凝土表面裂缝图像集的先验框。
61.本实施例中，在图像集上聚类出3个先验框尺寸，分别为80*80*128、40*40*256、20*20*512。
62.(2)基于正负样本平衡性原则对混凝土表面裂缝图像集进行数据增强。
63.原始的混凝土表面裂缝图像集存在样本不平衡问题，即正样本、负样本的分布不均，或者说两者的数量相差很多，会影响模型的训练效果，所以，本实施例基于正负样本平衡性原则，对图像集进行数据增强，来调整正样本、负样本的分布比例，目前主要有三种办法：
64.(1)调整θ值
65.根据图像集的正负样本比例，调整θ值。
66.(2)过采样
67.对图像集里面样本数量较少的类别(少数类)进行过采样，合成新的样本来缓解类不平衡，例如，经典的过采样算法smote。
68.(3)欠采样
69.对图像集里面样本数量较多的类别(多数类)进行欠采样，抛弃一些样本来缓解类不平衡。
70.步骤s2：基于小批量随机梯度下降优化算法，使用数据集对构建的裂缝检测模型进行训练。
71.下面从构建和训练两个角度分别说明：
72.步骤s201构建裂缝检测模型
73.本发明所构建的裂缝检测模型yolov5-cr，基于yolov5模型，创新地采用了基于深度学习的动态坐标卷积方法及瓶颈残差结构，高精度高效提取裂缝特征，对混凝土表面裂纹进行识别与分类。
74.图2是裂缝检测模型yolov5-cr的模型结构图，如图2所示，yolov5-cr分为骨干(backbone)、颈部(neck)和头部(head)三部分，骨干负责提取图像信息特征，颈部负责特征融合，头部则负责解码和输出裂缝的预测框坐标信息及分类信息，预测框的尺寸对应于步骤s1中聚类得到的三个先验框尺寸，这里简称为：大、中、小裂缝预测框。
75.裂缝检测模型yolov5-cr，在原始yolov5模型基础上做了改进，具体是在原始yolov5模型的骨干(backbone)中，将第六层和第八层的c3换成本发明新提出的瓶颈残差结构(crdcsp)，也就是说，裂缝检测模型yolov5-cr的骨干，包括依次相连的conv、conv、c3、conv、c3、conv、瓶颈残差结构(crdcsp)、conv、瓶颈残差结构(crdcsp)、sppf。
76.(1)conv由卷积、batch normalization和silu激活层组成，batch normalization具有防止过拟合，加速收敛的作用，silu激活层是sigmoid加权线性组合，silu函数也称为swish函数。
77.(2)sppf由spp改进而来，spp先通过一个标准卷积将输入通道减半，然后分别做卷积核尺寸为5，9，13的最大池化；对三次最大池化的结果与未进行池化操作的数据进行concat，最终合并后channel数是原来的2倍。
78.sppf(spatial pyramid pooling-fast)使用3个5
×
5的最大池化，代替原来的5
×
5、9
×
9、13
×
13最大池化，多个小尺寸池化核级联，代替spp模块中单个大尺寸池化核，从而在保留原有功能，即融合不同感受野的特征图，丰富特征图的表达能力的情况下，进一步提高了运行速度。
79.(3)c3为csp架构，包含3个标准卷积层，对残差特征进行学习，其结构分为两支：一支使用多个bottleneck堆叠，另一支仅经过一个基本卷积模块，最后将两支进行concat操作进行拼接。
80.(4)瓶颈残差结构(crdcsp)，基于c3的结构，作出如下改进：
81.将c3中的bottleneck换成本发明设计的残差模块(crbottleneck)，其中，残差模块(crbottleneck)基于动态坐标卷积(crconv)构建。
82.具体的，为了确保模型具有高实时性、较小的参数和计算量，同时显著提高识别精度，以本发明设计的动态坐标卷积(crconv)方法作为基础，构建瓶颈残差结构(crdcsp)，下面按照动态坐标卷积(crconv)、残差模块(crbottleneck)、瓶颈残差结构(crdcsp)的顺序分别进行说明。
83.动态坐标卷积(crconv)
84.将坐标卷积和动态卷积相结合，得到动态坐标卷积(crconv)，图3是动态坐标卷积(crconv)的结构图，如图3所示，前面提取的图像特征(即特征图)x输入到动态坐标卷积(crconv)中，得到具有动态权重坐标的特征y，具体处理步骤为：
85.首先，特征图输入坐标卷积，提取坐标特征。
86.具体的，为特征图增加两个坐标通道，分别表示x坐标和y坐标，经过concat层与初始的特征图拼接，这时特征图具备了平移依赖性，用公式表示：
87.y1←
σ(bn(w1(x)+w
x
+wy))
88.其中，y1表示坐标特征，x表示输入的特征图，w1表示卷积核，w
x
、wy分别表示坐标卷积核，bn表示批量归一化，σ表示relu激活函数。
89.然后，通过1x1的标准卷积改变通道维数，或者通过3x3的标准卷积进行下采样，输出坐标特征。
90.最后，将输出的坐标特征送入动态卷积，提取动态特征。
91.动态卷积的基本思路就是根据输入的特征图，自适应地调整卷积参数，而对动态卷积对应的静态卷积用同一个卷积核对所有输入的特征图做相同的操作，而动态卷积会对不同的特征图做出调整，用更适合的卷积参数进行处理。
92.具体的，动态卷积没有在每层上使用单个卷积核，而是根据注意力动态聚合多个并行的卷积核，注意力会根据输入动态地调整每个卷积核的权重，从而生成自适用的动态卷积；注意力通过route计算得到的，用公式表示为：
93.y2←
route(y1)
94.y3←
σ(bn(w3(combine(y2))))
95.y4←
add(y1,y3)
96.out
←
σ(bn(w3(y4)))
97.其中，y2表示多尺度特征，y3表示卷积特征，y4表示动态特征，bn表示批量归一化，σ表示relu激活函数，concat表示通道维度特征融合，route表示注意力机制，combine表示加
权运算，add表示加法运算。
98.残差模块(crbottleneck)
99.在动态坐标卷积(crconv)的基础上，构建残差模块(crbottleneck)，图4是残差模块(crbottleneck)的结构图，如图4所示，在残差模块的运算过程中，首先通过一层conv生成隐层输出，然后将生成的隐层输出作为动态坐标卷积(crconv)的输入进行再次运算，得到具有坐标信息的图像特征，这种做法增强了特征图的细节信息，减少了前向运算过程中语义信息的丢失。
100.瓶颈残差结构(crdcsp)
101.在残差模块(crbottleneck)的基础上，构建瓶颈残差结构(crdcsp)，图5是瓶颈残差结构(crdcsp)的结构图，如图5所示，在瓶颈残差结构中，输入的特征首先经过主干分支的conv和瓶颈残差结构(crdcsp)处理，然后与另一分支上残差块输出的残差项在通道维度进行特征融合，得到瓶颈残差图像特征；这种设计提高了网络的深度和性能，同时降低了计算量，用公式表示为：
102.out
←
w3(concat(w(w1(x)),w2(x)))
103.其中，w1,w2,w3分别表示三层conv卷积核，w表示残差模块(crbottleneck)，concat表示通道维度特征融合，out表示瓶颈残差图像特征，x表示输入的特征图。
104.基于瓶颈残差图像特征，颈部进一步融合特征，头部则基于融合后的特征，对图像中的裂纹进行自动标注，得到裂缝的预测框，基于裂缝的预测框，采用密集连接技术，对裂缝的类型进行预测，得到裂缝分类信息，其中，裂缝的类型包括水平、垂直、倾斜、树杈和皲裂。
105.步骤s202训练裂缝检测模型
106.在模型训练阶段，利用数据集，采用小批量随机梯度下降优化算法对模型的梯度进行更新。为了确保模型的准确性和稳定性，可以将数据集按照预设比例，划分为训练集和验证集，使用验证集计算泛化误差，并保存泛化误差最小对应的权重参数。
107.步骤s3：将待检测的混凝土表面裂缝图像输入到训练好的裂缝检测模型中进行推理，得到裂缝检测结果。
108.裂缝检测模型yolov5-cr通过动态坐标卷积模型中的坐标卷积增加了坐标信息，实现更加准确的目标定位，通过模型中的动态卷积根据不同的输入特征自动生成卷积核，实现模型的泛化能力和性能的提高；通过瓶颈残差结构(crdcsp)实现了通道间信息关联，提高了网络的特征提取能力。采用动态坐标卷积(crconv)获取具有坐标信息的图像特征，有效降低了对移动设备算力的需求,不仅克服了人工检测在复杂环境中效率低、误检率高的问题，还大幅度提高了网络模型识别的精准度。
109.裂缝检测模型yolov5-cr具有更高的准确性、更低的检测成本和更强的环境适应性，实现了对混凝土表面裂纹的实时识别，为建筑结构病害的早期发现和及时修复提供便利；同时，模型具备判定裂纹类别的能力，根据类别推断裂纹对建筑结构的危害程度，为提前筹备修复措施争取时间，极大程度地减少损失并预防事故发生，为保障建筑结构安全提供有力支持。
110.实施例二
111.本实施例公开了一种基于动态坐标卷积的混凝土裂缝检测系统；
112.如图6所示，一种基于动态坐标卷积的混凝土裂缝检测系统，包括数据集构建模块、模型训练模块和裂缝推理模块：
113.数据集构建模块，被配置为：获取混凝土表面裂缝图像集，对图像进行预处理，得到数据集；
114.模型训练模块，被配置为：基于小批量随机梯度下降优化算法，使用数据集对构建的裂缝检测模型进行训练；
115.裂缝推理模块，被配置为：将待检测的混凝土表面裂缝图像输入到训练好的裂缝检测模型中进行推理，得到裂缝检测结果；
116.其中，所述裂缝检测模型，基于yolov5，增加基于动态坐标卷积方法的瓶颈残差结构，提取裂缝特征，对混凝土表面裂纹进行识别与分类。
117.实施例三
118.本实施例的目的是提供计算机可读存储介质。
119.计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的一种基于动态坐标卷积的混凝土裂缝检测方法中的步骤。
120.实施例四
121.本实施例的目的是提供电子设备。
122.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的一种基于动态坐标卷积的混凝土裂缝检测方法中的步骤。
123.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于动态坐标卷积的混凝土裂缝检测方法，其特征在于，包括：获取混凝土表面裂缝图像集，对图像进行预处理，得到数据集；基于小批量随机梯度下降优化算法，使用数据集对构建的裂缝检测模型进行训练；将待检测的混凝土表面裂缝图像输入到训练好的裂缝检测模型中进行推理，得到裂缝检测结果；其中，所述裂缝检测模型，基于yolov5，增加基于动态坐标卷积方法的瓶颈残差结构，提取裂缝特征，对混凝土表面裂纹进行识别与分类。2.如权利要求1所述的一种基于动态坐标卷积的混凝土裂缝检测方法，其特征在于，所述预处理，包括：(1)使用k-means方法聚类图像集，生成先验框；(2)基于正负样本平衡性原则对图像集进行数据增强。3.如权利要求1所述的一种基于动态坐标卷积的混凝土裂缝检测方法，其特征在于，所述裂缝检测模型，包括骨干、颈部和头部三部分；所述骨干，用于提取图像特征；所述颈部，用于特征融合；所述头部，用于解码和输出裂缝的预测框坐标信息及分类信息。4.如权利要求3所述的一种基于动态坐标卷积的混凝土裂缝检测方法，其特征在于，所述骨干，由conv、c3、sppf和瓶颈残差结构组成，具体连接顺序为：conv、conv、c3、conv、c3、conv、瓶颈残差结构、conv、瓶颈残差结构、sppf。5.如权利要求1所述的一种基于动态坐标卷积的混凝土裂缝检测方法，其特征在于，所述瓶颈残差结构，包括conv和残差模块；输入的特征，经过conv和残差模块处理，与conv得到的残差项在通道维度进行特征融合，得到瓶颈残差图像特征。6.如权利要求5所述的一种基于动态坐标卷积的混凝土裂缝检测方法，其特征在于，所述残差模块，包括conv和动态坐标卷积模块；输入的特征，通过conv生成隐层输出，将隐层输出输入到动态坐标卷积模块中进行运算，得到具有坐标信息的图像特征。7.如权利要求6所述的一种基于动态坐标卷积的混凝土裂缝检测方法，其特征在于，所述动态坐标卷积模块，包括依次连接的坐标卷积、conv和动态卷积；所述坐标卷积，为输入的特征增加两个坐标通道，经过concat层与输入的特征进行拼接，提取坐标特征；所述动态卷积，为输入的特征计算注意力，根据注意力动态集成多个并行的卷积核为一个动态核，提取动态特征。8.一种基于动态坐标卷积的混凝土裂缝检测系统，其特征在于，包括数据集构建模块、模型训练模块和裂缝推理模块：数据集构建模块，被配置为：获取混凝土表面裂缝图像集，对图像进行预处理，得到数据集；模型训练模块，被配置为：基于小批量随机梯度下降优化算法，使用数据集对构建的裂缝检测模型进行训练；
裂缝推理模块，被配置为：将待检测的混凝土表面裂缝图像输入到训练好的裂缝检测模型中进行推理，得到裂缝检测结果；其中，所述裂缝检测模型，基于yolov5，增加基于动态坐标卷积方法的瓶颈残差结构，提取裂缝特征，对混凝土表面裂纹进行识别与分类。9.一种电子设备，其特征是，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。

技术总结
本发明提出了一种基于动态坐标卷积的混凝土裂缝检测方法及系统，涉及目标检测技术领域，具体方案包括：获取混凝土表面裂缝图像集，对图像进行预处理，得到数据集；基于小批量随机梯度下降优化算法，使用数据集对构建的裂缝检测模型进行训练；将待检测的混凝土表面裂缝图像输入到训练好的裂缝检测模型中进行推理，得到裂缝检测结果；其中，所述裂缝检测模型，基于YOLOv5，增加基于动态坐标卷积方法的瓶颈残差结构，提取裂缝特征，对混凝土表面裂纹进行识别与分类；本发明将动态坐标卷积与YOLOv5框架体系相融合，在模型参数数量几乎不变的情况下，大幅提高混凝土裂缝检测精度。大幅提高混凝土裂缝检测精度。大幅提高混凝土裂缝检测精度。


技术研发人员：李杨 张诗豪
受保护的技术使用者：山东省科学院自动化研究所
技术研发日：2023.04.27
技术公布日：2023/8/1