道路中损坏区域的检测方法、装置、电子设备及可读存储介质与流程

1.本发明属于计算机技术领域，特别是涉及一种道路中损坏区域的检测方法、装置、电子设备及可读存储介质。


背景技术：

2.道路使用中经常会因为各种意外而导致道路损坏，道路中的损坏区域严重影响行车安全，因此，道路中的损坏区域的及时检测和处理，是提高道路行车安全的重要保障。
3.现有技术中，往往采用人工进行道路中的损坏区域的检测。
4.但是，人工进行检测，检测效率和精度都较差。


技术实现要素：

5.本发明提供一种道路中损坏区域的检测方法、装置、电子设备及可读存储介质，以解决人工进行检测的效率和精度都较差的技术问题。
6.第一方面，本发明提供一种道路中损坏区域的检测方法，所述方法包括：
7.获取数据集，所述数据集包含道路图像，所述道路图像具有对应的标注内容，所述标注内容标注了所述道路图像中道路的损伤；
8.在预测模型中，将所述道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；
9.将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；所述多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有所述卷积计算的结果的融合计算；
10.将多个尺度各自的特征图进行特征融合，获得所述道路图像的融合特征；
11.根据所述道路图像的融合特征和所述道路图像的标注内容，进行所述预测模型的模型训练，获得目标预测模型；
12.将目标道路图像输入所述目标预测模型，获得所述目标道路图中的损坏区域。
13.第二方面，本发明提供一种道路中损坏区域的检测装置，所述装置包括：
14.获取模块，用于获取数据集，所述数据集包含道路图像，所述道路图像具有对应的标注内容，所述标注内容标注了所述道路图像中道路的损伤；
15.下采样模块，用于在预测模型中，将所述道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；
16.卷积模块，用于将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；所述多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有所述卷积计算的结果的融合计算；
17.融合模块，用于将多个尺度各自的特征图进行特征融合，获得所述道路图像的融合特征；
18.训练模块，用于根据所述道路图像的融合特征和所述道路图像的标注内容，进行
所述预测模型的模型训练，获得目标预测模型；
19.预测模块，用于将目标道路图像输入所述目标预测模型，获得所述目标道路图中的损坏区域。
20.第三方面，本发明提供一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述道路中损坏区域的检测方法。
21.第四方面，本发明提供一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述道路中损坏区域的检测方法。
22.在本发明实施例中，在预测模型中，将道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，，以及对所有卷积计算的结果的融合计算；之后将多个尺度各自的特征图进行特征融合，获得道路图像的融合特征；最后根据道路图像的融合特征和道路图像的标注内容，进行预测模型的模型训练，获得具有损坏区域识别功能的目标预测模型。本发明实施例实现了一种自动化、高精度、高效率的道路损伤识别方案，有效解决了人工识别带来的精度和效率问题。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本发明实施例提供的一种道路中损坏区域的检测方法的步骤流程图；
25.图2是本发明实施例提供的一种基于yolov5的预测模型的结构示意图；
26.图3是本发明实施例提供一种道路中损坏区域的检测方法的具体步骤图；
27.图4是本发明实施例提供的一种多尺度卷积融合计算的示意图；
28.图5是本发明实施例提供的一种道路中损坏区域的检测装置的结构图；
29.图6是本发明实施例提供的一种电子设备的结构图。
30.附图标记：11-第一下采样图；12-第二下采样图；13-第三下采样图；21-第一特征图；22-第二特征图；23-第三特征图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.图1是本发明实施例提供的一种道路中损坏区域的检测方法的步骤流程图，如图1所示，该方法可以包括：
33.步骤101、获取数据集，所述数据集包含道路图像，所述道路图像具有对应的标注
内容，所述标注内容标注了所述道路图像中道路的损伤。
34.本发明实施例中，数据集中的道路图像可以是对道路拍摄所获得的图像，具体可以是道路上设置的拍摄设备所拍摄的道路图像，也可以是拍摄设备拍摄的道路视频中的视频帧图像，也可以是车载摄像头在车辆行驶过程中拍摄的图像。道路图像中具有对应的标注内容，标注内容可以是针对道路图像中道路损伤所标注的标注框，标注框可以包含覆盖损伤区域，其中，标注内容可以由人工进行标注，也可以通过标注精灵、labelme(一种开源的标注工具)等开源标注工具对采集的道路图像进行标注内容的添加。
35.进一步的，构建数据集后，可以对数据集按照类别进行数据清洗，如剔除设定为不关注的类别的标注内容、剔除具有不关注的类别的标注内容的道路图像、剔除模糊不清楚的道路图像等。另外，数据集中的道路图像的标注内容可以按照标准格式存储，如在使用标注精灵工具时，可以将标注内容导出到pascalvoc xml格式，然后转换到yolo txt格式。
36.需要说明的是，还可以按照设定比例，从数据集中分别划分出训练集、验证集和测试集，如训练集、验证集和测试集的占比分别为8：1：1。训练集用于对预测模型进行训练，验证集用于确定每次训练后模型的训练指标，测试集用于确定训练完成的模型的性能指标。训练指标用于反映模型的训练质量，性能指标则用于反映最终模型的质量。
37.步骤102、在预测模型中，将所述道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图。
38.在本发明实施例中，可以采用预测模型实现对道路图像中损伤区域的识别学习，以实现预测模型检测道路图像中损伤区域的模型功能，一种实现方式中，预测模型可以采用yolov5检测器模型，yolov5是一种针对图像的目标检测网络，参照图2，其示出了一种基于yolov5的预测模型的结构示意图，预测模型分为backbone(骨架网络)、neck(颈部网络)和prediction(预测网络，也称为预测头)，其中，，backbone用于对输入图像进行多尺度划分，neck用于对多尺度划分得到的多个尺度的图像进行特征融合，prediction则用于对融合特征进行预测，获得模型识别结果。
39.在该步骤中，可以采用预测模型的backbone将道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图，从而将一个道路图像原图通过多尺度处理分割多个不同尺度的下采样图，这里所说的尺度是指图像分辨率，通过划分不同尺度的下采样图，可以将不同尺度的下采样图按照尺度的大小依次叠加，获得特征金字塔，特征金字塔用于检测不同尺度的对象的识别系统中的基本组件，在图像目标识别领域引入特征金金字塔，则可以通过提取多尺度的图像特征信息进行融合，使得模型在识别过程中可以很好的学习不同尺度的目标对象的特性，进而提高模型精度。
40.例如，参照图2，针对输入的一张640
×
640分辨率的道路图像10，假设分别按照1/8倍率、1/16倍率、1/32倍率对道路图像10进行下采样，则可以获得80
×
80分辨率的第一下采样图11、40
×
40分辨率的第二下采样图12、20
×
20分辨率的第三下采样图13。
41.步骤103、将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；所述多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有所述卷积计算的结果的融合计算。
42.在实际应用中，道路在使用过程中经常会出现道路损伤，如道路中的凹陷、裂纹、凸起等形式的损伤，并且，实际的道路损伤区域的大小分布范围较广，较大的损伤可以在整
张道路图像中占到几千像素，较小的损伤可能只有几十、十几像素的大小，而且道路损伤区域的形状各异，如存在鳄鱼纹、闪电纹等为不规则的多边形损伤，这些损伤的裂缝为近似横向纵向分布，这就导致对道路图像的损伤区域标注的边框的长宽比分布差异较大。
43.在具体通过基于深度学习的预测模型，对道路图像中损伤区域进行识别和学习的过程中，上述分布大小差异较大且形状各异的损伤区域，对模型的识别和学习精度带来了挑战，相关技术的预测模型在道路图像中既含有大目标损伤区域又含有小目标损伤区域，且损伤区域形状各异的情况下，模型提取的不同尺度层级的特征之间存在冲突(即目标在不同层级特征图上，可能被划定为正样本，也可能被划定为负样本。他们都想在特征金字塔中占据主要地位)，这种冲突会干扰训练期间的梯度计算，并严重降低预测模型的模型精度。
44.为了解决上述问题，参照图2，本发明实施例在backbone和neck之间加入rep-inception-block，使得每个尺度具有一个对应的rep-inception-block；rep-inception-block用于实现多尺度卷积融合计算，rep-inception-block包含多个不同大小的卷积核(图中包括1
×
1大小的卷积核、3
×
3大小的卷积核、5
×
5大小的卷积核)，以及一个融合器。针对一个尺度的下采样图，其对应的rep-inception-block中多个不同大小的卷积核可以对该下采样图分别处理，获得每个卷积核的卷积计算结果，融合器则可以将多个卷积计算结果融合为该尺度下的特征图。
45.具体的，本发明实施例使用不同大小的卷积核对下采样图进行卷积运算时，由于卷积核的大小不同，所得到的卷积运算的输出值对应的输入信息是不同的，对不同卷积核输出结果的融合，可以使得后续可以通过融合后的特征图实现多尺度融合，即rep-inception-block融合不同大小的卷积结果，通过扩展感受野来丰富空间信息，并兼顾不同大小的检测目标梯度计算时的竞争关系，简单来说，本发明实施例可以通过rep-inception-block的卷积融合计算，使得后续neck在实现多尺度融合时，可以更加优化模型对不同感受野的特征的学习效率，这种学习更贴合道路图像中损伤区域大小、形态特性，进而提升预测模型对道路图像中大小分布范围较广、形态各异的损伤区域的识别准确度。
46.步骤104、将多个尺度各自的特征图进行特征融合，获得所述道路图像的融合特征。
47.在本发明实施例中，参照图2，预测模型的neck可以将多个尺度各自的特征图进行特征融合，获得道路图像的融合特征，该多尺度特征融合的过程实现了基于多尺度的特征金字塔。使得后续训练和预测过程中，预测模型可以很好的学习不同尺度的目标对象的特性，进而提高模型精度。
48.步骤105、根据所述道路图像的融合特征和所述道路图像的标注内容，进行所述预测模型的模型训练，获得目标预测模型。
49.在本发明实施例中，参照图2，针对训练过程的一次迭代，neck实现多尺度特征图融合后，prediction可以基于融合特征进行预测，获得预测模型的输出结果，输出结果可以与道路图像的标注内容一起计算出本次迭代的损失值，在结合预设的损失函数，可以实现一次对预测模型的模型参数的训练，经过多轮迭代后，达到预期的训练目标，获得目标预测模型。
50.步骤106、将目标道路图像输入所述目标预测模型，获得所述目标道路图中的损坏
区域。
51.在获得训练好的目标预测模型后，可以将待识别的目标道路图像输入目标预测模型，目标预测模型则会输出目标道路图中的损坏区域，以实现高精度、高效率下的道路损伤识别，有助于降低道路安全管理的难度。
52.综上所述，本发明实施例提供的道路中损坏区域的检测方法，在预测模型中，将道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有卷积计算的结果的融合计算；之后将多个尺度各自的特征图进行特征融合，获得道路图像的融合特征；最后根据道路图像的融合特征和道路图像的标注内容，进行预测模型的模型训练，获得具有损坏区域识别功能的目标预测模型。本发明实施例实现了一种自动化、高精度、高效率的道路损伤识别方案，有效解决了人工识别带来的精度和效率问题。
53.图3是本发明实施例提供的一种道路中损坏区域的检测方法的具体步骤流程图，如图3所示，该方法可以包括：
54.步骤201、获取数据集，所述数据集包含道路图像，所述道路图像具有对应的标注内容，所述标注内容标注了所述道路图像中道路的损伤。
55.该步骤具体可以参照上述步骤101，此处不做赘述。
56.步骤202、分别按照第一尺度、第二尺度、第三尺度对每个所述道路图像进行下采样提取，获得第一尺度对应的第一下采样图、第二尺度对应的第二下采样图以及第三尺度对应的第三下采样图。
57.在一种具体实现方式中，参照图2，针对输入的一张640
×
640分辨率的道路图像10，假设分别按照第一尺度1/8倍率、第二尺度1/16倍率、第三尺度1/32倍率对道路图像10进行下采样，则可以获得80
×
80分辨率的第一下采样图11、40
×
40分辨率的第二下采样图12、20
×
20分辨率的第三下采样图13。其中，下采样的倍率和尺度层数的划分可以根据实际需求进行设定，本发明实施例并不做具体限定。
58.步骤203、将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；所述多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有所述卷积计算的结果的融合计算。
59.该步骤具体可以参照上述步骤103，此处不做赘述。
60.可选的，所述多尺度卷积融合计算包括：1
×
1大小的卷积核进行的第一卷积计算、3
×
3大小的卷积核进行的第二卷积计算、5
×
5大小的卷积核进行的第三卷积计算，以及对第一卷积计算的结果、第二卷积计算的结果、第三卷积计算的结果的融合计算。
61.参照图4，其示出了本发明实施例的一种多尺度卷积融合计算示意图，假设以多尺度卷积融合计算包括：1
×
1大小的卷积核进行的第一卷积计算、3
×
3大小的卷积核进行的第二卷积计算、5
×
5大小的卷积核进行的第三卷积计算，以及对第一卷积计算的结果、第二卷积计算的结果、第三卷积计算的结果的融合计算。简单考虑对于一次卷积，，比如对于1
62.×
1的卷积核，特征图上的每个点只需要使用下采样图的1
×
1＝1点；对于5
×
5的卷积核，特征图上的每个点只需要使用下采样图的5
×
5＝25点。
63.具体的，将不同卷积核的卷积计算结果相加的过程如下：
64.公式1：f(f)
·
＝
·
conv
1x1
(f)
·
+
··
conv
3x3
(f)
·
+
·
conv
5x5
(f)；
65.其中，f表示输入的下采样图，每个层级的卷积核提取的特征都受益于不同的感受野。则可以看出不同大小卷积核对下采样图中的关注范围(感受野)的大小不同，因此，本发明实施例使用不同大小的卷积核对下采样图进行卷积融合运算，通过扩展感受野来丰富空间信息，并兼顾不同大小的检测目标梯度计算时的竞争关系，使得后续在实现多尺度融合时，可以更加优化模型对不同感受野的特征的学习效率。
66.进一步的，参照图4，对多尺度卷积融合计算的部署推理如下：
67.首先将1
×
1的卷积核与3
×
3的卷积核分别扩展到5
×
5大小。得到5
×
5_1
×
1的卷积核、5
×
5_3
×
3的卷积核与原5
×
5的卷积核，这三个卷积核的大小一致，根据卷积加法分配律，上述公式(1)等价为：
68.f(f)＝conv
5*5_add
(f)
69.其中，5
×
5的卷积核＝add(5
×
5_1
×
1的卷积核，5
×
5_3
×
3的卷积核，5
×
5的卷积核)，add表示元素相加计算。可以推论出本发明实施例将多卷积操作转换为一个卷积操作，加速了模型推理性能。
70.步骤204、按照尺度递增的顺序，依次将第一特征图、第二特征图以及第三特征图进行特征融合，得到所述第一尺度的第一融合图像、所述第二尺度的第二融合图像、所述第三尺度的第三融合图像。
71.在本发明实施例中，参照图2，预测模型的neck用于实现多尺度特征融合，其中，neck包括fpn和pan，fpn是按照尺度从小到大，将较小分辨率的特征图的特征传递下来，对整个特征金字塔进行增强，而pan则是按照尺度从大到小，将较大分辨率的特征图的特征传递上去，对整个特征金字塔进行增强。
72.在该步骤中，具体可以由fpn实现按照尺度递增的顺序，依次将第一特征图21、第二特征图22以及第三特征图23进行特征融合，得到第一尺度80
×
80分辨率的第一融合图像31、第二尺度40
×
40分辨率的第二融合图像32、第三尺度20
×
20分辨率的第三融合图像33，其目的是将较小分辨率的特征图的特征从特征金子塔顶层传递下来，对整个特征金字塔进行增强。
73.步骤205、按照尺度递减的顺序，依次将第一融合图像、第二融合图像以及第三融合图像进行特征融合，得到所述融合特征；；所述融合特征包括：所述第一尺度的第一融合特征、所述第二尺度的第二融合特征、所述第三尺度的第三融合特征。
74.在该步骤中，参照图2，具体可以由pan实现按照尺度递减的顺序，依次将第一融合图像31、第二融合图像32以及第三融合图像33进行特征融合，得到融合特征；融合特征包括：第一尺度80
×
80分辨率的第一融合特征41、第二尺度40
×
40分辨率的第二融合特征42、第三尺度20
×
20分辨率的第三融合特征43，其目的是将较大分辨率的特征图的特征从特征金子塔底层传递上去，对整个特征金字塔进行增强。
75.可选的，步骤204具体可以包括：
76.子步骤2041、将所述第三特征图作为第三尺度的第三融合图像。
77.子步骤2042、将所述第三融合图像上采样至所述第二尺度，得到第一上采样结果。
78.子步骤2043、将所述第一上采样结果与所述第二特征图融合，得到第二融合图像。
79.子步骤2044、将所述第二融合图像上采样至所述第一尺度，得到第二上采样结果。
80.子步骤2045、将所述第二上采样结果与所述第一特征图融合，得到第一融合图像。
81.在本发明实施例中，针对子步骤2041-2045，参照图2的示例，fpn首先将第三特征图23作为第三尺度20
×
20分辨率的第三融合图像33，之后将将第三融合图像33上采样至所述第二尺度40
×
40分辨率，，得到第一上采样结果，再将第一上采样结果与第二特征图22融合，得到第二融合图像32，之后将第二融合图像32上采样至第一尺度80
×
80分辨率，得到第二上采样结果，最后将第二上采样结果与第一特征图21融合，得到第一融合图像31。从而实现将较小分辨率的特征图的特征从特征金子塔顶层传递下来，对整个特征金字塔进行增强。
82.可选的，步骤205具体可以包括：
83.子步骤2051、将所述第一融合图像作为第一融合特征。
84.子步骤2052、将所述第一融合特征下采样至所述第二尺度，得到第一下采样结果。
85.子步骤2053、将所述第一下采样结果与所述第二融合图像融合，得到第二融合特征。
86.子步骤2054、将所述第二融合特征下采样至所述第三尺度，得到第二下采样结果。
87.子步骤2055、将所述第二下采样结果与所述第三融合图像融合，得到第三融合特征。
88.在本发明实施例中，针对子步骤2051-2055，参照图2的示例，pan首先将所述第一融合图像31作为第一融合特征41，将第一融合特征41下采样至第二尺度40
×
40分辨率，得到第一下采样结果，之后将第一下采样结果与第二融合图像32融合，得到第二融合特征42，再将第二融合特征42下采样至第三尺度20
×
20分辨率，得到第二下采样结果。将第二下采样结果与第三融合图像33融合，得到第三融合特征43。从而实现将较大分辨率的特征图的特征从特征金子塔底层传递上去，对整个特征金字塔进行增强。
89.步骤206、根据所述第一融合特征、所述第二融合特征、所述第三融合特征分别进行模型预测，获得所述第一尺度的第一输出结果、所述第二尺度的第二输出结果、所述第三尺度的第三输出结果。
90.在本发明实施例中，参照图2，预测模型的训练过程中，针对训练过程的一次迭代，neck实现多尺度特征图融合后，会得到述第一融合特征、第二融合特征、第三融合特征，预测模型的prediction可以基于第一融合特征、第二融合特征、第三融合特征分别进行预测，获得第一尺度的第一输出结果、第二尺度的第二输出结果、第三尺度的第三输出结果。
91.步骤207、根据所述第一输出结果、所述第二输出结果、所述第三输出结果和所述标注内容，分别计算得到所述第一尺度的第一损失值、所述第二尺度的第二损失值、所述第三尺度的第三损失值。
92.在该步骤中，预测模型的训练过程的一次迭代，可以针对第一输出结果和标注内容、第二输出结果和标注内容、第三输出结果和标注内容，分别计算得到第一尺度的第一损失值、第二尺度的第二损失值、第三尺度的第三损失值，损失值用于结合损失函数进行模型参数的调整。
93.步骤208、根据所述第一损失值、所述第二损失值、所述第三损失值和预设的损失函数，进行所述预测模型的模型参数的训练，获得目标预测模型。
94.在该步骤中，预测模型的训练过程的一次迭代，根据第一损失值、第二损失值、第
三损失值和预设的损失函数，可以进行一次对预测模型的模型参数的训练，经过多轮迭代后，达到预期的训练目标，获得目标预测模型。
95.步骤209、将目标道路图像输入所述目标预测模型，获得所述目标道路图中的损坏区域。
96.该步骤具体可以参照上述步骤106，此处不做赘述。
97.可选的，在步骤202之前，还包括：
98.步骤210、对所述数据集包含道路图像进行预处理，从而获得规格统一的道路图像。
99.在本发明实施例中，在使用数据集中的道路图像进行模型训练之前，可以对数据集包含道路图像进行预处理，从而获得规格统一的道路图像，规格统一的道路图像有助于降低训练过程中因图像规格不统一而产生的干扰，提高模型的训练质量。
100.可选的，步骤210具体可以包括：
101.子步骤2101、将每个所述道路图像的分辨率调整为同一目标分辨率。
102.子步骤2102、对每个所述道路图像的像素值进行归一化处理。
103.在本发明实施例中，针对子步骤2101-2102，道路图像的预处理具体可以指将所有道路图像的分辨率调整为同一目标分辨率(如640
×
640)，并对每个道路图像的像素值进行归一化处理，其中，像素值归一化可以使用均值及方差进行归一化。
104.综上所述，本发明实施例提供的道路中损坏区域的检测方法，在预测模型中，将道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有卷积计算的结果的融合计算；之后将多个尺度各自的特征图进行特征融合，获得道路图像的融合特征；最后根据道路图像的融合特征和道路图像的标注内容，进行预测模型的模型训练，获得具有损坏区域识别功能的目标预测模型。本发明实施例实现了一种自动化、高精度、高效率的道路损伤识别方案，，有效解决了人工识别带来的精度和效率问题。
105.另外，本发明实施例使用不同大小的卷积核对下采样图进行卷积融合运算，通过扩展感受野来丰富空间信息，并兼顾不同大小的检测目标梯度计算时的竞争关系，使得后续在实现多尺度融合时，可以更加优化模型对不同感受野的特征的学习效率，这种学习更贴合道路图像中损伤区域大小、形态特性，进而提升预测模型对道路图像中大小分布范围较广、形态各异的损伤区域的识别准确度。
106.图5是本发明实施例提供的一种道路中损坏区域的检测装置的结构图，该装置可以包括：
107.获取模块301，用于获取数据集，所述数据集包含道路图像，所述道路图像具有对应的标注内容，所述标注内容标注了所述道路图像中道路的损伤；
108.下采样模块302，用于在预测模型中，将所述道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；；
109.卷积模块303，用于将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；所述多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有所述卷积计算的结果的融合计算；
110.融合模块304，用于将多个尺度各自的特征图进行特征融合，获得所述道路图像的融合特征；
111.训练模块305，用于根据所述道路图像的融合特征和所述道路图像的标注内容，进行所述预测模型的模型训练，获得目标预测模型；
112.预测模块306，用于将目标道路图像输入所述目标预测模型，获得所述目标道路图中的损坏区域。
113.可选的，所述下采样模块，包括：
114.下采样子模块，用于分别按照第一尺度、第二尺度、第三尺度对每个所述道路图像进行下采样提取，获得第一尺度对应的第一下采样图、第二尺度对应的第二下采样图以及第三尺度对应的第三下采样图；
115.其中，所述第一尺度大于所述第二尺度，所述第二尺度大于所述第三尺度。
116.可选的，所述特征图包括：所述第一尺度的第一特征图、所述第二尺度的第二特征图、所述第三尺度的第三特征图；
117.所述融合模块，包括：
118.第一融合子模块，用于按照尺度递增的顺序，依次将第一特征图、第二特征图以及第三特征图进行特征融合，得到所述第一尺度的第一融合图像、所述第二尺度的第二融合图像、所述第三尺度的第三融合图像；
119.第二融合子模块，用于按照尺度递减的顺序，依次将第一融合图像、第二融合图像以及第三融合图像进行特征融合，得到所述融合特征；所述融合特征包括：所述第一尺度的第一融合特征、所述第二尺度的第二融合特征、所述第三尺度的第三融合特征。
120.可选的，所述训练模块，包括：
121.预测子模块，用于根据所述第一融合特征、所述第二融合特征、所述第三融合特征分别进行模型预测，获得所述第一尺度的第一输出结果、所述第二尺度的第二输出结果、所述第三尺度的第三输出结果；
122.损失计算子模块，用于根据所述第一输出结果、所述第二输出结果、所述第三输出结果和所述标注内容，分别计算得到所述第一尺度的第一损失值、所述第二尺度的第二损失值、所述第三尺度的第三损失值；
123.调参子模块，用于根据所述第一损失值、所述第二损失值、所述第三损失值和预设的损失函数，进行所述预测模型的模型参数的训练，获得目标预测模型。
124.可选的，所述第一融合子模块，包括：
125.第一确定单元，用于将所述第三特征图作为第三尺度的第三融合图像；
126.第一上采样单元，用于将所述第三融合图像上采样至所述第二尺度，得到第一上采样结果；
127.第一融合单元，用于将所述第一上采样结果与所述第二特征图融合，得到第二融合图像；
128.第二上采样单元，用于将所述第二融合图像上采样至所述第一尺度，得到第二上采样结果；
129.第二融合单元，用于将所述第二上采样结果与所述第一特征图融合，得到第一融合图像。
130.可选的，所述第二融合子模块，包括：
131.第二确定单元，用于将所述第一融合图像作为第一融合特征；
132.第一下采样单元，用于将所述第一融合特征下采样至所述第二尺度，得到第一下采样结果；
133.第三融合单元，用于将所述第一下采样结果与所述第二融合图像融合，得到第二融合特征；
134.第二下采样单元，用于将所述第二融合特征下采样至所述第三尺度，得到第二下采样结果；
135.第四融合单元，用于将所述第二下采样结果与所述第三融合图像融合，得到第三融合特征。
136.可选的，所述装置还包括：
137.预处理模块，用于对所述数据集包含道路图像进行预处理，从而获得规格统一的道路图像。
138.可选的，所述预处理模块具体用于：
139.将每个所述道路图像的分辨率调整为同一目标分辨率；；
140.对每个所述道路图像的像素值进行归一化处理。
141.可选的，所述多尺度卷积融合计算包括：1
×
1大小的卷积核进行的第一卷积计算、3
×
3大小的卷积核进行的第二卷积计算、5
×
5大小的卷积核进行的第三卷积计算，以及对第一卷积计算的结果、第二卷积计算的结果、第三卷积计算的结果的融合计算。
142.综上所述，本发明实施例提供的道路中损坏区域的检测装置，在预测模型中，将道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有卷积计算的结果的融合计算；之后将多个尺度各自的特征图进行特征融合，获得道路图像的融合特征；最后根据道路图像的融合特征和道路图像的标注内容，进行预测模型的模型训练，获得具有损坏区域识别功能的目标预测模型。本发明实施例实现了一种自动化、高精度、高效率的道路损伤识别方案，，有效解决了人工识别带来的精度和效率问题。
143.另外，本发明实施例使用不同大小的卷积核对下采样图进行卷积融合运算，通过扩展感受野来丰富空间信息，并兼顾不同大小的检测目标梯度计算时的竞争关系，使得后续在实现多尺度融合时，可以更加优化模型对不同感受野的特征的学习效率，这种学习更贴合道路图像中损伤区域大小、形态特性，进而提升预测模型对道路图像中大小分布范围较广、形态各异的损伤区域的识别准确度。
144.本发明还提供了一种电子设备，参见图6，包括：处理器901、存储器902以及存储在所述存储器上并可在所述处理器上运行的计算机程序9021，所述处理器执行所述程序时实现前述实施例的道路中损坏区域的检测方法。
145.本发明还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的道路中损坏区域的检测方法。
146.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
147.需要说明的是，本发明实施例中获取的各种信息、数据，均是在得到信息/数据持有方授权的情况下获取的。
148.在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
149.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
150.类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
151.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
152.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明的排序设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
153.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名
称。
154.本发明所涉及的用户信息(包括但不限于用户的设备信息、用户个人信息等)、相关数据等均为经用户授权或经各方授权后的信息。
155.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
156.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
157.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种道路中损坏区域的检测方法，其特征在于，所述方法包括：获取数据集，所述数据集包含道路图像，所述道路图像具有对应的标注内容，所述标注内容标注了所述道路图像中道路的损伤；在预测模型中，将所述道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；所述多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有所述卷积计算的结果的融合计算；将多个尺度各自的特征图进行特征融合，获得所述道路图像的融合特征；根据所述道路图像的融合特征和所述道路图像的标注内容，进行所述预测模型的模型训练，获得目标预测模型；将目标道路图像输入所述目标预测模型，获得所述目标道路图中的损坏区域。2.根据权利要求1所述的方法，其特征在于，所述在预测模型中，将所述道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图，包括：分别按照第一尺度、第二尺度、第三尺度对每个所述道路图像进行下采样提取，获得第一尺度对应的第一下采样图、第二尺度对应的第二下采样图以及第三尺度对应的第三下采样图；其中，所述第一尺度大于所述第二尺度，所述第二尺度大于所述第三尺度。3.根据权利要求2所述的方法，其特征在于，所述特征图包括：所述第一尺度的第一特征图、所述第二尺度的第二特征图、所述第三尺度的第三特征图；所述将多个尺度各自的特征图进行特征融合，获得所述道路图像的融合特征，包括：按照尺度递增的顺序，依次将第一特征图、第二特征图以及第三特征图进行特征融合，得到所述第一尺度的第一融合图像、所述第二尺度的第二融合图像、所述第三尺度的第三融合图像；按照尺度递减的顺序，依次将第一融合图像、第二融合图像以及第三融合图像进行特征融合，得到所述融合特征；所述融合特征包括：所述第一尺度的第一融合特征、所述第二尺度的第二融合特征、所述第三尺度的第三融合特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述道路图像的融合特征和所述道路图像的标注内容，进行所述预测模型的模型训练，获得目标预测模型，包括：根据所述第一融合特征、所述第二融合特征、所述第三融合特征分别进行模型预测，获得所述第一尺度的第一输出结果、所述第二尺度的第二输出结果、所述第三尺度的第三输出结果；根据所述第一输出结果、所述第二输出结果、所述第三输出结果和所述标注内容，分别计算得到所述第一尺度的第一损失值、所述第二尺度的第二损失值、所述第三尺度的第三损失值；根据所述第一损失值、所述第二损失值、所述第三损失值和预设的损失函数，进行所述预测模型的模型参数的训练，获得目标预测模型。5.根据权利要求3所述的方法，其特征在于，所述按照尺度递增的顺序，依次将第一特征图、第二特征图以及第三特征图进行特征融合，得到所述第一尺度的第一融合图像、所述
第二尺度的第二融合图像、所述第三尺度的第三融合图像，包括：将所述第三特征图作为第三尺度的第三融合图像；将所述第三融合图像上采样至所述第二尺度，得到第一上采样结果；将所述第一上采样结果与所述第二特征图融合，得到第二融合图像；将所述第二融合图像上采样至所述第一尺度，得到第二上采样结果；将所述第二上采样结果与所述第一特征图融合，得到第一融合图像。6.根据权利要求5所述的方法，其特征在于，所述按照尺度递减的顺序，依次将第一融合图像、第二融合图像以及第三融合图像进行特征融合，得到所述融合特征，包括：将所述第一融合图像作为第一融合特征；将所述第一融合特征下采样至所述第二尺度，得到第一下采样结果；将所述第一下采样结果与所述第二融合图像融合，得到第二融合特征；将所述第二融合特征下采样至所述第三尺度，得到第二下采样结果；将所述第二下采样结果与所述第三融合图像融合，得到第三融合特征。7.根据权利要求1所述的方法，其特征在于，在所述在预测模型中，将所述道路图像按照多个不同的尺度进行特征提取，得到多个尺度各自对应的特征图之前，所述方法还包括：对所述数据集包含道路图像进行预处理，从而获得规格统一的道路图像。8.根据权利要求7所述的方法，其特征在于，所述对所述数据集包含道路图像进行预处理，包括：将每个所述道路图像的分辨率调整为同一目标分辨率；对每个所述道路图像的像素值进行归一化处理。9.根据权利要求1所述的方法，其特征在于，所述多尺度卷积融合计算包括：1
×
1大小的卷积核进行的第一卷积计算、3
×
3大小的卷积核进行的第二卷积计算、5
×
5大小的卷积核进行的第三卷积计算，以及对第一卷积计算的结果、第二卷积计算的结果、第三卷积计算的结果的融合计算。10.一种道路中损坏区域的检测装置，其特征在于，所述装置包括：获取模块，用于获取数据集，所述数据集包含道路图像，所述道路图像具有对应的标注内容，所述标注内容标注了所述道路图像中道路的损伤；下采样模块，用于在预测模型中，将所述道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；卷积模块，用于将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；所述多尺度卷积融合计算包括：多个不同大小的卷积核分别进行的卷积计算，以及对所有所述卷积计算的结果的融合计算；融合模块，用于将多个尺度各自的特征图进行特征融合，获得所述道路图像的融合特征；训练模块，用于根据所述道路图像的融合特征和所述道路图像的标注内容，进行所述预测模型的模型训练，获得目标预测模型；预测模块，用于将目标道路图像输入所述目标预测模型，获得所述目标道路图中的损坏区域。11.根据权利要求10所述的装置，其特征在于，所述下采样模块，包括：
下采样子模块，用于分别按照第一尺度、第二尺度、第三尺度对每个所述道路图像进行下采样提取，获得第一尺度对应的第一下采样图、第二尺度对应的第二下采样图以及第三尺度对应的第三下采样图；其中，所述第一尺度大于所述第二尺度，所述第二尺度大于所述第三尺度。12.根据权利要求11所述的装置，其特征在于，所述特征图包括：所述第一尺度的第一特征图、所述第二尺度的第二特征图、所述第三尺度的第三特征图；所述融合模块，包括：第一融合子模块，用于按照尺度递增的顺序，依次将第一特征图、第二特征图以及第三特征图进行特征融合，得到所述第一尺度的第一融合图像、所述第二尺度的第二融合图像、所述第三尺度的第三融合图像；第二融合子模块，用于按照尺度递减的顺序，依次将第一融合图像、第二融合图像以及第三融合图像进行特征融合，得到所述融合特征；所述融合特征包括：所述第一尺度的第一融合特征、所述第二尺度的第二融合特征、所述第三尺度的第三融合特征。13.根据权利要求12所述的装置，其特征在于，所述训练模块，包括：预测子模块，用于根据所述第一融合特征、所述第二融合特征、所述第三融合特征分别进行模型预测，获得所述第一尺度的第一输出结果、所述第二尺度的第二输出结果、所述第三尺度的第三输出结果；损失计算子模块，用于根据所述第一输出结果、所述第二输出结果、所述第三输出结果和所述标注内容，分别计算得到所述第一尺度的第一损失值、所述第二尺度的第二损失值、所述第三尺度的第三损失值；调参子模块，用于根据所述第一损失值、所述第二损失值、所述第三损失值和预设的损失函数，进行所述预测模型的模型参数的训练，获得目标预测模型。14.一种电子设备，其特征在于，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-9中任一所述的方法。15.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1-9中任一所述的方法。

技术总结
本发明实施例提供了一种道路中损坏区域的检测方法、装置、电子设备及可读存储介质。该方法中，将所述道路图像按照多个不同的尺度进行下采样，得到多个尺度各自对应的下采样图；将每个尺度的下采样图进行多尺度卷积融合计算，得到每个尺度的特征图；将多个尺度各自的特征图进行特征融合，获得所述道路图像的融合特征；根据所述道路图像的融合特征和所述道路图像的标注内容，进行所述预测模型的模型训练，获得目标预测模型；将目标道路图像输入所述目标预测模型，获得所述目标道路图中的损坏区域。本发明实现了一种自动化、高精度、高效率的道路损伤识别方案，有效解决了人工识别带来的精度和效率问题。的精度和效率问题。的精度和效率问题。


技术研发人员：李永 梁丞瑜 卢隆 陈岩 李文成 李煜 王军鹏 简铮 钱翔 樊庆宇
受保护的技术使用者：天翼云科技有限公司
技术研发日：2022.12.30
技术公布日：2023/9/22