一种基于语义分割网络的路面附着系数预测方法

1.本发明属于智能汽车技术领域，涉及一种基于计算机视觉的附着系数预测方法，更加具体来讲，涉及一种基于语义分割网络的路面附着系数预测方法；


背景技术：

2.随着车辆保有量的增加，汽车在带来便利与快捷的同时，交通安全问题也随之而来，交通事故已经成为国内外造成人员伤亡的主要原因之一，尤其是在低附着系数条件下，侧滑、漂移、碰撞等车辆失稳条件更易发生，交通事故所造成的生命与财产损失情况更为严重，因此提前获取准确的道路附着系数信息可以为驾驶员提供参考有助于提高行车安全；同时，先进的汽车主动安全系统需要准确的道路附着系数作为支撑，准确获取路面附着系数能够扩充汽车主动安全系统的工况适应范围，提前感知前方路面状态变化则有助于主动安全系统及时调整控制策略；因此，准确的识别以及获取行驶路面的路面类型以及附着系数是提升驾驶安全性以及舒适性的关键；
3.现阶段，获取路面附着系数的方法主要有基于动力学响应的估计方法和基于神经网络的图像视觉预测方法；其中基于动力学模型的估计器虽然可以获取准确的路面附着系数估计值，但是其估计精度受到车辆模型和轮胎模型的精度限制，并且难以提前获取路面附着系数预测值，存在一定的滞后性；得益于神经网络的飞速发展，以及车载摄像头等智能车辆硬件设施的升级和完善，使得基于视觉的路面附着系数识别方法更加可靠；同时，基于视觉的预测方法有效改善了动力学估计器的滞后性，能够提前感知前方路面状况，提升对危险工况的应对能力；此外，在视觉预测算法中嵌入语义分割网络可以使算法更专注于道路信息，排除冗余信息的干扰，有助于提升路面识别精度，从而获取更准确的路面附着系数预测信息；


技术实现要素：

4.针对现有技术存在的问题，为了提升路面附着系数预测算法的精度，实时性以及鲁棒性，本发明提出了一种基于语义分割网络的路面附着系数预测方法；本方法搭建基于注意力机制的语义分割网络对前方行驶道路进行路面区域的提取，并通过预训练与特异性训练的方式尽可能的提升网络的精确性和鲁棒性，然后搭建并训练基于通道注意力的路面分类网络，所得路面分类结果再结合映射规则得到路面附着系数的预测结果；
5.本发明是采用如下技术方案实现的：
6.一种基于语义分割网络的路面附着系数预测方法，针对城市工况下对车辆行驶区域的道路类型分类以及路面附着系数进行预测，具体步骤如下：
7.步骤一、搭建基于多尺度空间注意力机制的语义分割网络：
8.利用智能驾驶汽车感知系统装备的车载摄像机采集车辆行驶过程中前方道路的视频数据，通过语义分割网络提取可行使的路面区域：
9.首先进行网络环境的配置与搭建：选用linux操作系统作为图像处理以及网络搭
建和训练的运行环境，使用python语言编写程序代码，并选用科技公司meta人工智能团队开发的pytorch作为深度学习网络搭建框架；运用环境编译软件anaconda，新建虚拟环境，并在新环境下安装python 3.10.8版本、pytorch 1.11.0版本和opencv 4.6.0.66版本；
10.其次进行语义分割网络的搭建，采用先进的轻量化编码器-解码器框架encoder-decoder，在保证语义分割网络精度的同时满足算法的实时性要求；
11.然后在该编码器-解码器框架encoder-decoder下开始具体展开并搭建基于注意力机制的层次化的语义分割网络编码器结构，用于生成丰富的多尺度语义特征：先将输入图像缩放成尺寸为1024
×
1024
×
3的张量输入语义分割网络；再经过3
×
3的卷积层和bn层以及gelu激活处理，实现对输入图片进行特征的初步提取以及下采样功能；
12.接着将得到的特征图作为特征提取模块的输入，其中特征提取模块的具体实现过程如下：首先采用1
×
1卷积用于调整输入通道数，并经过gelu激活函数后，输入到由5
×
5主分支卷积和后续7
×
7、13
×
13的分路卷积所构成的空间注意力机制模块中，再经过1
×
1卷积输出代表空间注意力的权重参数；其中多尺度的空间注意力机制公式如下式所示：
[0013][0014]
公式(1)中atten为输出的代表空间注意力的权重参数，atten0为空间注意力模块主分支的权重输出，atteni为模块中第i个支路卷积的权重输出，其中i为支路卷积的个数；
[0015]
接着通过1
×
1卷积扩充特征图通道数，再采用3
×
3的卷积对经过空间注意力加权处理的特征图进行更加细致的特征提取，将提取结果通过gelu函数激活，最后再经过1
×
1卷积输出特征提取模块的处理结果；
[0016][0017]
式中，output为瓶颈模块的输出，f为瓶颈模块的输入，conv2d(
·
)代表用卷积来处理输入特征图，gelu(
·
)则代表使用激活函数对特征图的进一步处理；
[0018]
利用上述搭建的编码器瓶颈模块，对网络输入张量进行四次串行的特征提取，得到代表不同语义级别的四个阶段的特征图；其中阶段一的特征提取工作由三个串行的特征提取模块进行，输出256
×
256
×
32的特征图；再通过上述下采样层架构，调整卷积层层数以及层内卷积的个数以及通道数，将特征图下采样后，再通过三个串行的特征提取模块得到阶段二中128
×
128
×
64尺寸的特征图；然后经过下采样层以及五个串行的特征处理模块得到64
×
64
×
160的阶段三的特征图；最后再经过一次下采样以及两个特征提取模块得到最后阶段四的32
×
32
×
256的特征图；
[0019]
最后基于编码器-解码器框架encoder-decoder具体展开搭建轻量化的解码器架构：依次经过上采样、通道拼接操作、轻量化的ham_head解码器模块和全连接分类器对编码器所提取的不同阶段的特征图进行处理，用于融合不同层级的语义信息；为了收集多尺度的语义信息、扩大感受野，舍弃了低级语义信息较多的阶段一，将阶段二、阶段三和阶段四的特征图经过双线性插值的上采样方法处理成同等尺寸的特征图后再进行通道拼接concat操作，再输入到ham_head解码器模块中，对整合拼接后的128
×
128
×
480尺寸的特征图进行处理；其中ham_head解码器模块的具体实现过程如下：将concat操作得到的480通道的特征图，通过1
×
1的卷积层、32组别的groupnorm层和relu激活层将特征图通道数压缩至
256，再采用公式(3)所示的nmf的非负矩阵分解算法：
[0020]vm
×n＝pm×r×
qr×nꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0021]
将特征矩阵vm×n分解成m
×
r和r
×
n的低置矩阵pm×r和qr×n，其中pm×r为特征基矩阵，体现了数据的主要特征；而qr×n为特征系数矩阵，表示数据特征的分布；算法用特征基矩阵来代替特征矩阵，能够避免冗余矩阵的干扰，加速图像算法处理过程提高算法实时性；最后经过再经过一个由1
×
1的卷积层、32组别的groupnorm层和relu激活层所构成的1
×
1卷积架构的线性化层输出处理结果，得到ham_head解码器模块的输出；
[0022]
然后将处理后的特征图通过1
×
1的卷积层实现全连接操作，再经过softmax函数，将类别分数转换为概率分布，得到256
×
256
×
nls的特征图,其中每个像素点的值代表属于该语义类别的概率，nls代表待分类的语义类别数；再通过双线性插值的方法将所得特征图进行上采样，并且使用argmax函数按照最大概率给定每一像素点的语义类别预测结果，得到与输入图片相同尺寸的1024
×
1024的预测分割结果图即为编码器的输出；
[0023]
步骤二、将搭建的分割网络在公开数据集上进行预训练：
[0024]
选用cityscapes数据集来进行语义分割网络的预训练，该数据集由奔驰公司推动发布可用于城市街景图像分割任务，其中包含50个城市的街景行驶场景图像，并具有涵盖路面、建筑、行人、车辆和建筑物等19类语义信息的精确标注；同时其图像样本与日常城市路况行驶的形式相似，因此预训练后的语义分割网络具有一定的泛化能力；参与网络模型训练和验证的精确标注图像样本数量共计5000张，其中训练集图片2975张，验证集图片为500张，测试集图片1525张；具体预训练过程如下：首先从数据集目录下加载图像，然后加载其对应的注释信息，再对训练的图像与注释进行数据增广，增广方式包括随机缩放尺寸，随机裁剪图片张量并且随机左右翻转，然后通过归一化函数将输入图像每个像素点进行标准化，最后设计如公式(4)所示的交叉熵损失函数：
[0025][0026]
式中，nls为待分类的语义类别，在cityscapes数据集中训练时所取值为19，yc为取值0或1的向量，用该元素的取值来判别该类别与样本类别是否相同，pc代表预测样本属于类别c的概率c∈(1,nls)；
[0027]
并选用poly学习率规则，对分割网络进行训练，其中poly学习率衰减表达式如下：
[0028][0029]
公式(5)中lr
initial
为网络训练的初始学习率，预训练过程中设置为0.002，iter为网络训练迭代步数，max_iter为最大训练步数，设置为40k步，power为衰减系数用于控制学习率曲线的形状，设置为0.9；lr(iter)为计算更新得到的训练过程中具体步数对应的学习率，并且使用adam优化求解算法，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；根据计算机硬件性能，设置批处理大小为32，每4k步保存一次模型参数，同时使用验证集对网络进行性能评估；
[0030]
对于语义分割任务，选用基于混淆矩阵的平均像素精度acc与平均交并比miou指标对网络预训练结果进行性能评估，其具体实现过程如下：对于表1所示二分类混淆矩阵
confusion matrix的每一行代表了数据的真实归属类别，每一列代表了预测类别，矩阵中具体的元素值表示被预测为某类的样本数量；
[0031][0032]
表1：二分类混淆矩阵confusion matrix的示意表
[0033]
准确率acc表示预测类别正确的像素数占总像素数的百分比，公式(6)如下：
[0034][0035]
miou表示对每一类预测结果和真实值的交集与并集的比值，求和再平均的结果，公式(7)如下：
[0036][0037]
使用pytorch中的logging记录工具将训练数据保存到log日志文件中，并分析训练参数曲线，所搭建的语义分割网络在良好天气的城市驾驶场景下展现了优异的性能；
[0038]
步骤三、丰富语义分割数据集并对分割网络进行特异性训练
[0039]
针对分割网络在雨雪天气条件下易受到干扰失真的问题，本方法制作了包含干湿沥青、干湿水泥、覆雪路面和覆冰路面共六类路面类型的语义分割数据集，并将预训练的语义分割网络在该数据集上继续进行训练和评估，进一步提升所搭建网络的泛化能力，更好的应用于日常城市驾驶场景中，其具体实现过程如下：
[0040]
首先使用车载摄像头设备采集不同天气情况下的行驶场景数据，将采集的视频文件按照固定帧率进行拆解，得到涵盖六类路面类别的图像样本信息库：然后从图像数据库中筛选差异丰富和特征明显的图像样本进行精细标注，具体标注过程如下：首先在anaconda中安装eiseg交互式标注工具并启动平台，然后导入所需标注的驾驶场景图片，将图片上传到eiseg平台中，接着创建标注任务，选择“语义分割”任务类型，并选择cityscapes数据集标注格式，再然后选择“标注数据”功能，对导入图片进行进行分割标注，进入交互式标注界面并使用标注工具对图片；标注完成后使用“导出数据”功能，选择导出cityscapes数据集格式并指定输出路径；将所制作的数据集按照cityscapes数据集格式进行架构，每一类的路面信息准备100的精确标注图片，共计600张数据集样本并随机抽取20％用作验证集，剩下80％用作训练集；将数据集经过镜像、平移以及调整明暗度的数据扩充手段，延续预训练中的训练策略以及优化方法，同时将完成训练的网络在验证集上验证；最后利用训练好的语义分割网络进行模型推理，将输入的驾驶场景图片进行处理，输出可视化的像素级的语义分割结果；
[0041]
步骤四、利用分割网络提取路面区域制作路面分类网络数据集：
[0042]
将步骤三中得到的包含6类路面类型的图像样本库，按路面类别输入到语义分割
网络中进行预测处理，其过程与日常驾驶环境中的在线识别过程相似，再将预测结果与原图像同时送入处理器中进行路面区域的提取；提取路面区域的具体过程如下：首先对语义分割预测结果图按颜色通道进行拆分，分别获取三个颜色通道所对应的二维矩阵，查表找到“road”对应的bgr值(128，64，128)，再利用opencv分别制作bgr三颜色通道的掩膜，只保留与“road”相同bgr值的像素点，目的是保证只提取路面区域；最后将三颜色通道的掩膜拼接，与原图对应通道分别进行矩阵点乘运算，便提取得到仅包含路面区域的图片，而将非路面区域设为背景并转变为黑色；将提取得到的只含有路面区域的图像样本库，按照六类路面信息分别建立具体的文件夹进行存放，并且制作相应的5位的二进制信息的具体的路面类型以及标签信息对应如表2所示：
[0043][0044][0045]
表2：路面类型及标签信息对应表
[0046]
对制作好的数据集进行按照图像品质进行筛选，最终数据集容量包含6000张的图像样本，每个路面类别容量分别为1000张图像；最后打乱路面图像数据集并按20％比例随机抽取每类图片作为验证集，剩余部分作为训练集；
[0047]
步骤五、搭建并训练路面图像类型分类网络：
[0048]
搭建路面图像类型分类网络的具体实现过程如下：首先在anaconda环境下搭建路面图像类型识别网络，考虑到路面分类任务的复杂性以及分类过程中的实时性要求，搭建轻量化的卷积神经网络作为分类器的主干网络，同时引入通道注意力机制，在保证识别精度的同时，尽可能的缩减网络参数以及浮点运算数，提高分类网络的实时性；如表3所示具体的路面图像分类网络结构设计如下：
[0049][0050][0051]
表3：路面分类网络结构表
[0052]
首先网络的输入层将待识别的路面图像调整为288
×
288
×
3的张量，再经过步长为2的3
×
3卷积核的卷积层、结合批量正则化bn和swish激活函数操作进行特征的初步提取，然后将得到的特征图作为所搭建的瓶颈模块的输入，通过瓶颈模块对输入特征图进行特征提取，搭建基于通道注意力机制的网络瓶颈模块的具体过程如下：首先采用1
×
1卷积根据扩展比例改变特征通道维数，经过批量归一化bn和swish激活输入到3
×
3的深度可分离卷积dwconv层进行特征提取，将得到的特征图进行输入到通道注意力机制se模块中，模块将输入特征图进行全局平均池化操作，再经过swish激活以聚合输入特征图的全局特征，然后对得到的全局特征按照一定的激活率的1
×
1卷积层进行全连接操作，再通过sigmoid激活函数得到不同通道的注意力权重，然后将所得权重与输入特征图进行点乘加权，保留输入的主要特征、去除噪声干扰，同时减少参数计算提高网络的实时性，达到关注更重要信息通道的目的；最后将se模块的输出经过1
×
1的卷积，得到整个瓶颈模块的输出；
[0053]
如表3所示，经过步长为2，卷积核为3
×
3的卷积层所提取的特征图，输入到两个串行的扩张率为1的瓶颈模块中进行特征提取，得到144
×
144
×
24的特征图，并且设计网络结构中采用瓶颈模块进行特征提取的前三层网络，使得每经过一次瓶颈层的特征提取，输出特征图的尺寸缩减到输入特征图的一半，而同时输出通道数则为输入通道数的一倍，经过前三层的特征提取得到36
×
36
×
64的特征图；后三层特征提取层依次采用了激活比例为0.35、0.30和0.25的通道注意力机制，更关注与内容丰富的特征通道，最后得到9
×9×
256包含高级语义信息的特征图组，经过1
×
1的卷积层进行通道升维，将升维后的9
×9×
1280
特征图组，采用9
×
9的全局平均池化层进行池化处理，得到1
×1×
1280的特征序列；最后经过全连接层并搭配softmax函数的全连接层，输出隶属于各路面类别的概率值，最后再使用argmax函数按照最大概率值确定网络分类结果；
[0054]
然后将搭建路面图像类型网络在自建数据集上进行训练，训练过程采用选择交叉熵损失函数，使用adam自适应梯度下降优化算法，基础学习率为0.0001，并按照迭代次数epoch保存模型和训练结果；
[0055]
步骤六、建立映射规则获取路面附着系数信息：
[0056]
最后经过根据上述步骤得到的路面图像类型分类结果获取对应的路面附着系数；为了获取所识别路面的路面附着系数，参考《ga/t643-2006典型交通事故形态车辆行驶速度技术鉴定》中的汽车纵滑附着系数参考值表以及冰雪路面的汽车纵滑附着系数参考值表，并考虑行驶车速对路面附着系数的影响，定义了如表4所示的路面类型与路面附着系数的映射规则，又考虑到城市工况下车辆行驶速度常为48km/h的低速行驶状态；根据车速和路面类型识别结果，查表对应得到当前路面的附着系数范围值，取附着系数上下限的中间值作为当前道路的附着系数，即为整个路面附着系数预测算法的输出结果；
[0057][0058][0059]
表4：路面类型与附着系数映射表。
[0060]
与现有技术相比本发明的有益效果为：
[0061]
本发明公开了一种基于语义分割的路面附着系数预测方法，通过处理前面行驶路面的道路图像提前获取路面的附着系数的预测结果，可以为汽车主动安全控制系统以及辅助驾驶系统提供关键的路面附着系数信息；本发明搭建了基于多尺度空间注意力机制的轻量化的语义分割网络，并自建数据集进行特异性训练，增强了算法对雨雪行驶场景的泛化能力，进一步提升了对行驶路面提取的精度、实时性以及鲁棒性；同时结合轻量化的路面识别网络，设计了语义分割网络、路面提取以及路面识别网络串行的算法结构，能够实现丰富驾驶场景下路面附着信息快速准确的预测；
附图说明
[0062]
图1为本发明提供的一种基于语义分割网络的路面附着系数预测方法的流程框图。
[0063]
图2为步骤一中所搭建的语义分割网络结构示意图。
[0064]
图3为本方法步骤一中所搭建的语义分割网络特征提取瓶颈模块结构的示意图。
[0065]
图4为本方法步骤五中所搭建的路面分类网络特征提取瓶颈模块结构的示意图
具体实施方式
[0066]
本发明提供了一种基于语义分割网络的路面附着系数预测方法，针对城市工况下对车辆行驶区域的道路类型分类以及路面附着系数进行预测，具体步骤如下：
[0067]
步骤一、搭建基于多尺度空间注意力机制的语义分割网络：
[0068]
利用智能驾驶汽车感知系统装备的车载摄像机采集车辆行驶过程中前方道路的视频数据，通过语义分割网络提取可行使的路面区域，其中语义分割网络的性能将很大程度上决定整个路面附着系数预测算法的整体性能，因此搭建精度高、实时性好且鲁棒性强的语义分割网络十分关键，其具体设计如下：
[0069]
首先进行网络环境的配置与搭建：选用linux操作系统作为图像处理以及网络搭建和训练的运行环境，其具体硬件配置包括：cpu为intel(r)core(tm)i9-9900k型号，ram内存16gb，显卡为nvidia rtx a6000，cuda版本为11.4，硬盘存储为256gb固态硬盘外加2tb机械硬盘；使用python语言编写程序代码，并选用科技公司meta人工智能团队开发的pytorch作为深度学习网络搭建框架；在该硬件环境下着手进行软件的配置工作：运用环境编译软件anaconda，新建虚拟环境，并在新环境下安装python 3.10.8版本、pytorch 1.11.0版本和opencv 4.6.0.66版本；
[0070]
其次进行语义分割网络的搭建，采用先进的轻量化编码器-解码器框架encoder-decoder，在保证语义分割网络精度的同时满足算法的实时性要求，具体的网络结构如图1所示；
[0071]
然后在该编码器-解码器框架encoder-decoder下开始具体展开并搭建基于注意力机制的层次化的语义分割网络编码器结构，用于生成丰富的多尺度语义特征：先将输入图像缩放成尺寸为1024
×
1024
×
3的张量输入语义分割网络；再经过3
×
3的卷积层和bn层以及gelu激活处理，实现对输入图片进行特征的初步提取以及下采样功能；
[0072]
接着将得到的特征图作为特征提取模块的输入，其中特征提取模块的具体实现过程如下：首先采用1
×
1卷积用于调整输入通道数，并经过gelu激活函数后，输入到由5
×
5主分支卷积和后续7
×
7、13
×
13的分路卷积所构成的空间注意力机制模块中，再经过1
×
1卷积输出代表空间注意力的权重参数；其中多尺度的空间注意力机制公式如下式所示：
[0073][0074]
公式(1)中atten为输出的代表空间注意力的权重参数，atten0为空间注意力模块主分支的权重输出，atteni为模块中第i个支路卷积的权重输出，i为支路卷积的个数；
[0075]
接着通过1
×
1卷积扩充特征图通道数，再采用3
×
3的卷积对经过空间注意力加权处理的特征图进行更加细致的特征提取，将提取结果通过gelu函数激活，最后再经过1
×
1卷积输出特征提取模块的处理结果；
[0076][0077]
式中，output为瓶颈模块的输出，f为瓶颈模块的输入，conv2d(
·
)代表用卷积来
处理输入特征图，gelu(
·
)则代表使用激活函数对特征图的进一步处理；
[0078]
利用上述搭建的编码器瓶颈模块，对网络输入张量进行四次串行的特征提取，得到代表不同语义级别的四个阶段的特征图；其中阶段一的特征提取工作由三个串行的特征提取模块进行，输出256
×
256
×
32的特征图；再通过上述下采样层架构，调整卷积层层数以及层内卷积的个数以及通道数，将特征图下采样后，再通过三个串行的特征提取模块得到阶段二中128
×
128
×
64尺寸的特征图；然后经过下采样层以及五个串行的特征处理模块得到64
×
64
×
160的阶段三的特征图；最后再经过一次下采样以及两个特征提取模块得到最后阶段四的32
×
32
×
256的特征图；
[0079]
最后基于编码器-解码器框架encoder-decoder具体展开搭建轻量化的解码器架构：依次经过上采样、通道拼接操作、轻量化的ham_head解码器模块和全连接分类器对编码器所提取的不同阶段的特征图进行处理，用于融合不同层级的语义信息；为了收集多尺度的语义信息、扩大感受野，舍弃了低级语义信息较多的阶段一，将阶段二、阶段三和阶段四的特征图经过双线性插值的上采样方法处理成同等尺寸的特征图后再进行通道拼接concat操作，再输入到ham_head解码器模块中，对整合拼接后的128
×
128
×
480尺寸的特征图进行处理；其中ham_head解码器模块的具体实现过程如下：将concat操作得到的480通道的特征图，通过1
×
1的卷积层、32组别的groupnorm层和relu激活层将特征图通道数压缩至256，再采用公式(3)所示的nmf的非负矩阵分解算法：
[0080]vm
×n＝pm×r×
qr×nꢀꢀꢀ
(3)
[0081]
将特征矩阵vm×n分解成m
×
r和r
×
n的低置矩阵pm×r和qr×n，其中pm×r为特征基矩阵，体现了数据的主要特征；而qr×n为特征系数矩阵，表示数据特征的分布；算法用特征基矩阵来代替特征矩阵，可以将高维数据映射到低维并保留数据的重要特征，从而抛弃冗余矩阵的干扰，增强模型的泛化能力，同时还可以加速图像算法处理过程提高算法实时性；最后经过再经过一个由1
×
1的卷积层、32组别的groupnorm层和relu激活层所构成的1
×
1卷积架构的线性化层输出处理结果，得到ham_head解码器模块的输出；
[0082]
然后将处理后的特征图通过1
×
1的卷积层实现全连接操作，再经过softmax函数，将类别分数转换为概率分布，得到256
×
256
×
nls的特征图,其中每个像素点的值代表属于该语义类别的概率，nls代表待分类的语义类别数；再通过双线性插值的方法将所得特征图进行上采样，并且使用argmax函数按照最大概率给定每一像素点的语义类别预测结果，得到与输入图片相同尺寸的1024
×
1024的预测分割结果图即为编码器的输出；
[0083]
步骤二、将搭建的分割网络在公开数据集上进行预训练：
[0084]
选用cityscapes数据集来进行语义分割网络的预训练，该数据集由奔驰公司推动发布可用于城市街景图像分割任务，其中包含50个城市的街景行驶场景图像，并具有涵盖路面、建筑、行人、车辆和建筑物等19类语义信息的精确标注；同时其图像样本与日常城市路况行驶的形式相似，因此预训练后的语义分割网络具有一定的泛化能力；参与网络模型训练和验证的精确标注图像样本数量共计5000张，其中训练集图片2975张，验证集图片为500张，测试集图片1525张；具体预训练过程如下：首先从数据集目录下加载图像，然后加载其对应的注释信息，再对训练的图像与注释进行数据增广，增广方式包括随机缩放尺寸，随机裁剪图片张量并且随机左右翻转，然后通过归一化函数将输入图像每个像素点进行标准化，最后设计如公式(4)所示的交叉熵损失函数：
[0085][0086]
式中，nls为待分类的语义类别，在cityscapes数据集中训练时所取值为19，yc为取值0或1的向量，用该元素的取值来判别该类别与样本类别是否相同，pc代表预测样本属于类别c的概率c∈(1,nls)；
[0087]
并选用poly学习率规则，对分割网络进行训练，其中poly学习率衰减表达式如下：
[0088][0089]
公式(5)中lr
initial
为网络训练的初始学习率，预训练过程中设置为0.002，iter为网络训练迭代步数，max_iter为最大训练步数，设置为40k步，power为衰减系数用于控制学习率曲线的形状，设置为0.9；lr(iter)为计算更新得到的训练过程中具体步数对应的学习率，并且使用adam优化求解算法，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；根据计算机硬件性能，设置批处理大小为16，每4k步保存一次模型参数，同时使用验证集对网络进行性能评估；
[0090]
对于语义分割任务，常常选用基于混淆矩阵的平均像素精度acc与平均交并比miou指标对网络预训练结果进行性能评估，其具体实现过程如下：对于表1所示二分类混淆矩阵confusion matrix的每一行代表了数据的真实归属类别，每一列代表了预测类别，矩阵中具体的元素值表示被预测为某类的样本数量；
[0091][0092]
表1：二分类混淆矩阵confusion matrix的示意表
[0093]
准确率acc表示预测类别正确的像素数占总像素数的百分比，公式(6)如下：
[0094][0095]
miou表示对每一类预测结果和真实值的交集与并集的比值，求和再平均的结果，公式(7)如下：
[0096][0097]
使用pytorch中的logging记录工具将训练数据保存到log日志文件中，并分析训练参数曲线，所搭建的语义分割网络在良好天气的城市驾驶场景下展现了优异的性能；
[0098]
本实施例中，其中属于路面类别的acc为0.9909，miou值为0.9835，并且属于全语义类别的miou值为0.7959，均代表所搭建的语义分割网络具有较高的语义分割精度，同时单张图片的预测时间为0.02s，满足车辆行驶过程中对算法的实时性要求；
[0099]
步骤三、丰富语义分割数据集并对分割网络进行特异性训练
[0100]
在实验过程中发现，只经过上述步骤搭建和训练的语义分割网络，在雨雪天气下的对于积水覆雪路面分割的任务表现欠佳，甚至出现严重的失真情况；其原因在于cityscapes数据集下的训练数据都采集于天气良好状况下的城市行驶场景，不包含雨雪天气条件下的行驶场景，导致只经过预训练的语义分割网络易受到不良天气与特殊路面条件的干扰而出现误分类，从而影响语义分割网络的整体性能；
[0101]
为解决上述问题，更好的应用于日常驾驶场景，针对分割网络在雨雪天气条件下易受到干扰失真的问题，本方法制作了包含干湿沥青、干湿水泥、覆雪路面和覆冰路面共六类路面类型的语义分割数据集，并将预训练的语义分割网络在该数据集上继续进行训练和评估，进一步提升所搭建网络的泛化能力，更好的应用于日常城市驾驶场景中，其具体实现过程如下：
[0102]
首先选用合适的车载摄像头设备采集不同天气情况下的行驶场景数据，将采集的视频文件按照固定帧率进行拆解，得到涵盖六类路面类别的图像样本信息库：
[0103]
本实施例中，选择的图像采集设备为f1005-e sensor unit axis的高清图像传感器，工作温度为-30℃-55℃，焦距可调范围28mm-120mm，采集的视频分辨率为1920
×
1200，帧率为60fps，镜头视角fov为广角113
°
；
[0104]
本实施例中，将上述图像采集设备安装于图像采集实验车辆，并经过长时间的路面图像数据采集实验，最终收集了包含晴天、阴天、雨天和雪天等不同天气条件以及白天、傍晚和夜晚等不同采集时间段的白天、傍晚、夜晚)视频文件；将视频文件按照固定帧数间隔分解成图片，按照归属类别进行整理，统一命名方式并将同类路面图像放入到同一文件夹下；最终整理得到了6种路面类型的图像样本库；
[0105]
然后从图像数据库中筛选差异丰富和特征明显的图像样本进行精细标注，具体标注过程如下：首先在anaconda中安装eiseg交互式标注工具并启动平台，然后导入所需标注的驾驶场景图片，将图片上传到eiseg平台中，接着创建标注任务，选择“语义分割”任务类型，并选择cityscapes数据集标注格式，再然后选择“标注数据”功能，对导入图片进行进行分割标注，进入交互式标注界面并使用标注工具对图片；标注完成后使用“导出数据”功能，选择导出cityscapes数据集格式并指定输出路径；；
[0106]
将制作的数据集按照cityscapes数据集格式进行架构，每一类的路面信息准备100的精确标注图片，共计600张数据集样本并随机抽取20％用作验证集，剩下80％用作训练集；将数据集经过镜像、平移以及调整明暗度的数据扩充手段，延续预训练中的训练策略以及优化方法，同时将完成训练的网络在验证集上验证，最后利用训练好的语义分割网络进行模型推理，可将输入的驾驶场景图片进行处理，输出可视化的分割结果；
[0107]
本实施例中的实验结果表明，经过特异性训练的语义分割网络，适应了雨雪路面的干扰，其中在数据集的雨雪路面的验证集部分属于路面的miou从0.5532提升到了0.7309，进一步提升了所构建的语义分割网络的精度，同时也使得的算法更加可靠；
[0108]
步骤四、利用分割网络提取路面区域制作路面分类网络数据集：
[0109]
步骤一到三属于语义分割网络的搭建以及离散训练过程，而在路面附着系数预测技术具体应用时，需要利用分割网络进行在线识别，因此我们利用工控机来模拟语义分割网络的在线识别过程；
[0110]
将步骤三中得到的包含6类路面类型的图像样本库，按路面类别输入到语义分割
网络中进行预测处理，其过程与日常驾驶环境中的在线识别过程相似，再将预测结果与原图像同时送入处理器中进行路面区域的提取；提取路面区域的具体过程如下：首先对语义分割预测结果图按颜色通道进行拆分，分别获取三个颜色通道所对应的二维矩阵，查表找到“road”对应的bgr值(128,64,128)，再利用opencv分别制作bgr三颜色通道的掩膜，只保留与“road”相同bgr值的像素点，目的是保证只提取路面区域；最后将三颜色通道的掩膜拼接，与原图对应通道分别进行矩阵点乘运算，便提取得到仅包含路面区域的图片，而将非路面区域设为背景并转变为黑色；将提取得到的只含有路面区域的图像样本库，按照六类路面信息分别建立具体的文件夹进行存放，并且制作相应的5位的二进制信息的具体的路面类型以及标签信息如表2所示：
[0111][0112][0113]
表2：路面类型及标签信息对应表
[0114]
对制作好的数据集进行按照图像品质进行筛选，最终数据集容量包含6000张的图像样本，每个路面类别容量分别为1000张图像；最后打乱路面图像数据集并按20％比例随机抽取每类图片作为验证集，剩余部分作为训练集；
[0115]
步骤五、搭建并训练路面图像类型分类网络：
[0116]
步骤一到四完成了对行驶过程中的图像信息的路面区域提取过程，而想要实现基于视觉的路面附着系数预测方法，还需在的路面区域提取结果的基础上完成对路面类型的识别，因此搭建并训练路面图像类型分类网络便尤为关键；其具体实现过程如下：
[0117]
搭建路面图像类型分类网络的具体实现过程如下：首先在anaconda环境下搭建路面图像类型分类网络，考虑到路面分类任务的复杂性以及分类过程中的实时性要求，搭建轻量化的卷积神经网络作为分类器的主干网络，同时引入通道注意力机制在保证识别精度的同时，尽可能的缩减网络参数以及浮点运算数，提高分类网络的实时性；如表3所示具体的路面图像类型分类网络结构设计如下：
[0118][0119][0120]
表3：路面分类网络结构表
[0121]
首先网络的输入层将待识别的路面图像调整为288
×
288
×
3的张量，再经过步长为2的3
×
3卷积核的卷积层、结合批量正则化bn和swish激活函数操作进行特征的初步提取，然后将得到的特征图作为所搭建的瓶颈模块的输入，通过瓶颈模块对输入特征图进行特征提取，搭建基于通道注意力机制的网络瓶颈模块的结构和具体过程如图3所示：首先采用1
×
1卷积根据扩展比例改变特征通道维数，经过批量归一化bn和swish激活输入到3
×
3的深度可分离卷积dwconv层进行特征提取，将得到的特征图进行输入到通道注意力机制se模块中，模块将输入特征图进行全局平均池化操作，再经过swish激活以聚合输入特征图的全局特征，然后对得到的全局特征按照一定的激活率的1
×
1卷积层进行全连接操作，再通过sigmoid激活函数得到不同通道的注意力权重，然后将所得权重与输入特征图进行点乘加权，保留输入的主要特征、去除噪声干扰，同时减少参数计算提高网络的实时性，达到关注更重要信息通道的目的；最后将se模块的输出经过1
×
1的卷积，得到整个瓶颈模块的输出；
[0122]
如表3所示，经过步长为2，卷积核为3
×
3的卷积层所提取的特征图，输入到两个串行的扩张率为1的瓶颈模块中进行特征提取，得到144
×
144
×
24的特征图，并且设计网络结构中采用瓶颈模块进行特征提取的前三层网络，使得每经过一次瓶颈层的特征提取，输出特征图的尺寸缩减到输入特征图的一半，而同时输出通道数则为输入通道数的一倍，经过前三层的特征提取得到36
×
36
×
64的特征图；后三层特征提取层依次采用了激活比例为0.35、0.30和0.25的通道注意力，更关注与内容丰富的特征通道，最后得到9
×9×
256包含高级语义信息的特征图组，经过1
×
1的卷积层进行通道升维，将升维后的9
×9×
1280特征
图组，采用9
×
9的全局平均池化层进行池化处理，得到1
×1×
1280的特征序列；最后经过全连接层并搭配softmax函数的全连接层，输出隶属于各路面类别的概率值，最后再使用argmax函数按照最大概率值确定网络分类结果；
[0123]
然后将搭建路面图像类型网络在自建数据集上进行训练，训练过程采用选择交叉熵损失函数，使用adam自适应梯度下降优化算法，基础学习率为0.0001，并按照迭代次数epoch保存模型和训练结果；
[0124]
本实施例中，将训练好的模型以及参数进行保存，并模拟在线识别过程，在实车采集的样本库中随机抽取1200张图像样本数据进行验证，所搭建的分类网络的具体表现如表4所示，其中混淆矩阵对角线处的数字代表图像的正确预测样本数，即验证样本中共有1179张图片预测正确，模型验证的平均准确率为0.9825，张图片处理时间为0.009s，满足路面分类技术的精度以及实时性要求；
[0125][0126][0127]
表4：路面分类网络分类结果混淆矩阵
[0128]
步骤六、建立映射规则获取路面附着系数信息：
[0129]
最后经过根据上述步骤得到的路面图像类型分类结果获取对应的路面附着系数；为了获取所识别路面的路面附着系数，参考《ga/t643-2006典型交通事故形态车辆行驶速度技术鉴定》中的汽车纵滑附着系数参考值表以及冰雪路面的汽车纵滑附着系数参考值表，并考虑行驶车速对路面附着系数的影响，定义了如表5所示的路面类型与路面附着系数的映射规则，又考虑到城市工况下车辆行驶速度常为48km/h左右的低速行驶状态；根据车速和路面类型识别结果，查表5对应得到当前路面的附着系数范围值，取附着系数上下限的中间值作为当前道路的附着系数，即为整个路面附着系数预测算法的输出结果；
[0130]
路面类型附着系数附着系数确定值干沥青0.55-0.80.675湿沥青0.45-0.70.575干水泥0.55-0.80.675湿水泥0.45-0.750.600
覆雪道路0.1-0.250.225覆冰道路0.1-0.20.150
[0131]
表5：路面类型与附着系数映射表
[0132]
本实施例中，所设计的路面附着系数预测算法中语义分割网络、掩膜提取及识别网络的平均处理时间总和为0.0314秒且精度较高，满足预测算法对于精度和实时性的要求。

技术特征：
1.一种基于语义分割网络的路面附着系数预测方法，针对城市工况下对车辆行驶区域的道路类型分类以及路面附着系数进行预测，其特征在于，具体步骤如下：步骤一、搭建基于多尺度空间注意力机制的语义分割网络：利用智能驾驶汽车感知系统装备的车载摄像机采集车辆行驶过程中前方道路的视频数据，通过语义分割网络提取可行使的路面区域：首先进行网络环境的配置与搭建：选用linux操作系统作为图像处理以及网络搭建和训练的运行环境，使用python语言编写程序代码，并选用科技公司meta人工智能团队开发的pytorch作为深度学习网络搭建框架；运用环境编译软件anaconda，新建虚拟环境，并在新环境下安装python 3.10.8版本、pytorch 1.11.0版本和opencv 4.6.0.66版本；其次进行语义分割网络的搭建，采用先进的轻量化编码器-解码器框架encoder-decoder，在保证语义分割网络精度的同时满足算法的实时性要求；然后在该编码器-解码器框架encoder-decoder下开始具体展开并搭建基于注意力机制的层次化的语义分割网络编码器结构，用于生成丰富的多尺度语义特征：先将输入图像缩放成尺寸为1024
×
1024
×
3的张量输入语义分割网络；再经过3
×
3的卷积层和bn层以及gelu激活处理，实现对输入图片进行特征的初步提取以及下采样功能；接着将得到的特征图作为特征提取模块的输入，其中特征提取模块的具体实现过程如下：首先采用1
×
1卷积用于调整输入通道数，并经过gelu激活函数后，输入到由5
×
5主分支卷积和后续7
×
7、13
×
13的分路卷积所构成的空间注意力机制模块中，再经过1
×
1卷积输出代表空间注意力的权重参数；其中多尺度的空间注意力机制公式如下式所示：公式(1)中atten为输出的代表空间注意力的权重参数，atten0为空间注意力模块主分支的权重输出，atten
i
为模块中第i个支路卷积的权重输出，其中i为支路卷积的个数；接着通过1
×
1卷积扩充特征图通道数，再采用3
×
3的卷积对经过空间注意力加权处理的特征图进行更加细致的特征提取，将提取结果通过gelu函数激活，最后再经过1
×
1卷积输出特征提取模块的处理结果；式中，output为瓶颈模块的输出，f为瓶颈模块的输入，conv2d(
·
)代表用卷积来处理输入特征图，gelu(
·
)则代表使用激活函数对特征图的进一步处理；利用上述搭建的编码器瓶颈模块，对网络输入张量进行四次串行的特征提取，得到代表不同语义级别的四个阶段的特征图；其中阶段一的特征提取工作由三个串行的特征提取模块进行，输出256
×
256
×
32的特征图；再通过上述下采样层架构，调整卷积层层数以及层内卷积的个数以及通道数，将特征图下采样后，再通过三个串行的特征提取模块得到阶段二中128
×
128
×
64尺寸的特征图；然后经过下采样层以及五个串行的特征处理模块得到64
×
64
×
160的阶段三的特征图；最后再经过一次下采样以及两个特征提取模块得到最后阶段四的32
×
32
×
256的特征图；最后基于编码器-解码器框架encoder-decoder具体展开搭建轻量化的解码器架构：依次经过上采样、通道拼接操作、轻量化的ham_head解码器模块和全连接分类器对编码器所
提取的不同阶段的特征图进行处理，用于融合不同层级的语义信息；为了收集多尺度的语义信息、扩大感受野，舍弃了低级语义信息较多的阶段一，将阶段二、阶段三和阶段四的特征图经过双线性插值的上采样方法处理成同等尺寸的特征图后再进行通道拼接concat操作，再输入到ham_head解码器模块中，对整合拼接后的128
×
128
×
480尺寸的特征图进行处理；其中ham_head解码器模块的具体实现过程如下：将concat操作得到的480通道的特征图，通过1
×
1的卷积层、32组别的groupnorm层和relu激活层将特征图通道数压缩至256，再采用公式(3)所示的nmf的非负矩阵分解算法：v
m
×
n
＝p
m
×
r
×
q
r
×
n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)将特征矩阵v
m
×
n
分解成m
×
r和r
×
n的低置矩阵p
m
×
r
和q
r
×
n
，其中p
m
×
r
为特征基矩阵，体现了数据的主要特征；而q
r
×
n
为特征系数矩阵，表示数据特征的分布；算法用特征基矩阵来代替特征矩阵，能够避免冗余矩阵的干扰，加速图像算法处理过程提高算法实时性；最后经过再经过一个由1
×
1的卷积层、32组别的groupnorm层和relu激活层所构成的1
×
1卷积架构的线性化层输出处理结果，得到ham_head解码器模块的输出；然后将处理后的特征图通过1
×
1的卷积层实现全连接操作，再经过softmax函数，将类别分数转换为概率分布，得到256
×
256
×
nls的特征图,其中每个像素点的值代表属于该语义类别的概率，nls代表待分类的语义类别数；再通过双线性插值的方法将所得特征图进行上采样，并且使用argmax函数按照最大概率给定每一像素点的语义类别预测结果，得到与输入图片相同尺寸的1024
×
1024的预测分割结果图即为编码器的输出；步骤二、将搭建的分割网络在公开数据集上进行预训练：选用cityscapes数据集来进行语义分割网络的预训练，该数据集由奔驰公司推动发布可用于城市街景图像分割任务，其中包含50个城市的街景行驶场景图像，并具有涵盖路面、建筑、行人、车辆和建筑物等19类语义信息的精确标注；同时其图像样本与日常城市路况行驶的形式相似，因此预训练后的语义分割网络具有一定的泛化能力；参与网络模型训练和验证的精确标注图像样本数量共计5000张，其中训练集图片2975张，验证集图片为500张，测试集图片1525张；具体预训练过程如下：首先从数据集目录下加载图像，然后加载其对应的注释信息，再对训练的图像与注释进行数据增广，增广方式包括随机缩放尺寸，随机裁剪图片张量并且随机左右翻转，然后通过归一化函数将输入图像每个像素点进行标准化，最后设计如公式(4)所示的交叉熵损失函数：式中，nls为待分类的语义类别，在cityscapes数据集中训练时所取值为19，y
c
为取值0或1的向量，用该元素的取值来判别该类别与样本类别是否相同，p
c
代表预测样本属于类别c的概率c∈(1,nls)；并选用poly学习率规则，对分割网络进行训练，其中poly学习率衰减表达式如下：公式(5)中lr
initial
为网络训练的初始学习率，预训练过程中设置为0.002，iter为网络训练迭代步数，max_iter为最大训练步数，设置为40k步，power为衰减系数用于控制学习率
曲线的形状，设置为0.9；lr(iter)为计算更新得到的训练过程中具体步数对应的学习率，并且使用adam优化求解算法，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；根据计算机硬件性能，设置批处理大小为32，每4k步保存一次模型参数，同时使用验证集对网络进行性能评估；对于语义分割任务，选用基于混淆矩阵的平均像素精度acc与平均交并比miou指标对网络预训练结果进行性能评估，其具体实现过程如下：对于表1所示二分类混淆矩阵confusion matrix的每一行代表了数据的真实归属类别，每一列代表了预测类别，矩阵中具体的元素值表示被预测为某类的样本数量；表1：二分类混淆矩阵confusion matrix的示意表准确率acc表示预测类别正确的像素数占总像素数的百分比，公式(6)如下：miou表示对每一类预测结果和真实值的交集与并集的比值，求和再平均的结果，公式(7)如下：使用pytorch中的logging记录工具将训练数据保存到log日志文件中，并分析训练参数曲线，所搭建的语义分割网络在良好天气的城市驾驶场景下展现了优异的性能；步骤三、丰富语义分割数据集并对分割网络进行特异性训练针对分割网络在雨雪天气条件下易受到干扰失真的问题，本方法制作了包含干湿沥青、干湿水泥、覆雪路面和覆冰路面共六类路面类型的语义分割数据集，并将预训练的语义分割网络在该数据集上继续进行训练和评估，进一步提升所搭建网络的泛化能力，更好的应用于日常城市驾驶场景中，其具体实现过程如下：首先使用车载摄像头设备采集不同天气情况下的行驶场景数据，将采集的视频文件按照固定帧率进行拆解，得到涵盖六类路面类别的图像样本信息库：然后从图像数据库中筛选差异丰富和特征明显的图像样本进行精细标注，具体标注过程如下：首先在anaconda中安装eiseg交互式标注工具并启动平台，然后导入所需标注的驾驶场景图片，将图片上传到eiseg平台中，接着创建标注任务，选择“语义分割”任务类型，并选择cityscapes数据集标注格式，再然后选择“标注数据”功能，对导入图片进行进行分割标注，进入交互式标注界面并使用标注工具对图片；标注完成后使用“导出数据”功能，选择导出cityscapes数据集格式并指定输出路径；将所制作的数据集按照cityscapes数据集格式进行架构，每一类的路面信息准备100的精确标注图片，共计600张数据集样本并随机抽取20％用作验证集，剩下80％用作训练集；将数据集经过镜像、平移以及调整明暗度的数据扩充手段，延续预训练中的训练策略以及优化方法，同时将完成训练的网络在验证集上验证；最后利用训练好的语
义分割网络进行模型推理，将输入的驾驶场景图片进行处理，输出可视化的像素级的语义分割结果；步骤四、利用分割网络提取路面区域制作路面分类网络数据集：将步骤三中得到的包含6类路面类型的图像样本库，按路面类别输入到语义分割网络中进行预测处理，其过程与日常驾驶环境中的在线识别过程相似，再将预测结果与原图像同时送入处理器中进行路面区域的提取；提取路面区域的具体过程如下：首先对语义分割预测结果图按颜色通道进行拆分，分别获取三个颜色通道所对应的二维矩阵，查表找到“road”对应的bgr值(128，64，128)，再利用opencv分别制作bgr三颜色通道的掩膜，只保留与“road”相同bgr值的像素点，目的是保证只提取路面区域；最后将三颜色通道的掩膜拼接，与原图对应通道分别进行矩阵点乘运算，便提取得到仅包含路面区域的图片，而将非路面区域设为背景并转变为黑色；将提取得到的只含有路面区域的图像样本库，按照六类路面信息分别建立具体的文件夹进行存放，并且制作相应的5位的二进制信息的具体的路面类型以及标签信息对应如表2所示：路面类型文件夹名称索引index标签label干沥青dry_asphalt0000001湿沥青wet_asphalt1000010干水泥dry_cement2000100湿水泥wet_cement3001000覆雪道路loose_snow4010000覆冰道路ice_film5100000表2：路面类型及标签信息对应表对制作好的数据集进行按照图像品质进行筛选，最终数据集容量包含6000张的图像样本，每个路面类别容量分别为1000张图像；最后打乱路面图像数据集并按20％比例随机抽取每类图片作为验证集，剩余部分作为训练集；步骤五、搭建并训练路面图像类型分类网络：搭建路面图像类型分类网络的具体实现过程如下：首先在anaconda环境下搭建路面图像类型识别网络，考虑到路面分类任务的复杂性以及分类过程中的实时性要求，搭建轻量化的卷积神经网络作为分类器的主干网络，同时引入通道注意力机制，在保证识别精度的同时，尽可能的缩减网络参数以及浮点运算数，提高分类网络的实时性；如表3所示具体的路面图像分类网络结构设计如下：层名称卷积尺寸步长激活率扩张率重复数特征图尺寸输出通道数输入层288
×
2883卷积层3
×
321144
×
14424特征提取3
×
3112144
×
14424特征提取3
×
324472
×
7248特征提取3
×
324436
×
3664特征提取3
×
320.354336
×
36128特征提取3
×
310.306618
×
18160特征提取3
×
310.25699
×
9256
卷积层1
×
19
×
91280池化层9
×
9111
×
11280全连接层1
×
1nlsargmax1
×
11表3：路面分类网络结构表首先网络的输入层将待识别的路面图像调整为288
×
288
×
3的张量，再经过步长为2的3
×
3卷积核的卷积层、结合批量正则化bn和swish激活函数操作进行特征的初步提取，然后将得到的特征图作为所搭建的瓶颈模块的输入，通过瓶颈模块对输入特征图进行特征提取，搭建基于通道注意力机制的网络瓶颈模块的具体过程如下：首先采用1
×
1卷积根据扩展比例改变特征通道维数，经过批量归一化bn和swish激活输入到3
×
3的深度可分离卷积dwconv层进行特征提取，将得到的特征图进行输入到通道注意力机制se模块中，模块将输入特征图进行全局平均池化操作，再经过swish激活以聚合输入特征图的全局特征，然后对得到的全局特征按照一定的激活率的1
×
1卷积层进行全连接操作，再通过sigmoid激活函数得到不同通道的注意力权重，然后将所得权重与输入特征图进行点乘加权，保留输入的主要特征、去除噪声干扰，同时减少参数计算提高网络的实时性，达到关注更重要信息通道的目的；最后将se模块的输出经过1
×
1的卷积，得到整个瓶颈模块的输出；如表3所示，经过步长为2，卷积核为3
×
3的卷积层所提取的特征图，输入到两个串行的扩张率为1的瓶颈模块中进行特征提取，得到144
×
144
×
24的特征图，并且设计网络结构中采用瓶颈模块进行特征提取的前三层网络，使得每经过一次瓶颈层的特征提取，输出特征图的尺寸缩减到输入特征图的一半，而同时输出通道数则为输入通道数的一倍，经过前三层的特征提取得到36
×
36
×
64的特征图；后三层特征提取层依次采用了激活比例为0.35、0.30和0.25的通道注意力机制，更关注与内容丰富的特征通道，最后得到9
×9×
256包含高级语义信息的特征图组，经过1
×
1的卷积层进行通道升维，将升维后的9
×9×
1280特征图组，采用9
×
9的全局平均池化层进行池化处理，得到1
×1×
1280的特征序列；最后经过全连接层并搭配softmax函数的全连接层，输出隶属于各路面类别的概率值，最后再使用argmax函数按照最大概率值确定网络分类结果；然后将搭建路面图像类型网络在自建数据集上进行训练，训练过程采用选择交叉熵损失函数，使用adam自适应梯度下降优化算法，基础学习率为0.0001，并按照迭代次数epoch保存模型和训练结果；步骤六、建立映射规则获取路面附着系数信息：最后经过根据上述步骤得到的路面图像类型分类结果获取对应的路面附着系数；为了获取所识别路面的路面附着系数，参考《ga/t643-2006典型交通事故形态车辆行驶速度技术鉴定》中的汽车纵滑附着系数参考值表以及冰雪路面的汽车纵滑附着系数参考值表，并考虑行驶车速对路面附着系数的影响，定义了如表4所示的路面类型与路面附着系数的映射规则，又考虑到城市工况下车辆行驶速度常为48km/h的低速行驶状态；根据车速和路面类型识别结果，查表对应得到当前路面的附着系数范围值，取附着系数上下限的中间值作为当前道路的附着系数，即为整个路面附着系数预测算法的输出结果；路面类型附着系数附着系数确定值干沥青0.55-0.80.675
湿沥青0.45-0.70.575干水泥0.55-0.80.675湿水泥0.45-0.750.600覆雪道路0.1-0.250.225覆冰道路0.1-0.20.150表4：路面类型与附着系数映射表。

技术总结
本发明公开了一种基于语义分割网络的路面附着系数预测方法，首先，搭建基于多尺度空间注意力机制的语义分割网络；其次，将搭建的分割网络在公开数据集上进行预训练；然后，丰富语义分割数据集并对分割网络进行特异性训练；接着，利用分割网络提取路面区域制作路面分类网络数据集；然后，搭建并训练路面类型分类网络；最后，建立映射规则获取路面附着系数信息；本方法增强了算法对雨雪行驶场景的泛化能力，进一步提升了对行驶路面提取的精度、实时性以及鲁棒性；同时结合轻量化的路面识别网络，设计了语义分割网络、路面提取以及路面识别网络串行的算法结构，能够实现丰富驾驶场景下路面附着信息快速准确的预测。下路面附着信息快速准确的预测。下路面附着信息快速准确的预测。


技术研发人员：郭洪艳 万俊成 管人生 刘俊 孟庆瑜 赵旭 戴启坤 刘嫣然 谭中秋 李佳霖 王含 李光尧
受保护的技术使用者：吉林大学
技术研发日：2023.05.23
技术公布日：2023/8/24