车道线编辑方法、模型训练方法及相关设备与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种车道线编辑方法、模型训练方法及相关设备。


背景技术：

2.在自动驾驶领域，为了保证自动驾驶车辆在行驶过程中的安全性，自动驾驶系统需要保持驾驶车辆在道路上沿着车道线移动，这要求自动驾驶系统对车道线有准确的感知，因此，自动驾驶场景下车道线检测需要保证一定的准确性。
3.在自动驾驶的真实场景下，车道线检测结果的准确性较差，因为采集的道路图像中存在车道线变化复杂、车道线被异物遮挡、以及车道线受到光照影响等问题，即道路图像中的车道线清晰度及完整性较差。因此造成所采集的图像数据中，存在车道线类别不平衡的问题，进而造成模型对困难样本识别率低等问题。
4.通过对车道线编辑以解决车道线类别不均衡和增强困难样本是一种车道线检测性能的可行性方案。


技术实现要素：

5.有鉴于此，本发明实施例提供一种车道线编辑方法、模型训练方法及相关设备，以解决上述问题。
6.第一方面，本发明提供一种车道线编辑模型训练方法，该模型训练方法包括：采集原始道路图像；
7.对所述原始道路图像进行图像分割，获得车道线语义图，所述车道线语义图包括车道线二值mask和车道线类别；
8.根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，所述预设车道线属性参数包括车道线边缘信息、车道线噪声图、车道线掩码图、车道线语义图和车道线颜色图；
9.构建包含生成模型与判别模型的生成对抗网络，根据所述车道线语义图和所述预设车道线属性参数训练所述生成对抗网络，将训练得到的所述生成对抗网络中的生成模型作为车道线编辑模型。
10.在本发明的另一实现方式中，所述对所述原始道路图像进行图像分割，包括：将所述原始道路图像输入至预先训练的车道线分割模型中，以获得所述车道线语义图。
11.在本发明的另一实现方式中，所述根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，包括：根据所述车道线二值mask和所述车道线类别，对所述原始道路图像进行边缘检测，获得所述车道线边缘信息；生成一张与所述原始道路图像尺寸一致的随机噪声二值图，将所述随机噪声二值图与所述车道线二值mask相乘，获得所述车道线噪声图；将所述车道线二值mask取反后，与所述原始道路图像相乘，获得所述车道线掩码图。
12.在本发明的另一实现方式中，所述根据所述车道线二值mask和车道线类别，获得
预设车道线属性参数，还包括：根据所述车道线二值mask、所述车道线类别和所述车道线边缘信息，获得所述车道线颜色图。
13.在本发明的另一实现方式中，所述根据所述车道线语义图和所述预设车道线属性参数训练所述生成对抗网络，包括：将所述车道线语义图和所述预设车道线属性参数作为所述生成模型的输入，所述生成模型输出生成图像；将所述原始道路图像和所述生成图像作为所述判别模型的输入；同步训练所述生成模型和所述判别模型，直至所述生成对抗网络收敛。
14.第二方面，本发明提供一种车道线编辑方法，包括：
15.对待编辑道路图像进行区域分割，获得车道线二值mask；
16.基于所述车道线二值mask，对待编辑区域进行预编辑操作，以获得编辑后车道线语义图和编辑后车道线属性参数，所述编辑后车道线属性参数包括编辑后车道线边缘信息、编辑后车道线噪声图、编辑后车道线掩码图和编辑后车道线颜色图；
17.将所述编辑后车道线语义图和所述编辑后车道线属性参数输入到预先训练的车道线编辑模型中，得到编辑后道路图像。
18.第三方面，本发明提供一种构建车道线编辑模型的装置，该装置包括：
19.采集单元，用于采集原始道路图像；
20.数据处理单元，用于对所述原始道路图像进行图像分割，获得车道线语义图，所述车道线语义图包括车道线二值mask和车道线类别；以及用于根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，所述预设车道线属性参数包括车道线边缘信息、车道线噪声图、车道线掩码图和车道线颜色图；
21.构建单元，用于构建包含生成模型与判别模型的生成对抗网络；
22.训练单元，用于根据所述车道线语义图和所述预设车道线属性参数训练所述生成对抗网络，将训练得到的所述生成对抗网络中的生成模型作为车道线编辑模型。
23.第四方面，本发明提供一种车道线编辑装置，该编辑装置包括：
24.图像获取模块：用于获取待编辑道路图像；
25.图像处理模块：用于对待编辑道路图像进行区域分割，获得车道线二值mask；以及用于基于所述车道线二值mask，对待编辑区域进行预编辑操作，以获得编辑后车道线语义图和编辑后车道线属性参数，所述编辑后车道线属性参数包括编辑后车道线边缘信息、编辑后车道线噪声图、编辑后车道线掩码图、编辑后车到线颜色图；
26.图像编辑模块：包括预先训练的车道线编辑模型，用于将所述编辑后车道线语义图和所述编辑后车道线属性参数作为输入，输出编辑后道路图像。
27.第五方面，本发明提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述车道线编辑模型训练方法的步骤及上述车道线编辑方法的步骤。
28.第六方面，本发明提供一种计算机存储介质，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述车道线编辑模型训练方法的步骤及上述车道线编辑方法的步骤。
29.通过本发明提供的模型训练方法，获得车道线编辑模型，然后可以基于车道线编辑模型进行车道线编辑，可以实现对道路图像上车道线的编辑和修复，可以有效生成车道
线上的纹理特性同时保持特定的上下文风格，可以实现车道线转换、添加车道线、擦除车道线等编辑功能。
附图说明
30.为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，通过阅读下文实施方式的详细描述，方案中的优点和益处对于本领域的技术人员变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附
31.图中：
32.图1为本发明提供的一种车道线编辑模型训练方法的步骤流程图。
33.图2为本发明提供的一种车道线编辑模型训练方法中一个步骤的流程图。
34.图3为本发明提供的一种车道线编辑方法的步骤流程图。
35.图4为本发明提供的一种生成模型的网络结构示例。
36.图5为本发明提供的一种谱归一化马尔可夫判别模型的示意图。
具体实施方式
37.为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
38.图1为本发明实施例提供的一种车道线编辑模型训练方法的步骤流程图，如图1所示，本实施例主要包括以下步骤：
39.s101、采集原始道路图像；
40.s102、对所述原始道路图像进行图像分割，获得车道线语义图，所述车道线语义图包括车道线二值mask和车道线类别；
41.s103、根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，所述预设车道线属性参数包括车道线边缘信息、车道线噪声图、车道线掩码图、车道线颜色图；
42.s104、构建包含生成模型与判别模型的生成对抗网络，根据所述车道线语义图、所述预设车道线属性参数训练所述生成对抗网络，将训练得到的所述生成对抗网络中的生成模型作为车道线编辑模型。
43.通过本技术以上步骤训练得到的车道线编辑模型，可以实现对道路图像上车道线的编辑和修复，可以有效生成车道线上的纹理特性同时保持特定的上下文风格，可以实现车道线转换、添加车道线、擦除车道线等编辑功能。
44.其中，原始道路图像是一种rgb彩色图像，原始道路图像上会显示出路面和路面上的车道线。具体的，可以利用车载相机或路边摄像头采集路面图像，来作为原始道路图像。然后可以利用车道线分割模型对原始道路图像进行分割，获得车道线二值mask和车道线类别。车道线类别包括：白色实线、黄色实线、白色虚线、黄色虚线。
45.在一种可能的实施例中，为了实现对所述原始道路图像进行图像分割，可以预先训练一个车道线分割模型，然后可以进行步骤s102，即将所述原始道路图像输入至车道线
分割模型中，从而可以进行图像分割以获得车道线语义图。具体的，可以基于现有的车道线分割算法例如lanenet，训练一个车道线分割模型，车道线分割模型可以粗略的分割出车道线二值mask，从而可以批量进行车道线的编辑操作，例如颜色转换等操作。
46.在一种可能的实施例中，参考图2，步骤s103中，根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，包括：
47.s1031、根据所述车道线二值mask和所述车道线类别，对所述原始道路图像进行边缘检测，获得所述车道线边缘信息；
48.s1032、生成一张与所述原始道路图像尺寸一致的随机噪声二值图，将所述随机噪声二值图与所述车道线二值mask相乘，获得所述车道线噪声图；
49.s1033、将所述车道线二值mask取反后，与所述原始道路图像相乘，获得所述车道线掩码图。即，将所述车道线二值mask取反后获得车道线二值i-mask，将i-mask与所述原始道路图像相乘，获得所述车道线掩码图。
50.这里，需要明确的是，步骤s1031、s1032和s1033这三者之间没有必须遵守的先后顺序，即这四个步骤可以同时进行，或者选其中任一个先进行，均可以。
51.在步骤s1031中，对所述原始道路图像进行边缘检测的方法包括基于传统图像处理的边缘检测算法，如canny算法、sobel算法等，以及基于深度学习的hed(holistically-nested edge detection)算法。以sobel算法为例，经过sobel算法边缘检测得到原始道路图像的边缘信息，将车道线二值mask进行形态学膨胀，膨胀后的图像与原始道路图像的边缘信息相乘，就可以得到车道线边缘信息。
52.在步骤s1032中，车道线噪声图是基于将所述随机噪声二值图与所述车道线二值mask(即车道线区域值为1，非车道线区域值为0)相乘而获得的，那么，相乘后获得的车道线噪声图中，非车道线区域值为0，车道线区域值为随机噪声值。
53.车道线语义图可以包括五个通道，第一个通道为车道线二值mask，车道线区域为1，非车道线区域为0；第二个通道为车道线白色实线mask，车道线白色实线区域为1，非白色实线区域为0；第三个通道为车道线黄色实线mask，车道线黄色实线区域为1，非黄色实线区域为0；第四个通道为车道线白色虚线mask，车道线白色虚线区域为1，非白色虚线区域为0；第五个通道为车道线黄色虚线mask，车道线黄色虚线区域为1，非黄色虚线区域为0。
54.在一种可能的实施例中，步骤s103还包括：根据所述车道线二值mask、所述车道线类别和所述车道线边缘信息，获得车道线颜色图。由于不同光照条件、车道线新旧程度等影响，同类型的车道线颜色也是有差别的，例如新的车道线比旧的车道线颜色更亮，因此可以通过生成车道线颜色图来实现用户指定车道线颜色的需求，从而获得车道线颜色图；如果用户没有指定颜色的需求，则可以根据图像整体风格生成相应色调、亮度的车道线颜色，从而获得车道线颜色图。初始化的车道线颜色图可以为rgb三通道图像，车道线颜色图可以是一个常量，例如白色rgb为(255，255，255)，黄色rgb为(255，186，76)。
55.具体的，首先初始化车道线颜色图，即：可以根据车道线二值mask、所述车道线类别和所述车道线边缘信息，人为手动初始化车道线颜色图。将车道线颜色图上白色车道线区域rgb赋值为(255，255，255)，黄色车道线区域rgb赋值为(255，186，76)，非车道线区域rgb赋值为(0，0，0)。然后，根据车道线边缘信息、车道线二值mask和车道线类别，对车道线二值mask进行腐蚀，并对原始道路图像进行滤波，滤波后的图像与腐蚀过的车道线二值
mask相乘，再经过彩色rgb自适应阈值分割，从而计算每条车道线上的车道线的平均颜色，即可为给定或生成的车道线颜色图。其中，可以采用双边滤波法对原始道路图像进行滤波。
56.在一种示例中，在执行步骤s104之前，还可以采用图像反转、旋转、缩放等数据增强操作来提高数据效果，并对车道线掩码图像进行归一化处理，从而可以达到如下效果：在根据所述车道线语义图、所述预设车道线属性参数训练所述生成对抗网络时，可以使得生成模型的训练更为稳定。
57.在一种可能的实施例中，步骤s104中，根据所述车道线语义图和所述预设车道线属性参数训练所述生成对抗网络，包括：
58.s1041、将所述车道线语义图和所述预设车道线属性参数作为所述生成模型的输入，所述生成模型输出生成图像；
59.s1042、将所述原始道路图像和所述生成图像作为所述判别模型的输入；
60.s1043、同步训练所述生成模型和所述判别模型，直至所述生成对抗网络收敛。
61.具体的，在步骤s1041中，通过尺寸缩放操作，将车道线边缘信息、车道线噪声图、车道线掩码图和车道线颜色图的尺寸均调整为能够适应通道层要求，然后再输入到生成模型的通道层，并在通道层拼接，拼接结果作为生成模型中卷积特征的输入。将车道线语义图作为生成模型中调制特征的输入，来调制卷积特征。最终生成模型的输出为生成图像，生成图像为rgb彩色图像。生成模型的输出分辨率与输入分辨率相同。
62.在步骤s1042中，将原始道路图像与车道线语义图在通道层拼接，并将生成图像与车道线语义图在通道层拼接，两个拼接结果均作为判别模型的输入。
63.在步骤s1043中，同步训练生成模型和判别模型。模型训练时，不改变车道线类别，生成模型学习真实图像(即原始道路图像)的图像风格和车道线特征。也即：车道线图像风格应继承不同天气、光照条件下的整体图像风格；保留车道线上由树、建筑物或者车等遮挡物造成的阴影、路面损伤等特征；非路面背景区域的结构、风格、纹理等特征与真实图像保持一致。
64.其中，生成模型的目标是生成图像与原始道路图像越相似越好，使得判别模型不能区分生成图像和原实道路图像，因此生成模型的目标函数包括但不限于感知损失、判别损失、l1距离损失等。判别模型的目标是能够判断出生成图像与原始道路图像的真假，因此判别模型的目标函数包括但不限于hinge判别损失。对生成模型进行训练时，训练策略包括：更新模型参数，计算其损失函数，并接收来自判别模型的梯度反馈。当生成模型的损失函数值最小时(也即生成对抗网络收敛时)，保存生成模型的模型参数(每个神经元的权重和偏置值)，结束训练。
65.在一种可能的实现方式中，生成模型的网络结构可以采用一个u形编码-解码结构，编码结构是一个下采样过程。图4为一种生成模型的网络结构示例。其中，经过预处理后的车道线掩码图i
masked
、车道线颜色图i
colormap
、车道线边缘信息i
skech
和车道线噪声图i
noise
在通道层拼接后作为生成模型的输入，并利用车道线语义图ms和卷积操作conv来调制卷积特征。最终，生成模型输出生成图像i
gout
。
66.本专利实施例中，编码结构由9个编码层组成，第1个编码层先做一组卷积核大小为3、步长为1的卷积运算生成一个特征编码图fi，为了实现对给定区域进行编辑，同时保留图像特定的上下文风格，对特征编码图fi进行spm(style-preserved modulation)调制，得
到调制后的特征图spm调制分为两个阶段，第一阶段调制，利用卷积操作conv，从车道线的语义图上生成两对并行的调制参数(γ
s1
，β
s1
)，(γ
s2
，β
s2
)，从特征图上生成一对调制参数(γc，βc)，将这三对调制参数通过调制操作进行融合，生成上下文感知调制参数(γf，βf)，如计算公式(1)(2)。第二阶段调制使用上下文感知调制参数(γf，βf)来调制特征映射，如计算公式(3)。
67.βf＝(1+γ
s1
)
⊙
βc+β
s1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(公式1)
68.γf＝(1+γ
s2
)
⊙
γc+β
s2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(公式2)
[0069][0070]
本发明实施例中，归一化norm运算采用实施例归一化(instance normalization，in)。对调制后的特征图再进行leakyrelu激活函数的运算。第2个到第8个编码层卷积核大小为3，步长为2，再经过spm调制和leakyrelu激活函数。最后一个编码层卷积核大小为3，步长为1，再经过spm调制和leakyrelu激活函数。
[0071]
解码部分与编码部分相似，前7个解码层同样用卷积核大小为3，步长为1的卷积层和spm调制解码的特征图，特征图之间通过反卷积进行上采样，编码层和解码层之间通过跳跃连接将特征图从编码层传递到对应的上采样解码层。最后一个解码层由卷积核大小为3，步长为1的卷积和tanh激活函数组成，输出生成图像。生成图像的分辨率与输入图像的分辨率一致。
[0072]
本专利实施例中，判别模型的网络结构可以采用谱归一化马尔可夫判别模型(snpatchdiscriminator)，采用snpatchdiscriminator的原因在于，snpatchdiscrimination具有频谱归一化，具有更好的稳定性和性能，适用于任何形状和位置的不规则掩码，并且简单的snpatchdiscriminator损失和逐像素的l1损失的组合具有较好的修复效果。图5为一种谱归一化马尔可夫判别模型的示意图。其中，将原始道路图像i
gt
与车道线语义图ms在通道层拼接后输入判别模型中，以及将生成图像i
gout
与车道线语义图ms在通道层拼接后输入判别模型中；判别模型判别生成图像i
gout
是真或假(即real or fake)。图5中，h代表图像垂直像素度，w代表图像水平像素度。
[0073]
本专利实施例中，生成模型的目标函数(见公式4)采用了对抗损失-e[d(i
gout
)]、生成图像和真实图像在目标区域和背景区域的损失之和为l1损失(见公式5)、固定vgg19预训练模型参数的感知损失(见公式6)和风格损失(见公式7、公式8和公式9)。
[0074][0075][0076]
[0077][0078][0079][0080]
其中，风格损失和感知损失均需要vgg中间层来构造。参考公式(7)和(8)和公式(9)，风格损失常用gram矩阵来构造。g为vgg中选出来的特征图，g的c个通道之间两两内积g
t
g即可得到gram矩阵。
[0081]
本专利实施例中，判别模型的目标函数如公式(10)：
[0082][0083]
通过训练上述生成模型和判别模型，就可以得到训练好的生成模型，也即得到车道线编辑模型。
[0084]
本专利实施例中，生成模型中，用于供车道线边缘信息、车道线噪声图、车道线掩码图、车道线颜色图和原始道路图像输入的通道数为8，分辨率为512*768；用于供车道线语义图输入的通道数为5，分辨率为512*768。生成模型的输出为一个3通道的rgb图像。生成模型的输出分辨率与输入分辨率相同。
[0085]
本专利实施例中，判别模型的输入通道数为5+3＝8，分辨率512*768。
[0086]
第二方面，本技术提供一种车道线编辑方法，该车道线编辑方法可以使用上文训练好的车道线编辑模型，参考图3，该车道线编辑方法包括以下步骤：
[0087]
s201、对待编辑道路图像进行图像分割，获得车道线二值mask；
[0088]
s202、基于所述车道线二值mask，对待编辑区域进行预编辑操作，以获得编辑后车道线属性参数和编辑后车道线语义图，所述编辑后车道线属性参数包括编辑后车道线边缘信息、编辑后车道线噪声图、编辑后车道线掩码图和编辑后车道线颜色图；
[0089]
s203、将所述编辑后车道线语义图和所述编辑后车道线属性参数输入到预先训练的车道线编辑模型中，得到编辑后道路图像。
[0090]
当然，在执行步骤s201之前，还需要采集车道线路面图像以用作待编辑道路图像。其中，采集的车道线路面图像是一种rgb彩色图像，车道线路面图像上会显示出路面和路面上的车道线。具体的，可以利用车载相机或路边摄像头采集路面图像，来作为待编辑道路图像。
[0091]
其中，在一种可能的实施例中，为了实现对待编辑道路图像进行图像分割，可以预先训练一个车道线分割模型，然后可以进行步骤s201，步骤s201具体包括：将所述待编辑道路图像输入至车道线分割模型中，从而可以进行图像分割以获得车道线二值mask。具体的，可以基于现有的车道线分割算法(例如lanenet)，训练一个车道线分割模型，车道线分割模型可以粗略的分割出车道线二值mask。在一种示例中，车道线分割模型能够批量进行图像分割，即，批量分割出一个图像上的多个待编辑区域和非编辑区域，或批量处理多个图像。当然，用户也可以手动分割图像，以区分出待编辑区域和非编辑区域。
[0092]
然后，可以进行步骤s202，也即基于步骤s201获得的车道线二值mask，进行预编辑
操作。
[0093]
其中，预编辑操作包括类别转换操作、擦除车道线操作和添加车道线操作中至少一者。类别转换操作是指改变待编辑区域上的一条或多条车道线的类别，添加车道线操作是指在待编辑区域添加一条或多条车道线，擦除车道线操作是指在待编辑区域擦除一条或多条车道线。车道线类别包括：白色实线、黄色实线、白色虚线、黄色虚线。
[0094]
步骤s202具体包括：对待编辑区域进行预编辑操作，获得编辑后车道线类别；根据所述车道线二值mask和编辑后车道线类别，获得编辑后车道线语义图和编辑后车道线属性参数。换句话说，在进行预编辑操作后，待编辑区域的车道线类别就会相应改变，从而可以获得编辑后车道线类别，然后就可以根据所述车道线二值mask和编辑后车道线类别，获得编辑后车道线语义图和编辑后车道线属性参数。
[0095]
本专利实施例中，可以通过改变车道线类别和车道线颜色图来改变车道线颜色，例如，将白色实线与黄色实线互转就可以改变车道线颜色，将白色虚线与黄色虚线互转就可以改变车道线颜色；添加一条新的某类别车道线，新添加的车道线则应具有与其类别相应的颜色；擦除车道线，就可以将车道线区域变为路面非车道线区域，例如，原来白色车道线所在区域变成了灰色路边。
[0096]
在一种示例中，获得编辑后车道线属性参数，包括：
[0097]
根据所述车道线二值mask和所述编辑后车道线类别，对所述待编辑道路图像进行边缘检测，获得所述编辑后车道线边缘信息；
[0098]
生成一张与所述原始待编辑道路图像尺寸一致的随机噪声二值图，将所述随机噪声二值图与所述车道线二值mask相乘，获得所述编辑后车道线噪声图；
[0099]
将所述车道线二值mask取反后与所述原始道路图像相乘，获得所述编辑后车道线掩码图。也即，将取反后获得的车道线二值i-mask与所述原始道路图像相乘，获得所述编辑后车道线掩码图。
[0100]
在一种示例中，获得编辑后车道线颜色图的方法，包括：首先，初始化车道线颜色图，即：将车道线颜色图上白色车道线区域rgb赋值为(255，255，255)，黄色车道线区域rgb赋值为(255，186，76)，非车道线区域rgb赋值为(0，0，0)。然后，根据车道线边缘信息、车道线二值mask和车道线类别，对车道线二值mask进行腐蚀，并对原始道路图像进行滤波，滤波后的图像与腐蚀过的车道线二值mask相乘，再经过彩色rgb自适应阈值分割，从而计算每条车道线上的车道线的平均颜色，即可更新车道线颜色图，从而可以生成编辑后车道线颜色图。其中，可以采用双边滤波法对原始道路图像进行滤波。
[0101]
在步骤s203中，通过将编辑后车道线语义图、编辑后车道线属性参数输入至预先训练的车道线编辑模型中，车道线编辑模型的输出图像即为编辑后道路图像。编辑后道路图像所显示的内容包括非编辑区域内容和与预编辑操作对应的编辑区域内容。
[0102]
如此，可以利用本技术提供的车道线编辑模型，并通过本技术提供的上述车道线编辑方法，一方面，可以实现车道线颜色转换、车道线类别转换、添加车道线、擦除车道线等功能；另一方面，可以修复道路图像，即：如果车道线被车辆或者其他物体遮挡，能够修复遮挡区域的车道线；或车道线虚线mask被连续标注时，能够生成新的车道线虚线。
[0103]
具体的，可修改待编辑道路图像上一条或多条车道线的类别，根据修改后的车道线类别，给定初始化颜色图，训练好的车道线编辑模型会根据修改后的车道线类别、非车道
线区域的背景风格等生成相应的道路图像。例如，将原来是白色的车道线转换成了黄色车道线，变换后的车道线会根据图像的整体风格生成相应亮度色调和饱和度的车道线，且仍然能生成车道线纹理特征，如树的阴影，车道线上的车胎痕迹等等。
[0104]
第三方面，本技术还提供一种构建车道线编辑模型的装置，该装置包括采集单元、数据处理单元、构建单元和训练单元，采集单元用于采集原始道路图像；数据处理单元用于对所述原始道路图像进行图像分割，获得车道线语义图，所述车道线语义图包括车道线二值mask和车道线类别；以及用于根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，所述预设车道线属性参数包括车道线边缘信息、车道线噪声图、车道线掩码图和车道线颜色图；构建单元用于构建包含生成模型与判别模型的生成对抗网络；训练单元用于根据所述车道线语义图和所述预设车道线属性参数训练所述生成对抗网络，将训练得到的所述生成对抗网络中的生成模型作为车道线编辑模型。
[0105]
本技术提供的构建车道线编辑模型的装置可以用于执行上述车道线编辑模型训练方法的步骤。其中，采集单元可以包括车载相机或路边摄像头，用于采集路面图像来作为原始道路图像。关于数据处理单元的功能实现可以参考上述步骤s102和步骤s103的介绍。关于构建单元的功能实现可以参考上文中关于生成模型、判别模型网络结构的介绍。关于训练单元的功能实现可以参考上述步骤s1041、s1042和s1043。
[0106]
第四方面，本技术还提供一种车道线编辑装置，该编辑装置包括图像获取模块、图像处理模块和图像编辑模块，图像获取模块用于获取待编辑道路图像；图像处理模块用于对待编辑道路图像进行区域分割，获得车道线二值mask；以及用于基于所述车道线二值mask，对待编辑区域进行预编辑操作，以获得编辑后车道线语义图和编辑后车道线属性参数，所述编辑后车道线属性参数包括编辑后车道线边缘信息、编辑后车道线噪声图、编辑后车道线掩码图和编辑后车道线颜色图；图像编辑模块包括预先训练的车道线编辑模型，图像编辑模块用于将所述车道线语义图和所述编辑后车道线属性参数作为输入，输出编辑后道路图像。
[0107]
本技术提供的车道线编辑装置可以用于执行上述车道线编辑方法的步骤。其中，图像处理模块的功能实现可以参考上述步骤s201和s202的介绍，图像编辑模块的功能实现可以参考上述步骤s203的介绍。
[0108]
第五方面，本技术还提供一种电子设备，该电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的车道线编辑模型训练方法的步骤及车道线编辑方法的步骤。
[0109]
第六方面，本技术还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述车道线编辑模型训练方法的步骤及车道线编辑方法的步骤。
[0110]
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，
ram、rom、闪存等)，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
[0111]
至此，已经对本发明的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
[0112]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种车道线编辑模型训练方法，其特征在于，包括：采集原始道路图像；对所述原始道路图像进行图像分割，获得车道线语义图，所述车道线语义图包括车道线二值mask和车道线类别；根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，所述预设车道线属性参数包括车道线边缘信息、车道线噪声图、车道线掩码图、车道线语义图和车道线颜色图；构建包含生成模型与判别模型的生成对抗网络，根据所述车道线语义图和所述预设车道线属性参数训练所述生成对抗网络，将训练得到的所述生成对抗网络中的生成模型作为车道线编辑模型。2.如权利要求1所述的模型训练方法，其特征在于，所述对所述原始道路图像进行图像分割，包括：将所述原始道路图像输入至预先训练的车道线分割模型中，以获得所述车道线语义图。3.如权利要求1所述的模型训练方法，其特征在于，所述根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，包括：根据所述车道线二值mask和所述车道线类别，对所述原始道路图像进行边缘检测，获得所述车道线边缘信息；生成一张与所述原始道路图像尺寸一致的随机噪声二值图，将所述随机噪声二值图与所述车道线二值mask相乘，获得所述车道线噪声图；将所述车道线二值mask取反后，与所述原始道路图像相乘，获得所述车道线掩码图。4.如权利要求3所述的模型训练方法，其特征在于，所述根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，还包括：根据所述车道线二值mask、所述车道线类别和所述车道线边缘信息，获得所述车道线颜色图。5.如权利要求1所述的模型训练方法，其特征在于，所述根据所述车道线语义图和所述预设车道线属性参数训练所述生成对抗网络，包括：将所述车道线语义图和所述预设车道线属性参数作为所述生成模型的输入，所述生成模型输出生成图像；将所述原始道路图像和所述生成图像作为所述判别模型的输入；同步训练所述生成模型和所述判别模型，直至所述生成对抗网络收敛。6.一种车道线编辑方法，其特征在于，包括：对待编辑道路图像进行区域分割，获得车道线二值mask；基于所述车道线二值mask，对待编辑区域进行预编辑操作，以获得编辑后车道线语义图和编辑后车道线属性参数，所述编辑后车道线属性参数包括编辑后车道线边缘信息、编辑后车道线噪声图、编辑后车道线掩码图和编辑后车道线颜色图；将所述编辑后车道线语义图和所述编辑后车道线属性参数输入到预先训练的车道线编辑模型中，得到编辑后道路图像。7.一种构建车道线编辑模型的装置，其特征在于，包括：采集单元，用于采集原始道路图像；数据处理单元，用于对所述原始道路图像进行图像分割，获得车道线语义图，所述车道
线语义图包括车道线二值mask和车道线类别；以及用于根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，所述预设车道线属性参数包括车道线边缘信息、车道线噪声图、车道线掩码图和车道线颜色图；构建单元，用于构建包含生成模型与判别模型的生成对抗网络；训练单元，用于根据所述车道线语义图和所述预设车道线属性参数训练所述生成对抗网络，将训练得到的所述生成对抗网络中的生成模型作为车道线编辑模型。8.一种车道线编辑装置，其特征在于，包括：图像获取模块：用于获取待编辑道路图像；图像处理模块：用于对待编辑道路图像进行区域分割，获得车道线二值mask；以及用于基于所述车道线二值mask，对待编辑区域进行预编辑操作，以获得编辑后车道线语义图和编辑后车道线属性参数，所述编辑后车道线属性参数包括编辑后车道线边缘信息、编辑后车道线噪声图、编辑后车道线掩码图和编辑后车道线颜色图；图像编辑模块：包括预先训练的车道线编辑模型，所述图像编辑模块用于将所述编辑后车道线语义图和所述编辑后车道线属性参数作为输入，输出编辑后道路图像。9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的车道线编辑模型训练方法的步骤及权利要求6所述车道线编辑方法的步骤。10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的车道线编辑模型训练方法的步骤及权利要求6所述车道线编辑方法的步骤。

技术总结
本发明提供了一种车道线编辑方法、模型训练方法及相关设备，车道线编辑模型训练方法包括：采集原始道路图像；对所述原始道路图像进行图像分割，获得车道线语义图，所述车道线语义图包括车道线二值mask和车道线类别；根据所述车道线二值mask和车道线类别，获得预设车道线属性参数，所述预设车道线属性参数包括车道线边缘信息、车道线噪声图、车道线掩码图、车道线语义图和车道线颜色图；构建包含生成模型与判别模型的生成对抗网络，根据所述车道线语义图和所述预设车道线属性参数训练所述生成对抗网络，将训练得到的所述生成对抗网络中的生成模型作为车道线编辑模型。该车道线编辑模型可以实现对道路图像上车道线的编辑和修复。可以实现对道路图像上车道线的编辑和修复。可以实现对道路图像上车道线的编辑和修复。


技术研发人员：石文秀 梅近仁 张松
受保护的技术使用者：零束科技有限公司
技术研发日：2023.07.26
技术公布日：2023/9/20