基于单目相机的高精地图生成方法及装置与流程

1.本公开涉及智能驾驶技术领域，特别涉及一种基于单目相机的高精地图生成方法及装置。


背景技术：

2.随着汽车智能化的不断发展，智能化能力逐渐成为车企竞争力的重要影响因素之一，l2自动驾驶(半自动驾驶，包含全速自适应巡航、自动泊车、主动车道保持、自动变道、限速识别等功能)方案在乘用车市场中的渗透率不断上升。然而，新兴的车圈价格战却给智能驾驶的普及带来了成本上的难题。在价格战的影响下，车企对于成本的要求更加敏感，既想要降低成本，又想要通过增加智能驾驶功能提升产品竞争力，几乎处于进退两难的境地。在此情况下，不少车企开始在智能驾驶功能和成本之间寻找平衡点，性价比也因此成为了关键词。
3.现有技术中，即时定位与地图构建(simultaneous localization and mapping，简称slam)技术可有效实现地图制作与生成、多传感器融合定位、障碍物感知、辅助驾驶等功能，但其存在硬件成本高、消耗算力高、精度低等问题。


技术实现要素：

4.本公开旨在至少解决现有技术中存在的问题之一，提供一种基于单目相机的高精地图生成方法及装置。
5.本公开的一个方面，提供了一种基于单目相机的高精地图生成方法，所述方法包括：
6.根据目标区域对应的全球导航卫星系统(global navigation satellite system，gnss)的原始gps测量数据、惯性测量单元(inertial measurement unit，imu)的惯性测量数据以及单目相机的图像测量数据，确定所述单目相机在世界坐标系下的第一位置坐标；
7.将所述单目相机获取的所述目标区域的实际图像数据输入训练好的目标识别模型，分割得到所述目标区域中的语义要素，并确定所述语义要素在图像坐标系下的第二位置坐标；其中，所述语义要素包括动态物体和静态要素；
8.基于预设的修正模型和逆投影变换模型，对所述语义要素的所述第二位置坐标进行修正，得到所述语义要素在车辆坐标系下的第三位置坐标，重建局部语义地图；
9.根据所述第一位置坐标，对所述第三位置坐标进行坐标变换，得到所述语义要素在所述世界坐标系下的实际位置坐标。
10.可选地，所述根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定所述单目相机在世界坐标系下的第一位置坐标，包括：
11.分别对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行预处
理；
12.利用预处理后的所述原始gps测量数据、所述惯性测量数据、所述图像测量数据，对预设的非线性估计器进行初始化；
13.利用初始化后的所述非线性估计器，对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行融合优化，得到所述单目相机在所述世界坐标系下的所述第一位置坐标。
14.可选地，所述分别对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行预处理，包括：
15.对所述惯性测量数据进行预积分处理，得到所述惯性测量数据中的速度信息、位移信息和加速度信息；
16.对所述图像测量数据进行特征提取，获取所述图像测量数据中稀疏的特征点；
17.对所述原始gps测量数据进行数据过滤处理。
18.可选地，所述利用初始化后的所述非线性估计器，对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行融合优化，包括：
19.采用边缘化与滑动窗口优化策略对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行融合优化。
20.可选地，所述基于预设的修正模型和逆投影变换模型，对所述语义要素的所述第二位置坐标进行修正，得到所述语义要素在车辆坐标系下的第三位置坐标，包括：
21.利用下式(1)和下式(2)，得到所述语义要素在所述车辆坐标系下的第三位置坐标：
[0022][0023][0024]
其中，x表示所述语义要素在所述车辆坐标系下的横坐标，y表示所述语义要素在所述车辆坐标系下的纵坐标，u表示所述语义要素在所述图像坐标系下的横坐标，v表示所述语义要素在所述图像坐标系下的纵坐标，m表示图像的宽度方向分辨率，n表示图像的高度方向分辨率，h表示所述单目相机的安装高度，θ0表示所述单目相机的俯仰角，θ
p
表示对所述惯性测量数据进行预积分处理得到的所述单目相机的偏移俯仰角，αr表示所述单目相机在垂直方向上的视场角的一半，αc表示所述单目相机在水平方向上的视场角的一半。
[0025]
可选地，对所述目标识别模型进行训练所采用的损失函数包括分类损失函数、目标置信度损失函数、定位损失函数，其中，
[0026]
所述分类损失函数和所述目标置信度损失函数采用二值交叉熵损失函数；
[0027]
所述定位损失函数采用广义交并比损失函数；
[0028]
所述目标识别模型包括编码-解码网络结构的深度学习感知模型。
[0029]
可选地，在根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量
单元的惯性测量数据以及单目相机的图像测量数据，确定所述单目相机在世界坐标系下的第一位置坐标之前，所述方法还包括：
[0030]
对所述单目相机进行内参标定，并对所述单目相机与所述惯性测量单元之间的外参进行标定。
[0031]
本公开的另一个方面，提供了一种基于单目相机的高精地图生成装置，所述装置包括：
[0032]
确定模块，用于根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定所述单目相机在世界坐标系下的第一位置坐标；
[0033]
分割模块，用于将所述单目相机获取的所述目标区域的实际图像数据输入训练好的目标识别模型，分割得到所述目标区域中的语义要素，并确定所述语义要素在图像坐标系下的第二位置坐标；其中，所述语义要素包括动态物体和静态要素；
[0034]
构建模块，用于基于预设的修正模型和逆投影变换模型，对所述语义要素的所述第二位置坐标进行修正，得到所述语义要素在车辆坐标系下的第三位置坐标，重建局部语义地图；
[0035]
坐标变换模块，用于根据所述第一位置坐标，对所述第三位置坐标进行坐标变换，得到所述语义要素在所述世界坐标系下的实际位置坐标。
[0036]
可选地，所述确定模块，用于根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定所述单目相机在世界坐标系下的第一位置坐标，包括：
[0037]
所述确定模块，用于：
[0038]
分别对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行预处理；
[0039]
利用预处理后的所述原始gps测量数据、所述惯性测量数据、所述图像测量数据，对预设的非线性估计器进行初始化；
[0040]
利用初始化后的所述非线性估计器，对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行融合优化，得到所述单目相机在所述世界坐标系下的所述第一位置坐标。
[0041]
可选地，所述确定模块，用于分别对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行预处理，包括：
[0042]
所述确定模块，具体用于：
[0043]
对所述惯性测量数据进行预积分处理，得到所述惯性测量数据中的速度信息、位移信息和加速度信息；
[0044]
对所述图像测量数据进行特征提取，获取所述图像测量数据中稀疏的特征点；
[0045]
对所述原始gps测量数据进行数据过滤处理。
[0046]
可选地，所述确定模块，用于利用初始化后的所述非线性估计器，对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行融合优化，包括：
[0047]
所述确定模块，具体用于：
[0048]
采用边缘化与滑动窗口优化策略对所述原始gps测量数据、所述惯性测量数据、所
述图像测量数据进行融合优化。
[0049]
可选地，所述构建模块，用于基于预设的修正模型和逆投影变换模型，对所述语义要素的所述第二位置坐标进行修正，得到所述语义要素在车辆坐标系下的第三位置坐标，包括：
[0050]
所述构建模块，用于利用下式(1)和下式(2)，得到所述语义要素在所述车辆坐标系下的第三位置坐标：
[0051][0052][0053]
其中，x表示所述语义要素在所述车辆坐标系下的横坐标，y表示所述语义要素在所述车辆坐标系下的纵坐标，u表示所述语义要素在所述图像坐标系下的横坐标，v表示所述语义要素在所述图像坐标系下的纵坐标，m表示图像的宽度方向分辨率，n表示图像的高度方向分辨率，h表示所述单目相机的安装高度，θ0表示所述单目相机的俯仰角，θ
p
表示对所述惯性测量数据进行预积分处理得到的所述单目相机的偏移俯仰角，αr表示所述单目相机在垂直方向上的视场角的一半，αc表示所述单目相机在水平方向上的视场角的一半。
[0054]
可选地，对所述目标识别模型进行训练所采用的损失函数包括分类损失函数、目标置信度损失函数、定位损失函数，其中，
[0055]
所述分类损失函数和所述目标置信度损失函数采用二值交叉熵损失函数；
[0056]
所述定位损失函数采用广义交并比损失函数；
[0057]
所述目标识别模型包括编码-解码网络结构的深度学习感知模型。
[0058]
可选地，所述装置还包括：
[0059]
标定模块，用于对所述单目相机进行内参标定，并对所述单目相机与所述惯性测量单元之间的外参进行标定。
[0060]
本公开的另一个方面，提供了一种电子设备，包括：
[0061]
至少一个处理器；以及，
[0062]
与至少一个处理器通信连接的存储器；其中，
[0063]
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前文记载的基于单目相机的高精地图生成方法。
[0064]
本公开的另一个方面，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现前文记载的基于单目相机的高精地图生成方法。
[0065]
本公开相对于现有技术而言，利用单目相机低成本实现了地图生成和动态障碍物感知检测分割，解决了当前多传感器融合方案的成本高昂问题；通过目标识别模型以及利用修正模型和逆投影变换模型进行坐标修正，满足低算力低成本需求的同时，有效提高了精度、定位准确性和性价比，有利于辅助驾驶以及自动驾驶行业的发展。
附图说明
[0066]
一个或多个实施方式通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施方式的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0067]
图1为本公开一实施方式提供的一种基于单目相机的高精地图生成方法的流程图；
[0068]
图2为本公开另一实施方式提供的步骤s110的流程图；
[0069]
图3为本公开另一实施方式提供的步骤s110的流程图；
[0070]
图4为本公开另一实施方式提供的目标识别模型进行动态检测分类与分割的效果图；
[0071]
图5为本公开另一实施方式提供的单帧情形下的逆投影变换示意图；
[0072]
图6为本公开另一实施方式提供的引入帧间俯仰角的逆投影变换示意图；
[0073]
图7为本公开另一实施方式提供的一种基于单目相机的高精地图生成装置的结构示意图；
[0074]
图8为本公开另一实施方式提供的电子设备的结构示意图。
具体实施方式
[0075]
为使本公开实施方式的目的、技术方案和优点更加清楚，下面将结合附图对本公开的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本公开各实施方式中，为了使读者更好地理解本公开而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本公开所要求保护的技术方案。以下各个实施方式的划分是为了描述方便，不应对本公开的具体实现方式构成任何限定，各个实施方式在不矛盾的前提下可以相互结合相互引用。
[0076]
本公开的一个实施方式涉及一种基于单目相机的高精地图生成方法，其流程如图1所示，包括：
[0077]
步骤s110，根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定单目相机在世界坐标系下的第一位置坐标。
[0078]
具体的，准确的定位对于地图生成以及辅助驾驶具有至关重要的作用，而考虑到辅助驾驶的需求，实现车道级定位已经足够使用，因此，这里的目标区域可以是某一车道区域，例如，目标区域可以是路侧设备或车辆感知范围内的所有车道区域，也可以是路侧设备或车辆感知范围内的部分车道区域。
[0079]
示例性的，如图2所示，步骤s110包括：
[0080]
步骤s111，分别对原始gps测量数据、惯性测量数据、图像测量数据进行预处理。
[0081]
具体的，一并结合图3，步骤s111可以以各类数据作为输入，通过以下步骤实现对各类数据的预处理：
[0082]
对惯性测量数据即imu数据进行预积分处理，得到惯性测量数据中的速度信息、位移信息和加速度信息。
[0083]
对图像测量数据即相机数据通过特征检测与跟踪进行特征提取，获取图像测量数
据对应的图像中一系列稀疏的特征点。
[0084]
对原始gps测量数据即原始gps数据进行数据过滤处理，过滤掉容易出错的低俯仰角和不良的卫星信号。同时，为了抑制不稳定的卫星信号，可以仅选择连续锁定一定时间的卫星所采集的目标区域的gps测量数据，作为目标区域对应的原始gps测量数据。
[0085]
通过对各类数据进行预处理，可以去除干扰信息，有效提高最终结果的精度。
[0086]
步骤s112，利用预处理后的原始gps测量数据、惯性测量数据、图像测量数据，对预设的非线性估计器进行初始化。
[0087]
具体的，初始化过程可以从一个纯视觉的运动恢复结构(structure from motion，sfm)开始，将预处理后的图像测量数据输入该sfm，由该sfm联合预处理后的原始gps测量数据估计一个最接近的运动和结构作为sfm结果，然后将预处理后的惯性测量数据对应的imu的运动轨迹与该sfm结果对齐，以恢复imu的尺度、速度、重力和imu偏差，以在此基础上正确初始化预设的非线性估计器的系统状态。
[0088]
步骤s113，利用初始化后的非线性估计器，对原始gps测量数据、惯性测量数据、图像测量数据进行融合优化，得到单目相机在世界坐标系下的第一位置坐标。
[0089]
具体的，这里的第一位置坐标可以包括单目相机在世界坐标系下的全局六自由度位姿数据，具体包括三自由度位置(x坐标、y坐标、z坐标)和三自由度姿态(俯仰角、偏航角和滚转角)。
[0090]
考虑到成本因素，融合定位方面采用低成本gps、imu、单目相机多传感器融合定位解决方案，该方案基于非线性优化，将gnss的原始gps测量与单目相机的视觉数据和imu的惯性信息紧密结合起来，可实时和无漂移的状态估计。
[0091]
示例性的，一并结合图3，步骤s113中，利用初始化后的非线性估计器，对原始gps测量数据、惯性测量数据、图像测量数据进行融合优化，包括：采用边缘化与滑动窗口优化策略对原始gps测量数据、惯性测量数据、图像测量数据进行融合优化，在此基础上进行状态估计，从而得到单目相机在世界坐标系下的第一位置坐标。
[0092]
具体的，由于较高的实时性要求会带来算力的成倍增长，因此，为了减少计算量，本实施方式采用了边缘化与滑动窗口优化策略。
[0093]
在即时定位与地图构建(simultaneous localization and mapping，slam)问题中，状态估计问题被建模为最大后验概率问题，在假设为高斯分布的情况下即为最小化损失函数的一个最小二乘问题，并通过泰勒展开转化为增量迭代求解问题，随着slam系统的运行，状态变量规模不断增大，采用滑动窗口策略，只对窗口内的相关变量进行优化便可以大大减小计算量。
[0094]
边缘化策略为：对于滑窗外的状态，不对其进行优化，但也不能直接将其丢掉，这样会破坏原有的约束关系，损失约束信息。为此，对于滑窗外的状态，采用边缘化的技巧，将约束信息转化为待优化变量的先验分布，实际上是一个从联合分布中获得变量子集概率分布的问题。边缘化的具体方法可以采用舒尔补，即采用舒尔补进行消元从而降低矩阵计算复杂度。
[0095]
步骤s120，将单目相机获取的目标区域的实际图像数据输入训练好的目标识别模型，分割得到目标区域中的语义要素，并确定语义要素在图像坐标系下的第二位置坐标。其中，语义要素包括动态物体和静态要素。动态物体指的是人、车、物等可移动目标。静态要素
主要包括车道标线、道路边界、人行道线、停止线等不可移动要素。
[0096]
具体的，目标识别模型可以是包括编码-解码网络结构的深度学习感知模型，该模型可基于注意力机制进行感知与检测，实时检测图像中的动态物体并分割静态要素。对于给定的输入图像，目标识别模型可以首先使用图像编码器提取输入图像的图像特征，然后使用解码器基于视觉、文本和记忆提示交互的查询输出，来预测掩模和语义概念，从而实现语义要素中动态物体的识别定位以及静态要素的分割。
[0097]
示例性的，对目标识别模型进行训练所采用的损失函数可以包括分类损失(classes loss)函数、目标置信度损失(objectness loss)函数、定位损失(location loss)函数。其中，分类损失函数只计算正负样本的分类损失，采用的是二值交叉熵损失(binary cross entropy loss，bce loss)函数。目标置信度损失函数计算的是所有样本，采用的也是bce损失函数。置信度指的是目标识别模型预测的目标框(bounding box)与真实框(ground truth box，gtbox)的完整交并比(complete intersection over union，ciou)。定位损失函数有助于确保目标识别模型能够准确地定位对象，只计算正负样本的定位损失，采用广义交并比(generalized intersection over union，giou)损失函数。
[0098]
在目标识别模型的训练阶段，分类损失函数、目标置信度损失函数、定位损失函数会被组合使用，从而优化目标识别模型的性能。通过利用这些损失函数对目标识别模型进行训练，可以使训练得到的目标识别模型能够非常准确地识别输入图像中的目标，并定位到目标在图像坐标系下的具体位置。举例而言，利用该目标识别模型进行动态检测分类与分割的效果如图4所示，其中，“person0.86”代表目标识别模型检测到的目标框中的对象表示人的概率为0.86，即目标识别模型检测出目标框中的对象表示人的置信度为0.86。同理，“car 0.58”代表目标识别模型检测出目标框中的对象表示汽车的置信度为0.58。
[0099]
步骤s130，基于预设的修正模型和逆投影变换(inverse perspective mapping，ipm)模型，对语义要素的第二位置坐标进行修正，得到语义要素在车辆坐标系下的第三位置坐标，重建局部语义地图。
[0100]
具体的，单目相机在运动过程中，车辆抖动等因素的影响会导致单目相机的标定结果发生变化，从而对最终重建的语义结果精度产生一定影响，因此，步骤s130利用预设的修正模型和逆投影变换模型对语义要素的第二位置坐标进行修正，以有效提高语义地图重建精度。
[0101]
逆投影变换模型在单帧情形下的逆投影变换过程如图5所示，“image plane”表示图像平面，在此基础上，可推导出以下模型公式：
[0102]
[0103][0104]
其中，x表示语义要素在车辆坐标系下的横坐标，y表示语义要素在车辆坐标系下的纵坐标，u表示语义要素在图像坐标系下的横坐标，v表示语义要素在图像坐标系下的纵坐标，m表示图像的宽度方向分辨率，n表示图像的高度方向分辨率，h表示单目相机的安装高度，θ0表示单目相机的俯仰角，αr表示单目相机在垂直方向上的视场角的一半，αc表示单目相机在水平方向上的视场角的一半。
[0105]
将帧间俯仰角引入图5所示的逆投影变换过程，可得到图6所示的逆投影变换过程，其中，“image plane(i)”表示第i帧图像平面，“image plane(i+1)”表示第i+1帧图像平面，θ
p
表示对惯性测量数据进行预积分处理得到的单目相机的偏移俯仰角。将帧间俯仰角对应的θ
p
作为预设的修正模型加入图5对应的逆投影变换模型公式中，可得下式(1)和下式(2)：
[0106][0107][0108]
其中，x表示语义要素在车辆坐标系下的横坐标，y表示语义要素在车辆坐标系下的纵坐标，u表示语义要素在图像坐标系下的横坐标，v表示语义要素在图像坐标系下的纵坐标，m表示图像的宽度方向分辨率，n表示图像的高度方向分辨率，h表示单目相机的安装高度，θ0表示单目相机的俯仰角，θ
p
表示对惯性测量数据进行预积分处理得到的单目相机的偏移俯仰角，αr表示单目相机在垂直方向上的视场角的一半，αc表示单目相机在水平方向上的视场角的一半。
[0109]
因此，步骤s130中，基于预设的修正模型和逆投影变换模型，对语义要素的第二位置坐标进行修正，得到语义要素在车辆坐标系下的第三位置坐标，包括：利用上式(1)和上式(2)，得到语义要素在车辆坐标系下的第三位置坐标。其中，这里的第三位置坐标包括上式(1)中的x和上式(2)中的y。
[0110]
通过在逆投影变换模型中引入帧间俯仰角作为修正模型，利用上式(1)和上式(2)计算语义要素在车辆坐标系下的坐标，可以获得更高精度。
[0111]
在重建局部语义地图时，步骤s130可以利用包括动态物体和静态要素的语义要素及语义要素在车辆坐标系下的第三位置坐标完成局部语义地图的构建。需要说明的是，本实施方式并不对局部语义地图的具体重建方法进行限制，只要利用语义要素及语义要素在车辆坐标系下的第三位置坐标完成局部语义地图的重建即可。
[0112]
步骤s140，根据第一位置坐标，对第三位置坐标进行坐标变换，得到语义要素在世
界坐标系下的实际位置坐标。
[0113]
具体的，步骤s140可以根据单目相机在世界坐标系下的第一位置坐标，对语义要素在车辆坐标系下的第三位置坐标进行坐标变换，结合第一位置坐标以及第三位置坐标，进行语义要素恢复，从而得到语义要素在世界坐标系下的实际位置坐标即全局绝对坐标。
[0114]
示例性的，在得到语义要素的全局绝对坐标之后，还可以利用该全局绝对坐标对局部语义地图进行更新，或者，也可以将语义要素中静态要素的相关信息上传至云端服务器以方便使用。
[0115]
本公开实施方式相对于现有技术而言，利用单目相机低成本实现了地图生成和动态障碍物感知检测分割，解决了当前多传感器融合方案的成本高昂问题；通过目标识别模型以及利用修正模型和逆投影变换模型进行坐标修正，满足低算力低成本需求的同时，有效提高了精度、定位准确性和性价比，有利于辅助驾驶以及自动驾驶行业的发展。
[0116]
示例性的，在步骤s110之前，基于单目相机的高精地图生成方法还包括：对单目相机进行内参标定，并对单目相机与惯性测量单元之间的外参进行标定。
[0117]
具体的，单目相机的内参参数包括但不限于相机光心、焦距等。单目相机与惯性测量单元之间的外参参数包括但不限于单目相机与惯性测量单元之间的相对位姿、时间差等。在对单目相机进行内参标定以及对单目相机与惯性测量单元之间的外参进行标定时，可以采用kalibr标定工具箱来完成标定，保证重投影误差在0.5个像素以内，以满足单目相机和惯性测量单元的精度需求。
[0118]
通过对单目相机进行内参标定，并对单目相机与惯性测量单元之间的外参进行标定，可进一步提高精度和准确性。
[0119]
本公开的另一个实施方式涉及一种基于单目相机的高精地图生成装置，如图7所示，包括：
[0120]
确定模块701，用于根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定单目相机在世界坐标系下的第一位置坐标；
[0121]
分割模块702，用于将单目相机获取的目标区域的实际图像数据输入训练好的目标识别模型，分割得到目标区域中的语义要素，并确定语义要素在图像坐标系下的第二位置坐标；其中，语义要素包括动态物体和静态要素；
[0122]
构建模块703，用于基于预设的修正模型和逆投影变换模型，对语义要素的第二位置坐标进行修正，得到语义要素在车辆坐标系下的第三位置坐标，重建局部语义地图；
[0123]
坐标变换模块704，用于根据第一位置坐标，对第三位置坐标进行坐标变换，得到语义要素在世界坐标系下的实际位置坐标。
[0124]
示例性的，确定模块701用于根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定单目相机在世界坐标系下的第一位置坐标，包括：
[0125]
确定模块701用于：分别对原始gps测量数据、惯性测量数据、图像测量数据进行预处理；利用预处理后的原始gps测量数据、惯性测量数据、图像测量数据，对预设的非线性估计器进行初始化；利用初始化后的非线性估计器，对原始gps测量数据、惯性测量数据、图像测量数据进行融合优化，得到单目相机在世界坐标系下的第一位置坐标。
[0126]
示例性的，确定模块701用于分别对原始gps测量数据、惯性测量数据、图像测量数据进行预处理，包括：
[0127]
确定模块701具体用于：对惯性测量数据进行预积分处理，得到惯性测量数据中的速度信息、位移信息和加速度信息；对图像测量数据进行特征提取，获取图像测量数据中稀疏的特征点；对原始gps测量数据进行数据过滤处理。
[0128]
示例性的，确定模块701用于利用初始化后的非线性估计器，对原始gps测量数据、惯性测量数据、图像测量数据进行融合优化，包括：
[0129]
确定模块701具体用于：采用边缘化与滑动窗口优化策略对原始gps测量数据、惯性测量数据、图像测量数据进行融合优化。
[0130]
示例性的，构建模块703用于基于预设的修正模型和逆投影变换模型，对语义要素的第二位置坐标进行修正，得到语义要素在车辆坐标系下的第三位置坐标，包括：
[0131]
构建模块703用于利用下式(1)和下式(2)，得到语义要素在车辆坐标系下的第三位置坐标：
[0132][0133][0134]
其中，x表示语义要素在车辆坐标系下的横坐标，y表示语义要素在车辆坐标系下的纵坐标，u表示语义要素在图像坐标系下的横坐标，v表示语义要素在图像坐标系下的纵坐标，m表示图像的宽度方向分辨率，n表示图像的高度方向分辨率，h表示单目相机的安装高度，θ0表示单目相机的俯仰角，θ
p
表示对惯性测量数据进行预积分处理得到的单目相机的偏移俯仰角，αr表示单目相机在垂直方向上的视场角的一半，αc表示单目相机在水平方向上的视场角的一半。
[0135]
示例性的，对目标识别模型进行训练所采用的损失函数包括分类损失函数、目标置信度损失函数、定位损失函数，其中，
[0136]
分类损失函数和目标置信度损失函数采用二值交叉熵损失函数；
[0137]
定位损失函数采用广义交并比损失函数；
[0138]
目标识别模型包括编码-解码网络结构的深度学习感知模型。
[0139]
示例性的，如图7所示，基于单目相机的高精地图生成装置还包括：
[0140]
标定模块705，用于对单目相机进行内参标定，并对单目相机与惯性测量单元之间的外参进行标定。
[0141]
本公开实施方式提供的基于单目相机的高精地图生成装置的具体实现方法，可以参见本公开实施方式提供的基于单目相机的高精地图生成方法所述，此处不再赘述。
[0142]
本公开实施方式相对于现有技术而言，利用单目相机低成本实现了地图生成和动态障碍物感知检测分割，解决了当前多传感器融合方案的成本高昂问题；通过目标识别模型以及利用修正模型和逆投影变换模型进行坐标修正，满足低算力低成本需求的同时，有
效提高了精度、定位准确性和性价比，有利于辅助驾驶以及自动驾驶行业的发展。
[0143]
本公开的另一个实施方式涉及一种电子设备，如图8所示，包括：
[0144]
至少一个处理器801；以及，
[0145]
与至少一个处理器801通信连接的存储器802；其中，
[0146]
存储器802存储有可被至少一个处理器801执行的指令，指令被至少一个处理器801执行，以使至少一个处理器801能够执行上述实施方式所述的基于单目相机的高精地图生成方法。
[0147]
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
[0148]
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
[0149]
本公开的另一个实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式所述的基于单目相机的高精地图生成方法。
[0150]
即，本领域技术人员可以理解，实现上述实施方式所述方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本公开各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0151]
本领域的普通技术人员可以理解，上述各实施方式是实现本公开的具体实施方式，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本公开的精神和范围。

技术特征：
1.一种基于单目相机的高精地图生成方法，其特征在于，所述方法包括：根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定所述单目相机在世界坐标系下的第一位置坐标；将所述单目相机获取的所述目标区域的实际图像数据输入训练好的目标识别模型，分割得到所述目标区域中的语义要素，并确定所述语义要素在图像坐标系下的第二位置坐标；其中，所述语义要素包括动态物体和静态要素；基于预设的修正模型和逆投影变换模型，对所述语义要素的所述第二位置坐标进行修正，得到所述语义要素在车辆坐标系下的第三位置坐标，重建局部语义地图；根据所述第一位置坐标，对所述第三位置坐标进行坐标变换，得到所述语义要素在所述世界坐标系下的实际位置坐标。2.根据权利要求1所述的方法，其特征在于，所述根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定所述单目相机在世界坐标系下的第一位置坐标，包括：分别对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行预处理；利用预处理后的所述原始gps测量数据、所述惯性测量数据、所述图像测量数据，对预设的非线性估计器进行初始化；利用初始化后的所述非线性估计器，对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行融合优化，得到所述单目相机在所述世界坐标系下的所述第一位置坐标。3.根据权利要求2所述的方法，其特征在于，所述分别对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行预处理，包括：对所述惯性测量数据进行预积分处理，得到所述惯性测量数据中的速度信息、位移信息和加速度信息；对所述图像测量数据进行特征提取，获取所述图像测量数据中稀疏的特征点；对所述原始gps测量数据进行数据过滤处理。4.根据权利要求3所述的方法，其特征在于，所述利用初始化后的所述非线性估计器，对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行融合优化，包括：采用边缘化与滑动窗口优化策略对所述原始gps测量数据、所述惯性测量数据、所述图像测量数据进行融合优化。5.根据权利要求1至4任一项所述的方法，其特征在于，所述基于预设的修正模型和逆投影变换模型，对所述语义要素的所述第二位置坐标进行修正，得到所述语义要素在车辆坐标系下的第三位置坐标，包括：利用下式(1)和下式(2)，得到所述语义要素在所述车辆坐标系下的第三位置坐标：
其中，x表示所述语义要素在所述车辆坐标系下的横坐标，y表示所述语义要素在所述车辆坐标系下的纵坐标，u表示所述语义要素在所述图像坐标系下的横坐标，v表示所述语义要素在所述图像坐标系下的纵坐标，m表示图像的宽度方向分辨率，n表示图像的高度方向分辨率，h表示所述单目相机的安装高度，θ0表示所述单目相机的俯仰角，θ
p
表示对所述惯性测量数据进行预积分处理得到的所述单目相机的偏移俯仰角，α
r
表示所述单目相机在垂直方向上的视场角的一半，α
c
表示所述单目相机在水平方向上的视场角的一半。6.根据权利要求1至4任一项所述的方法，其特征在于，对所述目标识别模型进行训练所采用的损失函数包括分类损失函数、目标置信度损失函数、定位损失函数，其中，所述分类损失函数和所述目标置信度损失函数采用二值交叉熵损失函数；所述定位损失函数采用广义交并比损失函数；所述目标识别模型包括编码-解码网络结构的深度学习感知模型。7.根据权利要求1至4任一项所述的方法，其特征在于，在根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定所述单目相机在世界坐标系下的第一位置坐标之前，所述方法还包括：对所述单目相机进行内参标定，并对所述单目相机与所述惯性测量单元之间的外参进行标定。8.一种基于单目相机的高精地图生成装置，其特征在于，所述装置包括：确定模块，用于根据目标区域对应的全球导航卫星系统的原始gps测量数据、惯性测量单元的惯性测量数据以及单目相机的图像测量数据，确定所述单目相机在世界坐标系下的第一位置坐标；分割模块，用于将所述单目相机获取的所述目标区域的实际图像数据输入训练好的目标识别模型，分割得到所述目标区域中的语义要素，并确定所述语义要素在图像坐标系下的第二位置坐标；其中，所述语义要素包括动态物体和静态要素；构建模块，用于基于预设的修正模型和逆投影变换模型，对所述语义要素的所述第二位置坐标进行修正，得到所述语义要素在车辆坐标系下的第三位置坐标，重建局部语义地图；坐标变换模块，用于根据所述第一位置坐标，对所述第三位置坐标进行坐标变换，得到所述语义要素在所述世界坐标系下的实际位置坐标。9.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的基于单目相机的高精地图生成方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于单目相机的高精地图生成方法。

技术总结
本公开涉及智能驾驶领域，提供一种基于单目相机的高精地图生成方法及装置，方法包括：根据目标区域对应的GNSS的原始GPS测量数据、IMU的惯性测量数据及单目相机的图像测量数据，确定单目相机在世界坐标系下的第一位置坐标；将单目相机获取的目标区域的实际图像数据输入训练好的目标识别模型，分割得到目标区域中的语义要素，确定语义要素在图像坐标系下的第二位置坐标；基于预设的修正模型和逆投影变换模型修正第二位置坐标，得到语义要素在车辆坐标系下的第三位置坐标，重建局部语义地图；根据第一位置坐标变换第三位置坐标，得到语义要素在世界坐标系下的实际位置坐标。本公开可有效降低成本，提高精度、定位准确性。定位准确性。定位准确性。


技术研发人员：王俊翔 葛文超 冯昶 王屯 李成龙
受保护的技术使用者：国汽智图（北京）科技有限公司
技术研发日：2023.06.28
技术公布日：2023/9/20