轨迹预测方法、装置、存储介质及车辆与流程

1.本发明涉及自动驾驶技术领域，尤其涉及轨迹预测方法、装置、存储介质及车辆。


背景技术：

2.在现有技术中，轨迹预测输入的地图信息主要是结构化的高精地图信息，通过对结构化信息(如点、矢量)进行编码，得到对应的地图特征，再与交通参与者的历史轨迹、交互等其他信息进行融合，完成轨迹预测。
3.然而，结构化地图大都是l4级别的高精度地图(l0级别是人类驾驶，l1到l3级别是辅助驾驶，l3以上是自动驾驶。l3级别以下不需要高精地图，但在l3、l4级别，高精地图是标配)，对于非高精地图区域，是无法利用到非常精确的地图信息的，只能是利用感知系统获取的环境数据生成结构化地图；
4.在对现有技术的研究和实践中，本发明的发明人发现，对于利用感知系统获取的环境数据生成结构化地图的方式，直接通过神经网络输出一个稳定的结构化地图也是非常困难的，且对结构化地图经过如拟合、跟踪等这样“萃取”的后处理过程后引发的一定程度的地图元素缺失等问题，严重影响了轨迹预测稳定性和准确性。
5.因此，有必要提供一种轨迹预测方法，以解决上述问题。


技术实现要素：

6.为了解决上述提出的至少一个技术问题，本发明提供一种轨迹预测方法、装置、存储介质及车辆。
7.第一方面，提供了一种轨迹预测方法，所述方法包括：获取第一对象所在区域的环境信息，并从所述环境信息中提取地图特征；其中，所述地图特征表征所述第一对象所在区域的地图信息；获取所述第一对象所在区域的第二对象的运动轨迹信息，并从所述第二对象的运动轨迹信息中提取所述第二对象的历史轨迹特征；其中，所述历史轨迹特征表征所述第二对象的当前运动状态和历史运动状态；根据所述历史轨迹特征和所述地图特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
8.在该方面中，所述环境信息由所述第一对象的感知系统获取，即通过感知系统检测各种移动和静止的障碍物(比如车辆、行人、建筑物等)，以及收集道路上的各种信息(比如可行驶区域、车道线、交通标志、红绿灯等)。其中，感知系统在获取环境信息过程中用到的主要是各种传感器(比如摄像头，激光雷达，毫米波雷达等)。通过从所述第一对象，即自动驾驶车辆获取的环境信息中提取能够表征所在区域的地图信息的地图特征，从所在区域的所述第二对象，即其他移动物体如车辆、行人、动物等的运动轨迹信息中提取能够表征当前运动状态和历史运动状态的历史轨迹特征，进而对所在区域的其他移动物体的运动轨迹进行轨迹预测得到预测轨迹，不需要使用高精度地图信息进行轨迹预测，避免了如拟合、跟踪等这样“萃取”的后处理过程引发的一定程度的地图元素缺失等问题，提高了轨迹预测稳定性和准确性。
9.在一种可能实现的方式中，所述从所述第二对象的运动轨迹信息中提取所述第二对象的历史轨迹特征，包括：从所述第二对象的运动轨迹信息提取所述第二对象在每个运动轨迹点上的位姿信息和运动信息；根据所述第二对象在每个运动轨迹点上的位姿信息和运动信息，确定所述第二对象的历史轨迹特征。
10.在该种可能实现的方式中，通过对所述第二对象，即其他移动物体的在其运动轨迹的每个运动轨迹点上的位姿信息和运动信息的捕捉，并采用历史轨迹特征提取的方式从中提取移动物体的历史轨迹特征，确保所述第二对象的历史轨迹特征能够符合所述第二对象的真实运动轨迹。
11.在一种可能实现的方式中，所述环境信息包括所述第一对象的所处区域的动态物体信息、静态物体信息和路况信息；所述位姿信息包括位置和位姿，所述运动信息包括速度和加速度。
12.在该种可能实现的方式中，所述环境信息由所述第一对象的感知系统获取，即通过感知系统检测各种移动和静止的障碍物(比如车辆、行人、建筑物等)，以及收集道路上的各种信息(比如可行驶区域、车道线、交通标志、红绿灯等)。所述运动信息包括速度和加速度，其中，速度和加速度均是矢量。所述位姿信息包括位置和位姿。
13.在一种可能实现的方式中，所述从所述环境信息中提取地图特征，包括：在所述环境信息中确定静态物体信息和路况信息；基于所述静态物体信息和所述路况信息，提取地图特征。
14.在该种可能实现的方式中，要提取能够表征自动驾驶车辆附近的全部地图信息的地图特征，所述全部地图信息默认为包括自动驾驶车辆附近的静态物体信息和路况信息，如建筑物、可行驶区域、车道线、交通标志、红绿灯等。其中，自动驾驶车辆附近的全部地图信息，包括了对利用车道线检测模型检测输出的原始feature map结果提取的车道线信息。
15.在一种可能实现的方式中，所述根据所述历史轨迹特征和所述地图特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹，包括：将所述历史轨迹特征和所述地图特征进行融合，得到融合特征；其中，所述融合特征表征所述第二对象的当前运动状态及运动意图；根据所述融合特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
16.特征融合是指来自不同层或分支的特征的组合，是现代网络体系结构中很常见的一种操作。在该种可能实现的方式中，通过将所述历史轨迹特征和所述地图特征进行融合，能够提高预测性能。例如在目标检测、图像分割中，融合不同尺度的特征是提高性能的一个重要手段。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。如果将两者融合，取其长处，弃之糟泊，能够有效提升检测和分割的性能。
17.在一种可能实现的方式中，所述将所述历史轨迹特征和所述地图特征进行融合，得到融合特征，包括：将所述历史轨迹特征和所述地图特征进行特征拼接，并通过多层感知机对拼接后的特征进行融合，得到融合特征；或者，采用注意力机制，通过计算所述历史轨迹特征和所述地图特征的关联权重，并根据所述关联权重进行融合，得到融合特征。
18.多层感知机(multilayer perceptron，缩写mlp)是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。mlp可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的
神经元(或称处理单元)。一种被称为反向传播算法的监督学习方法常被用来训练mlp。多层感知机遵循人类神经系统原理，学习并进行数据预测。它首先学习，然后使用权重存储数据，并使用算法来调整权重并减少训练过程中的偏差，即实际值和预测值之间的误差。多层感知机的优点：可以学习非线性模型，并且可以实时学习，能够高效准确地融合拼接后的所述历史轨迹特征和所述地图特征。
19.对于attention(注意力)机制：attention机制的学习权重分布，是输入数据或特征图上的不同部分对应的专注度不同，而attention机制的任务聚焦，是通过将任务分解，设计不同的网络结构(或分支)专注于不同的子任务，重新分配网络的学习能力，从而降低原始任务的难度，使网络更加容易训练。attention机制的优点是：参数少，相比于cnn(convolutional neural networks,卷积神经网络)、rnn(recurrent neural networks，循环神经网络)，其复杂度更小，参数也更少，所以对算力的要求也就更小；速度快，attention解决了rnn及其变体模型不能并行计算的问题，attention机制每一步计算不依赖于上一步的计算结果，因此可以和cnn一样并行处理；效果好，在attention机制引入之前，长距离的信息会被弱化。
20.因此，采用注意力机制，通过引入不同函数和计算机制，计算所述历史轨迹特征和所述地图特征的关联权重，并根据所述关联权重，对所述历史轨迹特征和所述地图特征进行高效准确地融合。
21.在一种可能实现的方式中，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹，包括：采用预先训练好的轨迹预测模型对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
22.所述轨迹预测模型的训练过程包括：
23.获取第一对象所在区域的环境信息，并从所述环境信息中提取地图特征；获取所述第一对象所在区域的多个第二对象的运动轨迹信息，按时间顺序根据所述运动轨迹信息构建第一历史运动轨迹和第二历史运动轨迹，从所述第一历史运动轨迹中提取历史轨迹特征，所述第二历史运动轨迹作为轨迹预测真值；将所述历史轨迹特征和所述地图特征，或所述历史轨迹特征和所述地图特征的融合特征，输入轨迹预测模型对每个第二对象的运动轨迹进行轨迹预测，得到轨迹预测值；将所述轨迹预测值与所述轨迹预测真值作差，得到损失值，并通过反向传播方法进行轨迹预测模型训练；直至轨迹预测模型输出的轨迹预测值与轨迹预测真值作差的损失值达到预设标准值，将该轨迹预测模型作为训练好的轨迹预测模型。
24.在该种可能实现的方式中，对轨迹预测模型的训练过程中，不使用高精度地图信息进行轨迹预测，而是从第一对象所在区域的环境信息(包括对车道线检测的原始输出信息)和所在区域的第二对象的运动轨迹信息中进行特征提取，将提取的特征作为轨迹预测模型的输入，以对轨迹预测模型进行训练，不仅减少了数据处理量，提高了训练效率，还避免了如拟合、跟踪等这样“萃取”的后处理过程引发的一定程度的地图元素缺失等问题，使轨迹预测模型中的地图特征更加全面，从而提升预测性能，确保了轨迹预测的稳定性和准确性。
25.第二方面，提供了一种轨迹预测装置，所述装置包括：第一信息获取单元，用于获取第一对象所在区域的环境信息；第一特征提取单元，用于从所述环境信息中提取地图特
征；其中，所述地图特征表征所述第一对象所在区域的地图信息；第二信息获取单元，用于获取所述第一对象所在区域的第二对象的运动轨迹信息；第二特征提取单元，用于从所述第二对象的运动轨迹信息中提取所述第二对象的历史轨迹特征；其中，所述历史轨迹特征表征所述第二对象的当前运动状态和历史运动状态；轨迹预测单元，用于根据所述历史轨迹特征和所述地图特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
26.在一种可能实现的方式中，第二特征提取单元，用于从所述第二对象的运动轨迹信息提取所述第二对象在每个运动轨迹点上的位姿信息和运动信息；根据所述第二对象在每个运动轨迹点上的位姿信息和运动信息，确定所述第二对象的历史轨迹特征。
27.在一种可能实现的方式中，所述环境信息包括所述第一对象的所处区域的动态物体信息、静态物体信息和路况信息；所述运动信息包括速度和加速度。
28.在一种可能实现的方式中，第一特征提取单元，用于在所述环境信息中确定静态物体信息和路况信息；基于所述静态物体信息和所述路况信息，提取地图特征。
29.在一种可能实现的方式中，轨迹预测单元包括融合子单元和预测子单元。
30.所述融合子单元，用于将所述历史轨迹特征和所述地图特征进行融合，得到融合特征；其中，所述融合特征表征所述第二对象的当前运动状态及运动意图；所述预测子单元，用于根据所述融合特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
31.在一种可能实现的方式中，所述融合子单元，用于将所述历史轨迹特征和所述地图特征进行特征拼接，并通过多层感知机对拼接后的特征进行融合，得到融合特征；或者，采用注意力机制，通过计算所述历史轨迹特征和所述地图特征的关联权重，并根据所述关联权重进行融合，得到融合特征。
32.在一种可能实现的方式中，所述轨迹预测单元，用于采用预先训练好的轨迹预测模型对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
33.其中，所述轨迹预测模型的训练过程包括：获取第一对象所在区域的环境信息，并从所述环境信息中提取地图特征；获取所述第一对象所在区域的多个第二对象的运动轨迹信息，按时间顺序根据所述运动轨迹信息构建第一历史运动轨迹和第二历史运动轨迹，从所述第一历史运动轨迹中提取历史轨迹特征，所述第二历史运动轨迹作为轨迹预测真值；将所述历史轨迹特征和所述地图特征，或所述历史轨迹特征和所述地图特征的融合特征，输入轨迹预测模型对每个第二对象的运动轨迹进行轨迹预测，得到轨迹预测值；将所述轨迹预测值与所述轨迹预测真值作差，得到损失值，并通过反向传播方法进行轨迹预测模型训练；直至轨迹预测模型输出的轨迹预测值与轨迹预测真值作差的损失值达到预设标准值，将该轨迹预测模型作为训练好的轨迹预测模型。
34.第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
35.第四方面，提供了一种车辆，所述车辆包括电子设备，所述电子设备包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
36.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非
限制本公开。
附图说明
37.为了更清楚地说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
38.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
39.图1为本技术实施例提供的一种轨迹预测方法的流程示意图；
40.图2为本技术实施例提供的另一种轨迹预测方法的流程示意图；
41.图3为本技术实施例提供的轨迹预测模型的训练过程的流程示意图；
42.图4为本技术实施例提供的一种轨迹预测装置的结构示意图；
43.图5为本技术实施例提供的另一种轨迹预测装置的结构示意图；
44.图6为本技术实施例提供的一种轨迹预测装置的硬件结构示意图。
具体实施方式
45.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
47.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
48.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
49.另外，为了更好地说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样能够实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
50.在轨迹预测的近几年前沿算法中，输入的地图信息主要是结构化的高精地图信息，通过对结构化信息(如点、矢量)进行编码，得到对应的地图特征，再与交通参与者的历史轨迹、交互等其他信息进行融合，完成轨迹预测。而结构化地图大都是l4级别的高精度地图，对于非高精地图区域，是无法利用到非常精确的地图信息的。因此，对于车道线检测任
务，即使长期来看，直接通过神经网络输出一个稳定的结构化地图也是非常困难的，所以当前车道线检测输出给下游的结构化地图一定是经过后处理的，如拟合、跟踪等等，这样“萃取”的后处理过程就带来了一定程度的信息损失，如feature map中有明显相应的车道线位置，却由于达不到阈值而被过滤掉。
51.基于此，本技术不使用高精度地图信息进行轨迹预测，而是可以直接利用感知系统检测出的环境信息的原始特征图进行地图特征学习，大大减少了后处理过程中的信息损失，可以使轨迹预测的结果更稳定、更精准。
52.请参阅图1，图1为本技术实施例(一)提供的一种轨迹预测方法的流程示意图。
53.s101、获取第一对象所在区域的环境信息，并从所述环境信息中提取地图特征。
54.其中，所述地图特征表征所述第一对象所在区域的地图信息。
55.在该实施例中，所述环境信息由所述第一对象的感知系统获取，即通过感知系统检测各种移动和静止的障碍物(比如车辆、行人、建筑物等)，以及收集道路上的各种信息(比如可行驶区域、车道线、交通标志、红绿灯等)。其中，感知系统在获取环境信息过程中用到的主要是各种传感器(比如摄像头，激光雷达，毫米波雷达等)。所述第一对象所在区域，由车辆定位结果确定，车辆定位则根据感知系统得到的信息来确定车辆在当前环境中的所处位置，此处需要地图，以及惯性导航(imu，inertial measurement unit，惯性测量单元)和全球定位系统(gps，global positioning system)的辅助。
56.在一种可能实现的方式中，所述环境信息包括所述第一对象的所处区域的动态物体信息如车辆、行人、动物等移动物体，静态物体信息如建筑物、树木、围栏等，以及路况信息如可行驶区域、车道线、交通标志、红绿灯等。
57.在一种可能实现的方式中，通过在所述环境信息中确定静态物体信息和路况信息，并基于所述静态物体信息和所述路况信息，提取地图特征。要提取能够表征自动驾驶车辆附近的全部地图信息的地图特征，所述全部地图信息默认为包括自动驾驶车辆附近的静态物体信息和路况信息，如建筑物、树木、围栏、可行驶区域、车道线、交通标志、红绿灯等。其中，自动驾驶车辆附近的全部地图信息，包括了对利用车道线检测模型检测输出的原始feature map结果提取的车道线信息。
58.在该实施例中，不使用高精度地图信息进行轨迹预测，而是直接利用第一对象的感知系统检测出的环境信息的原始特征图进行地图特征学习。
59.s102、获取所述第一对象所在区域的第二对象的运动轨迹信息，并从所述第二对象的运动轨迹信息中提取所述第二对象的历史轨迹特征。
60.其中，所述历史轨迹特征表征所述第二对象的当前运动状态和历史运动状态。
61.在一种可能实现的方式中，取所述第一对象所在区域内的其他移动物体作为第二对象，并获取其运动轨迹信息。从所述第二对象的运动轨迹信息提取所述第二对象在每个运动轨迹点上的位姿信息和运动信息。根据所述第二对象在每个运动轨迹点上的位姿信息和运动信息，确定所述第二对象的历史轨迹特征。其中，所述运动信息包括速度和加速度，其中，速度和加速度均是矢量。
62.其中，所述位姿信息包括位置和位姿。可以理解的是，车辆位姿确定是自动驾驶领域中的关键技术之一，其主要是指利用车载激光雷达、imu(inertial measurement unit，惯性测量单元)等传感器，实现对车辆的高精度实时位姿确定。
63.准确的位姿和导航信息包括车辆的位置、速度与姿态，这些位姿和导航信息对于自动驾驶的实现至关重要，其中，位置包含经度、纬度和高度，速度包括纵向速度、侧向速度和垂向速度，姿态包含侧倾角、俯仰角和航向角。
64.通过对所述第二对象，即其他移动物体的在其运动轨迹的每个运动轨迹点上的位姿信息和运动信息的捕捉，并采用历史轨迹特征提取的方式从中提取移动物体的历史轨迹特征，确保所述第二对象的历史轨迹特征能够符合所述第二对象的真实运动轨迹。
65.s103、根据所述历史轨迹特征和所述地图特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
66.在该实施例中，通过从所述第一对象，即自动驾驶车辆获取的环境信息中提取能够表征所在区域的地图信息的地图特征，从所在区域的所述第二对象，即其他移动物体如车辆、行人、动物等的运动轨迹信息中提取能够表征当前运动状态和历史运动状态的历史轨迹特征，进而对所在区域的其他移动物体的运动轨迹进行轨迹预测得到预测轨迹，不需要使用高精度地图信息进行轨迹预测，避免了如拟合、跟踪等这样“萃取”的后处理过程引发的一定程度的地图元素缺失等问题，提高了轨迹预测稳定性和准确性。
67.请参阅图2，图2为本技术实施例(二)提供的另一种轨迹预测方法的流程示意图。
68.s1031、将所述历史轨迹特征和所述地图特征进行融合，得到融合特征。
69.其中，所述融合特征表征所述第二对象的当前运动状态及运动意图。
70.在一种可能实现的方式中，将所述历史轨迹特征和所述地图特征进行特征拼接，并通过多层感知机对拼接后的特征进行融合，得到融合特征。
71.多层感知机(multilayer perceptron，缩写mlp)是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。mlp可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元(或称处理单元)。一种被称为反向传播算法的监督学习方法常被用来训练mlp。多层感知机遵循人类神经系统原理，学习并进行数据预测。它首先学习，然后使用权重存储数据，并使用算法来调整权重并减少训练过程中的偏差，即实际值和预测值之间的误差。多层感知机的优点：可以学习非线性模型，并且可以实时学习，能够高效准确地融合拼接后的所述历史轨迹特征和所述地图特征。
72.在另一种可能实现的方式中，采用注意力机制，通过计算所述历史轨迹特征和所述地图特征的关联权重，并根据所述关联权重进行融合，得到融合特征。
73.对于注意力(attention)机制：attention机制的学习权重分布，是输入数据或特征图上的不同部分对应的专注度不同，而attention机制的任务聚焦，是通过将任务分解，设计不同的网络结构(或分支)专注于不同的子任务，重新分配网络的学习能力，从而降低原始任务的难度，使网络更加容易训练。attention机制的优点是：参数少，相比于cnn(convolutional neural networks,卷积神经网络)、rnn(recurrent neural networks，循环神经网络)，其复杂度更小，参数也更少，所以对算力的要求也就更小；速度快，attention解决了rnn及其变体模型不能并行计算的问题，attention机制每一步计算不依赖于上一步的计算结果，因此可以和cnn一样并行处理；效果好，在attention机制引入之前，长距离的信息会被弱化。
74.因此，采用注意力机制，通过引入不同函数和计算机制，计算所述历史轨迹特征和
所述地图特征的关联权重，并根据所述关联权重，对所述历史轨迹特征和所述地图特征进行高效准确地融合。
75.s1032、根据所述融合特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
76.在本实施例中，特征融合是指来自不同层或分支的特征的组合，通过将所述历史轨迹特征和所述地图特征进行融合，能够提高预测性能。
77.请参阅图3，图3为本技术实施例(三)提供的轨迹预测模型的训练过程的流程示意图。
78.s201、获取第一对象所在区域的环境信息，并从所述环境信息中提取地图特征。
79.其中，所述地图特征表征所述第一对象所在区域的地图信息。
80.在一种可能实现的方式中，安装激光雷达和相机的自动驾驶车辆(第一对象)进行常规路测，收集路测的原始点云数据和图像数据。使用感知3d物体检测模型(包括但不限于pointpillar、voxelnet等)和车道线检测模型(包括但不限于hdmapnet、vectormapnet等)分别对点云数据、图像数据进行推理，得到交通参与者(第二对象)的信息和车道线检测的原始feature map结果(后续简称featuremap)。将上述结果存储用于轨迹预测模型的训练。
81.在一种可能实现的方式中，所述环境信息包括所述第一对象的所处区域的动态物体信息如车辆、行人、动物等移动物体，静态物体信息如建筑物、树木、围栏等，以及路况信息如可行驶区域、车道线、交通标志、红绿灯等。
82.在一种可能实现的方式中，通过在所述环境信息中确定静态物体信息和路况信息，并基于所述静态物体信息和所述路况信息，提取地图特征。要提取能够表征自动驾驶车辆附近的全部地图信息的地图特征，所述全部地图信息默认为包括自动驾驶车辆附近的静态物体信息和路况信息，如建筑物、树木、围栏、可行驶区域、车道线、交通标志、红绿灯等。其中，所述车道线为利用车道线检测模型检测输出的原始feature map结果中提取。
83.对于车道线检测模型，以基于关键点的全局关联车道线检测网络为例。给定一个前视图像作为输入，采用cnn主干和fpn(feature pyramid networks，特征图金字塔网络)来提取输入图像的多级视觉表示。为了更好地进行特征学习，在主干和颈部之间进一步插入了自注意力层，以获得丰富的上下文信息。解码器利用关键点头和偏移头分别生成置信图和偏移图。两个头部均由全卷积层组成。在关键点头部之前设计了一个车道感知特征聚合器模块，以增强相邻关键点之间的局部相关性，从而有助于生成连续的车道线。对于每个车道实例，首先通过在偏移地图上选择值小于1的点来获得其作为簇质心的起点。然后，结合置信图和偏移图，在采样起点周围聚集属于同一车道的关键点，以构建完整的车道线。具体来说，关键点与其所属车道线的关联是通过全局预测其到相应车道起点的偏移量来实现的，彼此不依赖，可以并行进行，以大大提高效率。此外，提出的一种车道感知特征聚合器(lfa)，它自适应地捕获相邻关键点之间的局部相关性，以补充全局关联的局部信息。
84.在一种可能实现的方式中，为了更有效地利用到全局的车道线信息，缓解使用车道线后处理的结构化地图而引发的地图元素缺失等问题，使轨迹预测模型中的地图特征更加全面，从而提升预测性能，可以通过bev feature map来提取地图特征。具体的，对bev feature map进行地图特征编码：若图像大小为hxw，通道个数为c，即网络输入的地图信息维度为[c,h,w]，使用常用的图像特征提取方式(包括但不限于resnet、vit、
swintransformer等)对feature map进行特征提取，得到的特征可用于表征自动驾驶车辆附近的全部地图信息，称为地图特征。
[0085]
s202、获取所述第一对象所在区域的多个第二对象的运动轨迹信息，按时间顺序根据所述运动轨迹信息构建第一历史运动轨迹和第二历史运动轨迹，从所述第一历史运动轨迹中提取历史轨迹特征，所述第二历史运动轨迹作为轨迹预测真值。
[0086]
其中，所述历史轨迹特征表征所述第二对象的当前运动状态和历史运动状态。
[0087]
在一种可能实现的方式中，取所述第一对象所在区域内的其他移动物体作为第二对象，并获取其运动轨迹信息。从所述第二对象的运动轨迹信息提取所述第二对象在每个运动轨迹点上的位姿信息和运动信息。根据所述第二对象在每个运动轨迹点上的位姿信息和运动信息，确定所述第二对象的历史轨迹特征。其中，所述运动信息包括速度和加速度，其中，速度和加速度均是矢量。
[0088]
通过对所述第二对象，即其他移动物体的在其运动轨迹的每个运动轨迹点上的位姿信息和运动信息的捕捉，并采用历史轨迹特征提取的方式从中提取移动物体的历史轨迹特征，确保所述第二对象的历史轨迹特征能够符合所述第二对象的真实运动轨迹。
[0089]
在一种可能实现的方式中，轨迹预测模型的数据输入分为第二对象的历史信息和地图信息，输出则为第二对象的未来轨迹。一方面，通过现有的目标检测跟踪算法，按时间顺序构建出第二对象的历史运动轨迹和未来运动轨迹，其中历史运动轨迹会作为轨迹预测模型的输入，未来运动轨迹作为校验轨迹预测模型输出的预测轨迹的轨迹预测真值。另一方面，直接使用feature map张量作为地图信息输入。
[0090]
对于通过现有的目标检测跟踪算法，按时间顺序构建出第二对象的历史运动轨迹和未来运动轨迹。具体的，对n个第二对象的t个历史轨迹点进行特征提取：每个历史轨迹点包含该帧下的d个位姿信息和运动信息，构成网络输入的信息维度为[n,t,d]，使用常规的历史轨迹特征提取方式(包括但不限于transformer、pointnet、1d-cnn等)，得到的特征用于表征每个第二对象的历史运动状态和当前运动状态，称为历史轨迹特征。
[0091]
对于按时间顺序根据所述运动轨迹信息构建第一历史运动轨迹和第二历史运动轨迹，从所述第一历史运动轨迹中提取历史轨迹特征，所述第二历史运动轨迹作为轨迹预测真值，可以理解的是，轨迹预测模型训练的数据集分为训练集(第一历史运动轨迹)和校验集(第二历史运动轨迹)，即将每个第二对象的连续运动轨迹，分为第一历史运动轨迹和第二历史运动轨迹，第一历史运动轨迹作为轨迹预测模型的输入用于训练，第二历史运动轨迹作为轨迹预测真值用于校验将第一历史运动轨迹作为轨迹预测模型的输入的训练结果。
[0092]
s203、将所述历史轨迹特征和所述地图特征，或所述历史轨迹特征和所述地图特征的融合特征，输入轨迹预测模型对每个第二对象的运动轨迹进行轨迹预测，得到轨迹预测值。
[0093]
在一种可能实现的方式中，将所述历史轨迹特征和所述地图特征进行特征拼接，并通过多层感知机对拼接后的特征进行融合，得到融合特征。多层感知机可以学习非线性模型，并且可以实时学习，能够高效准确地融合拼接后的所述历史轨迹特征和所述地图特征
[0094]
在另一种可能实现的方式中，采用注意力机制，通过引入不同函数和计算机制，计
算所述历史轨迹特征和所述地图特征的关联权重，并根据所述关联权重，对所述历史轨迹特征和所述地图特征进行高效准确地融合。
[0095]
s204、将所述轨迹预测值与所述轨迹预测真值作差，得到损失值，并通过反向传播方法进行轨迹预测模型训练。
[0096]
在一种可能实现的方式中，直接对物第二对象的未来轨迹点进行回归预测，将轨迹预测值与对应的轨迹预测真值之间的误差作为损失，利用反向传播方法进行轨迹预测模型训练多个epoch，并保存每个epoch训练后的模型参数。
[0097]
s205、直至轨迹预测模型输出的轨迹预测值与轨迹预测真值作差的损失值达到预设标准值，将该轨迹预测模型作为训练好的轨迹预测模型。
[0098]
其中，对各个模型进行评估，具体的，判断轨迹预测模型输出的轨迹预测值与轨迹预测真值作差的损失值是否达到预设标准值，取达到标准的模型或从到达标准的模型中取最好的一个模型保存下来，作为训练好的轨迹预测模型。
[0099]
在该种可能实现的方式中，对轨迹预测模型的训练过程中，不使用高精度地图信息进行轨迹预测，而是从第一对象所在区域的环境信息(包括对车道线检测的原始输出信息)和所在区域的第二对象的运动轨迹信息中进行特征提取，将提取的特征作为轨迹预测模型的输入，以对轨迹预测模型进行训练，不仅减少了数据处理量，提高了训练效率，还避免了如拟合、跟踪等这样“萃取”的后处理过程引发的一定程度的地图元素缺失等问题，使轨迹预测模型中的地图特征更加全面，从而提升预测性能，确保了轨迹预测的稳定性和准确性。
[0100]
请参阅图4，图4为本技术实施例提供的一种轨迹预测装置的结构示意图。
[0101]
所述装置包括：第一信息获取单元100、第一特征提取单元200、第二信息获取单元300、第二特征提取单元400和轨迹预测单元500。
[0102]
第一信息获取单元100，用于获取第一对象所在区域的环境信息；第一特征提取单元200，用于从所述环境信息中提取地图特征；其中，所述地图特征表征所述第一对象所在区域的地图信息；第二信息获取单元300，用于获取所述第一对象所在区域的第二对象的运动轨迹信息；第二特征提取单元400，用于从所述第二对象的运动轨迹信息中提取所述第二对象的历史轨迹特征；其中，所述历史轨迹特征表征所述第二对象的当前运动状态和历史运动状态；轨迹预测单元500，用于根据所述历史轨迹特征和所述地图特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
[0103]
在一种可能实现的方式中，第二特征提取单元400，用于从所述第二对象的运动轨迹信息提取所述第二对象在每个运动轨迹点上的位姿信息和运动信息；根据所述第二对象在每个运动轨迹点上的位姿信息和运动信息，确定所述第二对象的历史轨迹特征。
[0104]
在一种可能实现的方式中，所述环境信息包括所述第一对象的所处区域的动态物体信息、静态物体信息和路况信息；所述运动信息包括速度和加速度。
[0105]
在一种可能实现的方式中，第一特征提取单元100，用于在所述环境信息中确定静态物体信息和路况信息；基于所述静态物体信息和所述路况信息，提取地图特征。
[0106]
请参与图5，图5为本技术实施例提供的另一种轨迹预测装置的结构示意图。
[0107]
在一种可能实现的方式中，轨迹预测单元500包括融合子单元510和预测子单元520。
[0108]
所述融合子单元510，用于将所述历史轨迹特征和所述地图特征进行融合，得到融合特征；其中，所述融合特征表征所述第二对象的当前运动状态及运动意图；所述预测子单元520，用于根据所述融合特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
[0109]
在一种可能实现的方式中，所述融合子单元510，用于将所述历史轨迹特征和所述地图特征进行特征拼接，并通过多层感知机对拼接后的特征进行融合，得到融合特征；或者，采用注意力机制，通过计算所述历史轨迹特征和所述地图特征的关联权重，并根据所述关联权重进行融合，得到融合特征。
[0110]
在一种可能实现的方式中，所述轨迹预测单元500，用于采用预先训练好的轨迹预测模型对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。
[0111]
其中，所述轨迹预测模型的训练过程包括：获取第一对象所在区域的环境信息，并从所述环境信息中提取地图特征；获取所述第一对象所在区域的多个第二对象的运动轨迹信息，按时间顺序根据所述运动轨迹信息构建第一历史运动轨迹和第二历史运动轨迹，从所述第一历史运动轨迹中提取历史轨迹特征，所述第二历史运动轨迹作为轨迹预测真值；将所述历史轨迹特征和所述地图特征，或所述历史轨迹特征和所述地图特征的融合特征，输入轨迹预测模型对每个第二对象的运动轨迹进行轨迹预测，得到轨迹预测值；将所述轨迹预测值与所述轨迹预测真值作差，得到损失值，并通过反向传播方法进行轨迹预测模型训练；直至轨迹预测模型输出的轨迹预测值与轨迹预测真值作差的损失值达到预设标准值，将该轨迹预测模型作为训练好的轨迹预测模型。
[0112]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0113]
本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述任意一种可能实现的方式的方法。
[0114]
本技术还提供了一种车辆，所述车辆包括电子设备，所述电子设备包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述任意一种可能实现的方式的方法。
[0115]
请参阅图6，图6为本技术实施例提供的一种轨迹预测装置的硬件结构示意图。
[0116]
该自动化测试装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本技术实施例对此不作限定。应当理解，本技术的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
[0117]
处理器21可以是一个或多个图形处理器(graphics processing unit，gpu)，在处理器21是一个gpu的情况下，该gpu可以是单核gpu，也可以是多核gpu。可选的，处理器21可以是多个gpu构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本技术实施例不作限定。
[0118]
存储器22可用于存储计算机程序指令，以及用于执行本技术方案的程序代码在内
的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read-only memory，rom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read-only memory，cd-rom)，该存储器用于相关指令及数据。
[0119]
输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输出装置23和输入装置24可以是独立的器件，也可以是一个整体的器件。
[0120]
可理解，本技术实施例中，存储器22不仅可用于存储相关指令，本技术实施例对于该存储器中具体所存储的数据不作限定。
[0121]
可以理解的是，图5仅仅示出了一种自动化测试装置的简化设计。在实际应用中，自动化测试装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本技术实施例的视频解析装置都在本技术的保护范围之内。
[0122]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0123]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本技术各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
[0124]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0125]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0126]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0127]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质
中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatile disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0128]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，rom)或随机存储存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的介质。

技术特征：
1.一种轨迹预测方法，其特征在于，所述方法包括：获取第一对象所在区域的环境信息，并从所述环境信息中提取地图特征；其中，所述地图特征表征所述第一对象所在区域的地图信息；获取所述第一对象所在区域的第二对象的运动轨迹信息，并从所述第二对象的运动轨迹信息中提取所述第二对象的历史轨迹特征；其中，所述历史轨迹特征表征所述第二对象的当前运动状态和历史运动状态；根据所述历史轨迹特征和所述地图特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。2.根据权利要求1所述的方法，其特征在于，所述从所述第二对象的运动轨迹信息中提取所述第二对象的历史轨迹特征，包括：从所述第二对象的运动轨迹信息提取所述第二对象在每个运动轨迹点上的位姿信息和运动信息；根据所述第二对象在每个运动轨迹点上的位姿信息和运动信息，确定所述第二对象的历史轨迹特征。3.根据权利要求2所述的方法，其特征在于，所述环境信息包括所述第一对象的所处区域的动态物体信息、静态物体信息和路况信息；所述运动信息包括速度和加速度。4.根据权利要求3所述的方法，其特征在于，所述从所述环境信息中提取地图特征，包括：在所述环境信息中确定静态物体信息和路况信息；基于所述静态物体信息和所述路况信息，提取地图特征。5.根据权利要求1所述的方法，其特征在于，所述根据所述历史轨迹特征和所述地图特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹，包括：将所述历史轨迹特征和所述地图特征进行融合，得到融合特征；其中，所述融合特征表征所述第二对象的当前运动状态及运动意图；根据所述融合特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。6.根据权利要求5所述的方法，其特征在于，所述将所述历史轨迹特征和所述地图特征进行融合，得到融合特征，包括：将所述历史轨迹特征和所述地图特征进行特征拼接，并通过多层感知机对拼接后的特征进行融合，得到融合特征；或者，采用注意力机制，通过计算所述历史轨迹特征和所述地图特征的关联权重，并根据所述关联权重进行融合，得到融合特征。7.据据权利要求1或5所述的方法，其特征在于，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹，包括：采用预先训练好的轨迹预测模型对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹；所述轨迹预测模型的训练过程包括：获取第一对象所在区域的环境信息，并从所述环境信息中提取地图特征；获取所述第一对象所在区域的多个第二对象的运动轨迹信息，按时间顺序根据所述运动轨迹信息构建第一历史运动轨迹和第二历史运动轨迹，从所述第一历史运动轨迹中提取
历史轨迹特征，所述第二历史运动轨迹作为轨迹预测真值；将所述历史轨迹特征和所述地图特征，或所述历史轨迹特征和所述地图特征的融合特征，输入轨迹预测模型对每个第二对象的运动轨迹进行轨迹预测，得到轨迹预测值；将所述轨迹预测值与所述轨迹预测真值作差，得到损失值，并通过反向传播方法进行轨迹预测模型训练；直至轨迹预测模型输出的轨迹预测值与轨迹预测真值作差的损失值达到预设标准值，将该轨迹预测模型作为训练好的轨迹预测模型。8.一种轨迹预测装置，其特征在于，所述装置包括：第一信息获取单元，用于获取第一对象所在区域的环境信息；第一特征提取单元，用于从所述环境信息中提取地图特征；其中，所述地图特征表征所述第一对象所在区域的地图信息；第二信息获取单元，用于获取所述第一对象所在区域的第二对象的运动轨迹信息；第二特征提取单元，用于从所述第二对象的运动轨迹信息中提取所述第二对象的历史轨迹特征；其中，所述历史轨迹特征表征所述第二对象的当前运动状态和历史运动状态；轨迹预测单元，用于根据所述历史轨迹特征和所述地图特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至7中任意一项所述的方法。10.一种车辆，其特征在于，所述车辆包括电子设备，所述电子设备包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至7中任一项所述的方法。

技术总结
本发明公开了轨迹预测方法、装置、存储介质及车辆。其中，所述方法包括：获取第一对象所在区域的环境信息，并从所述环境信息中提取地图特征；其中，所述地图特征表征所述第一对象所在区域的地图信息；获取所述第一对象所在区域的第二对象的运动轨迹信息，并从所述第二对象的运动轨迹信息中提取所述第二对象的历史轨迹特征；其中，所述历史轨迹特征表征所述第二对象的当前运动状态和历史运动状态；根据所述历史轨迹特征和所述地图特征，对所述第二对象的运动轨迹进行轨迹预测，得到预测轨迹。本发明能够提高轨迹预测稳定性和准确性。发明能够提高轨迹预测稳定性和准确性。发明能够提高轨迹预测稳定性和准确性。


技术研发人员：李元策
受保护的技术使用者：深圳元戎启行科技有限公司
技术研发日：2023.03.17
技术公布日：2023/8/1