一种交叉路口下考虑不确定性的智能车辆决策方法

1.本发明涉及智能车辆决策技术领域，尤其涉及一种交叉路口下考虑不确定性的智能车辆决策方法。


背景技术：

2.智能车辆是集环境感知、规划决策、行为控制与执行等多项功能于一体的综合智能系统，我国智能车辆相关技术的研究已取得长足的进展，能够满足智能车辆在小范围、简单城区环境下的低速行驶要求，以及城际公路简单环境中的高速行驶需求。然而，在城区动态交通环境下的智能车辆自主行驶，还面临许多需要解决的问题。例如，在无信号灯十字交叉路口处理中，智能车辆同样缺乏对于其他方向行驶车辆的驾驶行为预测，且现在的智能车技术大多依赖于车间通信技术，在车间通信技术的出现故障或数据出现误差时，面临着很大的安全风险。


技术实现要素：

3.本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种交叉路口下考虑不确定性的智能车辆决策方法，通过基于pomdp强化学习算法，考虑了其他车辆驾驶意图的不确定性，其他车辆纵向速度的不确定性、传感器的误差以及车辆之间的交互性，提高了无人驾驶车辆在城区复杂、不确定环境下自主行为决策的合理性、安全性和实时性。
4.本发明为解决上述技术问题采用以下技术方案：
5.步骤1)，通过路径规划模块产生能够躲避静态障碍的无碰撞路径；
6.步骤2)，建立pomdp模型；
7.步骤3)，获取周边车辆信息；
8.步骤4)，观测其他车辆模型和预测其他车辆其意图；
9.步骤5)，通过最优策略计算出最优加速度动作；
10.步骤6)，将步骤4)产生的状态和动作代入下状态转移函数得到k+1步的状态和观察ok+1；
11.步骤7)，判断是否达到终点，若达到终点则结束，若未达到终点，则k＝k+1返回步骤3)。
12.作为本发明的进一步优化方案，步骤1)中通过路径规划模块通过最优控制算法、搜索算法、采样算法确定能够躲避静态障碍的无碰撞路径。
13.步骤2)中建立的pomdp模型为一个七元组{s，a，t，z，o，r，γ}，s表示状态空间；a表示动作空间；z表示观测空间；0表示观测空间；t代表状态转移函数；r代表奖励函数；γ代表折扣因子；
14.无人车自身和周边其他车辆的运动状态为χ＝(s0，s1，s2，
…
，sk)
t
，式中，s0为自车状态，sk为第k辆车的状态；s0，sk具体为
[0015][0016]
式中，x
ego
为自车横向坐标y
ego
为自车纵向坐标v
ego
为自车车速θ
ego
为自车航向角xk为其他车辆横向坐标yk为其他车辆纵向坐标vk为其他车辆车速θk为其他车辆航向角rk为其他车辆驾驶意图。
[0017]
动作a集合具体为ak＝min(a
ref，k
+a
int，k
，a
max
)+n(0，σ2)
[0018]
式中，a
ref，k
为跟踪参考速度产生的参考加速度，n(0，σ2)为表示传感器的误差的高斯分布，a
int，k
为交互加速度，具体的
[0019][0020]
回报函数r具体为：r(χ，a)＝r
crash
(χ，a)+rv(χ)+r
acc
(a)，具体地：
[0021]rcrash
为保证安全性所采取的回报，若发生碰撞r
crash
＝-1000，若不发生碰撞r
crash
＝20，rv(χ)为限制车速所采取的回报，且保证较高的行车效率。当v0＞v
ref
时，rv＝-k
v+
(v
ref-v0)2当v0＜v
ref
时rv＝-k
v-(v
ref-v0)2。其中-k
v+
和-k
v-分别表示车速大于参考车速和车速小于参考车速所采取的惩罚项系数。r
acc
(a)为保持车辆驾驶舒适性采取的回报。
[0022]
与现有技术相比，本发明的有益效果是：
[0023]
1.本发明考虑了其他车辆驾驶意图的不确定性、传感器的误差和其他车辆纵向速度的不确定性，更符合实际交叉路口的场景；
[0024]
2.本发明提出了一种pomdp框架，适用于任意形状的十字路口和任意数目的参与者，提高了算法的适用性；
[0025]
3.本发明考虑了车辆之间的交互性，且不依赖于车间通信技术，提高了无人驾驶车辆在城区复杂、不确定环境下自主行为决策的合理性和安全性。
附图说明
[0026]
图1为本发明所使用的车辆决策方法的整体流程图；
具体实施方式
[0027]
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
[0028]
参照图1所示，本发明的一种交叉路口下考虑不确定性的智能车辆决策方法，包括如下步骤：
[0029]
步骤1)，通过路径规划模块产生能够躲避静态障碍的无碰撞路径；
[0030]
步骤2)，建立pomdp模型；
[0031]
步骤3)，获取周边车辆信息；
[0032]
步骤4)，观测其他车辆模型和预测其他车辆其意图；
[0033]
步骤5)，通过最优策略计算出最优加速度动作；
[0034]
步骤6)，将步骤4)产生的状态和动作代入下状态转移函数得到k+1步的状态和观察ok+1；
[0035]
步骤7)，判断是否达到终点，若达到终点则结束，若未达到终点，则k＝k+1返回步骤3)。
[0036]
进一步地，所述步骤1)中通过路径规划模块通过最优控制算法、搜索算法、采样算法确定能够躲避静态障碍的无碰撞路径。
[0037]
进一步地，所述步骤2)中建立的pomdp模型为一个七元组{s，a，t，z，o，r，γ}，s表示状态空间；a表示动作空间；z表示观测空间；0表示观测空间；t代表状态转移函数；r代表奖励函数；γ代表折扣因子；
[0038]
无人车自身和周边其他车辆的运动状态为χ＝(s0，s1，s2，
…
，sk)
t
，式中，s0为自车状态，sk为第k辆车的状态；s0，sk具体为
[0039][0040]
式中，x
ego
为自车横向坐标y
ego
为自车纵向坐标v
ego
为自车车速θ
ego
为自车航向角xk为其他车辆横向坐标yk为其他车辆纵向坐标vk为其他车辆车速θk为其他车辆航向角rk为其他车辆驾驶意图。
[0041]
动作a集合具体为ak＝min(a
ref，k
+a
int，k
，a
max
)+n(0，σ2)
[0042]
式中，a
ref，k
为跟踪参考速度产生的参考加速度，n(0，σ2)为表示传感器的误差的高斯分布，a
int，k
为交互加速度，具体的
[0043][0044]
回报函数r具体为：r(χ，a)＝r
crash
(χ，a)+rv(χ)+r
acc
(a)，具体地：
[0045]rcrash
为保证安全性所采取的回报，若发生碰撞r
crash
＝-1000，若不发生碰撞r
crash
＝20，rv(χ)为限制车速所采取的回报，且保证较高的行车效率。当v0＞v
ref
时，rv＝-k
v+
(v
ref-v0)2当v0＜v
ref
时rv＝-k
v-(v
ref-v0)2。其中-k
v+
和-k
v-分别表示车速大于参考车速和车速小于参考车速所采取的惩罚项系数。r
acc
(a)为保持车辆驾驶舒适性采取的回报。
[0046]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种交叉路口下考虑不确定性的智能车辆决策方法，其特征在于，包括如下步骤：步骤1)，通过路径规划模块产生能够躲避静态障碍的无碰撞路径；步骤2)，建立pomdp模型；步骤3)，获取周边车辆信息；步骤4)，观测其他车辆模型和预测其他车辆其意图；步骤5)，通过最优策略计算出最优加速度动作；步骤6)，将步骤4)产生的状态和动作代入下状态转移函数得到k+1步的状态和观察ok+1；步骤7)，判断是否达到终点，若达到终点则结束，若未达到终点，则k＝k+1返回步骤3)。2.根据权利要求1所述的交叉路口下考虑不确定性的智能车辆决策方法，其特征在于，步骤1)中通过路径规划模块通过最优控制算法、搜索算法、采样算法确定能够躲避静态障碍的无碰撞路径。3.根据权利要求1所述的交叉路口下考虑不确定性的智能车辆决策方法，其特征在于，步骤2)中建立的pomdp模型为一个七元组{s，a，t，z，o，r，γ}，s表示状态空间；a表示动作空间；z表示观测空间；o表示观测空间；t代表状态转移函数；r代表奖励函数；γ代表折扣因子；无人车自身和周边其他车辆的运动状态为χ＝(s0，s1，s2，
…
，s
k
)
t
，式中，s0为自车状态，s
k
为第k辆车的状态；s0，s
k
具体为式中，x
ego
为自车横向坐标y
ego
为自车纵向坐标v
ego
为自车车速θ
ego
为自车航向角x
k
为其他车辆横向坐标y
k
为其他车辆纵向坐标v
k
为其他车辆车速θ
k
为其他车辆航向角r
k
为其他车辆驾驶意图。动作a集合具体为a
k
＝min(a
ref，k
+a
int，k
，a
max
)+n(0，σ2)式中，a
ref，k
为跟踪参考速度产生的参考加速度，n(0，σ2)为表示传感器的误差的高斯分布，a
int，k
为交互加速度，具体的回报函数r具体为：r(χ，a)＝r
crash
(χ，a)+r
v
(χ)+r
acc
(a)，具体地：r
crash
为保证安全性所采取的回报，若发生碰撞r
crash
＝-1000，若不发生碰撞r
crash
＝20，r
v
(χ)为限制车速所采取的回报，且保证较高的行车效率。当v0＞v
ref
时，r
v
＝-k
v+
(v
ref-v0)2当v0＜v
ref
时r
v
＝-k
v-(v
ref-v0)2。其中-k
v+
和-k
v-分别表示车速大于参考车速和车速小于参考车速所采取的惩罚项系数。r
acc
(a)为保持车辆驾驶舒适性采取的回报。

技术总结
本发明公开了一种交叉路口下考虑不确定性的智能车辆决策方法，首先通过路径规划模块产生可躲避静态障碍的无碰撞路径；然后建立POMDP模型；获取周边车辆信息；观测其他车辆模型和预测其他车辆其意图；接着通过最优策略计算出第k步的加速度动作；最后将产生的第k步的状态和动作代入下状态转移函数得到k+1步的状态和观察，判断是否达到终点。与现有技术相比，本发明考虑了不确定性且适用于各种类型的交叉路口，解决了传统算法适用性差且依赖于车间通信的问题。通信的问题。通信的问题。


技术研发人员：邓汇凡 赵又群 张陈曦
受保护的技术使用者：南京航空航天大学
技术研发日：2023.03.31
技术公布日：2023/7/6