基于改进Social-GAN算法的复杂场景行人轨迹预测方法及装置

基于改进social-gan算法的复杂场景行人轨迹预测方法及装置
技术领域
1.本发明属于智能交通数据处理领域，具体为一种基于改进social-gan算法的复杂场景行人轨迹预测方法及装置。


背景技术：

2.行人作为复杂交通场景中的弱势群体，其意图和轨迹存在不确定性，尤其是在一些无信号灯交叉口，减少了交通信号灯的约束作用，行人的过街意图尤为多变，对行人的实时轨迹预测对于车辆快速通行具有重要意义，而无信号灯交叉口人车交互较多，很容易产生交通堵塞以及交通安全事故，因此需要一种能够高效预测行人轨迹的方法。
3.对于行人轨迹预测方法，一般有三类：基于物理学的方法、基于规划的方法、数据驱动的方法。物理学建模方法过于复杂，对行人的动态模型难以捕捉。而规划的方法受限于时长的要求，对于长期的行人行为预测具有一定的优越性。近年来发展较为迅速的是rnn以及lstm类轨迹预测方法，但大多学者都把注意力放在环境对行人运动轨迹的影响，而忽略了人车，人人的信息共享性。
4.针对以上问题，社会上也有学者提出建立行人过街自动警示系统，利用双向预警功能使得行人注意来车，同时让车辆注意行人。该方法较好地考虑到人车对抗的问题，通过提前预警来减小发生碰撞的概率。但规避了轨迹预测这一难题，通过提前介入来提高复杂交通场景下的安全性。该方法只适用较少车辆与行人过街的情况，若出现较多车辆、多向行人的复杂场景，则会出现效率低下以及交通拥堵的情况。对于没有过街需求的行人，很容易产生误触的情况，从而传达错误信息使得无信号灯交叉口路段通行效率低下。
5.本专利致力于提高行人过街的安全性以及复杂场景的过街效率，提高行人意图识别，方向判断以及轨迹预测可靠性。


技术实现要素：

6.本发明要解决的技术问题在于：针对以上提到的复杂场景下行人过街安全问题，本发明提供一种高精度、可靠性强的基于改进social-gan算法的复杂场景行人轨迹预测方法及装置，能够及时对潜在人车交通事故进行预警，减少交通事故发生的概率，进一步提升驾驶的智能性，安全性和经济性。
7.本发明提出的技术方案为：
8.一种基于改进social-gan算法的复杂场景行人轨迹预测方法及装置，包括如下步骤：
9.步骤1，获取复杂场景的固定视角数据训练集，对行人目标进行跟踪检测。
10.步骤2，利用混合高斯模型和骨骼点检测算法，对检测到的行人进行过街意图的识别以及过街方向的判别。
11.步骤3，在确定好行人的过街需求后，利用改进social-gan算法，搭建改进gan网
络，确定生成器、池化块以及鉴别器，利用多元多样性损失函数，对行人的下一时刻轨迹进行多模态轨迹预测；
12.进一步的，步骤1的具体过程如下：
13.对所提取的数据进行预处理，提取所拍摄视频的当前每帧图像，采用canny算子边缘检测+hough变换直线提取的方法进行道路沿线的检测，并对其按照机动车道路，步行道路，路边建筑进行区域划分。
14.进一步的，对于路口拍摄的图像数据建立3个高斯背景模型，用于构建混合高斯模型并表征图像中各个像素点的特征，并利用klt图像匹配跟踪算法来对行人进行跟踪监测。
15.进一步的，对于非静止的行人，利用基于改进混合高斯模型进行行人的识别并对机动车道上正在过街的行人判别为有过街意图的行人。
16.进一步的，步骤2的具体过程如下：
17.步骤2.1、对于未做出明显意图的行人，选用openpose算法提取图像中行人的关键骨骼点，当图像中存在多个行人时，通过pafs的方法进行关键骨骼点聚类分析，将每个行人的骨骼点数据分为一组，得到每个行人的骨架图。
18.步骤2.2、将人的行为信息和位移信息构成复合特征对循环神经网络lstm进行训练，实现过街意图和过街方向的识别。
19.步骤2.3、对于运动的行人，采用帧间差法计算前景的坐标变换，得出目标行人在这两帧时间内的运动方向，对于正在过街的行人，即可实现对行人运动方向的识别。
20.进一步的，步骤3的具体过程如下：
21.步骤3.1、我们首先使用单层mlp(多层感知器)嵌入每个人的位置，以获得固定长度的向量这些嵌入在时间t用作编码器的lstm单元的输入，并使用以下递归函数：
[0022][0023][0024]
其中，φ(
·
)具有relu非线性的嵌入函数，λ是嵌入权重。为人i的历史编码，lstm权重β场景中共享信息值的权重。
[0025]
步骤3.2、为了能够产生与过去一致的未来场景，将解码器的隐藏初始状态设为，
[0026][0027][0028]
其中，γ(
·
)具有relu非线性的嵌入函数,δ是嵌入权重,z为潜变量，pi为人i的集合张量。
[0029]
进行一次池化后上下文作为解码器的输入，通过直接预测坐标及姿态角信息我们可以得到，
[0030][0031][0032][0033]
[0034]
其中，φ(
·
)是具有relu非线性的嵌入函数,λ1为嵌入权的嵌入函数。lstm权重由β1表示，并且γ是mlp。
[0035]
步骤3.3、对于池化层的设计，为了跨多个人联合推理，我们需要一种跨lstm共享信息的机制。利用相对位置以及相对姿态角来对增加池化层的输入，同时对网络进行全局配置，减少远处行人的影响。
[0036]
步骤3.4、鉴别器由单独的编码器组成。具体地说，它接受或作为输入，并将它们分类为真或假。我们对编码器的最后一个隐藏状态应用mlp以获得分类分数。
[0037]
步骤3.5、生成gan网络由相互对立训练的两个神经网络组成。两个冲突对抗训练的模型是：捕获数据分布的生成模型gen和估计样本来自训练数据而非gen的概率的判别模型dis。生成器gen将潜变量z作为输入，并输出样本gen(z)。鉴别器dis将样本x作为输入并输出dis(x)，dis(x)表示其为真的概率。训练过程类似于两人最小-最大博弈，具有以下目标函数：
[0038][0039]
步骤3.6、最后引入多元损失函数，生成多模态的轨迹预测路线，损失函数如下，
[0040][0041]
其中，k是超参数，表示k个可能的输出。
[0042]
一种基于nvidiajetson tx2的复杂场景预警装置，其特征在于，包括：
[0043]
意图识别模块，利用背景建模的方法来获取行人目标，然后利用骨骼点检测算法识别行人过街意图，在确定好行人的过街意图后，利用帧间差法确定行人的过街方向。
[0044]
行人轨迹预测模块，在获取行人的过街需求与过街方向后，我们行人的历史轨迹，以及相对于相机的姿态作为gan网络的输入，通过搭建gan网络，来输出行人多模态的轨迹预测图。
[0045]
语音提醒模块，用于判断车辆前进方向是否与行人轨迹存在交叉，如果是则发出语音提醒。
[0046]
触摸显示模块，用于显示周围行人预测轨迹路线图，来对车辆运动方向施加影响。
[0047]
进一步的，所述意图识别模块中的背景建模考虑到车载视角的特殊性，采用光流法对周围环境与行人进行背景建模。
[0048]
本发明的有益效果：
[0049]
本发明探索了过街行人的本身姿态以及行人之间的潜在冲突，在意图识别方面，引入过街方向的分类，简化了行人的过街意图，更好地对行人进行分类，使得复杂交通场景下，行人意图识别精度提高。利用生成改进对抗性网络的办法，在无信号灯这一复杂交通场景下，输出行人多模态、社会可接受的轨迹路线，考虑到了人-人交互，人-车交互对交通效率的影响，显著提高了行人过街的安全性和复杂交通场景下的交通效率。本发明强调了行人与周围交通参与者之间的信息共享性。对于后续面向自动驾驶的应用提供一定的帮助。
附图说明
[0050]
图1是改进social-gan算法的复杂场景下行人轨迹预测方法流程实现示意图。
[0051]
图2是过街方向分类图。
[0052]
图3是行人相对摄像头姿态概念图。
[0053]
图4是搭建gan网络示意图。
具体实施方式：
[0054]
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
[0055]
如图1所示，本实施例基于改进social-gan算法的复杂场景行人轨迹预测方法的步骤包括：
[0056]
步骤1，获取复杂场景的固定视角数据训练集，对行人目标进行跟踪检测。
[0057]
步骤2，利用混合高斯模型和骨骼点检测算法，对检测到的行人进行过街意图的识别以及过街方向的判别。
[0058]
步骤3，在确定好行人的过街需求后，利用改进social-gan算法，搭建改进gan网络，确定生成器、池化块以及鉴别器，利用多元多样性损失函数，对行人的下一时刻轨迹进行多模态轨迹预测；
[0059]
本实施例通过对复杂场景下行人轨迹预测当检测到行人时，依据骨骼点检测算法判断行人是否有过街的意图，如果有则进一步通过帧间差法判断其过街的方向，进而对正在过街的行人做出基于改进social-gan算法的行人多模态轨迹预测。
[0060]
本实施例步骤1中，采用canny算子边缘检测和hough变换直线提取的方法进行道路沿线的检测，在道路中检测行人，并将出现在机动车道的行人标识为过街人群。使用klt图像匹配跟踪算法对行人目标进行匹配跟踪。
[0061]
本实施例步骤2中，利用骨骼点检测对行人姿态进行，分析行人的过街意图，判定行人有过街意图后，分析行人的过街方向，将方向统一判定为四类(如图2所示)，两类过街方向和两类不过街方向，方便更好地进行轨迹预测。
[0062]
对于未做出明显意图的行人，选用openpose算法提取图像中行人的关键骨骼点，当图像中存在多个行人时，通过pafs的方法进行关键骨骼点聚类分析，将每个行人的骨骼点数据分为一组，得到每个行人的骨架图。
[0063]
本实施例步骤3中，本发明引入相对姿态角的概念(如图3所示)，利用单层的多层感知器将识别到的行人作为嵌入向量，输入编码器中，通过池模块对人-人交互与人-车交互进行建模。然后经过一次池化上下文作为编码器的输入。同时利用单独的编码器组成鉴别器，生成对抗性的gan网络(如图4所示)后，利用多元损失函数输出多模态的预测轨迹。
[0064]
本实施例基于nvidiajetson tx2的复杂场景预警装置包括：
[0065]
意图识别模块，利用背景建模的方法来获取行人目标，然后利用骨骼点检测算法识别行人过街意图，在确定好行人的过街意图后，利用帧间差法确定行人的过街方向。
[0066]
行人轨迹预测模块，在获取行人的过街需求与过街方向后，我们行人的历史轨迹，以及相对于相机的姿态作为gan网络的输入，通过搭建gan网络，来输出行人多模态的轨迹预测图。
[0067]
语音提醒模块，用于判断车辆前进方向是否与行人轨迹存在交叉，如果是则发出语音提醒。
[0068]
触摸显示模块，用于显示周围行人预测轨迹路线图，来对车辆运动方向施加影响。
[0069]
上述意图识别模块中的背景建模考虑到车载视角的特殊性，采用光流法对周围环境与行人进行背景建模。
[0070]
本实施例基于nvidiajetson tx2的复杂场景预警装置与基于改进social-gan算法的复杂场景行人轨迹预测方法相互对应，不再赘述。
[0071]
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

技术特征：
1.一种基于改进social-gan算法的复杂场景行人轨迹预测方法，其特征在于，包括如下步骤：步骤1，获取复杂场景的固定视角数据训练集，对行人目标进行跟踪检测。步骤2，利用混合高斯模型和骨骼点检测算法，对检测到的行人进行过街意图的识别以及过街方向的判别。步骤3，在确定好行人的过街需求后，利用改进social-gan算法，搭建改进gan网络，确定生成器、池化块以及鉴别器，利用多元多样性损失函数，对行人的下一时刻轨迹进行多模态轨迹预测。2.根据权利要求1所述基于改进social-gan算法的复杂场景行人轨迹预测方法，其特征在于，所述步骤1中，提取所拍摄视频的当前帧并采用canny算子边缘检测和hough变换直线提取的方法进行道路沿线的检测，并根据道路沿线对道路区域进行划分。3.根据权利要求1所述基于改进social-gan算法的复杂场景行人轨迹预测方法，其特征在于，所述步骤2的具体过程如下，步骤2.1、选用openpose算法提取图像中行人的骨骼点，当图像中存在多个行人时，通过pafs的方法进行骨骼点聚类分析，将每个行人的骨骼点数据分为一组，得到每个行人的骨架图，根据骨架图分析行人的行为，包括行人的行走、跑动、头部信息(是否注意到来车)等，并利用这些行为信息对循环神经网络lstm进行训练，实现过街意图的识别。步骤2.2、为实现相机运动补偿，先将前一帧和当前帧分别分成24
×
18的若干像素块，并取每个像素块的中心点作为跟踪点进行初始化，使用klt图像匹配跟踪算法在当前帧中找到与各跟踪点相匹配的目标点，此后，采用ransac算法对上述匹配跟踪算法的结果进行筛选，得到补偿后的背景模型。步骤2.3、先将像素点与当前帧背景模型作比较，在判断为前景时，进一步与上一帧的背景模型作比较，当判断依旧为前景时则最终判断该像素点为前景点，否则判断其为背景点。提取前后帧的前景坐标，采用帧差法计算前景的坐标变换，即可实现对行人运动方向的识别。4.根据权利要求1所述的基于改进social-gan算法的复杂场景行人轨迹预测方法，其特征在于，所述步骤3的具体过程如下，步骤3.1、我们首先使用单层mlp(多层感知器)嵌入每个人的位置，以获得固定长度的向量这些嵌入在时间t用作编码器的lstm单元的输入，并使用以下递归函数：这些嵌入在时间t用作编码器的lstm单元的输入，并使用以下递归函数：其中，φ(
·
)具有relu非线性的嵌入函数，λ是嵌入权重。为人i的历史编码，lstm权重β场景中共享信息值的权重。步骤3.2、为了能够产生与过去一致的未来场景，将解码器的隐藏初始状态设为,步骤3.2、为了能够产生与过去一致的未来场景，将解码器的隐藏初始状态设为,其中，γ(
·
)具有relu非线性的嵌入函数,δ是嵌入权重,z为潜变量，p
i
为人i的集合张
量。进行一次池化后上下文作为解码器的输入，通过直接预测坐标及姿态角信息我们可以得到，我们可以得到，我们可以得到，我们可以得到，其中，φ(
·
)是具有relu非线性,λ1为嵌入权的嵌入函数。lstm权重由β1表示，并且γ是mlp。步骤3.3、对于池化层的设计，为了跨多个人联合推理，我们需要一种跨lstm共享信息的机制。利用相对位置以及相对姿态角来对增加池化层的输入，同时对网络进行全局配置，减少远处行人的影响。步骤3.4、鉴别器由单独的编码器组成。具体地说，它接受或作为输入，并将它们分类为真或假。我们对编码器的最后一个隐藏状态应用mlp以获得分类分数。步骤3.5、生成gan网络由相互对立训练的两个神经网络组成。两个冲突对抗训练的模型是：捕获数据分布的生成模型gen和估计样本来自训练数据而非gen的概率的判别模型dis。生成器gen将潜变量z作为输入，并输出样本gen(z)。鉴别器dis将样本x作为输入并输出dis(x)，dis(x)表示其为真的概率。训练过程类似于两人最小-最大博弈，具有以下目标函数：步骤3.6、最后引入多元损失函数，生成多模态的轨迹预测路线，损失函数如下，其中，k是超参数，表示k个可能的输出。5.一种基于nvidiajetson tx2的复杂场景预警装置，其特征在于，包括：意图识别模块，利用背景建模的方法来获取行人目标，然后利用骨骼点检测算法识别行人过街意图，在确定好行人的过街意图后，利用帧间差法确定行人的过街方向。行人轨迹预测模块，在获取行人的过街需求与过街方向后，我们行人的历史轨迹，以及相对于相机的姿态作为gan网络的输入，通过搭建gan网络，来输出行人多模态的轨迹预测图。语音提醒模块，用于判断车辆前进方向是否与行人轨迹存在交叉，如果是则发出语音提醒。触摸显示模块，用于显示周围行人预测轨迹路线图，来对车辆运动方向施加影响。6.根据权利要求5所述的基于nvidiajetson tx2的复杂交通场景预警装置，其特征在于，所述意图识别模块中的背景建模考虑到车载视角的特殊性，采用光流法对周围环境与行人进行背景建模。

技术总结
本发明公开了一种基于改进Social-GAN算法的复杂场景行人轨迹预测方法及装置。首先，根据固定视角采集的数据集对行人进行检测跟踪，利用混合高斯模型和骨骼点检测算法获得行人的过街意图和过街方向。其次，结合行人历史轨迹，以及行人与车辆的交互情况，利用改进Social-GAN算法，通过生成器、池化块和鉴别器三个部分，输出行人的多模态轨迹。最后，基于NVIDIA JETSON TX2的轨迹预测及预警装置装备到车辆上，通过获得的轨迹信息，实现车辆对过街行人轨迹的提前预测。本发明可以大幅提高复杂交通场景的通行效率，减少人车之间的冲突。减少人车之间的冲突。减少人车之间的冲突。


技术研发人员：周竹萍 颜浩楠 刘苏桐 丁健 姜子新 念心怡
受保护的技术使用者：南京理工大学
技术研发日：2023.04.10
技术公布日：2023/9/20