一种5G远程驾驶设备及其控制方法与流程

一种5g远程驾驶设备及其控制方法
技术领域
1.本发明涉及一种5g远程驾驶设备及其控制方法，属于无人驾驶应用技术领域。


背景技术：

2.随着全国港口吞吐量的不断增长和港口的用工难现状，各大港口都在不同程度的进行设备自动化改造，以及码头内转运设备的智能化升级。随着5g、人工智能ai、车联网、高精度定位的不断发展，让港口进行全面自动化升级成为可能，全国大型的集装箱码头都在进行传统码头的升级改造，投入智能转运设备的测试研究，借助于高性能的自动驾驶无人集卡完成港内集装箱的转运，和场端设备的自动化交互。大部分情况下，无人集卡能依靠自身的感知、定位系统实现自主导航、避障、绕行等功能，但是在特殊情况下，如自动驾驶系统失效降级时，需要人工干预，将车辆移至维修区域。利用5g进行远程驾驶设备，可以有效提供这一问题的解决方法。
3.当前比较普遍提供的方案里大多是利用5g的低时延、大带宽进行车辆的视频回传及控制。一方面由于5g无线信号波长短，天然的易被物体遮挡，在港口内大型设备穿越及堆箱高度超过无人集卡车载终端天线高度时，无人集卡车信号可能会被衰减到很低，进而回传的视频无法流畅显示、控制信号下发也可能延迟很大，造成在远程控制车辆时操作不当而发生事故。另一方面远程控制端依赖于图像信息，当远程操作的安全员在实际开车时，因为视频延迟影响判断或操作不当，造成误触发远程控制等风险隐患。因此需要确保在极端情况下依靠车辆自身的控制系统进行紧急停车、避让，避免发生事故，降低事故风险。


技术实现要素：

4.本发明所要解决的技术问题是，克服现有技术的缺点，提供一种5g驾驶远程设备及其控制方法，能够与现有的自动驾驶系统并行。
5.为了达到以上目的，本发明具体技术方案如下：一种基于5g的远程驾驶设备，包括视频采集回传装置、车辆控制器及远程驾驶平台；视频采集回传装置进行视频的采集和编码，并将采集到的视频数据通过车载5g终端传输到远程驾驶平台；所述车辆控制器连接车辆执行器，完成车辆的自动驾驶控制；所述视频采集回传装置由视频采集控制器、摄像头、can(controller area network控制器局域网)数据控制器、5g通信设备组成，视频采集控制器安装位置为车身内部，摄像头分布在车辆周边，所述车辆控制器安装在车身内部，用于提供智能驾驶算法所需的算力，以及提供与整车执行器的接口，通过智能驾驶算法控制整车的运动，是具备功能安全等级的车载控制器；所述远程驾驶平台设置于远程办公室内，用于接收智能驾驶车辆回传的视频，进行视频的解码、渲染、显示；同时可以读取模拟驾驶器的信息，模拟远程控制车辆驾驶。由远程驾驶服务器、驾驶模拟装置、辅助驾驶可视化界面(hmi)组成，远程驾驶平台的核心远程
驾驶服务器，主要通过数据转发单元接收车端发送过来的视频信息、发送车辆控制信息、显示车端信息等。
6.进一步的，所述视频采集和回传装置包括5g模组、车载摄像头图像处理单元、can数据转发单元；所述5g模组具备5g上网能力，具备卫星定位和授时功能，5g模组设置成卫星系统时间同步主模式，对局域网内的其他控制器ecu进行软时间同步，确保其他ecu获得精确的系统时间，和卫星时间偏差小于1ms；车载摄像头分布在车辆的前、后、左前、右前、左后、右后位置，能够将车辆周边360
°
范围内的视频回传到远程驾驶平台；车载摄像头图像处理单元同时采集多路摄像头信号，以覆盖车辆周边360
°
视野，视频采集完后在每路视频加上采集时刻的时间戳信息，并将时间戳信号加入到图像处理单元协议内；图像处理单元可以根据远程驾驶平台的指令选择是否推送视频，以节约流量；同时图像处理单元根据视频传输质量动态调整图像回传分辨率，确保在非优质网络条件下也能将图像回传到后台，以防远程驾驶时进行误操作；can数据转发单元接收5g模组传输过来的远程控制信号，5g模组可以通过串行总线、以太网等总线发送的，can_bus模块将接收的信号转发到ecu，并接收车辆的状态信息。
7.进一步的，所述车载摄像头图像处理单元的相机包含前、后向视角和侧后、侧前方视角，并且侧向相机尽可能的靠近车头和车尾，减少视觉盲区面积。
8.进一步的，所述can_bus模块接收的信号包括远程控制车辆驾驶的动力、转向、制动、车身等控制信号；车辆的状态信息至少包括车速、方向盘转角信号、 加速度信号、转向灯、电量、位置、航向等。
9.进一步的，车载电子控制器ecu作为车载自动驾驶的核心控制单元，满足高等级功能安全，负责和远程底层执行器的信号逻辑交互、信息校验，将视频采集和回传装置的can信号转成执行器可执行的信号，并将车辆的状态参数转发给视频采集和回传装置，执行自动驾驶算法等，判断自动驾驶和远程驾驶的切换逻辑，进入远程驾驶。
10.一种5g远程驾驶设备的控制方法，包括如下步骤：步骤1，在自动驾驶模式下，当需要进入远程驾驶模式时，远程驾驶平台发送远程驾驶使能信号，同时连续发送两次远程驾驶开关信号，匹配实体按钮连续两次操作，当需要退出远程驾驶模式，在远程驾驶模式下，远程端发送一个自动驾驶脉冲信号，ecu收到后根据校验退出远程驾驶，恢复自动驾驶模式；步骤2，为确保行驶安全，需对车端和远程驾驶平台端的信息加以数据校验，即ecu与视频采集和回传装置和远程驾驶平台之间增加心跳信号和数据校验信号，如果有数据校验错误或者数据因为网络卡顿，进行相应处理；步骤3，将视频信息按照远程驾驶安全员习惯的显示在可视化界面，主显示图像至少包括主视相机、侧后向相机的信息，为方便安全员适应远程驾驶，左、右侧向图像经过视频镜像操作，模拟后视镜的画面，数据处理单元经过网络时间同步处理，接收车端图像处理单元的时间戳信息，并将远程驾驶服务器的网络时间比较，得出视频传输的时延，显示在可视化界面，当视频时延大于250ms时，服务器端数据处理单元根据实际模拟驾驶装置发过来的速速数据进行控制，限制远程驾驶时的最高车速，当传输时延大于400ms时，禁用远程驾驶开车；
步骤4，服务器接收模拟驾驶装置的控车信号并转发到车端，由于模拟驾驶装置的信号并非车端直接使用信号，在远程驾驶平台端需要转换成车辆可识别的信息，并做滤波处理。 进一步的，所述步骤1中，驾驶使能信号由0跳至1，ecu必须判断到使能信号为1，且在10秒内收到两次远程驾驶开关跳变信号，则将ecu进入远程驾驶模式，否则ecu执行自动驾驶策略。
11.进一步的，所述步骤2中，当数据校验错误时，丢弃当前帧的数据，错误数据超过5帧时，认为是通信异常，由ecu自主控制停车等待；当心跳信号出现断联时，如果超过5帧，则由ecu自主控制车辆以-2m/s2的减速度停车，心跳信号恢复正常后，可由远程安全员重新切入远程驾驶模式，握手成功后由远程驾驶员控车。
12.进一步的，所述步骤3中，为了辅助远程驾驶转弯或者变道操作，可视化界面将接收到的车身360
°
图像拼接成一个全景鸟瞰图，用于近处周围环境观察；同时在主视角增加辅助引导线，即根据车辆方向盘转角变化，虚拟出一条驾驶预测路线，且在倒车时根据档位和方向盘转角虚拟出一条倒车辅助线。
13.进一步的，所述步骤4中，所述远程驾驶服务器还接收紧急制动按钮信号，该紧急制动按钮独立于模拟驾驶装置，当车端遇到紧急情况或者远程驾驶故障时，可以按下紧急制动按钮，ecu收到该信号后，将车辆以-3m/s2的减速度制动车辆。
14.与现有技术相比，本发明的有益效果为： 本发明从自动驾驶的安全角度出发，针对通信信号延时和信号丢失进行相应处理，避免在5g信号覆盖不好的地方出现危险；从操作安全的角度，提出用不同的信号触发形式，既避免人为误触按键，同时不增加复杂逻辑即可确保安全进入远程驾驶模式。
附图说明
15.图1为本发明的远程驾驶车端装置的结构示意图。
16.图2为本发明的远程驾驶交互逻辑图。
17.图3为本发明的远程驾驶平台的原理图。
实施方式
18.下面结合附图对本发明的技术方案做进一步的详细说明：本实施例提出的一种用于自动驾驶系统并行的远程驾驶设备和控制方法，该系统独立于自动驾驶感知设备和控制器，主要包括独立的一套视频采集和回传装置、车辆控制器、远程驾驶平台等。所述视频采集装置是独立的一套视频采集和回传、控制器局域网can(controller area network)数据采集和发送、5g通信功能的设备；车辆控制器是具备功能安全等级的车载控制器；远程驾驶平台包括远程驾驶服务器、驾驶模拟装置、辅助驾驶可视化界面(hmi)组成。
19.其中视频采集和回传装置具备5g通信功能、车载摄像头图像处理单元、can数据转发单元。5g模组具备5g上网能力，带卫星定位和授时功能，5g模组设置成卫星系统时间同步主模式，对局域网内的其他控制器ecu进行软时间同步，确保其他ecu获得精确的系统时间，和卫星时间偏差小于1ms。图像处理单元同时采集多路摄像头信号，多路摄像头覆盖车辆周边360
°
视野，其中相机包含前、后向视角和侧后、侧前方视角，并且侧向相机尽可能的靠近
车头和车尾，减少视觉盲区面积；视频采集完后在每路视频加上采集时刻的时间戳信息，并将时间戳信号加入到图像处理单元协议内。图像处理单元可以根据远程驾驶平台的指令选择是否推送视频，以节约流量；同时图像处理单元根据视频传输质量动态调整图像回传分辨率，确保在非优质网络条件下也能将图像回传到后台，以防远程驾驶时进行误操作。can数据转发单元接收5g模组传输过来的远程控制信号，5g模组可以通过串行总线、以太网等总线发送的，can_bus模块将接收的信号转发到ecu，包括远程控制车辆驾驶的动力、转向、制动、车身等控制信号；包括车辆自动驾驶系统的控制指令；接收车辆的状态信息，包括但不限于车速、方向盘转角信号、 加速度信号、转向灯、电量、位置、航向等。
20.车载电子控制器ecu(electronic control unit)，作为车载自动驾驶的核心控制单元，满足高等级功能安全，负责和远程底层执行器的信号逻辑交互、信息校验，将视频采集和回传装置的can信号转成执行器可执行的信号，并将车辆的状态参数转发给视频采集和回传装置；执行自动驾驶算法等，判断自动驾驶和远程驾驶的切换逻辑，进入远程驾驶，如图2所示。
21.在自动驾驶模式下，当需要进入远程驾驶模式时，远程驾驶平台发送远程驾驶使能信号(信号由0跳到1)，同时连续发送两次远程驾驶开关信号，匹配实体按钮连续两次操作，避免人为误触到按钮而产生的危险，ecu必须判断到使能信号为1，且在10秒内收到两次远程驾驶开关跳变信号，则将ecu进入远程驾驶模式，否则ecu执行自动驾驶策略。当需要退出远程驾驶模式，在远程驾驶模式下，远程端发送一个自动驾驶脉冲信号，ecu收到后根据校验退出远程驾驶，恢复自动驾驶模式。
22.为确保行驶安全，需对车端和远程驾驶平台端的信息加以数据校验，即ecu与视频采集和回传装置和远程驾驶平台之间增加心跳信号和数据校验信号，如果有数据校验错误或者数据因为网络卡顿，进行相以下处理。当数据校验错误时，丢弃当前帧的数据，错误数据超过5帧时，认为是通信异常，由ecu自主控制停车等待；当心跳信号出现断联时，如果超过5帧，则由ecu自主控制车辆以-2m/s2的减速度停车，心跳信号恢复正常后，可由远程安全员重新切入远程驾驶模式，握手成功后由远程驾驶员控车。
23.远程驾驶平台的核心远程驾驶服务器，主要通过数据转发单元接收车端发送过来的视频信息、发送车辆控制信息、显示车端信息等。远程驾驶平台不仅仅是做远程开车，在自动驾驶状态下，可视化界面上保留有对车端下发指令的功能，当车辆在港口作业遇到错误指令或者重新修改路径时，可由远程驾驶平台端进行指令的修正，避免人工去现场解决。
24.将视频信息按照远程驾驶安全员习惯的显示在可视化界面，主显示图像至少包括主视相机、侧后向相机的信息，为方便安全员适应远程驾驶，左、右侧向图像经过视频镜像操作，模拟后视镜的画面。数据处理单元经过网络时间同步处理，接收车端图像处理单元的时间戳信息，并将远程驾驶服务器的网络时间比较，得出视频传输的时延，显示在可视化界面，当视频时延大于250ms时，服务器端数据处理单元根据实际模拟驾驶装置发过来的速速数据进行控制，限制远程驾驶时的最高车速，当传输时延大于400ms时，禁用远程驾驶挪车。
25.服务器接收模拟驾驶装置的控车信号并转发到车端，由于模拟驾驶装置的信号并非车端直接使用信号，在远程驾驶平台端需要转换成车辆可识别的信息，并做简单的滤波处理。 紧急制动按钮独立于模拟驾驶装置之外，由远程驾驶服务器单独接收，当车端遇到紧急情况或者远程驾驶故障时，可以按下紧急制动按钮，ecu收到该信号后，将车辆以-3m/
s2的减速度制动车辆。
26.为了辅助远程驾驶转弯或者变道操作，可视化界面将接收到的车身360
°
图像拼接成一个全景鸟瞰图，用于近处周围环境观察；同时在主视角增加辅助引导线，即根据车辆方向盘转角变化，虚拟出一条驾驶预测路线；在倒车时亦能根据档位和方向盘转角虚拟出一条倒车辅助线，减缓远程驾驶安全员的开车难度。
27.以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

技术特征：
1.一种基于5g的远程驾驶设备，其特征在于：包括视频采集回传装置、车辆控制器及远程驾驶平台；视频采集回传装置进行视频的采集和编码，并将采集到的视频数据通过车载5g终端传输到远程驾驶平台；所述车辆控制器连接车辆执行器，完成车辆的自动驾驶控制；所述视频采集回传装置由视频采集控制器、摄像头、can(controller area network控制器局域网)数据控制器、5g通信设备组成，视频采集控制器安装位置为车身内部，摄像头分布在车辆周边，所述车辆控制器安装在车身内部，用于提供智能驾驶算法所需的算力，以及提供与整车执行器的接口，通过智能驾驶算法控制整车的运动，是具备功能安全等级的车载控制器；所述远程驾驶平台设置于远程办公室内，用于接收智能驾驶车辆回传的视频，进行视频的解码、渲染、显示；同时可以读取模拟驾驶器的信息，模拟远程控制车辆驾驶。由远程驾驶服务器、驾驶模拟装置、辅助驾驶可视化界面(hmi)组成，远程驾驶平台的核心远程驾驶服务器，主要通过数据转发单元接收车端发送过来的视频信息、发送车辆控制信息、显示车端信息等。2.根据权利要求1所述的5g远程驾驶设备，其特征在于：所述视频采集和回传装置包括5g模组、车载摄像头图像处理单元、can数据转发单元；所述5g模组具备5g上网能力，具备卫星定位和授时功能，5g模组设置成卫星系统时间同步主模式，对局域网内的其他控制器ecu进行软时间同步，确保其他ecu获得精确的系统时间，和卫星时间偏差小于1ms；车载摄像头分布在车辆的前、后、左前、右前、左后、右后位置，能够将车辆周边360
°
范围内的视频回传到远程驾驶平台；车载摄像头图像处理单元同时采集多路摄像头信号，以覆盖车辆周边360
°
视野，视频采集完后在每路视频加上采集时刻的时间戳信息，并将时间戳信号加入到图像处理单元协议内；图像处理单元可以根据远程驾驶平台的指令选择是否推送视频，以节约流量；同时图像处理单元根据视频传输质量动态调整图像回传分辨率，确保在非优质网络条件下也能将图像回传到后台，以防远程驾驶时进行误操作；can数据转发单元接收5g模组传输过来的远程控制信号，5g模组可以通过串行总线、以太网等总线发送的，can_bus模块将接收的信号转发到ecu，并接收车辆的状态信息。3.根据权利要求2所述的5g远程驾驶设备，其特征在于：所述车载摄像头图像处理单元的相机包含前、后向视角和侧后、侧前方视角，并且侧向相机尽可能的靠近车头和车尾，减少视觉盲区面积。4.根据权利要求2所述的5g远程驾驶设备，其特征在于：所述can_bus模块接收的信号包括远程控制车辆驾驶的动力、转向、制动、车身等控制信号；车辆的状态信息至少包括车速、方向盘转角信号、加速度信号、转向灯、电量、位置、航向等。5.根据权利要求1所述的5g远程驾驶设备，其特征在于：车载电子控制器ecu作为车载自动驾驶的核心控制单元，满足高等级功能安全，负责和远程底层执行器的信号逻辑交互、信息校验，将视频采集和回传装置的can信号转成执行器可执行的信号，并将车辆的状态参数转发给视频采集和回传装置，执行自动驾驶算法等，判断自动驾驶和远程驾驶的切换逻辑，进入远程驾驶。6.一种5g远程驾驶设备的控制方法，其特征在于：包括如下步骤：步骤1，在自动驾驶模式下，当需要进入远程驾驶模式时，远程驾驶平台发送远程驾驶
使能信号，同时连续发送两次远程驾驶开关信号，匹配实体按钮连续两次操作，当需要退出远程驾驶模式，在远程驾驶模式下，远程端发送一个自动驾驶脉冲信号，ecu收到后根据校验退出远程驾驶，恢复自动驾驶模式；步骤2，为确保行驶安全，需对车端和远程驾驶平台端的信息加以数据校验，即ecu与视频采集和回传装置和远程驾驶平台之间增加心跳信号和数据校验信号，如果有数据校验错误或者数据因为网络卡顿，进行相应处理；步骤3，将视频信息按照远程驾驶安全员习惯的显示在可视化界面，主显示图像至少包括主视相机、侧后向相机的信息，为方便安全员适应远程驾驶，左、右侧向图像经过视频镜像操作，模拟后视镜的画面，数据处理单元经过网络时间同步处理，接收车端图像处理单元的时间戳信息，并将远程驾驶服务器的网络时间比较，得出视频传输的时延，显示在可视化界面，当视频时延大于250ms时，服务器端数据处理单元根据实际模拟驾驶装置发过来的速速数据进行控制，限制远程驾驶时的最高车速，当传输时延大于400ms时，禁用远程驾驶开车；步骤4，服务器接收模拟驾驶装置的控车信号并转发到车端，由于模拟驾驶装置的信号并非车端直接使用信号，在远程驾驶平台端需要转换成车辆可识别的信息，并做滤波处理。7.根据权利要求6所述的5g远程驾驶设备的控制方法，其特征在于：所述步骤1中，驾驶使能信号由0跳至1，ecu必须判断到使能信号为1，且在10秒内收到两次远程驾驶开关跳变信号，则将ecu进入远程驾驶模式，否则ecu执行自动驾驶策略。8.根据权利要求6所述的5g远程驾驶设备的控制方法，其特征在于：所述步骤2中，当数据校验错误时，丢弃当前帧的数据，错误数据超过5帧时，认为是通信异常，由ecu自主控制停车等待；当心跳信号出现断联时，如果超过5帧，则由ecu自主控制车辆以-2m/s2的减速度停车，心跳信号恢复正常后，可由远程安全员重新切入远程驾驶模式，握手成功后由远程驾驶员控车。9.根据权利要求6所述的5g远程驾驶设备的控制方法，其特征在于：所述步骤3中，为了辅助远程驾驶转弯或者变道操作，可视化界面将接收到的车身360
°
图像拼接成一个全景鸟瞰图，用于近处周围环境观察；同时在主视角增加辅助引导线，即根据车辆方向盘转角变化，虚拟出一条驾驶预测路线，且在倒车时根据档位和方向盘转角虚拟出一条倒车辅助线。10.根据权利要求6所述的5g远程驾驶设备的控制方法，其特征在于：所述步骤4中，所述远程驾驶服务器还接收紧急制动按钮信号，该紧急制动按钮独立于模拟驾驶装置，当车端遇到紧急情况或者远程驾驶故障时，可以按下紧急制动按钮，ecu收到该信号后，将车辆以-3m/s2的减速度制动车辆。

技术总结
本发明公开了一种5G远程驾驶设备及其控制方法，所述设备包括视频采集回传装置、车辆控制器及远程驾驶平台；首先通过视频采集回传装置进行视频的采集和编码，并将采集到的视频数据通过车载5G终端传输到远程驾驶平台，最终通过车辆控制器连接车辆执行器，完成车辆的自动驾驶控制。本发明从自动驾驶的安全角度出发，针对通信信号延时和信号丢失进行相应处理，避免在5G信号覆盖不好的地方出现危险；从操作安全的角度，提出用不同的信号触发形式，既避免人为误触按键，同时不增加复杂逻辑即可确保安全进入远程驾驶模式。确保安全进入远程驾驶模式。确保安全进入远程驾驶模式。


技术研发人员：汪忠 邹鹰 张显宏 高吉 沈汝超 梁晖 张翼 孟祥东 刘峰
受保护的技术使用者：上海友道智途科技有限公司
技术研发日：2023.05.15
技术公布日：2023/8/28