AR导航图像渲染方法、装置、电子设备及存储介质与流程

ar导航图像渲染方法、装置、电子设备及存储介质
技术领域
1.本发明涉及车辆ar导航技术领域，具体涉及一种ar导航图像渲染方法、装置、电子设备及存储介质。


背景技术：

2.增强现实(augmented reality，英文简称：ar)技术是一种通过获取摄像头的影像，并计算影像中的物体和角度对其建模，完成建模后，增加一些虚拟的图像、视频或者三维模型与之叠加，以为用户提供一个虚拟世界与现实世界相结合的画面。
3.对于车辆而言，ar导航与传统导航相比，ar导航会通过摄像头将车辆前方道路的真实场景捕捉下来，再结合当前车辆的位置信息、地图信息、以及场景识别信息进行融合计算，以在用户可见的真实道路上生成虚拟的指引信息。车载ar导航过程中虚实结合的实现离不开车辆定位技术、图像检测与识别技术、ar融合技术的支撑。
4.然而，在现有技术中，装载有ar导航系统的车辆在行驶过程中，由于定位匹配更新频率低，而定位更新频率受到车机系统的限制，目前最常用的定位更新频率是1hz，满足不了ar导航所需要的30hz的渲染频率，进而导致渲染对象无法时刻准确贴合实际。


技术实现要素：

5.本发明要解决的技术问题是为了克服现有技术中装载有ar导航系统的车辆在行驶过程中，渲染对象无法时刻准确贴合实际的缺陷，提供一种ar导航图像渲染方法、装置、电子设备及存储介质。
6.本发明是通过下述技术方案来解决上述技术问题：
7.本发明提供一种ar导航图像渲染方法，所述方法用于对视频帧中的实景图像进行渲染，所述方法包括：获取视频帧中的当前帧；
8.对当前帧进行渲染，记录渲染的起始时刻和结束时刻；
9.分别获取车辆在所述起始时刻和所述结束时刻的第一行驶状态信息和第二行驶状态信息；
10.基于所述起始时刻、所述第一行驶状态信息、所述结束时刻、所述第二行驶状态信息，以及在获取当前帧时所述车辆的经纬度进行计算，以得到在获取下一帧时所述车辆的经纬度；
11.基于计算得到的所述在获取下一帧时所述车辆的经纬度对下一帧进行渲染。
12.本发明还提供一种ar导航图像渲染装置，所述装置用于对视频帧中的实景图像进行渲染，所述装置包括：
13.视频帧获取模块，用于获取视频帧中的当前帧；
14.渲染模块，用于对当前帧进行渲染，记录渲染的起始时刻和结束时刻；
15.数据获取模块，用于分别获取车辆在所述起始时刻和所述结束时刻的第一行驶状态信息和第二行驶状态信息；
16.处理模块，用于基于所述起始时刻、所述第一行驶状态信息、所述结束时刻、所述第二行驶状态信息，以及在获取当前帧时所述车辆的经纬度进行计算，以得到在获取下一帧时所述车辆的经纬度；
17.所述渲染模块还用于基于计算得到的所述在获取下一帧时所述车辆的经纬度对下一帧进行渲染。
18.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的方法。
19.本发明还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行前述的方法。
20.本发明的积极进步效果在于：
21.车载ar导航在车辆行驶过程中，使渲染对象实时准确贴合实际：利用陀螺仪稳定获取车辆行驶状态信息(包括速度、方向、加速度等)来实时推算经纬度，减少算法复杂度，降低算力功耗，并使用地图匹配的经纬度来校准、减少推算误差，提高精确度，以此经纬度作为基准参与到建模计算中，可保证模型与实际实时贴合。
22.借助智能定位、地图导航、ar渲染等技术，可在真实拍摄的道路画面上，呈现更加直观的3d实景指引，帮助方向感不强的用户解决起步找方向难、不知何时转向等问题。
附图说明
23.图1为本发明实施例1的ar导航图像渲染方法的流程图。
24.图2为本发明实施例1中的步骤s104的流程图。
25.图3为本发明实施例2的ar导航图像渲染装置的模块示意图。
26.图4为本发明实施例2中的处理模块的模块示意图。
27.图5为本发明实施例3的电子设备的结构示意图。
具体实施方式
28.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
29.实施例1
30.如图1所示，本实施例公开了一种ar导航图像渲染方法，所述方法用于对视频帧中的实景图像进行渲染，所述方法包括：
31.步骤s101、获取视频帧中的当前帧；
32.具体地，当前帧为正在被渲染的帧。
33.步骤s102、对当前帧进行渲染，记录渲染的起始时刻和结束时刻；
34.具体地，渲染对象是指视频画面中的车辆、建筑物等(主要是建筑物)，例如在建筑物上作出标识进行指路。
35.步骤s103、分别获取车辆在所述起始时刻和所述结束时刻的第一行驶状态信息和第二行驶状态信息；
36.具体地，所述第一行驶状态信息包括所述车辆在所述起始时刻的第一方向角、第一加速度、第一速度；所述第二行驶状态信息包括所述车辆在所述结束时刻的第二方向角、
第二加速度、第二速度。其中，所述第一加速度和所述第二加速度可以通过陀螺仪进行采集。另外，第一速度和第二速度通过车辆自身的转速计算或者通过gps信息中的速度来获取。第一方向角和第二方向角可以通过获取gps信息中的角度来确定。
37.步骤s104、基于所述起始时刻、所述第一行驶状态信息、所述结束时刻、所述第二行驶状态信息，以及在获取当前帧时所述车辆的经纬度进行计算，以得到在获取下一帧时所述车辆的经纬度；其中，所述起始时刻为渲染的起始时间戳，所述结束时刻为渲染的结束时间戳。起始时间戳、结束时间戳记载在车机系统中，可以精确到纳秒，从而进一步减少推算误差，提高精确度，保证模型与实际实时贴合。
38.具体地，获取下一帧时所述车辆的经纬度的过程如下：首先，根据加速度和速度还有耗时，计算出车辆行驶的距离，然后根据距离和方向，推算出下一个经纬度的位置。其中，加速度和速度，可以根据所述第一行驶状态信息和第二行驶状态信息进行获取，耗时可以通过计算起始时刻和结束时刻的时间差来确定。
39.步骤s105、基于计算得到的所述在获取下一帧时所述车辆的经纬度对下一帧进行渲染。
40.如图2所示，在一可实施的方式中，步骤s104包括：
41.步骤s1041、根据所述起始时刻和所述结束时刻计算渲染耗时；
42.在一具体的实施例中，若起始时刻为t1，结束时刻为t2，渲染耗时时间为t，则t＝t2-t1。
43.步骤s1042、根据所述第一加速度、第二加速度、第一速度、第二速度以及所述渲染耗时计算在对当前帧进行渲染的过程中所述车辆行驶的距离；
44.在一具体的实施例中，若第一加速度为δv1、第二加速度为δv2、第一速度为v1、第二速度为v2，渲染耗时时间为t，则可以根据以上参数计算当前帧进行渲染的过程中所述车辆行驶的距离s。
45.步骤s1043、根据所述车辆行驶的距离、所述第一方向角、所述第二方向角计算在获取下一帧时所述车辆的经纬度。
46.本方案，根据所述第一加速度、第二加速度、第一速度、第二速度以及渲染耗时、所述第一方向角、所述第二方向角计算在获取下一帧时所述车辆的经纬度，从而提高了获取车辆经纬度的准确性，有效减少推算误差，提高精确度，进而以此经纬度作为基准参与到建模计算中，保证模型与实际实施贴合。在一可实施的方式中，基于在获取当前帧时所述车辆的经纬度、当前帧中目标对象的经纬度，以及所述第一方向角进行计算，以得到在获取当前帧时所述目标对象相对于所述车辆的位置信息，并基于所述在获取当前帧时所述目标对象相对于所述车辆的位置信息对当前帧进行渲染，以在当前帧画面上形成导航模型，其中，所述位置信息包括目标对象在以所述车辆的车头中心为原点的三维坐标系中的坐标数据。
47.本方案中，可以通过在地图数据中搜索兴趣点的方式获取每一帧中目标对象的经纬度，其中，所述地图数据中的兴趣点包含所述目标对象的地理位置信息。
48.本方案中，通过基于获取的当前帧时所述车辆的经纬度、当前帧中目标对象的经纬度，以及所述第一方向角对当前帧进行渲染，以确保在当前帧画面上形成导航模型的准确性，从而保证模型与实际实时贴合，进而使得装载有ar导航系统的车辆在行驶过程中，渲染对象能够时刻准确贴合实际。
49.在一可实施的方式中，当定位装置更新所述车辆的定位信息时，基于更新后的所述定位信息校准用于渲染当前帧的车辆的经纬度。
50.本方案中，当定位装置更新所述车辆的定位信息时，基于更新后的所述定位信息校准用于渲染当前帧的车辆的经纬度，使得当定位装置更新所述车辆的定位信息时，能够自动选用定位装置实际检测的值，从而进一步提高了获取车辆经纬度的准确性，有效减少推算误差，提高精确度，进而以此经纬度作为基准参与到建模计算中，保证模型与实际实时贴合。
51.实施例2
52.如图3所示，本实施例公开了一种ar导航图像渲染装置，所述装置用于对视频帧中的实景图像进行渲染，所述装置包括：
53.视频帧获取模块1，用于获取视频帧中的当前帧；
54.具体地，当前帧为正在被渲染的帧。
55.渲染模块2，用于对当前帧进行渲染，记录渲染的起始时刻和结束时刻；
56.具体地，渲染对象是指视频画面中的车辆、建筑物等(主要是建筑物)，例如在建筑物上作出标识进行指路。
57.数据获取模块3，用于分别获取车辆在所述起始时刻和所述结束时刻的第一行驶状态信息和第二行驶状态信息；
58.具体地，所述第一行驶状态信息包括所述车辆在所述起始时刻的第一方向角、第一加速度、第一速度；所述第二行驶状态信息包括所述车辆在所述结束时刻的第二方向角、第二加速度、第二速度。其中，所述第一加速度和所述第二加速度可以通过陀螺仪进行采集。另外，第一速度和第二速度通过车辆自身的转速计算或者通过gps信息中的速度来获取。第一方向角和第二方向角可以通过获取gps信息中的角度来确定。
59.处理模块4，用于基于所述起始时刻、所述第一行驶状态信息、所述结束时刻、所述第二行驶状态信息，以及在获取当前帧时所述车辆的经纬度进行计算，以得到在获取下一帧时所述车辆的经纬度；其中，所述起始时刻为渲染的起始时间戳，所述结束时刻为渲染的结束时间戳。起始时间戳、结束时间戳记载在车机系统中，可以精确到纳秒，从而进一步减少推算误差，提高精确度，保证模型与实际实时贴合。
60.具体地，获取下一帧时所述车辆的经纬度的过程如下：首先，根据加速度和速度还有耗时，计算出车辆行驶的距离，然后根据距离和方向，推算出下一个经纬度的位置。其中，加速度和速度，可以根据所述第一行驶状态信息和第二行驶状态信息进行获取，耗时可以通过计算起始时刻和结束时刻的时间差来确定。
61.所述渲染模块2，还用于基于计算得到的所述在获取下一帧时所述车辆的经纬度对下一帧进行渲染。
62.如图4所示，在一可实施的方式中，处理模块4包括：
63.第一计算单元41，用于根据所述起始时刻和所述结束时刻计算渲染耗时；
64.在一具体的实施例中，若起始时刻为t1，结束时刻为t2，渲染耗时时间为t，则t＝t2-t1。
65.第二计算单元42，用于根据所述第一加速度、第二加速度、第一速度、第二速度以及所述渲染耗时计算在对当前帧进行渲染的过程中所述车辆行驶的距离；
66.在一具体的实施例中，若第一加速度为δv1、第二加速度为δv2、第一速度为v1、第二速度为v2，渲染耗时时间为t，则可以根据以上参数计算当前帧进行渲染的过程中所述车辆行驶的距离s。
67.第三计算单元43，用于根据所述车辆行驶的距离、所述第一方向角、所述第二方向角计算在获取下一帧时所述车辆的经纬度。
68.本方案，根据所述第一加速度、第二加速度、第一速度、第二速度以及渲染耗时、所述第一方向角、所述第二方向角计算在获取下一帧时所述车辆的经纬度，从而提高了获取车辆经纬度的准确性，有效减少推算误差，提高精确度，进而以此经纬度作为基准参与到建模计算中，保证模型与实际实时贴合。在一可实施的方式中，渲染模块2，还用于基于在获取当前帧时所述车辆的经纬度、当前帧中目标对象的经纬度，以及所述第一方向角进行计算，以得到在获取当前帧时所述目标对象相对于所述车辆的位置信息，并基于所述在获取当前帧时所述目标对象相对于所述车辆的位置信息对当前帧进行渲染，以在当前帧画面上形成导航模型，其中，所述位置信息包括目标对象在以所述车辆的车头中心为原点的三维坐标系中的坐标数据。
69.本方案中，可以通过在地图数据中搜索兴趣点的方式获取每一帧中目标对象的经纬度，其中，所述地图数据中的兴趣点包含所述目标对象的地理位置信息。
70.本方案中，通过基于获取的当前帧时所述车辆的经纬度、当前帧中目标对象的经纬度，以及所述第一方向角对当前帧进行渲染，以确保在当前帧画面上形成导航模型的准确性，从而保证模型与实际实时贴合，进而使得装载有ar导航系统的车辆在行驶过程中，渲染对象能够时刻准确贴合实际。
71.在一可实施的方式中，所述装置还包括校准模块5，用于当定位装置更新所述车辆的定位信息时，基于更新后的所述定位信息校准用于渲染当前帧的车辆的经纬度。
72.本方案中，当定位装置更新所述车辆的定位信息时，基于更新后的所述定位信息校准用于渲染当前帧的车辆的经纬度，使得当定位装置更新所述车辆的定位信息时，能够自动选用定位装置实际检测的值，从而进一步提高了获取车辆经纬度的准确性，有效减少推算误差，提高精确度，进而以此经纬度作为基准参与到建模计算中，保证模型与实际实时贴合。
73.实施例3
74.图5为本发明实施例3提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1所提供的ar导航图像渲染方法。图5显示的电子设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
75.如图5所示，电子设备50可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备50的组件可以包括但不限于：上述至少一个处理器51、上述至少一个存储器52、连接不同系统组件(包括存储器52和处理器51)的总线53。
76.总线53包括数据总线、地址总线和控制总线。
77.存储器52可以包括易失性存储器，例如随机存取存储器(ram)521和/或高速缓存存储器522，还可以进一步包括只读存储器(rom)523。
78.存储器52还可以包括具有一组(至少一个)程序模块524的程序/实用工具525，这
样的程序模块524包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
79.处理器51通过运行存储在存储器52中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的ar导航图像渲染方法。
80.电子设备50也可以与一个或多个外部设备54(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口55进行。并且，模型生成的设备50还可以通过网络适配器56与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器56通过总线53与模型生成的设备50的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
81.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
82.实施例4
83.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1所提供的ar导航图像渲染方法。
84.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
85.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所提供的ar导航图像渲染方法。
86.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
87.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

技术特征：
1.一种ar导航图像渲染方法，其特征在于，所述方法用于对视频帧中的实景图像进行渲染，所述方法包括：获取视频帧中的当前帧；对当前帧进行渲染，记录渲染的起始时刻和结束时刻；分别获取车辆在所述起始时刻和所述结束时刻的第一行驶状态信息和第二行驶状态信息；基于所述起始时刻、所述第一行驶状态信息、所述结束时刻、所述第二行驶状态信息，以及在获取当前帧时所述车辆的经纬度进行计算，以得到在获取下一帧时所述车辆的经纬度；基于计算得到的所述在获取下一帧时所述车辆的经纬度对下一帧进行渲染。2.根据权利要求1所述的方法，所述第一行驶状态信息包括所述车辆在所述起始时刻的第一方向角、第一加速度、第一速度；所述第二行驶状态信息包括所述车辆在所述结束时刻的第二方向角、第二加速度、第二速度。3.根据权利要求2所述的方法，所述基于所述第一行驶状态信息、所述第二行驶状态信息，以及在获取当前帧时所述车辆的经纬度进行计算，以得到在获取下一帧时所述车辆的经纬度的步骤包括：根据所述起始时刻和所述结束时刻计算渲染耗时；根据所述第一加速度、第二加速度、第一速度、第二速度以及所述渲染耗时计算在对当前帧进行渲染的过程中所述车辆行驶的距离；根据所述车辆行驶的距离、所述第一方向角、所述第二方向角计算在获取下一帧时所述车辆的经纬度。4.根据权利要求2所述的方法，所述方法还包括：基于在获取当前帧时所述车辆的经纬度、当前帧中目标对象的经纬度，以及所述第一方向角进行计算，以得到在获取当前帧时所述目标对象相对于所述车辆的位置信息，并基于所述在获取当前帧时所述目标对象相对于所述车辆的位置信息对当前帧进行渲染，以在当前帧画面上形成导航模型，其中，所述位置信息包括目标对象在以所述车辆的车头中心为原点的三维坐标系中的坐标数据。5.根据权利要求1所述的方法，所述起始时刻为渲染的起始时间戳，所述结束时刻为渲染的结束时间戳。6.根据权利要求1所述的方法，所述方法还包括：当定位装置更新所述车辆的定位信息时，基于更新后的所述定位信息校准用于渲染当前帧的车辆的经纬度。7.根据权利要求4所述的方法，所述方法还包括：通过在地图数据中搜索兴趣点的方式获取每一帧中目标对象的经纬度，其中，所述地图数据中的兴趣点包含所述目标对象的地理位置信息。8.根据权利要求2所述的方法，所述第一加速度和所述第二加速度通过陀螺仪进行采集。9.一种ar导航图像渲染装置，其特征在于，所述装置用于对视频帧中的实景图像进行渲染，所述装置包括：视频帧获取模块，用于获取视频帧中的当前帧；渲染模块，用于对当前帧进行渲染，记录渲染的起始时刻和结束时刻；
数据获取模块，用于分别获取车辆在所述起始时刻和所述结束时刻的第一行驶状态信息和第二行驶状态信息；处理模块，用于基于所述起始时刻、所述第一行驶状态信息、所述结束时刻、所述第二行驶状态信息，以及在获取当前帧时所述车辆的经纬度进行计算，以得到在获取下一帧时所述车辆的经纬度；所述渲染模块还用于基于计算得到的所述在获取下一帧时所述车辆的经纬度对下一帧进行渲染。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的方法。11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

技术总结
本发明公开了一种AR导航图像渲染方法、装置、电子设备及存储介质，AR导航图像渲染方法用于对视频帧中的实景图像进行渲染，方法包括：获取视频帧中的当前帧；对当前帧进行渲染，记录渲染的起始时刻和结束时刻；分别获取车辆在起始时刻和结束时刻的第一行驶状态信息和第二行驶状态信息；基于起始时刻、第一行驶状态信息、结束时刻、第二行驶状态信息，以及在获取当前帧时车辆的经纬度进行计算，以得到在获取下一帧时车辆的经纬度；基于计算得到的在获取下一帧时车辆的经纬度对下一帧进行渲染。本发明减少算法复杂度，降低算力功耗，同时，减少推算误差，提高精确度，以此经纬度作为基准参与到建模计算中，可保证模型与实际实时贴合。可保证模型与实际实时贴合。可保证模型与实际实时贴合。


技术研发人员：李力杉
受保护的技术使用者：上海博泰悦臻网络技术服务有限公司
技术研发日：2022.02.16
技术公布日：2023/8/28