在增强现实显示器上显示基础设施信息的系统和方法与流程

1.本公开涉及用于在增强现实显示器上显示基础设施信息的系统和方法。


背景技术：

2.该背景技术总体上呈现本公开的上下文。在本背景技术中描述的程度上，当前署名的发明人的工作以及在提交时可能不构成现有技术的描述的各方面，既不明示地也不暗示地被认为是本公开的现有技术。
3.一些车辆包括显示器以向车辆用户提供信息。然而，这些显示器不必要地呈现基础设施信息，诸如街道信息和/或兴趣点(poi)信息。提供这样的基础设施信息可以帮助车辆用户在驾驶时容易地定位这样的基础设施。因此，期望开发一种用于基于当前驾驶环境内的实时车辆定位在增强现实显示器上显示基础设施信息的系统和方法。


技术实现要素：

4.本公开描述了在多焦平面增强现实显示器上向驾驶员呈现街道地址位置和道路名称支持的系统和方法。基于驾驶环境内的实时车辆定位，多焦平面增强现实显示器向车辆用户呈现道路的一侧或两侧上的街道地址。本公开还描述了在多焦平面增强现实显示器上向驾驶员呈现poi信息的系统和方法。基于车辆用户的个人偏好，多焦平面增强现实显示器向车辆用户呈现沿本地驾驶路线的商店、地标和其他poi的位置。
5.在本公开的一方面，一种用于在车辆的多焦平面增强现实显示器上显示基础设施信息的方法包括接收基础设施数据。基础设施数据包括关于沿车辆的路线的至少一个基础设施的位置的信息。该方法还包括接收车辆位置数据。车辆位置数据包括关于车辆的位置的信息。该方法还包括使用基础设施数据和车辆位置数据来确定车辆相对于基础设施的位置的位置。该方法还包括向多焦平面增强现实显示器发送命令信号以在多焦平面增强现实显示器上显示示出基础设施的基础设施信息的虚拟图像。本段中描述的方法通过向车辆用户提供基础设施信息来改进车辆技术，该基础设施信息帮助车辆用户在驾驶时容易地定位和识别基础设施。
6.在本公开的一方面，该方法还包括接收用户眼睛数据。用户眼睛数据包括关于车辆的用户眼睛的位置的信息。该方法还包括：使用用户眼睛数据来确定用户眼睛的位置，以及基于用户眼睛的位置来确定多焦平面增强现实显示器上的虚拟图像的位置。将命令信号发送到多焦平面增强现实显示器的步骤包括：在先前基于用户眼睛的位置确定的多焦平面增强现实显示器上的位置处显示所述虚拟图像。
7.在本公开的一方面，基础设施可以是沿车辆的路线的兴趣点(poi)。基础设施信息可以是关于poi的信息。
8.在本公开的一方面，该方法还包括：使用基础设施数据确定poi是否沿车辆的路线定位，并且响应于确定poi沿车辆的路线定位，在多焦平面增强现实显示器上显示虚拟图像。虚拟图像包括关于沿车辆的路线定位的poi的信息。
9.在本公开的一方面，该方法还包括使用基础设施数据来确定要在多焦平面增强现实显示器上显示的虚拟图像的类型。基础设施数据包括关于poi的类型的信息。
10.在本公开的一方面，该方法还包括：确定车辆相对于poi的位置的位置，并且基于车辆相对于poi的位置的位置来确定多焦平面增强现实显示器上的虚拟图像的尺寸。
11.在本公开的一方面，该方法还包括：确定车辆是否已经经过poi，并且响应于确定车辆已经经过poi，命令多焦平面增强现实显示器停止显示虚拟图像。
12.在本公开的一方面，基础设施是建筑物。该建筑物具有地址。建筑物的地址具有建筑物编号。该方法还包括在多焦平面增强现实显示器上显示虚拟图像，其中虚拟图像包括地址的建筑物编号。
13.在本公开的一方面，基础设施是街道。街道有名称。该方法还包括在多焦平面增强现实显示器上显示虚拟图像，其中虚拟图像包括街道的名称。
14.在本公开的一方面，基础设施是街道。街道具有规则。该方法还包括在多焦平面增强现实显示器上显示虚拟图像，其中虚拟图像指示街道的规则。
15.在本公开的一方面，一种用于在车辆中显示基础设施信息的系统包括多焦平面增强现实显示器、多个传感器以及与多个传感器和多焦平面增强现实显示器通信的控制器。控制器被配置为从传感器中的至少一个接收基础设施数据。基础设施数据包括关于沿车辆的路线的至少一个基础设施的位置的信息。控制器还被配置为从传感器中的至少一个接收车辆位置数据。车辆位置数据包括关于车辆的位置的信息。控制器被配置为使用基础设施数据和车辆位置数据来确定车辆相对于基础设施的位置的位置。此外，控制器被配置为向多焦平面增强现实显示器发送命令信号，以在多焦平面增强现实显示器上显示示出至少一个基础设施的基础设施信息的虚拟图像。本段中描述的系统通过向车辆用户提供基础设施信息来改进车辆技术，该基础设施信息帮助车辆用户在驾驶时容易地定位和识别基础设施。
16.在本公开的一方面，控制器被配置成从用户跟踪器接收用户眼睛数据。用户眼睛数据包括关于车辆的用户眼睛的位置的信息。控制器被配置为使用用户眼睛数据来确定用户眼睛的位置，并且基于用户眼睛的位置来确定多焦平面增强现实显示器上的虚拟图像的位置。此外，控制器被配置成命令多焦平面增强现实显示器以在先前基于用户眼睛的位置确定的多焦平面增强现实显示器上的位置处显示虚拟图像。
17.在本公开的一方面，基础设施可以是沿车辆的路线的poi。基础设施信息是关于poi的信息。
18.在本公开的一方面，控制器还被配置为使用基础设施数据来确定至少一个poi是否沿车辆的路线定位，并且响应于确定poi沿车辆的路线定位，命令多焦平面增强现实显示器显示虚拟图像，其中虚拟图像包括关于沿车辆的路线定位的poi的信息。
19.在本公开的一方面，控制器还被配置为使用基础设施数据来确定要在多焦平面增强现实显示器上显示的虚拟图像的类型，其中基础设施数据包括关于poi的类型的信息。
20.在本公开的一方面，控制器被配置为确定车辆相对于poi的位置的位置，并且基于车辆相对于poi的位置的位置来确定多焦平面增强现实显示器上的虚拟图像的尺寸。
21.在本公开的一方面，控制器还被配置为确定车辆是否已经经过poi，并且响应于确定车辆已经经过poi，命令多焦平面增强现实显示器停止显示虚拟图像。
22.在本公开的一方面，基础设施是建筑物。该建筑物具有地址。建筑物的地址具有建筑物编号。控制器还被配置为命令多焦平面增强现实显示器在多焦平面增强现实显示器上显示虚拟图像，其中虚拟图像包括地址的建筑物编号。
23.在本公开的一方面，基础设施是街道。街道有名称。所述控制器还被配置为命令所述多焦平面增强现实显示器在所述多焦平面增强现实显示器上显示所述虚拟图像，其中所述虚拟图像包括所述街道的名称。
24.在本公开的一方面，基础设施是街道。街道具有规则。控制器还被配置为命令多焦平面增强现实显示器在多焦平面增强现实显示器上显示虚拟图像，其中虚拟图像指示街道的规则。
25.本发明还可包括下列方案。
26.1. 一种用于在车辆的多焦平面增强现实显示器上显示基础设施信息的方法，包括：接收基础设施数据，其中所述基础设施数据包括关于沿所述车辆的路线的至少一个基础设施的位置的信息；接收车辆位置数据，其中所述车辆位置数据包括关于所述车辆的位置的信息；使用所述基础设施数据和所述车辆位置数据来确定所述车辆相对于所述至少一个基础设施的位置的位置；以及向所述多焦平面增强现实显示器发送命令信号以在所述多焦平面增强现实显示器上显示示出所述至少一个基础设施的基础设施信息的虚拟图像。
27.2. 根据方案1所述的方法，还包括：接收用户眼睛数据，其中所述用户眼睛数据包括关于所述车辆的用户眼睛的位置的信息；使用所述用户眼睛数据来确定所述用户眼睛的位置；以及基于所述用户眼睛的位置来确定所述多焦平面增强现实显示器上的虚拟图像的位置；其中，向所述多焦平面增强现实显示器发送命令信号以在所述多焦平面增强现实显示器上显示示出所述至少一个基础设施的位置的虚拟图像包括在先前确定的所述多焦平面增强现实显示器上的位置处显示所述虚拟图像。
28.3. 根据方案1所述的方法，其中，所述至少一个基础设施是沿所述车辆的所述路线的至少一个兴趣点(poi)，并且所述基础设施信息是关于所述poi的信息。
29.4. 根据方案3所述的方法，还包括：使用所述基础设施数据确定所述至少一个poi是否沿所述车辆的所述路线定位；以及响应于确定所述至少一个poi沿所述车辆的所述路线定位，在所述多焦平面增强现实显示器上显示所述虚拟图像；其中，所述虚拟图像包括关于沿所述车辆的所述路线定位的所述至少一个poi的信息。
30.5. 根据方案4所述的方法，还包括：使用所述基础设施数据来确定要在所述多焦平面增强现实显示器上显示的所述虚拟图像的类型，其中所述基础设施数据包含关于所述
poi的类型的信息。
31.6. 根据方案5所述的方法，还包括：确定所述车辆相对于所述至少一个poi的位置的位置；以及基于所述车辆相对于所述至少一个poi的位置的位置来确定所述多焦平面增强现实显示器上的所述虚拟图像的尺寸。
32.7. 根据方案6所述的方法，还包括：确定所述车辆是否已经过所述poi；以及响应于确定所述车辆已经经过所述poi，命令所述多焦平面增强现实显示器停止显示所述虚拟图像。
33.8. 根据方案1所述的方法，其中，所述基础设施是建筑物，所述建筑物具有地址，所述建筑物的所述地址具有建筑物编号，所述方法还包括在所述多焦平面增强现实显示器上显示所述虚拟图像，并且所述虚拟图像包括所述地址的所述建筑物编号。
34.9. 根据方案1所述的方法，其中，所述基础设施是街道，所述街道具有名称，所述方法还包括在所述多焦平面增强现实显示器上显示所述虚拟图像，并且所述虚拟图像包括所述街道的所述名称。
35.10. 根据方案1所述的方法，其中，所述基础设施是街道，所述街道具有规则，所述方法还包括在所述多焦平面增强现实显示器上显示所述虚拟图像，并且所述虚拟图像指示所述街道的所述规则。
36.11. 一种用于在车辆中显示基础设施信息的系统，包括：多焦平面增强现实显示器；多个传感器；控制器，所述控制器与所述多个传感器和所述多焦平面增强现实显示器通信，其中所述控制器被配置成：从所述多个传感器中的至少一个传感器接收基础设施数据，其中所述基础设施数据包括关于沿所述车辆的路线的至少一个基础设施的位置的信息；从所述多个传感器中的至少一个传感器接收车辆位置数据，其中所述车辆位置数据包括关于所述车辆的位置的信息；使用所述基础设施数据和所述车辆位置数据来确定所述车辆相对于所述至少一个基础设施的位置的位置；以及向所述多焦平面增强现实显示器发送命令信号以在所述多焦平面增强现实显示器上显示示出所述至少一个基础设施的基础设施信息的虚拟图像。
37.12. 根据方案11所述的系统，其中，所述控制器被配置为：从用户跟踪器接收用户眼睛数据，其中所述用户眼睛数据包括关于所述车辆的用户眼睛的位置的信息；使用所述用户眼睛数据来确定所述用户的所述眼睛的位置；基于所述用户眼睛的位置来确定所述多焦平面增强现实显示器上的虚拟图像的位置；命令所述多焦平面增强现实显示器在先前确定的所述多焦平面增强现实显示器上的位置处显示所述虚拟图像。
38.13. 根据方案11所述的系统，其中，所述至少一个基础设施是沿所述车辆的所述路线的至少一个兴趣点(poi)，并且所述基础设施信息是关于所述poi的信息。
39.14. 根据方案13所述的系统，其中，所述控制器还被配置为：使用所述基础设施数据来确定所述至少一个poi是否沿所述车辆的所述路线定位；以及响应于确定所述至少一个poi沿所述车辆的所述路线定位，命令所述多焦平面增强现实显示器显示所述虚拟图像；其中，所述虚拟图像包括关于沿所述车辆的所述路线定位的所述poi的信息。
40.15. 根据方案14所述的系统，其中，所述控制器进一步被配置成使用所述基础设施数据来确定要在所述多焦平面增强现实显示器上显示的所述虚拟图像的类型，其中所述基础设施数据包括关于所述poi的类型的信息。
41.16. 根据方案15所述的系统，其中，所述控制器被配置为：确定所述车辆相对于所述至少一个poi的位置的位置；以及基于所述车辆相对于所述至少一个poi的位置的位置来确定所述多焦平面增强现实显示器上的所述虚拟图像的尺寸。
42.17. 根据方案16所述的系统，其中，所述控制器还被配置为：确定所述车辆是否已经过所述poi；以及响应于确定所述车辆已经过所述poi，命令所述多焦平面增强现实显示器停止显示所述虚拟图像。
43.18. 根据方案11所述的系统，其中，所述基础设施是建筑物，所述建筑物具有地址，所述建筑物的地址具有建筑物编号，所述控制器还被配置成命令所述多焦平面增强现实显示器在所述多焦平面增强现实显示器上显示所述虚拟图像，并且所述虚拟图像包括所述地址的建筑物编号。
44.19. 根据方案11所述的系统，其中，所述基础设施是街道，所述街道具有名称，所述控制器还被配置成命令所述多焦平面增强现实显示器在所述多焦平面增强现实显示器上显示所述虚拟图像，并且所述虚拟图像包括所述街道的名称。
45.20. 根据方案11所述的系统，其中，所述基础设施是街道，所述街道具有规则，所述控制器被进一步配置成命令所述多焦平面增强现实显示器在所述多焦平面增强现实显示器上显示所述虚拟图像，并且所述虚拟图像指示所述街道的所述规则。
46.本公开的进一步的应用领域将从以下提供的详细描述中变得显而易见。应当理解，详细描述和具体示例仅旨在用于说明的目的，而不旨在限制本公开的范围。
47.从包括权利要求书和示例性实施例的详细描述结合附图，当前公开的系统和方法的上述特征和优点以及其他特征和优点是显而易见的。
附图说明
48.本公开从详细描述和附图将变得更完全地被理解，其中：图1是描绘包括用于在多焦平面增强现实显示器上显示基础设施信息的系统的车辆的实施例的框图；图2是图1的多焦平面增强现实显示器的示意性正视图，其中多焦平面增强现实显
示器被配置为平视显示器(hud)并示出街道地址；图3是图1的多焦平面增强现实显示器的示意性正视图，其中多焦平面增强现实显示器被配置为hud并示出街道名称和街道规则；图4是图1的多焦平面增强现实显示器的示意性正视图，其中多焦平面增强现实显示器被配置为hud并示出兴趣点的位置；图5是图1的多焦平面增强现实显示器的示意性正视图，突出显示图1的多焦平面增强现实显示器的第二图像平面；图6是图1的多焦平面增强现实显示器的第二图像平面的示意图；图7是用于在图1的多焦平面增强现实显示器上显示基础设施信息的系统的一部分的示意图；图8是用于在多焦平面增强现实显示器上提供街道信息的方法的流程图；以及图9是用于在多焦平面增强现实显示器上提供poi信息的方法的流程图。
具体实施方式
49.现在将详细参考在附图中示出的本公开的多个示例。只要可能，在附图和说明书中使用相同或相似的附图标记来表示相同或相似的部件或步骤。
50.参照图1，车辆10总体包括底盘12、车身14、前轮和后轮17，并且可以被称为车辆系统。在所示实施例中，车辆10包括两个前轮17a和两个后轮17b。车身14设置在底盘12上，并基本上包围车辆10的部件。车身14和底盘12可以共同形成车架。车轮17每个在车身14的相应角部附近旋转地联接到底盘12。车辆10包括联接到前轮17a的前轴19和联接到后轮17b的后轴25。
51.在各种实施例中，车辆10可以是自主车辆，并且控制系统98被结合到车辆10中。控制系统98可以被称为系统或用于在显示器29上显示基础设施信息的系统。车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所示实施例中，车辆10被描述为轻型卡车，但是应当理解，也可以使用其他车辆，包括卡车、轿车、双门敞篷轿车、运动型多功能车(suv)、休闲车(rv)等。在一个实施例中，车辆10可以是所谓的二级、三级、四级或五级自动化系统。四级系统指示“高自动化”，意指即使人类驾驶员没有适当地响应于干预请求，自动驾驶系统对动态驾驶任务的各方面的驾驶模式特定的执行。五级系统指示“全自动”，意指在可由人类驾驶员管理的多个道路和环境条件下，自动驾驶系统对动态驾驶任务的各方面的全时执行。在3级车辆中，车辆系统在其设计操作的区域内执行整个动态驾驶任务(ddt)。如果某些情况出错或者车辆将要离开它能够操作的区域，则仅当车辆10必要地“询问”驾驶员接管时才预期车辆操作者负责ddt支援。在2级车辆中，系统提供转向、制动/加速支持、车道对中和自适应巡航控制。然而，即使这些系统被激活，驾车的车辆操作者也必须正在驾驶并持续监督自动化特征。
52.如图所示，车辆10总体上包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可以包括诸如牵引马达的电机和/或燃料电池推进系统。车辆10还可包括电连接到推进系统20的电池(或电池组)21。因此，电池21被配置成存储电能并向推进系统20提供电能。在某些实施例中，推进系统20可包括内燃机。变速器系统22
被配置成根据可选择的速比将动力从推进系统20传递到车轮17。根据各种实施例，变速器系统22可包括多阶梯传动比自动变速器、无级变速器或其他适当的变速器。制动系统26被配置成向车轮17提供制动扭矩。在各种实施例中，制动系统26可以包括摩擦制动器，有线制动器、例如电机的再生制动系统、和/或其他适当的制动系统。转向系统24影响车轮17的位置，并且可以包括方向盘33。虽然为了说明的目的而被描述为包括方向盘33，但是在本公开的范围内构思的一些实施例中，转向系统24可以不包括方向盘33。
53.传感器系统28包括感测车辆10的外部环境和/或内部环境的可观测状况的一个或多个传感器40(即，感测装置)。传感器40与控制器34通信并且可以包括但不限于一个或多个雷达、一个或多个光检测和测距(lidar)传感器、一个或多个接近传感器、一个或多个里程计、一个或多个地面穿透雷达(gpr)传感器、一个或多个转向角传感器、一个或多个全球定位系统(gps)收发器45、一个或多个轮胎压力传感器、一个或多个摄像机41(例如，光学摄像机和/或红外摄像机)、一个或多个陀螺仪、一个或多个加速度计、一个或多个倾斜计、一个或多个速度传感器、一个或多个超声波传感器、一个或多个惯性测量单元(imu)和/或其他传感器。每个传感器40被配置成产生指示车辆10的外部环境和/或内部环境的所感测的可观测状况的信号。因为传感器系统28向控制器34提供数据，所以传感器系统28及其传感器40被认为是信息源(或简称为源)。
54.传感器系统28包括一个或多个全球导航卫星系统(gnss)收发器45(例如，全球定位系统(gps)收发器)，其被配置为检测和监视路线数据(即，路线信息)。gnss收发器45被配置成与gnss通信以定位车辆10在地球中的位置。gnss收发器45与控制器34电子通信。
55.致动器系统30包括一个或多个致动器装置42，其控制一个或多个车辆特征，例如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，车辆特征还可以包括内部和/或外部车辆特征，例如但不限于门、行李箱和车厢特征，例如空气、音乐、照明等。
56.数据存储装置32存储用于自动控制车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的所限定的地图。在各种实施例中，所限定的地图可以由远程系统预先限定并且从远程系统获得。例如，所限定的地图可以由远程系统组装并且被通信至车辆10(无线地和/或以有线方式)并且存储在数据存储装置32中。数据存储装置32可以是控制器34的一部分、与控制器34分离、或者是控制器34的一部分和分离系统的一部分。
57.车辆10还可以包括与控制器34或车辆10的另一控制器通信的一个或多个安全气囊35。安全气囊35包括可充气气囊，并被配置为在收起配置和展开配置之间转换，以缓冲施加到车辆10的外力的影响。传感器40可以包括安全气囊传感器，例如imu，其被配置为检测外力并产生指示该外力的大小的信号。控制器34被配置为基于来自一个或多个传感器40(例如安全气囊传感器)的信号来命令安全气囊35展开。因此，控制器34被配置为确定安全气囊35何时已经展开。
58.控制器34包括至少一个处理器44和非暂时性计算机可读存储装置或介质46。处理器44可以是定制的或商业上可获得的处理器、中央处理单元(cpu)、图形处理单元(gpu)、与控制器34相关联的多个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、其组合、或通常用于执行指令的装置。计算机可读存储装置或介质46可以包括例如只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)形式的易失性
和非易失性存储器。kam是永久性或非易失性存储器，其可用于在处理器44断电时存储各种操作变量。计算机可读存储装置或介质46可以使用多个存储装置来实现，例如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪存或能够存储数据的其他电、磁、光或组合存储装置，其中的一些表示由控制器34在控制车辆10时使用的可执行指令。车辆10的控制器34可以被称为车辆控制器，并且可以被编程为执行如下面详细描述的用于在显示器29上显示街道信息的方法100(图8)和/或如下面详细描述的用于在显示器29上显示poi信息的方法200。
59.指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44执行时，指令接收和处理来自传感器系统28的信号，执行用于自动控制车辆10的部件的逻辑、计算、方法和/或算法，并且基于逻辑、计算、方法和/或算法产生控制信号给致动器系统30以自动控制车辆10的部件。虽然图1中示出了单个控制器34，车辆10的实施例可包括多个控制器34，其通过合适的通信介质或通信介质的组合进行通信，并且协作以处理传感器信号，执行逻辑、计算、方法和/或算法，并且产生控制信号以自动控制车辆10的特征。
60.在各种实施例中，控制器34的一个或多个指令体现在控制系统98中。车辆10包括用户界面23，其可以是仪表板中的触摸屏。用户接口23可以包括但不限于警报器(例如一个或多个扬声器27以提供可听声音)、车辆座椅或其他物体中的触觉反馈、一个或多个显示器29、一个或多个麦克风31和/或适于向车辆10的车辆用户提供通知的其他装置。用户接口23与控制器34电子通信并且被配置为接收用户(例如，车辆操作者或车辆乘客)的输入。例如，用户接口23可以包括被配置为从车辆用户接收输入的触摸屏和/或按钮。因此，控制器34被配置为经由用户接口23从用户接收输入。
61.显示器29被配置成向用户(例如，车辆操作者或乘客)显示信息，并且可以是增强现实(ar)显示器。在本公开中，术语“ar显示器”意指向用户呈现信息同时仍然允许看到外部世界的显示器。在某些实施例中，显示器29可以被配置为平视显示器(hud)和/或信息集群显示器。因此，显示器29可以是ar hud或ar信息群集显示器。在ar hud中，图像被投影在车辆10的挡风玻璃39(图6)上。在ar信息集群显示器中，车辆10的信息集群面板包括屏幕，该屏幕呈现由一个或多个摄像机41捕获的车辆10前方的图像(即，前方图像)和呈现在该前方图像上的虚拟图像。如下所述，显示器29可以是多焦平面ar显示器，以便于虚拟图像的操纵(例如，尺寸、位置和类型)。
62.通信系统36与控制器34通信，并且被配置为向其他实体48无线地传送信息和从其他实体无线地传送信息，其他实体例如但不限于其他车辆(“v2v”通信)、基础设施(“v2i”通信)、远程呼叫中心处的远程系统(例如，通用汽车公司的on-star)和/或个人装置。在某些实施例中，通信系统36是被配置为经由使用ieee 802.11标准的无线局域网(wlan)或通过使用蜂窝数据通信进行通信的无线通信系统。然而，诸如专用短程通信(dsrc)信道的附加或替代通信方法也被认为在本公开的范围内。dsrc信道意指专门为汽车使用和相应的一组协议和标准设计的单向或双向短程到中程无线通信信道。因此，通信系统36可以包括一个或多个天线和/或通信收发器37，用于接收和/或发送信号，例如协作感测消息(csm)。通信收发器37可以被认为是传感器40。通信系统36被配置为在车辆10和另一车辆之间无线地传送信息。此外，通信系统36被配置为在车辆10与基础设施或其他车辆之间无线地传送信息。
63.参考图1、2和3，系统98被配置为命令显示器29(例如ar hud或ar信息群显示器)以使用从车辆10中的传感器40接收的数据、通过通信系统36从其他实体48接收的数据和/或眼睛跟踪数据来显示基础设施信息(例如，街道地址、街道规则和/或一个或多个poi 47的位置)。在这样做时，显示器29通过利用共形图形增强道路场景来以情境(contextual)的方式示出基础设施信息。在本公开中，术语“共形图形”意指作为外部世界的一部分呈现的合成生成内容(即，虚拟图像50)。因此，显示器29是共形显示器。在本公开中，术语“共形显示器”意指具有将合成生成内容(即，一个或多个虚拟图像50)表示为外部世界的一部分的能力的显示器。
64.在图2中，显示器29示出了虚拟图像50，其具有作为外部世界的一部分的基础设施信息。在图2所示的实施例中，虚拟图像50显示了沿车辆10的路线的基础设施49的街道地址。具体地，在图2中，虚拟图像50是沿车辆10的路线的建筑物和/或房屋的地址的房屋或建筑物编号。因为显示器29可以是ar显示器，所以除了虚拟图像50或具有虚拟图像50的道路63的图像之外，图2还示出了通过挡风玻璃39(图7)的道路63的视图。在本公开中，术语“道路”意指车辆10的开放道路。虽然图2示出了显示与沿车辆10的路线的房屋或建筑物相对应的地址的房屋或建筑物编号的虚拟图像50，但是可以设想，虚拟图像50可以包括如下所述的其它类型的基础设施信息。在图2中，每个虚拟图像50的尺寸可以与从车辆10到基础设施的距离成反比。因此，对应于离车辆10较远的基础设施的虚拟图像50小于对应于离车辆10较近的基础设施的虚拟图像50。
65.在图3中，显示器29显示了虚拟图像50，其具有作为外部世界的一部分的街道信息。作为非限制性示例，在图3中，虚拟图像50向用户提供关于穿过道路63的街道(即，十字街道)的信息以及用于该十字街道的规则。例如，虚拟图像50可以包括十字街道的名称(例如，第28街道)和指示用于该十字街道的规则的符号。这种符号可以是内部具有文本的箭头(例如，单向)，指示十字街道是单向街道并且车辆10仅被允许在箭头的方向上行进。不管所使用的虚拟图像50的类型如何，虚拟图像50都位于基础设施相对于车辆10的位置。例如，指示十字街道的名称和该十字街道的规则的虚拟图像50可以位于该特定十字街道上。
66.在图4中，显示器29示出了虚拟图像50，其具有作为外部世界的一部分的poi信息。作为非限制性示例，在图4中，虚拟图像50包括文本或图形项目(由正方形表示)和箭头。图形项目可以是表示一个或多个poi 47的诸如商标的图，并且箭头可以指示指向poi 47的位置的点。如下所述，车辆用户可识别他或她希望识别的poi 47的类型。例如，车辆用户可以选择仅识别咖啡店或加油站。然后，显示器29仅示出与咖啡店或加油站相关的poi 47。虚拟图像50均位于沿车辆10的路线的相关poi 47的位置处。因此，与离车辆10较远的poi 47对应的虚拟图像50小于与离车辆10较近的poi 47对应的虚拟图像50。
67.参照图5和6，显示器29可以是如上所述的多焦平面ar显示器。在这种情况下，显示器29具有第一图像平面58和第二图像平面60。第一图像平面58示出外部世界的视图，而第二图像平面60被保留用于显示虚拟图像50(图2)。第二图像平面60跨接多个车道，并且虚拟图像50相对于第一图像平面58出现在路面62上更远的位置处。例如，如图5所示，第二图像平面60覆盖左车道52、中央车道54和右车道56。作为非限制性示例，在中央车道54中，第二图像平面60开始于距车辆10的第一预定距离d1(例如，二十五米)处，结束于距车辆10的第二预定距离d2(例如，九十米)处。不管特定距离如何，第二预定距离d2大于第一预定距离d1
以帮助车辆用户看到虚拟图像50(图2)。在左车道52和右车道56中，第二图像平面60由倾斜边界定界，该倾斜边界开始于距车辆10的第一预定距离d1处，终止于距车辆10的第三预定距离d3(例如五十米)处。第三预定距离d3大于第一预定距离d1且小于第二预定距离d2，以帮助车辆用户看到虚拟图像50(图2)。如本文所使用的，术语“多焦平面ar显示器”意指在多于一个图像平面中呈现图像的ar显示器，其中图像平面在不同的距离和位置处。期望在当前公开的系统98中使用多焦平面ar显示器，以相对于外部世界的视图容易地改变虚拟图像50的尺寸、类型和/或位置。
68.参考图7，系统98包括用户跟踪器43(例如，眼睛跟踪器和/或头部跟踪器)，其被配置为跟踪车辆用户的眼睛66或头部69的位置和移动。在所描绘的实施例中，用户跟踪器可以被配置为车辆10的一个或多个摄像机41。如上所述，摄像机41被认为是车辆10的传感器40。作为传感器40，用户跟踪器43与包括系统管理器68的控制器34通信。在系统98的操作期间，系统管理器68至少接收第一输入70和第二输入72。第一输入70指示车辆在空间中的位置(即，在空间中的车辆位置)，并且第二输入72指示在车辆10中的车辆用户位置(例如，用户的眼睛和/或头部在车辆10中的位置)。第一输入70可包括诸如gnss数据(例如，gps数据)、车辆速度道路曲率和车辆转向的数据，并且该数据可从车辆10的传感器40和/或通过车辆10的通信系统36从其他实体48收集。第二输入72可从用户跟踪器(例如，眼睛跟踪器和/或头部跟踪器)接收。系统管理器68被配置为基于第一输入70(即，在空间中的车辆位置)、第二输入72(例如，用户的眼睛和/或头部在车辆10中的位置)和感测到的车辆驾驶环境(其可以通过传感器40获得)来确定(例如，计算)共形图形(即，虚拟图像50)的类型、尺寸、形状和颜色。虚拟图像50的共形图形的类型、尺寸、形状和颜色可以统称为虚拟图像特性。
69.继续参考图7，系统98还包括图像引擎74，其是显示器29的一部分，并且可以是被配置为生成虚拟图像50的集成电路。这些生成的虚拟图像50然后被投影在挡风玻璃39上(如果显示器29是hud)以沿道路表面62在第二图像平面60上示出虚拟图像50。
70.图8是用于在显示器29(例如，ar显示器)上显示基础设施信息(例如，街道地址和/或规则)的方法100的流程图。在本公开中，术语“基础设施”意指社会或企业的运营所需的物理结构和设施(例如，建筑物、道路、街道、供电站)。因此，术语“基础设施信息”意指关于基础设施49的信息，例如街道规则、街道地址和/或poi 47的位置。方法100开始于框102，其中控制器34使用例如由传感器40产生的信号确定车辆10正在被驾驶。例如，控制器34可以从传感器40中的一个(例如速度传感器)接收数据，以确定车辆10正在移动。然后，方法100进行到框104。
71.在框104，控制器34确定车辆10的位置和至少一个基础设施49(图2)的位置。在这样做时，控制器34可接收来自一个或多个传感器40(例如摄像机41、gnss收发器45(例如，全球定位系统(gps)收发器))的至少一个信号、来自互联网的数据、道路数据库和/或来自其他车辆10的数据(即，v2x数据)。例如，控制器34可从gnss收发器45接收车辆位置数据和/或道路数据。在本公开中，术语“车辆位置数据”意指指示车辆10的位置的数据。如本文所使用的，术语“道路数据”意指包括关于沿车辆10的路线的道路63(图2)的信息的数据，并且可以包括一个或多个道路数据库和/或一个或多个道路地图。在框104，控制器34还可接收来自一个或多个传感器40(例如摄像机41、gnss收发器45(例如，全球定位系统(gps)收发器))基
础设施数据、来自互联网的数据、道路数据库和/或来自其他车辆10的数据(即，v2x数据)。在本公开中，术语“基础设施数据”包括关于沿车辆10的路线的至少一个基础设施49的数据，并且可包括关于沿车辆10的路线的至少一个基础设施的信息，例如与沿车辆10的路线的基础设施49有关的名称、位置、地址、类型和/或规则。因此，控制器34可使用例如从gnss收发器45、另一传感器40或另一合适的信息源接收的车辆位置数据和基础设施数据来确定车辆10和沿车辆10的路线的基础设施49的位置。方法100然后进行到框106。
72.在框106，控制器34确定相对于道路地图的车辆位置。换句话说，控制器34确定车辆10相对于道路63的位置。在这样做时，控制器34可以使用从gnss收发器45接收的车辆位置数据和/或道路数据，例如道路数据库。换句话说，在框110，控制器34确定车辆10位于道路63中的何处。然后，方法100继续到框108。
73.在框108，控制器34基于先前由控制器34接收的基础设施数据来确定要在显示器29(例如，多焦平面增强现实显示器)上显示的特定虚拟图像50。如上所述，虚拟图像50可以指示与沿车辆10的路线的至少一个基础设施49相关的名称、地址、位置和/或规则。例如，如图2所示，控制器34可以选择指示沿车辆10的路线的基础设施49的地址的房屋或建筑物编号的虚拟图像50。此外，例如，控制器34可以选择指示具有箭头的街道规则和/或街道名称的虚拟图像50。此外，控制器34可以基于基础设施49距离车辆10有多近或多远来实时确定虚拟图像50的尺寸，例如，虚拟图像50的尺寸可以随着车辆10更靠近道路交叉点65而增大。然后，方法100进行到框110。
74.在框110，控制器34使用来自用户跟踪器43的至少一个输入来确定车辆10的用户的眼睛66和/或头部69的位置。如上所述，用户跟踪器43可以是被配置为跟踪车辆用户的头部69和/或眼睛66的移动的摄像机41。然后，控制器34使用来自用户跟踪器43的输入来实时连续地确定车辆10的用户的眼睛66和/或头部69的位置。然后方法100进行到框112。
75.在框112，控制器34基于车辆10的用户的眼睛66和/或头部69的位置以及基础设施信息来实时确定要在显示器29(例如，多焦平面增强现实显示器)上显示的虚拟图像50(图2)的位置、类型、尺寸、形状和颜色。作为非限制性示例，显示器29中的虚拟图像50的位置可以随着用户移动头部69和/或眼睛66而改变。此外，虚拟图像50的尺寸可以随着车辆10更靠近基础设施49而增大。然后，方法100进行到框114。
76.在框114，控制器34传输命令信号以命令显示器29在先前确定的位置处呈现虚拟图像50。如上所述，虚拟图像50包括关于沿车辆10的路线的基础设施49(例如，街道和/或建筑物)的基础设施信息。虚拟图像50的位置可以基于车辆用户的眼睛66和/或头部69的位置实时改变。响应于从控制器34接收到命令信号，显示器29在先前确定的位置处示出虚拟图像50。在框114之后，方法100返回到框102。
77.图9是用于在显示器29(例如，ar显示器)上显示基础设施信息(例如，与poi 47相关的信息)的方法200的流程图。如上所述，基础设施信息可包括关于沿车辆10的路线的poi 47的信息(例如，poi 47的位置)。方法200开始于框202，其中控制器34使用例如由传感器40产生的信号确定车辆10正在被驾驶。例如，控制器34可接收来自传感器40中的一个(例如，速度传感器)的数据，以确定车辆10正在移动。然后，方法200进行到框204。
78.在框204，控制器34确定车辆10的位置和至少一个基础设施49(图2)的位置。在这样做时，控制器34可接收来自一个或多个传感器40(例如摄像机41、gnss收发器45(例如，全
球定位系统(gps)收发器))的至少一个信号、来自互联网的数据、道路数据库和/或来自其他车辆10的数据(即，v2x数据)。例如，控制器34可从传感器40中的一个(例如gnss收发器45)接收车辆位置数据和/或道路数据。在本公开中，术语“车辆位置数据”意指指示车辆10的位置的数据。如本文所使用的，术语“道路数据”意指包括关于沿车辆10的路线的道路63(图2)的信息的数据，并且可以包括一个或多个道路数据库和/或一个或多个道路地图。在框104，控制器34还可接收来自一个或多个传感器40(例如摄像机41、gnss收发器45(例如，全球定位系统(gps)收发器))的基础设施数据、来自互联网的数据、道路数据库和/或来自其他车辆10的数据(即，v2x数据)。术语“基础设施数据”包括关于沿车辆10的路线的至少一个poi 47的数据，例如沿车辆10的路线的一个或多个poi 47的名称、类型、位置和/或地址、和/或类型。因此，控制器34可使用例如从gnss收发器45、另一传感器40或另一合适的信息源接收的车辆位置数据和基础设施数据来确定车辆10和沿车辆10的路线的poi 47的位置。方法200然后进行到框206。
79.在框206，控制器34确定一个或多个poi 47是否沿车辆10的路线即将到来。在这样做时，控制器34可使用从一个或多个传感器40或另一信息源接收的道路数据、车辆位置数据和/或基础设施数据。如果车辆10不在接近至少一个poi 47，则方法200继续至框208。在框208，不采取动作，并且方法200返回到框204。如果车辆10正接近一个或多个poi 47，则方法200前进到框210。
80.在框210，控制器34确定相对于沿车辆10的路线的一个或多个poi 47的车辆位置。换句话说，控制器34确定车辆10相对于poi 47的位置。在这样做时，控制器34可使用从gnss收发器45接收的车辆位置数据和/或道路数据，例如道路数据库和/或基础设施数据。换句话说，在框210，控制器34确定车辆10相对于沿车辆10的路线的poi 47位于何处。然后，方法200继续至框212。
81.在框212，控制器34基于由控制器34先前接收的基础设施数据确定要在显示器29(例如，多焦平面增强现实显示器)上显示的特定虚拟图像50。换句话说，控制器34确定虚拟图像50的类型。如上所述，虚拟图像50可指示沿车辆10的路线的poi 47的名称、地址和/或位置。作为非限制性示例，在图4中，虚拟图像50包括文本或图形项目(由正方形表示)和箭头。图形项目可以是表示一个或多个poi 47的诸如商标的图，并且箭头可以指示指向poi 47的位置的点。如下所述，车辆用户可识别他或她希望识别的poi的类型。例如，车辆用户可以选择仅识别咖啡店或加油站。然后，显示器29仅示出了与咖啡店或加油站以某种方式相关的poi。然后，方法200进行到框214。
82.在框214，控制器34使用来自用户跟踪器43的至少一个输入来确定车辆10的用户的眼睛66和/或头部69的位置。如上所述，用户跟踪器43可以是被配置为跟踪车辆用户的头部69和/或眼睛66的移动的摄像机41。然后，控制器34使用来自用户跟踪器43的输入来实时连续地确定车辆10的用户的眼睛66和/或头部69的位置。然后，方法200前进到框216。
83.在框216，控制器34基于车辆10的用户的眼睛66和/或头部69的位置以及基础设施信息来实时确定要在显示器29(例如，多焦平面增强现实显示器)上显示的虚拟图像50(图2)的位置、类型、尺寸、形状和颜色。作为非限制性示例，虚拟图像50在显示器29中的位置可以随着用户移动头部69和/或眼睛66而改变。然后，方法300进行到框218。
84.在框218，控制器34传输命令信号以命令显示器29在先前确定的位置处呈现虚拟
图像50。响应于从控制器34接收到命令信号，显示器29在先前确定的位置处呈现虚拟图像50。如上所述，虚拟图像50包括关于沿车辆10的路线的poi 47(例如，商标和位置)的基础设施信息。虚拟图像50的位置可以基于车辆用户的眼睛66和/或头部69的位置实时改变。在框218之后，方法100进行到框220。
85.在框220，控制器34确定车辆10是否已经经过至少一个poi 47。在这样做时，控制器34使用车辆10的位置，该位置可从gnss收发器45(例如，全球定位系统(gps)收发器)、道路数据库和/或基础设施数据获得。如果车辆10还没有经过至少一个poi 47，则方法200返回到框210。如果车辆10已经经过至少一个poi 47，则方法200继续至框222。
86.在框222，控制器34命令显示器29停止呈现与车辆10的poi 47相对应的虚拟图像50。
87.尽管上面描述了示例性实施例，但并不意味着这些实施例描述了权利要求所包含的所有可能形式。说明书中使用的词语是描述性的词语而不是限制性的词语，并且应当理解，在不脱离本公开的精神和范围的情况下，可以进行各种改变。如前所述，可以组合各种实施例的特征以形成可能未明确描述或示出的当前公开的系统和方法的进一步的实施例。虽然各种实施例可能已经被描述为提供优点或者相对于其他实施例或现有技术实现方式在一个或多个期望的特性方面是优选的，但是本领域普通技术人员认识到，一个或多个特征或特性可以被折衷以实现期望的总体系统属性，这取决于具体应用和实现方式。这些属性可以包括但不限于成本、强度、耐久性、寿命周期成本、可销售性、外观、包装、尺寸、可维修性、重量、可制造性、组装容易性等。因此，关于一个或多个特征描述为比其他实施例或现有技术实现方式不太合乎需要的实施例不在本公开的范围之外，并且对于特定应用可能是合乎需要的。
88.附图是简化形式的，并且没有精确地按比例绘制。仅为了方便和清楚起见，方向术语，例如顶部、底部、左、右、上、上面、上方、下方、下面、后部和前部，可以相对于附图使用。这些和类似的方向术语不应被解释为以任何方式限制本公开的范围。
89.本文描述了本公开的实施例。然而，应当理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种和替代的形式。附图不一定是按比例绘制的；一些特征可以被放大或缩小以显示特定部件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅作为用于教导本领域技术人员以各种方式采用目前公开的系统和方法的代表性基础。如本领域普通技术人员将理解的，参考任何一个附图示出和描述的各种特征可以与一个或多个其他附图中示出的特征组合，以产生未明确示出或描述的实施例。所示特征的组合提供了典型应用的代表性实施例。然而，与本公开的教导一致的特征的各种组合和修改对于特定应用或实施方式会是期望的。
90.本公开的实施例可以在此按照功能和/或逻辑块部件和各种处理步骤来描述。应当理解，这样的块部件可以通过被配置为执行指定功能的多个硬件、软件和/或固件部件来实现。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制装置的控制下执行各种功能。另外，本领域技术人员将理解，本公开的实施例可以结合多个系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。
91.为了简洁起见，与系统(以及系统的各个操作部件)的信号处理、数据融合、信号发
送、控制和其他功能方面相关的技术在本文可能不进行详细描述。此外，在本文包含的各图中所示的连接线旨在表示各元件之间的示例功能关系和/或物理耦合。应当注意，在本公开的实施例中可以存在替代的或附加的功能关系或物理连接。
92.本说明书本质上仅是说明性的，而绝不旨在限制本公开、其应用或用途。本公开的广泛教导可以以各种形式实现。因此，虽然本公开包括特定示例，但是本公开的真实范围不应如此限制，因为在研究附图、说明书和所附权利要求书之后，其他修改将变得显而易见。

技术特征：
1.一种用于在车辆的多焦平面增强现实显示器上显示基础设施信息的方法，包括：接收基础设施数据，其中所述基础设施数据包括关于沿所述车辆的路线的至少一个基础设施的位置的信息；接收车辆位置数据，其中所述车辆位置数据包括关于所述车辆的位置的信息；使用所述基础设施数据和所述车辆位置数据来确定所述车辆相对于所述至少一个基础设施的位置的位置；以及向所述多焦平面增强现实显示器发送命令信号以在所述多焦平面增强现实显示器上显示示出所述至少一个基础设施的基础设施信息的虚拟图像。2.根据权利要求1所述的方法，还包括：接收用户眼睛数据，其中所述用户眼睛数据包括关于所述车辆的用户眼睛的位置的信息；使用所述用户眼睛数据来确定所述用户眼睛的位置；以及基于所述用户眼睛的位置来确定所述多焦平面增强现实显示器上的虚拟图像的位置；其中，向所述多焦平面增强现实显示器发送命令信号以在所述多焦平面增强现实显示器上显示示出所述至少一个基础设施的位置的虚拟图像包括在先前确定的所述多焦平面增强现实显示器上的位置处显示所述虚拟图像。3.根据权利要求1所述的方法，其中，所述至少一个基础设施是沿所述车辆的所述路线的至少一个兴趣点(poi)，并且所述基础设施信息是关于所述poi的信息。4.根据权利要求3所述的方法，还包括：使用所述基础设施数据确定所述至少一个poi是否沿所述车辆的所述路线定位；以及响应于确定所述至少一个poi沿所述车辆的所述路线定位，在所述多焦平面增强现实显示器上显示所述虚拟图像；其中，所述虚拟图像包括关于沿所述车辆的所述路线定位的所述至少一个poi的信息。5.根据权利要求4所述的方法，还包括：使用所述基础设施数据来确定要在所述多焦平面增强现实显示器上显示的所述虚拟图像的类型，其中所述基础设施数据包含关于所述poi的类型的信息。6.根据权利要求5所述的方法，还包括：确定所述车辆相对于所述至少一个poi的位置的位置；以及基于所述车辆相对于所述至少一个poi的位置的位置来确定所述多焦平面增强现实显示器上的所述虚拟图像的尺寸。7.根据权利要求6所述的方法，还包括：确定所述车辆是否已经过所述poi；以及响应于确定所述车辆已经经过所述poi，命令所述多焦平面增强现实显示器停止显示所述虚拟图像。8.根据权利要求1所述的方法，其中，所述基础设施是建筑物，所述建筑物具有地址，所述建筑物的所述地址具有建筑物编号，所述方法还包括在所述多焦平面增强现实显示器上显示所述虚拟图像，并且所述虚拟图像包括所述地址的所述建筑物编号。9.根据权利要求1所述的方法，其中，所述基础设施是街道，所述街道具有名称，所述方法还包括在所述多焦平面增强现实显示器上显示所述虚拟图像，并且所述虚拟图像包括所
述街道的所述名称。10.根据权利要求1所述的方法，其中，所述基础设施是街道，所述街道具有规则，所述方法还包括在所述多焦平面增强现实显示器上显示所述虚拟图像，并且所述虚拟图像指示所述街道的所述规则。

技术总结
一种用于在车辆的多焦平面增强现实显示器上显示基础设施信息的方法包括接收基础设施数据。基础设施数据包括关于沿车辆的路线的至少一个基础设施的位置的信息。该方法还包括接收车辆位置数据。车辆位置数据包括关于车辆的位置的信息。该方法还包括使用基础设施数据和车辆位置数据来确定车辆相对于至少一个基础设施的位置的位置。该方法还包括向多焦平面增强现实显示器发送命令信号以在多焦平面增强现实显示器上显示示出基础设施的基础设施信息的虚拟图像。信息的虚拟图像。信息的虚拟图像。


技术研发人员：J
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：2022.10.20
技术公布日：2023/9/22