使用传感器数据提高定位精度的制作方法
未命名
10-26
阅读:96
评论:0
使用传感器数据提高定位精度
1.相关申请的交叉引用
2.本技术要求2021年3月11日提交的名称为“improved position accuracy using sensor data”的美国专利申请no.17/198,560的权益,其被转让给这里的受让人,并且其全部内容通过引用并入本文用于一切目的。
背景技术:
3.全球定位系统(gps)是gnss导航系统的一个例子,其中接收器通过精确测量从多个卫星接收的信号事件的到达时间来确定其定位。每颗卫星发送一条导航消息,其中包含消息发送的精确时间和星历表信息。导航消息的每个子帧都以遥测字(tlm)和子帧号开始。可以通过tlm中的前导序列来检测子帧的开端。每个子帧还包括一个转换字(how),其根据卫星时钟保持的gps时间的本地版本给出卫星发送下一个子帧的准确时间(tow)。星历表信息包括与gps时间相比较的关于卫星轨道和卫星自身时钟校正的细节。星历表和时钟校正参数可以统称为星历表信息。
4.在弱信号条件下,例如当人造卫星的视线(los)被自然或人造物体阻挡时,gnss的精度可能会显著下降。例如,在自然或城市凹陷地形中,对可见卫星的限制和其他多径效应可能导致几十米量级的绝对定位误差(例如,多达50米)和几米量级的相对定位误差。此外,可接受的gnss测量值的有限性可能会进一步降低精度。例如,城市区域(例如,城市凹陷地形)中的gnss测量值可能由于从人造卫星(sv)发送的信号上的多径效应而降级。
技术实现要素:
5.根据本公开的用于确定移动设备的定位估计的示例方法包括:获取传感器信息;检测传感器信息中的一个或多个可识别特征;确定到一个或多个可识别特征中的至少一个的射程(range);获取粗略地图信息;基于粗略地图信息确定一个或多个可识别特征中的至少一个的位置;以及至少部分地基于到一个或多个可识别特征中的至少一个的射程来确定用于移动设备的定位估计。
6.该方法的实现方式可以包括一个或多个以下特征。确定到一个或多个可识别特征中的至少一个的射程可以基于远程传感器的输出。远程传感器是激光雷达设备或雷达设备。一个或多个可识别特征中的至少一个可以包括人行横道、十字路口、交通灯和路标中的至少一个。获取粗略地图信息可包括向远程服务器提供粗略定位,并从远程服务器接收粗略地图信息。粗略定位可以基于由卫星定位系统计算的位置。移动设备的粗略定位可以基于地面导航技术。传感器信息可以是图像,并且检测传感器信息中的一个或多个可识别特征可以包括对图像执行光学字符识别处理。检测传感器信息中的一个或多个可识别特征可以包括确定街道名称或商业名称。
7.根据本公开的用于确定移动设备的定位估计的示例方法包括:获取粗略地图信息;获取传感器信息;对传感器信息执行光学字符识别处理;基于光学字符识别处理和粗略地图信息来确定一个或多个可识别特征;以及至少部分地基于粗略地图信息和一个或多个
可识别特征来确定用于移动设备的定位估计。
8.该方法的实现方式可以包括一个或多个以下特征。该方法还可以包括确定到一个或多个可识别特征的距离;以及至少部分地基于到一个或多个可识别特征的距离来确定用于移动设备的定位估计。确定到一个或多个可识别特征的距离可以基于射程传感器的输出。射程传感器可以是激光雷达设备或雷达设备。确定一个或多个可识别特征可以包括确定街道名称和十字路口位置。确定一个或多个可识别特征可以包括确定商业名称和与该商业名称相关联的地址。获取粗略地图信息可包括向远程服务器提供粗略定位,并从远程服务器接收粗略地图信息。移动设备的粗略定位可以基于使用全球导航卫星系统获取的位置。移动设备的粗略定位可以基于使用地面导航技术获取的位置。
9.根据本公开的用于确定移动设备的定位估计的示例方法包括:确定移动设备的粗略定位;基于粗略定位获取粗略地图信息;获取传感器信息;基于传感器信息确定一个或多个道路曲率特征;确定比较值满足阈值,其中该比较值是基于粗略地图信息中的道路曲率特征与在传感器信息中检测到的一个或多个道路曲率特征之间的比较;至少部分地基于粗略地图信息中的道路曲率特征来确定用于移动设备的航向;以及至少部分地基于该航向来确定用于移动设备的定位估计。
10.该方法的实现方式可以包括一个或多个以下特征。传感器信息可以是图像。传感器信息可以是用一个或多个雷达传感器或激光雷达传感器获取的点云。可以用一个或多个远程传感器获取传感器信息。一个或多个道路曲率特征可以包括一个或多个车道标志。一个或多个道路曲率特征可以包括一个或多个护栏。确定比较值满足阈值可以包括在传感器信息中检测到的道路曲率特征和在粗略地图信息中的道路之间执行卷积。移动设备的粗略定位可以基于使用全球导航卫星系统获取的位置。移动设备的粗略定位可以基于使用地面导航技术获取的位置。粗略地图信息可以包括向远程服务器提供粗略定位以及从远程服务器接收粗略地图信息。确定定位估计可以包括向递归算法提供航向和全球导航卫星信号信息。递归算法可以是卡尔曼滤波。
11.根据本公开的示例装置包括存储器、至少一个收发器和通信耦接到存储器和至少一个收发器的至少一个处理器,该至少一个处理器被配置成获取传感器信息;检测传感器信息中的一个或多个可识别特征;确定到一个或多个可识别特征中的至少一个的射程;获取粗略地图信息;基于粗略地图信息确定一个或多个可识别特征中的至少一个的位置;以及至少部分地基于到一个或多个可识别特征中的至少一个的射程来确定定位估计。
12.根据本公开的示例装置包括存储器、至少一个收发器和通信耦接到存储器和至少一个收发器的至少一个处理器,该至少一个处理器被配置成获取粗略地图信息;获取传感器信息;对传感器信息执行光学字符识别处理;基于光学字符识别处理和粗略地图信息来确定一个或多个可识别特征;以及至少部分地基于粗略地图信息和一个或多个可识别特征来确定定位估计。
13.根据本公开的示例装置包括存储器、至少一个收发器和通信耦接到存储器和至少一个收发器的至少一个处理器,该至少一个处理器被配置成确定粗略定位;基于粗略定位获取粗略地图信息;获取传感器信息;基于传感器信息确定一个或多个道路曲率特征;确定比较值满足阈值,其中该比较值基于粗略地图信息中的道路曲率特征与在传感器信息中检测到的一个或多个道路曲率特征之间的比较;至少部分地基于粗略地图信息中的道路曲率
特征来确定航向;以及至少部分地基于该航向来确定定位估计。
14.本文描述的项目和/或技术可以提供一个或多个以下能力,和/或未提及的其他能力。移动设备可以基于卫星和/或地面位置技术来计算粗略定位。可以基于粗略定位获取粗略地图信息。粗略地图信息中可以包括视觉可识别特征,诸如街道名称、十字路口位置以及商业名称和地址。移动设备上的图像传感器可以获取环境的图像。在一个示例中,可以基于粗略地图信息中的视觉可识别信息来分析图像。在一个示例中,可以针对道路曲率信息来分析图像。可以基于图像中的视觉可识别信息和/或道路曲率信息与粗略地图信息的比较来估计移动设备的定位。定位估计不依赖于专门的高清晰度图像映射数据库。可以提供其他能力,并且不是根据本公开的每个实现方式都必须提供所讨论的任何能力,更不用说所有能力。
附图说明
15.参考以下附图描述非限制和非穷尽的各个方面,其中除非另有说明,否则在各个附图中相同的附图标记指代相同的部件。
16.图1a是可用于实现本文讨论的技术的移动设备的框图。
17.图1b是具有前置和后置摄像头的移动设备的透视图。
18.图2是被配置成与图1a和1b的移动设备通信的示例网络架构的框图。
19.图3是可以应用于移动设备的示例坐标系。
20.图4a是具有视觉传感器的示例导航系统的框图。
21.图4b是用于传感器辅助导航的示例分布式系统的框图。
22.图5是由视觉传感器获取的具有可识别特征的示例图像。
23.图6是与图5中的图像相关联的示例性粗略地图,包括可识别特征信息。
24.图7是用图像传感器获取的图像的示例变换。
25.图8是基于图7的图像的航向测量的示例。
26.图9是用于基于图像中的可识别特征来确定移动设备的定位估计的方法的流程图。
27.图10是用于部分基于航向输入来确定移动设备的定位估计的方法的流程图。
28.图11是用于部分基于到特征的射程来确定移动设备的定位估计的方法的流程图。
具体实施方式
29.本文讨论用于基于视觉位置方案(vps)来确定移动设备的位置的技术。由于sv和地面站发送的信号存在多径效应,城市环境中的位置方案可能会出现较高的位置误差。对于各种移动计算应用和用例来说,需要精度和可靠性更高的位置方案。例如,增强现实(ar)设备、vps设备和车辆导航设备可以包括一个或多个图像传感器,诸如设置在设备或车辆上并定向在运动方向上的一个或多个摄像头。在一个示例中,图像传感器可以被配置成生成视频流,该视频流可以与导航系统(例如,惯性测量单元(imu)、gnss等)集成来改进在设备上生成的位置方案。现有的摄像头集成导航方案依赖于专门的和预先构建的高清晰度和特征映射基础设施。因此,这种方案限于已经生成预先存在的映射图像并且这些图像可用和/或与移动设备兼容的领域。所提出的方案在广泛可用的粗略映射信息中识别可视特征,并
且可以利用可视特征来改进位置计算和相应的位置估计。此外,所提出的方案可以利用来自可能位于不同位置的不同传感器和/或不同设备的输入。这些技术和配置是示例,可以使用其他技术和配置。
30.参照图1a,示出了可用于实现增强型rta和位置检测技术的移动设备100的框图。移动设备100可以包括或实现各种移动通信和/或计算设备的功能;示例包括但不限于车载导航系统、vps、可穿戴导航设备、智能手机、手表、头盔、虚拟现实(vr)眼镜、智能眼镜、摄像头等,无论是现有的还是将来开发的。移动设备100包括处理器111(或处理器核心)、一个或多个数字信号处理器(dsp)120和存储单元160。处理器111可以是中央处理单元(cpu)、多核cpu、图形处理单元(gpu)、多核gpu、视频引擎或其任意组合。处理器核心可以是应用处理器。作为示例而非限制,导航处理器115和光流处理器125被描绘位于移动设备100内。导航处理器115和光流处理器125可以被包括在存储单元160中,并且利用处理器111。导航处理器115和/或光流处理器125可以是移动设备内的片上系统(soc)(例如,它可以是专用硬件或者可以是分立芯片组或者分立芯片组的一部分(例如,在分立应用处理器上)),或者可以被包括在一个或多个辅助系统中(例如,远离移动设备100)。在一个实施例中,移动设备包括一个或多个摄像头105(例如前置和/或后置),诸如具有适当透镜配置的互补金属氧化物半导体(cmos)图像传感器。可以使用其他成像技术,诸如电荷耦合器件(ccd)和背照式cmos。摄像头105被配置成获取图像信息并将其提供给光流处理器125。在另一个实施例中,可以使用一个或多个外部摄像头。在一个示例中,摄像头105可以配置有深度传感器,诸如用于确定到物体的射程的红外深度传感器。
31.移动设备100还可以包括无线收发器130,其被配置成通过无线网络经由无线天线132发送和接收无线信号134。无线收发器130连接到总线101。这里,移动设备100被示为具有单个无线收发器130。然而,移动设备100还可以具有多个无线收发器130和无线天线132,以支持多种通信标准,诸如cdma、宽带cdma(wcdma)、长期演进(lte)、第五代(5g)新无线电(nr)、短射程无线通信技术等。
32.无线收发器130可以支持多个载波(不同频率的波形信号)上的操作。多载波发送器可以在多个载波上同时发送调制信号。每个调制信号可以是码分多址(cdma)信号、时分多址(tdma)信号、正交频分多址(ofdma)信号、单载波频分多址(sc-fdma)信号等。每个调制信号可以在不同的载波上发送,并且可以携带导频、开销信息、数据等。
33.移动设备100还包括全球导航卫星系统(gnss)接收器170,其经由sps天线172接收卫星定位系统(sps)信号174(例如,来自sps卫星)。gnss接收器170可以与单个全球导航卫星系统(gnss)或多个这样的系统通信。gnss可以包括但不限于全球位置系统(gps)、伽利略、格洛纳斯(glonass)、北斗(compass)等。sps卫星也被称为卫星、航天器(sv)等。gnss接收器170全部或部分地处理sps信号174,并使用这些sps信号174来确定移动设备100的位置。处理器111、dsp 120和存储器16和/或专用处理器(未示出)也可用于整体或部分地处理sps信号174,和/或结合gnss接收器170计算移动设备100的位置。使用存储单元160或寄存器(未示出)来执行来自sps信号174或其他位置信号的信息的存储。导航处理器115可以包括被配置成基于gnss信号计算定位信息和/或基于从微机电系统(mems)接收的信息计算航位推算定位信息的指令,该微机电系统诸如是加速度计140、陀螺仪145和/或其他传感器150(例如,压力传感器、磁力计、麦克风)。在一个示例中,其他传感器150可以包括深度传感
器和/或用于测量与移动设备100的射程的激光雷达。在一个示例中,其他传感器150可以包括永远开启的运动检测设备,其被配置成当检测到运动时向处理器111发送中断。例如,st微电子部件号lsm6dsl是永远开启的3d加速度计和3d陀螺仪的一个例子,其可以用作加速度计140、陀螺仪145和/或其他传感器150。虽然在图1a中示出了一个处理器111、dsp 120和存储单元160,但是移动设备100可以使用这些组件中的任意一个、一对或全部中的一个以上。
34.存储单元160可以包括将功能存储为一个或多个指令或代码的非暂时性机器可读存储介质。可以构成存储单元160的介质包括但不限于ram、rom、闪存、磁盘驱动器等。通常,由存储单元160存储的功能由处理器111、dsp 120或其他专用处理器执行。因此,存储单元160是存储软件(编程代码、指令、机器代码等)的处理器可读存储器和/或计算机可读存储器,该软件被配置成使处理器111执行所描述的功能。可替代地,移动设备100的一个或多个功能可以全部或部分地以硬件来执行。存储单元160可以经由总线101通信耦接到处理器111。术语通信耦接描述了移动设备100或其他系统内的组件交换和处理电子信号的能力。
35.移动设备100可以基于视野内的其他通信实体和/或移动设备100可用的信息,使用各种技术来估计其在相关联的系统中的当前定位。例如,移动设备100可以使用从与一个或多个无线局域网(lan)、利用诸如wi-fi、或等的短射程无线通信技术的个人区域网(pan)、sps卫星相关联的接入点获得的信息和/或从地图服务器或其他位置服务器获得的地图约束数据来估计其定位。移动设备100还可以使用惯性传感器(诸如,加速度计140、陀螺仪145和其他传感器150(例如,磁力计、压力传感器、固态罗盘))基于航位推算技术来估计其当前定位。在一个示例中,移动设备100可以至少部分地基于由摄像头105获取的图像来确定当前定位(例如,通过将当前图像与先前存储的图像进行比较)。通常,惯性传感器用于测量移动设备100的位移。例如,移动设备100可以进入ins状态,使得导航处理器115被配置成从一个或多个惯性传感器(例如,加速度计、陀螺仪、固态罗盘)接收信号并计算航位推算定位。航位推算定位可以基于环境变化和/或当路线和速度信息变化时定期计算。在一个示例中,当确定另一个定位时(例如,gnss、三边测量、用户输入),可以调整航位推算定位。对于行人应用,加速度计140可以包括3轴加速度计,以驱动计步器并确定步数或步进率。
36.在一个实施例中,移动设备100中的一个或多个组件可以由被配置成向移动设备提供数据的外围设备来执行。例如,gnss接收器170可以是外围gnss接收器,其被配置成经由无线收发器130(例如,蓝牙)提供导航数据。诸如雷达、激光雷达之类的其他传感器以及诸如摄像头105之类的光学传感器可以远离移动设备100,并且被配置成经由有线或无线接口来提供信息。例如,安装在车辆上不同定位并被配置成经由无线链路与移动设备100连接的摄像头或激光雷达传感器。在另一示例中,移动设备100可以具有与可穿戴动作摄像头、ar眼镜、智能眼镜(带有摄像头)或其他可穿戴传感器的无线连接,使得可穿戴传感器被配置成提供传感器信息以使用本文提供的技术来提高定位精度。
37.图1b是可操作以执行本文描述的功能的移动设备100的图示。图1b可以表示使用图1a的移动设备的一个或多个组件的智能电话。然而,本文描述的功能不限于使用智能电话,而是可以使用具有类似于图1a的能力并且适于执行这种功能的任何设备。这些设备可以包括移动设备、数码相机、便携式摄像机、平板电脑、pda、智能眼镜、vr眼镜或任何其他类
似的设备。图1b示出了移动设备100的正面180和背面190。正面180包括显示器182和第一摄像头105a。第一摄像头105a耦接到移动设备100的前向侧,也称为前置摄像头。移动设备100的背面190包括第二摄像头105b,这里也称为后置摄像头。移动设备100可以被手持或安装,使得前置摄像头105a面向移动设备100的用户,而后置摄像头105b背向设备的用户。或者相反,取决于用户如何手持移动设备100,或者如何将移动设备100安装在支托物(例如,臂带)中或者支架中。前置摄像头105a和后置摄像头105b都可以是摄像头105的实现方式,并且被配置成向光流处理器125提供图像信息,如参考图1a所讨论的。在一个示例中,第一摄像头105a和第二摄像头105b可以包括射程检测设备,诸如被配置成深度传感器的红外发射器和接收器,以确定到物体的射程并使得摄像头105a-b能够电聚焦和/或机械聚焦在物体上。
38.参考图2,示出了被配置成与图1a的移动设备通信的示例网络架构200。移动设备100可以向无线通信网络发送无线电信号,并从无线通信网络接收无线电信号。在一个示例中,移动设备100可以通过经由无线通信链路222向蜂窝收发器220发送无线信号或从蜂窝收发器220接收无线信号来与蜂窝通信网络通信,蜂窝收发器220可以包括无线基站收发子系统(bts)、节点b、演进节点b(enodeb)和/或下一代节点b(gnodeb)。类似地,移动设备100可以通过无线通信链路232向本地收发器230发送无线信号,或者从本地收发器230接收无线信号。本地收发器230可以包括接入点(ap)、毫微微小区、家庭基站、小小区、家庭节点b(hnb)或家庭enodeb(henb),并且可以提供对无线局域网(wlan,例如ieee 802.11网络)、无线个人区域网(wpan,例如网络)或蜂窝网络(例如5g nr和/或lte网络或其他无线广域网)的接入。当然,应当理解,这些仅仅是可以通过无线链路与移动设备通信的网络的示例,所要求保护的主题不限于此。
39.可以支持无线通信链路222的网络技术的示例包括全球移动通信系统(gsm)、码分多址(cdma)、宽带cdma(wcdma)、长期演进(lte)、5g nr、高速分组数据(hrpd)、gsm、wcdma、lte和5g nr都是3gpp定义的技术。cdma和hrpd是第三代合作伙伴计划2(3gpp2)定义的技术。wcdma也是通用移动通信系统(umts)的一部分,并且可能由hnb支持。蜂窝收发器220可以包括设备的部署,该设备为用户提供对无线电信网络的服务接入(例如,根据服务合同)。这里,蜂窝收发器220可以执行蜂窝基站的功能,以服务于至少部分基于蜂窝收发器220能够提供接入服务的射程而确定的小区内的用户设备。可以支持无线通信链路222的无线电技术的示例包括ieee 802.11、lte和5g nr。
40.在特定实现方式中,蜂窝收发器220和本地收发器230可以通过网络225与一个或多个服务器240通信。这里,网络225可以包括有线和/或无线链路的任意组合,并且可以包括蜂窝收发器220和/或本地收发器230和/或服务器240。在特定实现方式中,网络225可以包括能够通过本地收发器230或蜂窝收发器220促进移动设备100和服务器240之间的通信的互联网协议(ip)或其他基础设施。在一个实现方式中,网络225可以包括蜂窝通信网络基础设施,诸如基站控制器或基于分组或基于电路的交换中心(未示出),以便于与移动设备100进行移动蜂窝通信。在特定实现方式中,网络225可以包括诸如wlan ap、路由器和网桥之类的局域网(lan)元件,并且在这种情况下可以包括或具有到网关元件的链接,该网关元件提供对诸如因特网之类的广域网的访问。在其他实现方式中,网络225可以包括lan,并且可以或者不可以接入广域网,但是可以不向移动设备100提供任何这样的接入(如果支持的话)。在一些实现方式中,网络225可以包括多个网络(例如,一个或多个无线网络和/或因特
网)。在一个实现方式中,网络225可以是包括一个或多个服务网关(例如,gnb)或分组数据网络网关的ng-ran。此外,一个或多个服务器240具有接入和移动性管理功能(amf)、会话管理功能(smf)、位置管理功能(lmf)和网关移动位置中心(gmlc)。
41.在特定实现方式中,并且如下所述,移动设备100可以具有电路和处理资源,其能够获得位置相关测量值(例如,对于从gps或其他卫星定位系统(sps)卫星210、蜂窝收发器220或本地收发器230接收的信号),并且可能基于这些位置相关测量值来计算移动设备100的定位固定或估计位置。在一些实现方式中,由移动设备100获得的位置相关测量值可以被传送到位置服务器,诸如位置管理功能(lmf)(例如,其可以是一个或多个服务器240之一),之后位置服务器可以基于测量值来估计或确定移动设备100的位置。在当前示出的示例中,由移动设备100获得的位置相关测量值可以包括从属于sps或全球导航卫星系统(gnss)(诸如gps、格洛纳斯、伽利略或北斗)的卫星接收的sps信号174的测量值,和/或可以包括从固定在已知定位的地面发送器(例如蜂窝收发器220)接收的信号(例如222和/或232)的测量值。然后,移动设备100或单独的位置服务器可以基于这些位置相关测量值,使用若干位置方法中的任何一种来获取移动设备100的位置估计,这些位置方法诸如gnss、辅助gnss(a-gnss)、高级前向链路三边测量(aflt)、观察到达时间差(otdoa)、往返时间(rtt)、接收信号强度指示(rssi)、到达角度(aoa)或增强型小区id(e-cid)或其组合。在这些技术中的一些(例如,a-gnss、aflt和otdoa)中,可以至少部分地基于由发送器或卫星发送并在移动设备100处接收的导频、位置参考信号(prs)或其他位置相关信号,在移动设备100处测量相对于固定在已知定位的三个或更多个地面发送器或相对于具有精确已知轨道数据的四个或更多个卫星或其组合的伪射程或时间差。可以对各种信号源进行多普勒测量,诸如蜂窝收发器220、本地收发器230和卫星210及其各种组合。一个或多个服务器240能够向移动设备100提供位置辅助数据,包括例如关于要测量的信号的信息(例如,信号定时)、地面发送器的位置和身份和/或gnss卫星的信号、时间和轨道信息,以促进诸如a-gnss、aflt、otdoa、rtt、rssi、aoa和e-cid的位置技术。例如,一个或多个服务器240可以包括指示蜂窝收发器和/或本地收发器在特定区域(诸如特定场地)中的位置和身份的历书,并且可以提供描述由蜂窝基站或ap发送的信号的信息,诸如发送功率和信号定时。在e-cid的情况下,移动设备100可以获取从蜂窝收发器220和/或本地收发器230接收的信号的信号强度的测量值,和/或可以获取移动设备100和蜂窝收发器220或本地收发器230之间的往返信号传播时间。移动设备100可以使用这些测量值以及从一个或多个服务器240接收的辅助数据(例如,地面历书数据或诸如gnss历书和/或gnss星历表信息的gnss卫星数据)来确定移动设备100的位置,或者可以将测量值传送给一个或多个服务器240以执行相同的确定。在一个实施例中,服务器240可以包括光流处理器,该光流处理器被配置成从移动设备接收图像信息并执行特征分析(例如,光学字符识别(ocr)、距离和航向测量等),如本文所述。
42.移动设备(例如,图1a中的移动设备100)可以被称为设备、移动设备、无线设备、移动终端、终端、移动站(ms)、用户设备(ue)、支持supl的终端(set)或一些其他名称,并且可以对应于手机、智能电话、手表、车载导航系统、平板电脑、pda、跟踪设备、智能眼镜、vr眼镜或一些其他便携式或可移动设备。通常,但不是必须的,移动设备可以支持无线通信,诸如使用gsm、wcdma、lte、5g nr、cdma、hrpd、bt、wimax等。移动设备也可以支持使用例如无线lan(wlan)、dsl或分组电缆的无线通信。移动设备可以包括单个实体或者可以包括
多个实体,例如在其中用户可以利用音频、视频和/或数据i/o设备和/或身体传感器以及单独的有线或无线调制解调器的个人区域网中。对移动设备(例如,移动设备100)的位置的估计可以被称为位置、位置估计、位置固定、固定、定位、定位估计或定位固定,并且可以是地理的,从而提供移动设备的位置坐标(例如,纬度和经度),其可以包括或不包括海拔高度分量(例如,高于海平面的高度、高于或低于地平面、地板平面或地下室平面的高度)。可替代地,移动设备的位置可以被表示为市政位置(例如,邮政地址或建筑物中某个点或小区域的名称,例如特定的房间或楼层)。移动设备的位置也可以表示为区域或体积(以地理或市政形式定义),移动设备被预计以一定概率或置信度(例如,67%或95%)位于该区域或体积内。移动设备的位置还可以是相对位置,包括例如相对于已知位置处的某个原点定义的距离和方向或相对x、y(和z)坐标,该已知位置可以在地理上或以市政术语定义,或者通过参考地图、楼层平面图或建筑平面图上指示的点、区域或体积来定义。在本文包含的描述中,除非另有说明,术语“位置”的使用可以包括这些变体中的任何一种。
43.参照图3,并进一步参照图1a和1b,示出了示例坐标系300,该示例坐标系300可以全部或部分地用于促进或支持经由移动设备100的惯性传感器获取的测量。例如,可以至少部分基于由相关联的加速度计140或陀螺仪145产生的输出信号来获取惯性传感器测量值。示例坐标系300可以包括例如三维笛卡尔坐标系。例如,代表例如加速度振动的移动设备100的位移可以至少部分地由合适的加速度计(例如三维(3d)加速度计)参照相对于示例坐标系300的原点的三个线性维度或轴x、y和z来检测或测量。应当理解,示例坐标系300可以与移动设备100的主体对齐,也可以不对齐。在一个实现方式中,可以使用非笛卡尔坐标系,或者坐标系可以定义相互正交的维度。
44.有时,移动设备100的旋转运动,诸如关于重力的方向变化,例如可以至少部分地由合适的加速度计参考一维或二维来检测或测量。例如,在一些情况下,移动设备100的旋转运动可以按照坐标(φ(phi),τ(tau))来检测或测量,其中phi(φ)表示围绕x轴的滚动或旋转,如306处的箭头所示,tau(τ)表示围绕y轴的俯仰或旋转,如308处所示。如下所述,移动设备100的旋转运动也可以由合适的陀螺仪检测或测量,例如相对于x、y和z正交轴。因此,例如,3d加速度计可以至少部分地检测或测量加速度振动的水平以及重力相对于滚动或俯仰维度的变化,从而提供五个维度的可观察性(x,y,z,φ,τ)。当然,这些仅仅是至少部分参考示例坐标系300可以检测或测量的运动的示例,所要求保护的主题不限于特定的运动或坐标系。
45.在一个示例中,移动设备100的旋转运动可以至少部分地由合适的陀螺仪145检测或测量,以提供足够或合适程度的可观察性。陀螺仪145可以参考一维、二维或三维来检测或测量移动设备100的旋转运动。因此,在一些情况下,陀螺仪旋转可以例如至少部分地按照坐标(φ,τ,ψ)来检测或测量,其中phi(φ)表示围绕x轴的滚动或旋转306,tau(τ)表示围绕y轴的俯仰或旋转308,psi(ψ)表示围绕z轴的偏航或旋转,如310处大体所示。虽然不是必须的,但是陀螺仪通常可以提供角加速度(例如,每单位时间平方的角度变化)、角速度(例如,每单位时间的角度变化)等方面的测量。同样地,在这里,与陀螺仪参考示例坐标系300可以至少部分检测或测量的运动相关的细节仅仅是示例,所要求保护的主题不限于此。陀螺仪145可能具有偏置值,输出的精度可能随时间变化。在一个实施例中,本文描述的rta和对准技术可用于确定偏置值,并使处理器能够补偿陀螺仪偏置。
46.参考图4a,示出了具有视觉传感器的示例导航系统的框图400。系统400可以包括片上系统组件,诸如调制解调器,或者可以用分立设备和/或被配置成彼此通信的不同系统来实现。系统400是示例而非限制,因为可以使用其他架构和组件。分布式系统可以包括辅助处理器(ap)402和主处理器(mp)404。ap 402可操作地连接到mp 404,并且可以被配置成响应从mp 404接收的事件的指示。通常,ap 402被配置成基于从视觉传感器405接收的图像帧来提供光流分析信息,诸如像素位移信息。光流分析可以包括对图像帧的特征检测和ocr方法。视觉传感器405还可以包括一个或多个射程传感器406,诸如深度传感器(例如,与摄像头相关联的ir测距组件)、激光雷达设备(例如,基于激光和相干光)、和/或雷达设备(例如,毫米波雷达组件)。视觉传感器405可以是cmos成像技术,诸如摄像头105,射程传感器406可以是图1a中的其他传感器150。ap 402包括光流处理器(of)425,其可操作地连接到视觉传感器405,并被配置成激活视觉传感器405并接收由射程传感器406获取的图像和/或深度信息。mp 404包括可操作地耦接到gnss处理器470的导航处理器(nav)415。惯性传感器450被配置成接收来自导航处理器415的命令,并返回惯性数据,诸如加速度计和陀螺仪的输出。例如,陀螺仪145被配置成提供角速度信号,加速度计140被配置成提供特定的力信号。gnss处理器470被配置成接收卫星定位信号474,并向导航处理器415提供定位信息和时间信息。
47.在一个示例中,导航处理器415配置有诸如卡尔曼滤波器的递归算法,以估计分布式系统400的状态。卡尔曼滤波器可以从惯性传感器450、gnss 470和光流处理器425接收测量值,并应用数学模型来确定估计的方向和定位。可以使用其他位置方法来提供定位信息。例如,移动设备100或单独的服务器240可以基于辅助gnss(a-gnss)、高级前向链路三边测量(aflt)、观察到达时间差(otdoa)或增强型小区id(e-cid)来获取移动设备100的位置估计。在一个实施例中,ap 402、mp 404、视觉传感器405、射程传感器406和惯性传感器450可以被包括在单个设备中,诸如移动设备100。例如,ap 402是光流处理器125的示例,mp 404是导航处理器115的示例,视觉传感器405是摄像头105的示例,惯性传感器450可以包括加速度计140、陀螺仪145和其他传感器150。在另一个实施例中,如图4a所示,ap 402、mp 404、视觉传感器405、射程传感器406和惯性传感器450可以被包括在单独的设备中,并且被配置成经由有线或无线通信路径交换信息。在一个示例中,视觉传感器405和射程传感器406可以安装在相对于车架的固定定位。
48.参考图4b,示出了用于传感器辅助导航的示例分布式系统的框图450。图450包括移动设备452和一个或多个远程传感器454。移动设备452可以包括移动设备100的一些或所有组件,并且移动设备100可以是移动设备452的示例。远程传感器454可以是被配置成获取移动设备452附近的环境的测量值的一个或多个传感器。例如,远程传感器454可以包括远程摄像头和其他视觉传感器、射频(rf)感测设备、雷达、激光雷达(例如,基于激光或相干光)、惯性传感器、气压计、磁力计和其他测量设备中的一个或多个。在一个实施例中,远程传感器454可以经由一个或多个有线或无线连接通信耦接到移动设备。例如,在车辆应用中,远程传感器454可以是摄像头、雷达、激光雷达和安装在车辆上并被配置成经由诸如wifi和/或蓝牙的无线技术向移动设备452提供图像和其他数据的其他传感器。也可以使用其他技术。在一个示例中,远程传感器454可以设置在其他设备中。例如,ar眼镜中的图像传感器可以是远程传感器454,并且被配置成向移动设备提供图像信息。其他远程设备,诸如
运动型摄像机、wifi雷达传感器、射程检测设备等,也可以被配置成向移动设备452提供传感器信息。在操作中,移动设备452可以被配置成经由包括基站460和第一通信链路456的通信网络与边缘服务器462通信。例如,基站460可以在蜂窝网络中,并且第一通信链路456可以是诸如lte、5g nr等的无线接入技术。在一个示例中,基站460可以是广域网(wan)中的接入点,并且第一通信链路456可以基于wifi、蓝牙或无线接入技术。边缘服务器462可以是被配置成接收和/或提供位置信息的第三方地图应用或其他基于位置的服务提供商。
49.在一个实施例中,远程传感器454可以被配置成经由第二通信链路458和基站460向边缘服务器462和/或移动设备452提供传感器数据。第二通信链路458和基站460可以是基于蜂窝的、基于wan的或其他无线接入技术。在一个示例中,边缘服务器462可以被配置成利用由移动设备452提供的信息(例如,粗略定位信息)和由远程传感器454提供的信息(例如,图像、雷达/激光雷达云点)来基于本文描述的方法计算移动设备452的位置。例如,移动设备452可以是智能电话、智能手表等,并且可以向诸如谷歌地图的第三方应用(即,边缘服务器462)提供粗略位置信息。远程传感器454可以是与移动设备452相关联并被配置成获取图像的智能眼镜、ar眼镜等。第三方应用可以经由第一通信链路456(例如,从移动设备452)或者经由第一和第二通信链路456、458的组合(例如,分别从移动设备452和远程传感器454)接收粗略位置信息和图像。第三方应用可以组合分叉的数据源以提高移动设备452的定位估计的精度。
50.参考图5,示出了由视觉传感器获取的具有可识别特征的示例图像500。图像500是由设置在车辆前部并朝向行驶方向的视觉传感器405获取的街景。图像500内的子图像502包括两个可识别特征,包括街道标志504(即,“mission”)和商业标志506(例如,“soma park inn”)。可识别特征504、506是示例,表示通常在公共和专有地图应用中可用的文本信息,公共和专有地图应用诸如谷歌地图、苹果地图、和其他地图服务提供商。在操作中,移动设备100可以被配置成基于gnss定位估计来获取粗略定位。在城市环境中,诸如图像500中所描绘的,由于sv信号受阻(例如,由建筑物、附近的车辆等引起)以及其他多径效应,gnss定位估计的不确定性区域可能增加。移动设备100被配置成基于粗略gnss定位估计(例如,计算的纬度和经度)从服务提供商获取地图信息,地图信息可以包括地理位置的感兴趣点(poi)信息和相关联的可识别特征,诸如街道名称、十字路口名称、公共汽车站号码、商业名称和地址的文本。of 425可以被配置成利用计算机视觉技术(例如,ocr技术)来基于粗略地图信息中的文本语料库从图像500中提取可识别特征(例如,街道名称、商业名称、地址、街角/十字路口)。在一个示例中,与粗略地图信息中的特征和poi相关联的文本可以用于约束ocr方案。粗略地图信息的大小可以基于与gnss定位估计的配置射程(例如,100、200、500、1000码等)。诸如当前速度和移动设备100的能力之类的其他因素可以用于确定所获取的粗略地图信息的范围。在一个实施例中,射程传感器406和/或视觉传感器405的输出可以用于确定到可识别特征的距离估计508,可识别特征诸如人行横道、路灯、街道标志、交通灯、十字路口等。射程传感器406可以与惯性测量设备(例如,陀螺仪145、加速度计140)结合使用,以基于坐标系300和射程传感器406的方位(例如,视轴)来确定物体的方位和高度。可识别特征的预定位置和/或到可识别特征的距离可用于提高gnss定位估计的精度。
51.在一个实施例中,移动设备100可以配置有本领域已知的一个或多个计算机视觉算法,以识别特征,诸如人行横道、建筑物拐角、人行道拐角、停车标志标记线和标志文本。
该算法可以对图像执行预处理或其他过滤步骤,诸如应用颜色阈值、s通道梯度阈值和感兴趣区域过滤。视角变换可用于将图像从前瞻视角变换成鸟瞰视图。可以计算变换矩阵,并且可以基于变换矩阵来扭曲图像。直方图峰值可用于确定标记,诸如人行横道、停车标志标记或道路上的其他可识别特征。滑动窗口技术可用于提取有效像素并运行多项式拟合处理以基于有效像素构建线。车道标志之间的相对距离可用于区分车道标志和人行横道。预先校准的摄像头参数或摄像头结合加速度计和陀螺仪输入可用于确定从摄像头到可识别特征(诸如人行横道)的相对距离。也可以使用其他算法和图像处理技术。
52.参考图6,示出了与图5中的图像500相关联的示例粗略地图600。粗略地图600包括与可识别特征相关联的位置和文本信息,诸如街道名称602(即,“mission”)和商业名称604(即,“soma park inn”)。在一个示例中,移动设备100可以获取初始gnss定位估计606,其指示在minna和natoma街之间的9
th st上的当前位置(如图6所示)。在获取初始gnss定位估计606的同时,移动设备还获取图5中的图像500。of处理器425可以配置成基于与粗略地图600相关联的文本信息来确定可识别特征。在一个示例中,of处理器425可以基于粗略地图信息中的街道名称(例如,natoma、minna、mission、9
th st)来利用ocr技术。在一个示例中,of处理器425可以基于粗略地图信息中与其他poi(例如,商业和建筑名称)相关联的街道名称和文本(例如,moya、soma park inn、coffee cultures、bcc bar等)来利用ocr技术。基于粗略地图信息来约束ocr方案可以实现更鲁棒和更快速的文本识别。在一个实施例中,of处理器425可以被配置成仅基于图像500获取ocr结果(即,不受约束)。
53.参考图5中的街道标志504,导航处理器415可以利用由of处理器425检测到的可识别特征和粗略地图数据来更新gnss定位估计。对移动设备100附近的街道标志504(即,“mission street”)的识别和ocr可用于生成更新的gnss定位估计608,其指示当前定位在初始gnss定位估计606的西北方(即,更靠近mission st.)。诸如商业名称604的其他可识别特征也可用于更新定位估计。距离估计508也可用于更新定位估计。例如,距离估计508指示到粗略地图600上所描绘的mission st和9
th st的交叉路口的估计距离。将可识别特征(例如,可读街道标志)与粗略地图特征数据进行比较可有助于消除无关定位估计并改进位置精度。距离和/或航向测量也可以用作用于确定定位的卡尔曼滤波算法中的测量更新。
54.参考图7,示出了用视觉传感器405获取的图像702的示例变换700。在一个用例中,视觉传感器405可以被布置在车辆上,并且被定向以获取车辆方向上的图像。街道图像702可以包括自然的和人造的地形特征,诸如车道标志、新泽西护栏、护栏、路肩车道以及基于视觉传感器405的视角的其他特征。光流处理器425可以被配置成使用视角变换技术将街道图像702变换成鸟瞰扭曲图像704。也可以使用其他图像分辨率和调整技术(例如,对比度调整、二值化、锐化等)。例如,扭曲图像704可以突出包括一系列虚线右车道标志704a和左车道条纹704b的高速公路车道标志。也可以识别其他特征。
55.参考图8,示出了基于扭曲图像704的航向测量的示例。图像800是扭曲图像704的负像,其被提供以利于对航向测量的描述。图像800是示例,而不是限制。of处理器425可以被配置成确定图像特征的轮廓,诸如虚线右车道标志704a和左车道条纹704b。例如,of处理器425可以利用图像处理技术来基于虚线右车道标志704a获取右车道边界804a,以及基于左车道条纹704b获取左车道边界804b。在一个实施例中,移动设备100可以被配置成基于初始gnss定位估计获取粗略地图信息,并且导航处理器415可以被配置成将右和左车道边界
804a-b的角度和/或曲率与粗略地图数据中的道路进行匹配,以确定车辆的当前航向806。从图像导出的航向信息可用作递归算法的输入,诸如卡尔曼滤波器,其被配置成生成定位估计。
56.在一个实施例中,视觉传感器405可以被配置成周期性地和/或基于预先建立的触发条件来获取图像。在一个示例中,可以实现摄像头占空比来激活视觉传感器405与定位估计的集成。相对转弯轨迹和/或用户动态可用于确定占空比。例如,与直线行驶的车辆相比,转弯车辆可以利用更高的占空比。粗略地图信息也可以用于确定占空比。例如,与具有较少十字路口的畅通道路相比,靠近十字路口可用于增加占空比。移动设备100的其他状态也可以用作触发条件来激活视觉传感器405用于导航应用。
57.参考图9,并进一步参考图1a-8,用于基于图像中的可识别特征来确定移动设备的定位估计的方法900包括所示的阶段。然而,方法900是示例而非限制。方法900可以被改变,例如,通过添加、移除、重新排列、组合、同时执行一些阶段,和/或将单个阶段分成多个阶段。方法900可以用移动设备内的集成设备、移动设备中可操作耦接的多个分立组件、通信耦接的多个设备和/或经由网络连接远程地执行,其中不同阶段由不同传感器和不同处理器执行。
58.在阶段902,该方法包括获取粗略地图信息。无线收发器130可以是用于获取粗略地图信息的部件。在一个实施例中,移动设备100可以被配置成经由网络225提供定位坐标(例如,纬度/经度)到第三方地图服务提供商(例如,谷歌地图、苹果地图等),以获取移动设备的粗略定位附近的区域中的粗略地图信息。定位坐标可以基于由移动设备100接收的sv信号,或者基于经由无线收发器130接收的信号的其他地面导航技术。粗略定位可以基于位置技术,例如a-gnss、aflt、otdoa、rtt、rssi、aoa和e-cid。粗略地图信息可以基于现有的地图数据集,并且不依赖于构建和利用特定于图像的地图数据。粗略地图信息中包含的邻近区域可以基于配置选项或其它应用标准(例如,定位不确定性值),并且可以涵盖移动设备的定位周围100、200、500、1000码的射程。粗略地图信息可以包括地理参考poi,诸如街道名称和十字路口位置、商业名称和地址,或者对应于可识别特征及其相应位置的其他标签。在一个示例中,移动设备100可以将粗略地图信息存储在本地存储器160中。在一个示例中,移动设备100可以解析粗略地图信息以确定移动设备附近的街道名称和十字路口位置。移动设备100可以被配置成解析其他视觉可识别特征,诸如商业标志和地址、公交车站标志、高速公路标志、立交桥标志、街灯等,使得每个视觉可识别特征与粗略地图信息中的已知位置相关联。
59.在阶段904,该方法包括获取传感器信息。视觉传感器405或远程传感器454可以是用于获取传感器信息的部件。在一个示例中,视觉传感器405或远程传感器454可以是诸如第二摄像头105b之类的摄像头,或者诸如车载仪表板摄像头、ar眼镜之类的另一摄像头,或者被配置成获取移动设备附近的图像的其他传感器。例如,视觉传感器405或远程传感器454可以获取城市环境的街景,诸如图5中的图像500。在一个实施例中,传感器信息可以基于从一个或多个远程传感器454接收的数据。例如,雷达或激光雷达系统可以获取到一个或多个点(例如,点云)的射程离和方位。其他传感器可以被配置成提供其他信息。传感器信息可以按需或周期性地获取,例如基于传感器占空比。
60.在阶段906,该方法包括对传感器信息执行光学字符识别处理。of 425或处理器
111可以是用于执行ocr处理的部件。在一个实施例中,视觉传感器405和/或远程传感器454可以获取移动设备100附近区域的图像。of 425或处理器111可以被配置成利用ocr和其他针对传感器信息的计算机视觉技术,以从在阶段904获取的传感器信息中提取可识别特征(例如,街道名称、商业名称、地址、街角/十字路口)。
61.在阶段908,该方法包括基于光学字符识别处理和粗略地图信息来确定一个或多个可识别特征。在一个实施例中,计算机视觉技术可以利用与传感器信息中的一个或多个视觉可识别特征相关联的信息(例如,文本)来识别粗略地图信息中的位置。例如,可以将阶段906的ocr处理的结果与粗略地图信息中与特征和poi相关联的文本进行比较。在一个实施例中,粗略地图信息可以用于约束ocr方案。也可以使用其他基于约束的技术来提高ocr处理的效率。与传感器输入相关联的其他可识别特征可以包括在粗略地图信息中。例如,诸如路标或其他反射体的地理位置物体可以被配置成提供可检测的返回信号。位置和相应的标识信息可以包括在粗略地图信息中。
62.在阶段910,该方法包括至少部分地基于粗略地图信息和一个或多个可识别特征来确定移动设备的定位估计。导航处理器415或处理器111是用于确定定位估计的部件。导航处理器415可以被配置成基于粗略地图信息中的特征的位置来确定可识别特征的位置。例如,参考图6,对移动设备100附近的“mission street”的识别可以用于生成更新的gnss定位估计608,其指示当前定位在初始gnss定位估计606的西北方(即,更新的gnss定位估计608更接近mission st.)。在一个实施例中,移动设备100可以被配置成利用一个或多个射程传感器406或远程传感器454的输出来进一步改进定位估计。例如,射程传感器406、远程传感器454和/或视觉传感器405可以用于确定到可识别特征的距离估计508,可识别特征诸如人行横道、街灯、街道标志、十字路口等。
63.参照图10,并进一步参照图1a-8,用于部分基于航向输入来确定移动设备的定位估计的方法1000包括所示的阶段。然而,方法1000是示例而非限制。方法1000可以被改变,例如,通过添加、移除、重新排列、组合、同时执行多个阶段,和/或将单个阶段分成多个阶段。
64.在阶段1002,该方法包括确定移动设备的粗略定位。gnss接收器170或无线收发器130可以是用于确定粗略定位的部件。粗略定位可以基于移动设备100接收的sv信号,或者基于经由无线收发器130接收的信号的其他地面导航技术。粗略定位可以基于位置技术,诸如a-gnss、aflt、otdoa、rtt、rssi、aoa和e-cid。
65.在阶段1004,该方法包括基于粗略定位获取粗略地图信息。无线收发器130可以是用于确定粗略定位的部件。在一个实施例中,移动设备100可以被配置成经由网络225提供定位坐标(例如,纬度/经度)到第三方地图服务提供商(例如,谷歌地图、苹果地图等),以获取接近粗略定位的区域中的粗略地图信息。粗略地图信息可以是现有的地图信息(例如,公开可用的),并且不依赖于构建和利用特定于图像的地图数据。邻近区域可以基于配置选项或其他应用标准(例如,定位不确定性值),并且可以涵盖粗略定位测量周围100、200、500、1000码的射程。粗略地图信息可以包括地理参考poi,诸如街道名称和十字路口位置、商业名称和地址,或者对应于可识别特征及其相应位置的其他标签。在一个示例中,移动设备100可以将粗略地图信息存储在本地存储器160中。
66.在阶段1006,该方法包括获取传感器信息。视觉传感器405或远程传感器可以是用
于获取传感器信息的部件。在一个示例中,视觉传感器405或远程传感器454可以是诸如第二摄像头105b之类的摄像头,或者诸如车载仪表板摄像头、ar眼镜之类的另一摄像头,或者被配置成获取移动设备附近的图像的其他传感器。在一个实施例中,vps导航设备可以安装在车辆或自主运输系统的仪表板上,并且可以包括指向运动方向的摄像头。视觉传感器405和/或远程传感器454可以例如被配置成获取车辆当前正在行驶的道路的街道图像702。在一个实施例中,可以基于视觉传感器占空比来获取图像。在一个示例中,图像可以基于来自诸如雷达或激光雷达的其他传感器的输入(例如,激光雷达点云、雷达点数据)。其他传感器可以被配置成提供其他信息。传感器信息可以按需或周期性地获取,例如基于传感器占空比。
67.在阶段1008,该方法包括基于传感器信息确定一个或多个道路曲率特征。of处理器425或处理器111可以是用于确定一个或多个道路曲率特征的部件。在一个示例中,传感器信息可以是诸如街道图像702的图像,该图像可以包括自然和人造的地形特征,诸如车道标志、新泽西护栏、护栏、路肩车道以及基于视觉传感器405的视角的其他特征。of处理器425或处理器111可以被配置成使用视角变换技术将街道图像702变换成鸟瞰扭曲图像704。在一个实施例中,参考图8,of处理器425或处理器111可以利用图像处理技术来基于虚线右车道标志704a获取右车道边界804a,以及基于左车道条纹704b获取左车道边界804b。右边界和左边界804a-b可用于确定道路的曲率。在一个实施例中,一个或多个道路曲率特征可以基于由远程传感器454获取的雷达和/或激光雷达数据。也可以使用其他传感器处理技术来确定曲率。
68.在阶段1010,该方法包括确定比较值满足阈值,其中该比较值基于粗略地图信息中的道路曲率特征和传感器信息中检测到的一个或多个道路曲率特征之间的比较。导航处理器415或处理器111可以是用于确定比较是否满足阈值的部件。在一个示例中,移动设备100在阶段1004获取粗略地图信息,并且导航处理器415或处理器111可以被配置成将右和左车道边界804a-b的角度和/或曲率与粗略地图数据中的道路进行比较,以确定车辆的当前航向806。例如,可以基于粗略定位信息(例如,us 5北向)来识别道路,并且比较算法可以基于识别的道路的像素分析和检测的曲率。示例比较算法可以包括卷积,以沿着识别的道路在向前和向后方向上转置曲率信息(即,内核),从而找到方案。可以基于与比较算法相关联的概率因子来建立阈值。例如,较高的阈值可以指示道路曲率特征与粗略地图信息之间的实际匹配的可能性增加。也可以使用其他匹配算法。
69.在阶段1012,该方法包括至少部分地基于粗略地图信息中的道路曲率特征来确定移动设备的航向。导航处理器415或处理器111可以是用于确定移动设备的航向的部件。在一个实施例中,导航处理器415或处理器111可以被配置成基于地理参考粗略地图信息来计算航向。例如,与粗略地图相关联的坐标信息(例如,北向上)可用作确定匹配道路段上的定位的航向(即,角度)的参考。所得的航向信息可用作用于确定定位估计的递归算法的输入。
70.在阶段1014,该方法包括至少部分地基于航向来确定移动设备的定位估计。导航处理器415或处理器111是用于确定定位估计的部件。在一个实施例中,导航处理器415配置有递归算法(例如,卡尔曼滤波器)来估计移动设备100的状态。递归算法可以接收来自惯性传感器450、gnss 470的测量值,以及基于of处理器425的航向信息,并应用数学模型来确定估计的方向和定位。在阶段1012确定的航向信息可用于提高gnss定位估计的精度。
71.参照图11,并进一步参照图1a-8,用于基于到特征的射程来确定移动设备的定位估计的方法1100包括所示的阶段。然而,方法1100是示例而非限制。方法1100可以被改变,例如,通过添加、移除、重新排列、组合、同时执行多个阶段,和/或将单个阶段分成多个阶段。
72.在阶段1102,该方法包括获取传感器信息。视觉传感器405和远程传感器454可以是用于获取传感器信息的部件。在一个示例中,视觉传感器405可以是诸如第二摄像头105b之类的摄像头,或者诸如车载仪表板摄像头之类的另一摄像头、诸如ar眼镜之类的另一设备中的摄像头,并且被配置成获取移动设备附近的图像。例如,视觉传感器405可以获取城市环境的街景,诸如图5中的图像500。在一个实施例中,传感器信息可以基于从一个或多个远程传感器454接收的数据。例如,雷达或激光雷达系统可以获取到一个或多个点(例如,点云)的射程和方位。其他传感器可以被配置成提供其他信息。传感器信息可以按需或周期性地获取,例如基于传感器占空比。
73.在阶段1104,该方法包括检测传感器信息中的一个或多个可识别特征。of 425和处理器111可以是用于检测一个或多个可识别特征的部件。在一个示例中,传感器信息可以是图像,并且of 425可以配置有一个或多个计算机视觉算法,以识别诸如人行横道、建筑物拐角、人行道拐角、停车标志标记线、十字路口、交通灯、街灯和其他特征之类的特征。该算法可以对图像执行预处理或其他过滤步骤,诸如应用颜色阈值、s通道梯度阈值和感兴趣区域过滤。视角变换可用于将图像从前瞻视角变换成鸟瞰视图。可以计算变换矩阵,并且可以基于变换矩阵来扭曲图像。直方图峰值可用于确定标记,诸如人行横道、停车标志标记或道路上的其他可识别特征。处理器111可以被配置成基于返回信号的信号强度、多普勒频移或相位来识别雷达和/或激光雷达返回信息。例如,预先配置的反射体或其他物体(例如,交通灯、街道标志等)可以提供可识别的雷达或激光雷达返回信号。存储器160可以包括将返回信号与物体相关联的数据结构。
74.在阶段1106,该方法包括确定到一个或多个可识别特征中的至少一个的射程。of 425和处理器111可以是用于确定到可识别特征的距离的部件。在一个示例中,传感器信息可以是图像和预校准的摄像头参数,或者可以使用摄像头结合加速度计和陀螺仪输入来确定从摄像头到在阶段1104检测到的可识别特征的相对距离。在一个实施例中,射程传感器406和/或远程传感器454可以用于确定到可识别特征的射程。射程传感器406可以与惯性测量设备(例如,陀螺仪145、加速度计140)结合使用,以基于坐标系300和射程传感器406的方位(例如,视轴)来确定物体的方位和高度。一个或多个远程传感器454可以在远程设备中,并且被配置成独立地对信息进行测距(例如,没有来自惯性测量设备的输入)。在一个示例中,基于交通和/或民用标准的已知距离(例如,车道标志之间的标准距离)可用于区分特征并估计到特征的射程。
75.在阶段1108,该方法包括获取粗略地图信息。无线收发器130和处理器111可以是用于获取粗略地图信息的部件。在一个实施例中,移动设备100可以被配置成经由网络225提供定位坐标(例如,纬度/经度)到第三方地图服务提供商(例如,谷歌地图、苹果地图等),以获取移动设备附近区域的粗略地图信息。定位坐标可以基于由移动设备100接收的sv信号,或者基于经由无线收发器130接收的信号的其他地面导航技术。粗略定位可以基于位置技术,例如a-gnss、aflt、otdoa、rtt、rssi、aoa和e-cid。粗略地图信息可以基于现有的地图
数据集,并且不依赖于构建和利用特定于图像的地图数据。粗略地图信息中包含的邻近区域可以基于配置选项或其它应用标准(例如,定位不确定性值),并且可涵盖移动设备定位周围100、200、500、1000码等的射程。
76.在阶段1110,该方法包括基于粗略地图信息确定一个或多个可识别特征中的至少一个的位置。导航处理器415或处理器111可以是用于确定可识别特征的位置的部件。在一个实施例中,粗略地图信息可以包括地理参考poi,诸如街道名称和十字路口位置、商业名称和地址,或者对应于可识别特征及其相应位置的其他标签。导航处理器415、处理器111或移动设备100上的其它处理器可以被配置成解析粗略地图信息以确定街道名称、十字路口位置、商业标志和地址、公交车站标志、高速公路标志、立交桥标志、街灯等,使得每个视觉可识别特征与粗略地图信息中的已知位置相关联。
77.在阶段1112,该方法包括至少部分地基于到一个或多个可识别特征中的至少一个的射程来确定移动设备的定位估计。导航处理器415或处理器111可以是用于确定定位估计的部件。导航处理器415和/或处理器111可以被配置成基于粗略地图信息中的特征的位置来确定视觉可识别特征的位置。例如,参照图5和图6,对粗略地图信息中的“mission street”的识别可结合距离估计508(即,在阶段1106确定的射程)使用以确定定位估计。其他射程、传感器和方位信息也可以用于确定定位估计。在一个实施例中,诸如边缘服务器462的远程服务器可以被配置成基于粗略定位估计和传感器信息来确定定位估计。例如,移动设备452和/或远程传感器454可以被配置成提供传感器信息,并且边缘服务器462可以被配置成执行方法1100。
78.贯穿说明书对“一个示例”、“示例”、“某些示例”或“示例性实现方式”的引用意味着结合该特征和/或示例描述的特定特征、结构或特性可以包括在所要求保护的主题的至少一个特征和/或示例中。因此,在贯穿本说明书各处出现的短语“在一个示例中”、“示例”、“在某些示例中”或“在某些实现方式中”或其他类似短语不一定都指相同的特征、示例和/或限制。此外,特定特征、结构或特性可以被组合在一个或多个示例和/或特征中。
79.本文包括的具体实施方式的一些部分是根据对存储在特定装置或专用计算设备或平台的存储器中的二进制数字信号的操作的算法或符号表示来呈现的。在该特定说明书的上下文中,一旦通用计算机被编程为根据来自程序软件的指令执行特定操作,则术语特定装置等包括通用计算机。算法描述或符号表示是信号处理或相关领域的普通技术人员用来向本领域的其他技术人员传达他们工作的实质的技术的示例。算法在这里并且通常被认为是导致期望结果的自洽的操作序列或类似的信号处理。在这种背景下,操作或处理涉及对物理量的物理操纵。通常,但不是必须的,这些量可以采取能够被存储、传输、组合、比较或以其他方式操纵的电信号或磁信号的形式。主要出于通用的原因,有时将这种信号称为位、数据、值、元素、符号、字符、术语、数字、数值等被证明是方便的。然而,应当理解,所有这些或类似的术语都与适当的物理量相关联,并且仅仅是方便的标签。除非另外特别声明,否则从本文的讨论中显而易见的是,在整个说明书中,使用诸如“处理”、“计算(computing)”、“运算(calculating)”、“确定”等术语的讨论是指特定装置的动作或处理,特定装置例如专用计算机、专用计算装置或类似的专用电子计算设备。因此,在本说明书的上下文中,专用计算机或类似的专用电子计算设备能够操纵或转换信号,该信号通常表示为专用计算机或类似的专用电子计算设备的存储器、寄存器或其他信息存储设备、发送设备或显示设备中
的物理电子量或磁量。
80.本文描述的无线通信技术可以结合各种无线通信网络,诸如无线广域网(“wwan”)、无线局域网(“wlan”)、无线个人区域网(wpan)等。术语“网络”和“系统”在这里可以互换使用。wwan可以是码分多址(“cdma”)网络、时分多址(“tdma”)网络、频分多址(“fdma”)网络、正交频分多址(“ofdma”)网络、单载波频分多址(“sc-fdma”)网络或者上述网络的任意组合等。cdma网络可以实现一种或多种无线接入技术(“rat”),诸如cdma2000、宽带cdma(“w-cdma”)等。这里,cdma2000可以包括根据is-95、is-2000和is-856标准实现的技术。tdma网络可以实现全球移动通信系统(“gsm”)、数字高级移动电话系统(“d-amps”)或一些其他rat。gsm和w-cdma在来自名为“第三代合作伙伴计划”(“3gpp”)的联盟的文档中进行了描述。在一个方面,5g nr和lte通信网络也可以根据所要求保护的主题来实现。wlan可以包括ieee 802.11x网络,并且wpan可以包括网络,例如ieee 802.15x。本文描述的无线通信实现方式也可以结合wwan、wlan或wpan的任何组合来使用。
81.本文描述的技术可以与包括若干gnss中的任何一个和/或gnss的组合的sps一起使用。此外,这种技术可以与位置系统一起使用,该位置系统利用充当“伪卫星”的地面发送器,或者sv和这种地面发送器的组合。地面发送器可以例如包括广播pn码或其他测距码(例如,类似于gps或cdma蜂窝信号)的基于地面的发送器。这种发送器可以被分配唯一的pn码,以允许由远程接收器识别。在来自轨道sv的sps信号可能不可用的情况下,例如在隧道、矿井、建筑物、城市峡谷或其他封闭区域中,地面发送器可以用于例如增强sps。伪卫星的另一种实现方式被称为无线电信标。这里使用的术语“sv”旨在包括充当伪卫星、伪卫星的等同物以及其他的可能情况的地面发送器。这里使用的术语“sps信号”和/或“sv信号”旨在包括来自地面发送器(包括充当伪卫星或伪卫星的等同物的地面发送器)的类似sps的信号。
82.在前面的详细描述中,已经阐述了许多具体细节,以提供对所要求保护的主题的透彻理解。然而,本领域技术人员将理解,在没有这些具体细节的情况下也可以实践所要求保护的主题。在其他情况下,没有详细描述本领域普通技术人员已知的方法和装置,以免混淆所要求保护的主题。
83.本文使用的术语“和”、“或”和“和/或”可以包括多种含义,这些含义至少部分取决于使用这些术语的上下文。通常,“或”如果用于关联一个列表,例如a、b或c,意在表示a、b和c,在这里以包含的意义使用,以及a、b或c,在这里以排他的意义使用。此外,本文使用的术语“一个或多个”可以用来以单数形式描述任何特征、结构或特性,或者可以用来描述特征、结构或特性的多个或一些其他组合。然而,应当注意,这仅仅是说明性的示例,并且所要求保护的主题不限于该示例。
84.虽然已经图示和描述了目前被认为是示例特征的内容,但是本领域技术人员将理解,在不脱离所要求保护的主题的情况下,可以进行各种其他修改,并且可以替换等同物。此外,在不脱离本文描述的中心概念的情况下,可以进行许多修改以使特定情况适应所要求保护的主题的教导。
85.因此,所要求保护的主题不限于所公开的特定示例,而是这种所要求保护的主题还可以包括落入所附权利要求及其等同物的范围内的所有方面。
86.对于涉及固件和/或软件的实现方式,方法可以用执行本文描述的功能的模块(例如,处理器、存储器、过程、功能等)来实现。任何有形地包含指令的机器可读介质都可以用
于实现本文描述的方法。例如,软件代码可以存储在存储器中并由处理器单元执行。存储器可以在处理器单元内部或处理器单元外部实现。如本文所使用的,术语“存储器”指任何类型的长期、短期、易失性、非易失性或其他存储器,并且不限于任何特定类型的存储器或存储器数量,或者存储存储器的介质类型。
87.如果以固件和/或软件实现,功能可以作为一个或多个指令或代码存储在非暂时性机器可读存储介质上。示例包括用数据结构编码的计算机可读介质和用计算机程序编码的计算机可读介质。机器或计算机可读介质包括物理计算机存储介质(例如,非暂时性机器可读介质)。存储介质可以是可由计算机访问的任何可用介质。作为示例而非限制,该计算机可读介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储器、磁盘存储器、半导体存储器或其他存储设备,或者可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的任何其他介质。上述的组合也应该包括在计算机可读介质的范围内。
88.除了存储在计算机可读存储介质上之外,指令和/或数据可以作为包括在通信装置中的发送介质上的信号来提供。例如,通信装置可以包括具有指示指令和数据的信号的收发器。指令和数据被配置成使一个或多个处理器实现权利要求中概述的功能。也就是说,通信装置包括发送介质,该发送介质具有指示信息的信号以执行所公开的功能。在第一时间,通信装置中包括的发送介质可以包括信息的第一部分以执行所公开的功能,而在第二时间,通信装置中包括的发送介质可以包括信息的第二部分以执行所公开的功能。
89.以下编号条款描述了实现方式示例:
90.条款1.一种用于确定移动设备的定位估计的方法,包括:获取传感器信息;检测所述传感器信息中的一个或多个可识别特征;确定到所述一个或多个可识别特征中的至少一个的射程;获取粗略地图信息;基于所述粗略地图信息确定所述一个或多个可识别特征中的所述至少一个的位置;以及至少部分地基于到所述一个或多个可识别特征中的所述至少一个的所述射程来确定用于所述移动设备的所述定位估计。
91.条款2.根据条款1所述的方法,其中确定到所述一个或多个可识别特征中的所述至少一个的所述射程是基于远程传感器的输出。
92.条款3.根据条款2所述的方法,其中所述远程传感器是激光雷达设备或雷达设备。
93.条款4.根据条款1所述的方法,其中所述一个或多个可识别特征中的所述至少一个包括人行横道、十字路口、交通灯和路标中的至少一个。
94.条款5.根据条款1所述的方法,其中获取所述粗略地图信息包括向远程服务器提供粗略定位,并从所述远程服务器接收所述粗略地图信息。
95.条款6.根据条款5所述的方法,其中所述粗略定位是基于由卫星定位系统计算的位置。
96.条款7.根据条款5所述的方法,其中所述移动设备的所述粗略定位基于地面导航技术。
97.条款8.根据条款1所述的方法,其中所述传感器信息是图像,并且检测所述传感器信息中的所述一个或多个可识别特征包括对所述图像执行光学字符识别处理。
98.条款9.根据条款8所述的方法,其中检测所述传感器信息中的所述一个或多个可识别特征包括确定街道名称或商业名称。
99.条款10.一种用于确定移动设备的定位估计的方法,包括:获取粗略地图信息;获
取传感器信息;对所述传感器信息执行光学字符识别处理;基于所述光学字符识别处理和所述粗略地图信息来确定一个或多个可识别特征;以及至少部分地基于所述粗略地图信息和所述一个或多个可识别特征来确定用于所述移动设备的所述定位估计。
100.条款11.根据条款10所述的方法,还包括:确定到所述一个或多个可识别特征的距离;以及至少部分地基于到所述一个或多个可识别特征的所述距离来确定所述移动设备的所述定位估计。
101.条款12.根据条款11所述的方法,其中确定到所述一个或多个可识别特征的所述距离是基于射程传感器的输出。
102.条款13.根据条款12所述的方法,其中所述射程传感器是激光雷达设备或雷达设备。
103.条款14.根据条款10所述的方法,其中确定所述一个或多个可识别特征包括确定街道名称和十字路口位置。
104.条款15.根据条款10所述的方法,其中确定所述一个或多个可识别特征包括确定商业名称和与所述商业名称相关联的地址。
105.条款16.根据条款10所述的方法,其中获取所述粗略地图信息包括向远程服务器提供粗略定位,并从所述远程服务器接收所述粗略地图信息。
106.条款17.根据条款16所述的方法,其中所述移动设备的所述粗略定位是基于使用全球导航卫星系统获取的位置。
107.条款18.根据条款16所述的方法,其中所述移动设备的所述粗略定位是基于使用地面导航技术获取的位置。
108.条款19.一种用于确定移动设备的定位估计的方法,包括:确定所述移动设备的粗略定位;基于所述粗略定位获取粗略地图信息;获取传感器信息;基于所述传感器信息确定一个或多个道路曲率特征;确定比较值满足阈值,其中所述比较值是基于所述粗略地图信息中的道路曲率特征与在所述传感器信息中检测到的所述一个或多个道路曲率特征之间的比较;至少部分地基于所述粗略地图信息中的所述道路曲率特征来确定用于所述移动设备的航向;以及至少部分地基于所述航向来确定用于所述移动设备的所述定位估计。
109.条款20.根据条款19所述的方法,其中所述传感器信息是图像。
110.条款21.根据条款19所述的方法,其中所述传感器信息是利用一个或多个雷达传感器或激光雷达传感器获取的点云。
111.条款22.根据条款19所述的方法,其中利用一个或多个远程传感器获取所述传感器信息。
112.条款23.根据条款19所述的方法,其中所述一个或多个道路曲率特征包括一个或多个车道标志。
113.条款24.根据条款19所述的方法,其中所述一个或多个道路曲率特征包括一个或多个护栏。
114.条款25.根据条款19所述的方法,其中确定所述比较值满足阈值包括在所述传感器信息中检测到的所述道路曲率特征和在所述粗略地图信息中的道路之间执行卷积。
115.条款26.根据条款19所述的方法,其中所述移动设备的所述粗略定位是基于使用全球导航卫星系统获取的位置。
116.条款27.根据条款19所述的方法,其中所述移动设备的所述粗略定位是基于使用地面导航技术获取的位置。
117.条款28.根据条款19所述的方法,其中获取所述粗略地图信息包括向远程服务器提供所述粗略定位,并从所述远程服务器接收所述粗略地图信息。
118.条款29.根据条款19所述的方法,其中确定所述定位估计包括向递归算法提供航向和全球导航卫星信号信息。
119.条款30.根据条款29所述的方法,其中所述递归算法是卡尔曼滤波。
120.条款31.一种装置,包括:存储器、至少一个收发器和通信耦接到所述存储器和所述至少一个收发器的至少一个处理器,所述至少一个处理器被配置成:获取传感器信息;检测所述传感器信息中的一个或多个可识别特征;确定到所述一个或多个可识别特征中的至少一个的射程;获取粗略地图信息;基于所述粗略地图信息确定所述一个或多个可识别特征中的至少一个的位置;以及至少部分地基于到所述一个或多个可识别特征中的所述至少一个的所述射程来确定定位估计。
121.条款32.根据条款31所述的装置,其中所述至少一个处理器还被配置成基于远程传感器的输出来确定到所述一个或多个可识别特征中的所述至少一个的所述射程。
122.条款33.根据条款32所述的装置,其中所述远程传感器是激光雷达设备或雷达设备。
123.条款34.根据条款31所述的装置,其中所述一个或多个可识别特征中的所述至少一个包括人行横道、十字路口、交通灯和路标中的至少一个。
124.条款35.根据条款31所述的装置,其中所述至少一个处理器还被配置成向远程服务器发送粗略定位,并从所述远程服务器接收所述粗略地图信息。
125.条款36.根据条款35所述的装置,其中所述粗略定位是基于由卫星定位系统计算的位置。
126.条款37.根据条款35所述的装置,其中所述至少一个处理器还被配置成基于地面导航技术来确定所述粗略定位。
127.条款38.根据条款31所述的装置,其中所述传感器信息是图像,并且所述至少一个处理器还被配置成对所述图像执行光学字符识别处理。
128.条款39.根据条款38所述的装置,其中所述至少一个处理器还被配置成基于对所述图像的所述光学字符识别处理来确定街道名称或商业名称。
129.条款40.一种装置,包括:存储器、至少一个收发器和通信耦接到所述存储器和所述至少一个收发器的至少一个处理器,所述至少一个处理器被配置成:获得粗略地图信息;获取传感器信息;对所述传感器信息执行光学字符识别处理;基于所述光学字符识别处理和所述粗略地图信息确定一个或多个可识别特征;以及至少部分地基于所述粗略地图信息和所述一个或多个可识别特征来确定定位估计。
130.条款41.根据条款40所述的装置,其中所述至少一个处理器还被配置成:确定到所述一个或多个可识别特征的距离;以及至少部分地基于到所述一个或多个可识别特征的所述距离来确定所述定位估计。
131.条款42.根据条款41所述的装置,其中所述至少一个处理器被配置成基于射程传感器的输出来确定到所述一个或多个可识别特征的所述距离。
132.条款43.根据条款42所述的装置,其中所述射程传感器是激光雷达设备或雷达设备。
133.条款44.根据条款40所述的装置,其中所述至少一个处理器还被配置成确定街道名称和十字路口位置。
134.条款45.根据条款40所述的装置,其中所述至少一个处理器还被配置成确定商业名称和与所述商业名称相关联的地址。
135.条款46.根据条款40所述的装置,其中所述至少一个处理器还被配置成向远程服务器发送粗略定位,并从所述远程服务器接收所述粗略地图信息。
136.条款47.根据条款46所述的装置,其中所述粗略定位是基于使用全球导航卫星系统获取的位置。
137.条款48.根据条款46所述的装置,其中所述至少一个处理器还被配置成基于地面导航技术来确定所述粗略定位。
138.条款49.一种装置,包括:存储器、至少一个收发器和通信耦接到所述存储器和所述至少一个收发器的至少一个处理器,所述至少一个处理器被配置成:确定粗略定位;基于所述粗略定位获取粗略地图信息;获取传感器信息;基于所述传感器信息确定一个或多个道路曲率特征;确定比较值满足阈值,其中所述比较值是基于所述粗略地图信息中的道路曲率特征与在所述传感器信息中检测到的所述一个或多个道路曲率特征之间的比较;至少部分地基于所述粗略地图信息中的所述道路曲率特征来确定航向;以及至少部分地基于所述航向来确定定位估计。
139.条款50.根据条款49所述的装置,其中所述传感器信息是图像。
140.条款51.根据条款49所述的装置,其中所述传感器信息是利用一个或多个雷达传感器或激光雷达传感器获取的点云。
141.条款52.根据条款49所述的装置,其中所述至少一个处理器还被配置成从一个或多个远程传感器获取所述传感器信息。
142.条款53.根据条款49所述的装置,其中所述一个或多个道路曲率特征包括一个或多个车道标志。
143.条款54.根据条款49所述的装置,其中所述一个或多个道路曲率特征包括一个或多个护栏。
144.条款55.根据条款49所述的装置,其中所述至少一个处理器还被配置成在所述传感器信息中检测的所述道路曲率特征和在所述粗略地图信息中的道路之间执行卷积。
145.条款56.根据条款49所述的装置,其中所述粗略定位是基于使用全球导航卫星系统获取的位置。
146.条款57.根据条款49所述的装置,其中所述至少一个处理器还被配置成基于地面导航技术来确定所述粗略定位。
147.条款58.根据条款49所述的装置,其中所述至少一个处理器还被配置成向远程服务器发送所述粗略定位,并从所述远程服务器接收所述粗略地图信息。
148.条款59.根据条款49所述的装置,其中所述至少一个处理器还被配置成在递归算法中利用航向和全球导航卫星信号信息。
149.条款60.根据条款59所述的装置,其中所述递归算法是卡尔曼滤波。
150.条款61.一种用于确定移动设备的定位估计的装置,包括:用于获取传感器信息的部件;用于检测所述传感器信息中的一个或多个可识别特征的部件;用于确定到所述一个或多个可识别特征中的至少一个的生成的部件;用于获取粗略地图信息的部件;用于基于所述粗略地图信息确定所述一个或多个可识别特征中的所述至少一个的位置的部件;以及用于至少部分地基于到所述一个或多个可识别特征中的所述至少一个的所述生成来确定用于所述移动设备的所述定位估计的部件。
151.条款62.一种用于确定移动设备的定位估计的装置,包括:用于获取粗略地图信息的部件;用于获取传感器信息的部件;用于对所述传感器信息执行光学字符识别处理的部件;用于基于所述光学字符识别处理和所述粗略地图信息来确定一个或多个可识别特征的部件;以及用于至少部分地基于所述粗略地图信息和所述一个或多个可识别特征来确定用于所述移动设备的所述定位估计的部件。
152.条款63.一种用于确定移动设备的定位估计的装置,包括:用于确定所述移动设备的粗略定位的部件;用于基于所述粗略定位获取粗略地图信息的部件;用于获取传感器信息的部件;用于基于所述传感器信息确定一个或多个道路曲率特征的部件;用于确定比较值满足阈值的部件,其中所述比较值是基于所述粗略地图信息中的道路曲率特征与在所述传感器信息中检测到的所述一个或多个道路曲率特征之间的比较;用于至少部分地基于所述粗略地图信息中的所述道路曲率特征来确定用于所述移动设备的航向的部件;以及用于至少部分地基于所述航向来确定用于所述移动设备的所述定位估计的部件。
153.条款64.一种非暂时性处理器可读存储介质,包括被配置成使一个或多个处理器确定移动设备的定位估计的处理器可读指令,所述指令包括:用于获取传感器信息的代码;用于检测所述传感器信息中的一个或多个可识别特征的代码;用于确定到所述一个或多个可识别特征中的至少一个的射程的代码;用于获取粗略地图信息的代码;用于基于所述粗略地图信息确定所述一个或多个可识别特征中的所述至少一个的位置的代码;以及用于至少部分地基于到所述一个或多个可识别特征中的所述至少一个的所述射程来确定用于所述移动设备的所述定位估计的代码。
154.条款65.一种非暂时性处理器可读存储介质,包括被配置成使一个或多个处理器确定移动设备的定位估计的处理器可读指令,所述指令包括:用于获取粗略地图信息的代码;用于获取传感器信息的代码;用于对所述传感器信息执行光学字符识别处理的代码;用于基于所述光学字符识别处理和所述粗略地图信息来确定一个或多个可识别特征的代码;以及用于至少部分地基于所述粗略地图信息和所述一个或多个可识别特征来确定用于所述移动设备的所述定位估计的代码。
155.条款66.一种非暂时性处理器可读存储介质,包括被配置成使一个或多个处理器确定移动设备的定位估计的处理器可读指令,所述指令包括:用于确定所述移动设备的粗略定位的代码;用于基于所述粗略定位获取粗略地图信息的代码;用于获取传感器信息的代码;用于基于所述传感器信息确定一个或多个道路曲率特征的代码;用于确定比较值满足阈值的代码,其中所述比较值是基于所述粗略地图信息中的道路曲率特征与在所述传感器信息中检测到的所述一个或多个道路曲率特征之间的比较;用于至少部分地基于所述粗略地图信息中的所述道路曲率特征来确定用于所述移动设备的航向的代码;以及用于至少部分地基于所述航向来确定用于所述移动设备的所述定位估计的代码。
技术特征:
1.一种用于确定移动设备的定位估计的方法,包括:获取传感器信息;检测所述传感器信息中的一个或多个可识别特征;确定到所述一个或多个可识别特征中的至少一个的射程;获取粗略地图信息;基于所述粗略地图信息确定所述一个或多个可识别特征中的所述至少一个的位置;以及至少部分地基于到所述一个或多个可识别特征中的所述至少一个的所述射程来确定用于所述移动设备的所述定位估计。2.根据权利要求1所述的方法,其中确定到所述一个或多个可识别特征中的所述至少一个的所述射程是基于远程传感器的输出。3.根据权利要求2所述的方法,其中所述远程传感器是激光雷达设备或雷达设备。4.根据权利要求1所述的方法,其中所述一个或多个可识别特征中的所述至少一个包括人行横道、十字路口、交通灯和路标中的至少一个。5.根据权利要求1所述的方法,其中获取所述粗略地图信息包括向远程服务器提供粗略定位,并从所述远程服务器接收所述粗略地图信息。6.根据权利要求5所述的方法,其中所述粗略定位是基于由卫星定位系统计算的位置。7.根据权利要求5所述的方法,其中所述移动设备的所述粗略定位是基于地面导航技术。8.根据权利要求1所述的方法,其中所述传感器信息是图像,并且检测所述传感器信息中的所述一个或多个可识别特征包括对所述图像执行光学字符识别处理。9.根据权利要求8所述的方法,其中检测所述传感器信息中的所述一个或多个可识别特征包括确定街道名称或商业名称。10.一种用于确定移动设备的定位估计的方法,包括:获取粗略地图信息;获取传感器信息;对所述传感器信息执行光学字符识别处理;基于所述光学字符识别处理和所述粗略地图信息来确定一个或多个可识别特征;以及至少部分地基于所述粗略地图信息和所述一个或多个可识别特征来确定用于所述移动设备的所述定位估计。11.根据权利要求10所述的方法,还包括:确定到所述一个或多个可识别特征的距离;以及至少部分地基于到所述一个或多个可识别特征的所述距离来确定用于所述移动设备的所述定位估计。12.根据权利要求11所述的方法,其中确定到所述一个或多个可识别特征的所述距离是基于射程传感器的输出。13.根据权利要求12所述的方法,其中所述射程传感器是激光雷达设备或雷达设备。14.根据权利要求10所述的方法,其中确定所述一个或多个可识别特征包括确定街道名称和十字路口位置。
15.根据权利要求10所述的方法,其中确定所述一个或多个可识别特征包括确定商业名称和与所述商业名称相关联的地址。16.根据权利要求10所述的方法,其中获取所述粗略地图信息包括向远程服务器提供粗略定位,并从所述远程服务器接收所述粗略地图信息。17.根据权利要求16所述的方法,其中所述移动设备的所述粗略定位是基于使用全球导航卫星系统获取的位置。18.根据权利要求16所述的方法,其中所述移动设备的所述粗略定位是基于使用地面导航技术获取的位置。19.一种用于确定移动设备的定位估计的方法,包括:确定所述移动设备的粗略定位;基于所述粗略定位获取粗略地图信息;获取传感器信息;基于所述传感器信息确定一个或多个道路曲率特征;确定比较值满足阈值,其中所述比较值是基于所述粗略地图信息中的道路曲率特征与在所述传感器信息中检测到的所述一个或多个道路曲率特征之间的比较;至少部分地基于所述粗略地图信息中的所述道路曲率特征来确定用于所述移动设备的航向;以及至少部分地基于所述航向来确定用于所述移动设备的所述定位估计。20.根据权利要求19所述的方法,其中所述传感器信息是图像。21.根据权利要求19所述的方法,其中所述传感器信息是利用一个或多个雷达传感器或激光雷达传感器获取的点云。22.根据权利要求19所述的方法,其中利用一个或多个远程传感器获取所述传感器信息。23.根据权利要求19所述的方法,其中所述一个或多个道路曲率特征包括一个或多个车道标志。24.根据权利要求19所述的方法,其中所述一个或多个道路曲率特征包括一个或多个护栏。25.根据权利要求19所述的方法,其中确定所述比较值满足阈值包括在所述传感器信息中检测到的所述道路曲率特征和在所述粗略地图信息中的道路之间执行卷积。26.根据权利要求19所述的方法,其中所述移动设备的所述粗略定位是基于使用全球导航卫星系统获取的位置。27.根据权利要求19所述的方法,其中所述移动设备的所述粗略定位是基于使用地面导航技术获取的位置。28.根据权利要求19所述的方法,其中获取所述粗略地图信息包括向远程服务器提供所述粗略定位,并从所述远程服务器接收所述粗略地图信息。29.根据权利要求19所述的方法,其中确定所述定位估计包括向递归算法提供航向和全球导航卫星信号信息。30.根据权利要求29所述的方法,其中所述递归算法是卡尔曼滤波。31.一种装置,包括:
存储器;至少一个收发器;通信耦接到所述存储器和所述至少一个收发器的至少一个处理器,所述至少一个处理器被配置成:获取传感器信息;检测所述传感器信息中的一个或多个可识别特征;确定到所述一个或多个可识别特征中的至少一个的射程;获取粗略地图信息;基于所述粗略地图信息确定所述一个或多个可识别特征中的至少一个的位置;以及至少部分地基于到所述一个或多个可识别特征中的所述至少一个的所述射程来确定定位估计。32.根据权利要求31所述的装置,其中所述至少一个处理器还被配置成基于远程传感器的输出来确定到所述一个或多个可识别特征中的所述至少一个的所述射程。33.根据权利要求32所述的装置,其中所述远程传感器是激光雷达设备或雷达设备。34.根据权利要求31所述的装置,其中所述一个或多个可识别特征中的所述至少一个包括人行横道、十字路口、交通灯和路标中的至少一个。35.根据权利要求31所述的装置,其中所述至少一个处理器还被配置成向远程服务器发送粗略定位,并从所述远程服务器接收所述粗略地图信息。36.根据权利要求35所述的装置,其中所述粗略定位是基于由卫星定位系统计算的位置。37.根据权利要求35所述的装置,其中所述至少一个处理器还被配置成基于地面导航技术来确定所述粗略定位。38.根据权利要求31所述的装置,其中所述传感器信息是图像,并且所述至少一个处理器还被配置成对所述图像执行光学字符识别处理。39.根据权利要求38所述的装置,其中所述至少一个处理器还被配置成基于对所述图像的所述光学字符识别处理来确定街道名称或商业名称。40.一种装置,包括:存储器;至少一个收发器;通信耦接到所述存储器和所述至少一个收发器的至少一个处理器,所述至少一个处理器被配置成:获取粗略地图信息;获取传感器信息;对所述传感器信息执行光学字符识别处理;基于所述光学字符识别处理和所述粗略地图信息来确定一个或多个可识别特征;以及至少部分地基于所述粗略地图信息和所述一个或多个可识别特征来确定定位估计。41.根据权利要求40所述的装置,其中所述至少一个处理器还被配置成:确定到所述一个或多个可识别特征的距离;以及至少部分地基于到所述一个或多个可识别特征的所述距离来确定所述定位估计。
42.根据权利要求41所述的装置,其中所述至少一个处理器被配置成基于射程传感器的输出来确定到所述一个或多个可识别特征的所述距离。43.根据权利要求42所述的装置,其中所述射程传感器是激光雷达设备或雷达设备。44.根据权利要求40所述的装置,其中所述至少一个处理器还被配置成确定街道名称和十字路口位置。45.根据权利要求40所述的装置,其中所述至少一个处理器还被配置成确定商业名称和与所述商业名称相关联的地址。46.根据权利要求40所述的装置,其中所述至少一个处理器还被配置成向远程服务器发送粗略定位,并从所述远程服务器接收所述粗略地图信息。47.根据权利要求46所述的装置,其中所述粗略定位是基于使用全球导航卫星系统获取的位置。48.根据权利要求46所述的装置,其中所述至少一个处理器还被配置成基于地面导航技术来确定所述粗略定位。49.一种装置,包括:存储器;至少一个收发器;通信耦接到所述存储器和所述至少一个收发器的至少一个处理器,所述至少一个处理器被配置成:确定粗略定位;基于所述粗略定位获取粗略地图信息;获取传感器信息;基于所述传感器信息确定一个或多个道路曲率特征;确定比较值满足阈值,其中所述比较值是基于所述粗略地图信息中的道路曲率特征与在所述传感器信息中检测到的所述一个或多个道路曲率特征之间的比较;至少部分地基于所述粗略地图信息中的所述道路曲率特征来确定航向;以及至少部分地基于所述航向来确定定位估计。50.根据权利要求49所述的装置,其中所述传感器信息是图像。51.根据权利要求49所述的装置,其中所述传感器信息是利用一个或多个雷达传感器或激光雷达传感器获取的点云。52.根据权利要求49所述的装置,其中所述至少一个处理器还被配置成从一个或多个远程传感器获取所述传感器信息。53.根据权利要求49所述的装置,其中所述一个或多个道路曲率特征包括一个或多个车道标志。54.根据权利要求49所述的装置,其中所述一个或多个道路曲率特征包括一个或多个护栏。55.根据权利要求49所述的装置,其中所述至少一个处理器还被配置成在所述传感器信息中检测的所述道路曲率特征和在所述粗略地图信息中的道路之间执行卷积。56.根据权利要求49所述的装置,其中所述粗略定位是基于使用全球导航卫星系统获取的位置。
57.根据权利要求49所述的装置,其中所述至少一个处理器还被配置成基于地面导航技术来确定所述粗略定位。58.根据权利要求49所述的装置,其中所述至少一个处理器还被配置成向远程服务器发送所述粗略定位,并从所述远程服务器接收所述粗略地图信息。59.根据权利要求49所述的装置,其中所述至少一个处理器还被配置成在递归算法中利用航向和全球导航卫星信号信息。60.根据权利要求59所述的装置,其中所述递归算法是卡尔曼滤波。61.一种用于确定移动设备的定位估计的装置,包括:用于获取传感器信息的部件;用于检测所述传感器信息中的一个或多个可识别特征的部件;用于确定到所述一个或多个可识别特征中的至少一个的射程的部件;用于获取粗略地图信息的部件;用于基于所述粗略地图信息确定所述一个或多个可识别特征中的所述至少一个的位置的部件;以及用于至少部分地基于到所述一个或多个可识别特征中的所述至少一个的所述射程来确定用于所述移动设备的所述定位估计的部件。62.一种用于确定移动设备的定位估计的装置,包括:用于获取粗略地图信息的部件;用于获取传感器信息的部件;用于对所述传感器信息执行光学字符识别处理的部件;用于基于所述光学字符识别处理和所述粗略地图信息来确定一个或多个可识别特征的部件;以及用于至少部分地基于所述粗略地图信息和所述一个或多个可识别特征来确定用于所述移动设备的所述定位估计的部件。63.一种用于确定移动设备的定位估计的装置,包括:用于确定所述移动设备的粗略定位的部件;用于基于所述粗略定位获取粗略地图信息的部件;用于获取传感器信息的部件;用于基于所述传感器信息确定一个或多个道路曲率特征的部件;用于确定比较值满足阈值的部件,其中所述比较值是基于所述粗略地图信息中的道路曲率特征与在所述传感器信息中检测到的所述一个或多个道路曲率特征之间的比较;用于至少部分地基于所述粗略地图信息中的所述道路曲率特征来确定用于所述移动设备的航向的部件;以及用于至少部分地基于所述航向来确定用于所述移动设备的所述定位估计的部件。64.一种非暂时性处理器可读存储介质,包括被配置成使一个或多个处理器确定移动设备的定位估计的处理器可读指令,所述指令包括:用于获取传感器信息的代码;用于检测所述传感器信息中的一个或多个可识别特征的代码;用于确定到所述一个或多个可识别特征中的至少一个的射程的代码;
用于获取粗略地图信息的代码;用于基于所述粗略地图信息确定所述一个或多个可识别特征中的所述至少一个的位置的代码;以及用于至少部分地基于到所述一个或多个可识别特征中的所述至少一个的所述射程来确定用于所述移动设备的所述定位估计的代码。65.一种非暂时性处理器可读存储介质,包括被配置成使一个或多个处理器确定移动设备的定位估计的处理器可读指令,所述指令包括:用于获取粗略地图信息的代码;用于获取传感器信息的代码;用于对所述传感器信息执行光学字符识别处理的代码;用于基于所述光学字符识别处理和所述粗略地图信息来确定一个或多个可识别特征的代码;以及用于至少部分地基于所述粗略地图信息和所述一个或多个可识别特征来确定用于所述移动设备的所述定位估计的代码。66.一种非暂时性处理器可读存储介质,包括被配置成使一个或多个处理器确定移动设备的定位估计的处理器可读指令,所述指令包括:用于确定所述移动设备的粗略定位的代码;用于基于所述粗略定位获取粗略地图信息的代码;用于获取传感器信息的代码;用于基于所述传感器信息确定一个或多个道路曲率特征的代码;用于确定比较值满足阈值的代码,其中所述比较值是基于所述粗略地图信息中的道路曲率特征与在所述传感器信息中检测到的所述一个或多个道路曲率特征之间的比较;用于至少部分地基于所述粗略地图信息中的所述道路曲率特征来确定用于所述移动设备的航向的代码;以及用于至少部分地基于所述航向来确定用于所述移动设备的所述定位估计的代码。
技术总结
提供了用于基于视觉定位方案(VPS)确定移动设备的位置的技术。一种用于确定移动设备的定位估计的示例方法包括:获取传感器信息;检测所述传感器信息中的一个或多个可识别特征;确定到所述一个或多个可识别特征中的至少一个的射程;获取粗略地图信息;基于所述粗略地图信息确定所述一个或多个可识别特征中的所述至少一个的位置;以及至少部分地基于到所述一个或多个可识别特征中的所述至少一个的所述距离来确定所述移动设备的所述定位估计。述距离来确定所述移动设备的所述定位估计。述距离来确定所述移动设备的所述定位估计。
技术研发人员:G
受保护的技术使用者:高通股份有限公司
技术研发日:2022.01.17
技术公布日:2023/10/20
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/