用于数据眼镜中的姿态确定的方法和装置与流程

1.本发明涉及一种——特别是用于在机动车中使用的——用于增强现实显示的数据眼镜。本发明还涉及一种用于在数据眼镜的显示面上接触模拟地表示信息对象的措施。


背景技术：

2.数据眼镜(也称为头戴式显示器)是已知的，所述数据眼镜可以借助于显示装置在数据眼镜的佩戴者的视野中在一个或多个显示面上显示图像。显示面可以对应于反射面，其将图像指向数据眼镜的佩戴者的眼睛。数据眼镜的观察开口是透明的，从而可以通过数据眼镜以习惯的方式感知真实的环境。显示面位于观察开口中，从而可以与环境的感知叠加地显示要显示的信息(例如文本、符号、图形、视频显示以及诸如此类)。
3.所述信息通常可以接触模拟地表示给数据眼镜的佩戴者，亦即如此表示，使得所述信息作为确定的配设的环境位置的信息对象叠加在真实环境中或者以该环境位置为取向，或者使得要显示的信息对象以数据眼镜或其佩戴者的确定的定向来显示。此外，可以如此表示接触模拟的信息对象，使得该信息对象相对于真实环境中的对象或环境位置在透视上看起来是正确的，亦即产生如下错觉，即已经给真实环境的环境对象或环境位置实际上补充了虚拟信息对象的附加的特征。
4.然而，为了相应地在数据眼镜的显示面上接触模拟地显示信息对象，必要的是，知道环境位置(应针对该环境位置表示信息对象)和用户的视向。在佩戴数据眼镜时，用户的视向通常固定地与数据眼镜姿态、亦即数据眼镜的空间位置以及空间取向相配设。特别地，为了在数据眼镜的显示面上的无抖动地表示接触模拟的信息对象，对数据眼镜的始终可靠的姿态确定来说特别的要求是必要的。
5.由于尽可能低延迟的检测和快速的姿态更新的原因，对数据眼镜的姿态的确定经常借助于眼镜内部的姿态识别单元来提供。姿态识别单元通常具有惯性传感装置和例如以微处理器形式的运算机构。借助于惯性传感装置，可以检测以加速度的形式的运动且将其通过积分换算为数据眼镜的当前姿态。集成在数据眼镜中的这种姿态识别单元由于积分而具有增大的姿态识别误差，该姿态识别误差可以借助于在数据眼镜外部设定的姿态识别来校正。
6.该外部姿态识别例如可以是基于相机的且特别是使用内部空间相机，该内部空间相机指向数据眼镜的佩戴者的头部。内部空间相机检测数据眼镜的佩戴者的头部，且通过对相机图像的分析处理可以求取头部的姿态且从其中导出数据眼镜的姿态，或者可以直接求取数据眼镜的眼镜姿态。在这些所谓的外向内追踪系统中存在的困难在于，将在数据眼镜之外求取的绝对的姿态说明(特别是在无线通信连接的情况下)以足够低的延迟传送给数据眼镜，从而数据眼镜可以相应地无延迟地或以非干扰的延迟输出接触模拟的表示。
7.在内向外追踪中，数据眼镜相机检测沿驾驶员或车辆乘客的视向的环境区域，该环境区域包括车辆内部空间的各部分以及通过透明的窗户也包括车辆环境。内向外追踪属
于用于数据眼镜的目前最常用的追踪方法且在静止环境中足够好地运行。
8.为了在车辆坐标系中追踪具有预定的固定位置的边缘或结构(特别是在车辆在其环境中运动的情况下)，由于环境对象相对于车辆或相对于内部空间的各部分的运动可能导致错误识别，所述环境对象与数据眼镜的内向外追踪所设计针对的结构具有类似的轮廓。因此，特别是在可动的平台上，数据眼镜相机的相机图像只能以较低的可靠性被分析处理，因为数据眼镜相机必须分析处理具有不同的运动速度的对象，特别是如果数据眼镜的佩戴者除了车辆的运动之外还进行头部运动。


技术实现要素：

9.因此本发明的任务在于，提供一种用于改善数据眼镜的内向外追踪的方法，以用于确定所述数据眼镜在车辆内部空间中的姿态，该方法具有提高的可靠性。
10.该任务通过按照权利要求1的用于确定在车辆中的数据眼镜的姿态的方法以及通过按照并列权利要求的数据眼镜来解决。
11.其他设计方案在从属权利要求中提出。
12.按照第一方面，提供了一种用于运行用于根据车辆内部空间中的数据眼镜姿态在显示面上增强显示信息对象的数据眼镜的方法，其中，数据眼镜姿态通过对设定的至少一个标记或设定的至少一个对象进行内向外追踪来实现，该至少一个标记或至少一个对象能通过计算机支持的模式识别方法定位，该模式识别方法应用于数据眼镜相机的相机图像，从而相对于车辆内部空间的数据眼镜姿态能够根据所定位的所述至少一个标记或所述至少一个对象的位置、大小和/或定向来确定，对于模式识别方法考虑仅仅在遮盖区域之外的相机图像。
13.遮盖区域可以如此构成，使得该遮盖区域排除透明的玻璃/窗和/或在车辆内部空间中可动的对象。
14.备选地，遮盖区域可以如此构成，使得该遮盖区域仅仅包括透明的玻璃/窗。
15.上述方法涉及内向外追踪，在所述内向外追踪中，数据眼镜相机记录相机图像且将该相机图像借助于简单的图像处理或边缘识别进行分析处理。虽然用于对相机图像进行分析处理的算法可以几乎“实时”地识别标记和对象的简单结构，但是为此需要的运算能力仍然极大，这使得在数据眼镜中需要极大的安装空间和高的电池容量。为了降低用于分析处理相机图像的处理性能，按照上述方法规定，仅在确定的图像区域中对相机图像进行分析处理。为此，将相机图像用遮盖区域遮盖，且只有在遮盖区域之外的相机图像的图像数据用于分析处理。
16.特别地，遮盖区域可以从车辆的内部空间几何结构导出，该内部空间几何结构由所涉及的车辆的cad模型的内部空间几何结构数据来提供。于是，追踪可以仅仅针对在所选择的区域中(例如在车辆内部空间中或者在车辆环境中)的标记和对象的结构来实施，由此用于模式识别方法的运算耗费显著降低，因为在计算中省略了大面积的区域，如透明的区域(玻璃和窗)或者仪表板。
17.遮盖区域由内部空间几何结构和数据眼镜的大概的姿态产生，该大概的姿态例如可以从数据眼镜的最近求取的姿态、初始姿态和/或基于来自对惯性传感装置的运动信息的分析处理而导出。
18.这样，遮盖区域可以包括在车辆内部空间中透明的区域和可动的对象(例如方向盘)，从而模式识别方法仅考虑在车辆内部空间中固定的区域。由此，内向外追踪可以求取车辆坐标系中的数据眼镜姿态。基于大概的数据眼镜姿态和内部空间的内部空间几何结构数据可以求取遮盖区域以用于对数据眼镜相机的相机图像进行分析处理，该遮盖区域隐没车辆的透明的玻璃以及可动的对象(例如手动挡位选择器或方向盘)，从而仅位置固定地安装在车辆内部空间中的对象可用于姿态确定。这能实现在检测相机图像的时刻相对于车辆坐标系准确地确定数据眼镜姿态。
19.备选地，遮盖区域可以包括在车辆内部空间中的所有结构和对象，从而模式识别方法仅考虑在车辆之外的区域，所述车辆之外的区域可通过车辆开口和透明的区域(如窗和玻璃)感知。特别地，由此所述内向外追踪可以在环境坐标系中(亦即相对于车辆外部的环境)求取数据眼镜姿态。因此，遮盖区域也可以仅选择外部车辆环境的通过车辆内部空间的玻璃可见的区域。由此，将数据眼镜追踪到位于车辆的环境区域中的标记或对象是可能的，从而将数据眼镜姿态追踪到环境固定的(世界固定的)坐标系(环境坐标系)是可能的。
20.上述方法能实现极大地降低对于分析处理相机图像所需要的运算性能且因此可以有助于在数据眼镜中更高效且更可靠地构成姿态求取。
21.可以规定，当数据眼镜在车辆中启用时或紧接着在启用之后，所述内部空间几何结构数据从车辆的辅助系统传送给数据眼镜，其中，所述内部空间几何结构数据说明所涉及的车辆的内部空间几何结构。
22.可以基于最初预定的数据眼镜姿态或最近求取的数据眼镜姿态将遮盖区域应用于相机图像上。为此，遮盖区域如此通过相机图像的环境图像局部来设置，如所述相机图像对应于其取向。例如，将应遮盖可动的方向盘的遮盖区域的部分如此应用于相机图像上，使得在相机图像中示出的方向盘被遮盖区域的所涉及的部分遮盖。
23.按照另一方面，提供了一种用于增强显示信息对象的数据眼镜，所述数据眼镜包括：
[0024]-显示面，所述显示面构成为，增强地显示信息对象；
[0025]-数据眼镜相机，所述数据眼镜相机构成为，检测具有至少一个设定的标记或至少一个设定的对象的相机图像；
[0026]-控制单元，所述控制单元构成为，
[0027]
‑‑
用遮盖区域遮盖相机图像，且借助于计算机支持的模式识别方法来分析处理经遮盖的相机图像，以便定位所述至少一个标记或所述至少一个对象；
[0028]
‑‑
通过内向外追踪，根据与在经遮盖的相机图像中所定位的所述至少一个标记或所定位的所述至少一个对象有关的位置、大小和/或定向来求取数据眼镜姿态；其中，对于模式识别方法考虑仅仅在遮盖区域之外的相机图像；以及
[0029]
‑‑
根据数据眼镜姿态在显示单元上输出信息对象。
附图说明
[0030]
在以下根据附图进一步阐明各实施方式。图中：
[0031]
图1示出具有用于机动车中的数据眼镜的显示系统的示意图；
[0032]
图2示出用于阐明用于确定数据眼镜的数据眼镜姿态的方法的流程图；
[0033]
图3a和3b示出具有相应地标出的遮盖区域的车辆内部空间的相机图像的视图。
具体实施方式
[0034]
图1示出特别是用于在机动车中使用的显示系统1的示意图。所述显示系统1包括辅助系统2，所述辅助系统与数据眼镜3处于通信连接4。通信连接4构成为数据传输通道，例如以无线通信连接或有线通信连接的方式的数据传输通道。通信连接4能够在辅助系统2与数据眼镜3之间传送任意类型的数据和信息，例如基于打包为数据包的数据传输。通信连接4例如可以基于wifi、蓝牙、低功耗蓝牙或类似的标准化无线电协议。通过通信连接例如可以传输关于接触模拟地在数据眼镜中要显示的信息对象的数据。
[0035]
辅助系统2可以是车辆辅助系统的一部分且特别是位置固定地设定在机动车中。辅助系统2可以配备有通信单元21，所述通信单元能实现在数据眼镜3与辅助系统2之间的通信连接4。
[0036]
辅助系统2还可以与环境检测系统22连接，所述环境检测系统具有一个或多个相机。环境检测系统22可以检测机动车的环境。所述一个或多个相机可以包括例如rgb相机、ir相机、鱼眼相机、动态视觉传感器和诸如此类。
[0037]
辅助系统2可以具有处理器单元23，通过该处理器单元，根据机动车的地理位置且根据通过环境检测系统22检测到的环境图像，以本身已知的方式生成和/或确定至少一个虚拟信息对象以用于在数据眼镜3中显示。所述至少一个虚拟信息对象的位置可以相对于车辆固定的或世界固定的坐标系(车辆坐标系或环境坐标系)进行说明。为了在数据眼镜3中进行表示而生成对象信息，该对象信息相应地说明所述至少一个虚拟信息对象的位置、对象内容以及在数据眼镜3中表示的对象类型。
[0038]
数据眼镜3包括两个透明的观察窗32，所述观察窗以本身已知的方式镶嵌在镜框31中。镜框31设有眼镜腿33，从而可以将数据眼镜3以本身已知的方式佩戴在用户的头部上。
[0039]
一个或两个观察窗32(镜片)此外设有透明的显示面35，通过该显示面利用适合的机构(例如设置在镜框31上的显示机构36)可以将用于表示虚拟信息对象的显示图像投影到数据眼镜3的佩戴者的眼睛中。显示机构36可以具有微处理器或类似的运算单元以及具有显示单元(如例如投影机构或诸如此类)。显示单元可以构成为，将电子生成的显示图像指向显示面35并且在这里成像/表示。
[0040]
通过显示面35的透明的构成，电子生成的图像可以叠加通过显示面35可感知的真实环境。借助于显示机构36可以在一个或两个显示面35上表示虚拟信息对象，例如文本、符号、视频信息、图形或诸如此类。
[0041]
数据眼镜3可以如典型的助视器具那样佩戴在用户的头部上，其中，数据眼镜3以镜框31放置在用户的鼻子上且镜腿33在侧面贴靠在用户的头部上。于是，用户沿直线方向的视向穿过观察窗32的透明的显示面35来实现，从而用户的视向——所述视向由眼睛位置和光学视轴(眼轴)来预定——具有相对于数据眼镜3的定向的固定关联。该关联单独地与数据眼镜3的佩戴者有关且由校准信息说明。
[0042]
为了显示信息对象可以将相应的对象信息以对象数据的形式从辅助系统2经由通信连接4传送给数据眼镜3或者以其他方式提供在数据眼镜3中。在此，对象数据说明信息对
象(例如具有对象位置或显示区域的文本对象、图标、符号或其他标识，在所述对象位置或显示区域上信息对象应显示在显示面35上)的类型(形状、大小、取向)。
[0043]
为了识别数据眼镜3的数据眼镜姿态，可以设有数据眼镜相机40，在佩戴数据眼镜3时所述数据眼镜相机在数据眼镜3的佩戴者的视向上定向且可以检测数据眼镜3的佩戴者的视野的至少一部分。
[0044]
此外，可以设有眼镜惯性传感器38，所述眼镜惯性传感器例如以6-dof惯性传感器的形式构成。该惯性传感器提供了以一至三个平移加速度和/或一至三个旋转加速度的形式的运动说明。
[0045]
借助于控制单元37，经由通信机构39从辅助系统2接收对象信息且对其进行处理，从而在相应的视角范围中显示该对象信息，数据眼镜3的用户看向该视角范围。根据数据眼镜3的数据眼镜姿态来确定该视角范围。
[0046]
图2示出用于阐明用于在数据眼镜3中执行以便基于内向外追踪来求取数据眼镜姿态的方法的流程图。
[0047]
在内向外追踪中，利用数据眼镜相机40检测相机图像，所述相机图像至少部分对应于沿数据眼镜3的佩戴者的视向的视野。因此，实施数据眼镜3的姿态确定、亦即数据眼镜3相对于远离眼镜的坐标系的位置和取向。数据眼镜姿态的确定可以相对于车辆(亦即相对于车辆坐标系)或者相对于环境(亦即相对于环境坐标系(世界固定的坐标系))来实现。
[0048]
在步骤s1中，在数据眼镜3与辅助系统2联接之后首先选择或提供用于所涉及的车辆的数据，数据眼镜3的佩戴者处于该车辆中。所述数据描述车辆的内部空间几何结构且可以对应于cad数据或可以从其中导出。该内部空间几何结构数据说明在车辆的内部空间中的结构且适配于车辆的类型连同所涉及的车辆的特殊配备。此外，所述内部空间几何结构数据说明：在车辆的内部空间中的哪些对象和结构固定地设置在车辆中以及哪些对象和结构可动地设置在车辆中。这种结构和对象例如可以是挡位选择器、方向盘或车内后视镜。此外，内部空间几何结构数据说明：可动的对象和结构可以在哪个运动范围中运动。
[0049]
在步骤s2中，预定大概的数据眼镜姿态。数据眼镜姿态最初可以对应于数据眼镜的大概的位置，例如由数据眼镜3的坐在车辆座椅上的佩戴者来预定。此外，也可以使用最近确定的数据眼镜姿态。附加地，最近确定的数据眼镜姿态可以利用运动信息(所述运动信息例如利用惯性传感器来求取)来更新，以便获得大概的数据眼镜姿态。
[0050]
在步骤s3中，借助于数据眼镜相机40检测相机图像。在数据眼镜3的佩戴者的通常的视向的情况下，数据眼镜相机40检测具有车辆内部空间的对象和结构(如例如仪表板、方向盘和诸如此类)的车辆内部空间以及窗和玻璃以及通过窗和玻璃位于车辆环境中的环境对象。在环境对象相对于车辆运动时，借助于计算机支持的模式识别方法对相机图像的通常的分析处理可能被干扰且使追踪数据眼镜姿态变得困难。
[0051]
在步骤s4中，基于内部空间几何结构数据和大概的数据眼镜姿态来求取在数据眼镜3的视野中的遮盖区域，该遮盖区域由车辆内部空间的车辆轮廓预定。车辆内部空间的车辆轮廓由内部空间几何结构数据来确定。根据追踪目标、亦即是否应追踪车辆坐标系或环境坐标系，遮盖区域可以遮盖透明的区域(如玻璃和窗)以及车辆内部空间的可动的对象和结构连同它们的运动区域或者可以遮盖车辆内部空间的所有对象和结构。从相机图像去除遮盖的区域或者对于所遮盖的区域停用借助于模式识别方法的识别。
[0052]
在图3a和3b中示例性地示出数据眼镜相机40的视野，其中，相应的遮盖区域m用阴影线标出。图3a作为用阴影线表示的区域示出了车辆内部空间的透明的部件(如玻璃和窗)以及车辆内部空间的可动的对象和结构(例如方向盘和挡位选择器)。固定设置在车辆内部空间中的其余区域未被遮盖且因此通过模式识别方法被考虑。位于a柱上的标记42于是位于遮盖区域m之外，且可以用于数据眼镜3的姿态确定。
[0053]
在图3b中，作为遮盖区域，遮盖车辆内部空间的所有元件，且仅透明的区域(例如挡风玻璃和侧面玻璃，通过它们可感知车辆环境)是未遮盖的。因此，数据眼镜3的内向外追踪可以在环境对象上实现，而无需相应的模式识别方法考虑车辆内部空间的结构和对象。位于车辆环境中的环境对象43于是位于遮盖区域m之外且可以用于数据眼镜3的姿态确定。
[0054]
因此，针对用户的视野的相机图像来产生遮盖区域，在该相机图像中仅考虑一些部分以用于随后的分析处理。
[0055]
在步骤s5中，借助于本身已知的计算机支持的模式识别方法来分析处理经遮盖区域遮盖的相机图像。这些可以识别已知的对象或标记的结构和边缘且以本身已知的方式从它们的位置、大小和/或相对于眼镜坐标系的定向来推断数据眼镜姿态。视应用而定，根据遮盖区域m的选择，相对于车辆坐标系或环境坐标系来实现数据眼镜姿态的求取。
[0056]
这样求取的数据眼镜姿态可以在步骤s6中以本身已知的方式用于在数据眼镜3的显示面35上定位和/或设计接触模拟的信息对象的显示。
[0057]
随后跳回至步骤s2，且将如此求取的数据眼镜姿态作为基础用于重新求取用于随后检测到的相机图像的数据眼镜姿态。
[0058]
附图标记列表：
[0059]
1显示系统
[0060]
2辅助系统
[0061]
3数据眼镜
[0062]
4通信连接
[0063]
21 通信单元
[0064]
22 环境检测系统
[0065]
23 处理器单元
[0066]
31 镜框
[0067]
32 观察窗
[0068]
33 眼镜腿
[0069]
35 显示面
[0070]
36 显示机构
[0071]
37 控制单元
[0072]
38 眼镜惯性传感器
[0073]
39 通信机构
[0074]
40 数据眼镜相机
[0075]
41 车辆内部空间
[0076]
42 标记
[0077]
43 环境对象

技术特征：
1.一种用于运行用于根据车辆内部空间中的数据眼镜姿态在显示面(35)上增强显示信息对象的数据眼镜(3)的方法，其中，数据眼镜姿态通过对设定的至少一个标记(42)或至少一个对象(43)进行内向外追踪来实现，所述至少一个标记(42)或所述至少一个对象(43)能通过计算机支持的模式识别方法(s5)定位，该模式识别方法应用于数据眼镜相机(40)的相机图像，从而相对于车辆内部空间(41)的数据眼镜姿态能够根据所定位的所述至少一个标记(42)或所述至少一个对象(43)的位置、大小和/或定向来确定，其中，对于模式识别方法考虑仅仅在遮盖区域(m)之外的相机图像。2.根据权利要求1所述的方法，其中，所述遮盖区域(m)包括在车辆内部空间中的透明的区域和可动的对象，从而模式识别方法仅考虑在车辆内部空间中的固定的区域。3.根据权利要求2所述的方法，其中，所述内向外追踪求取在车辆坐标系中的数据眼镜姿态。4.根据权利要求1所述的方法，其中，所述遮盖区域包括在车辆内部空间中的所有结构和对象，从而模式识别方法仅考虑在车辆之外的区域。5.根据权利要求4所述的方法，其中，所述内向外追踪求取在环境坐标系中的数据眼镜姿态。6.根据权利要求1至5之一所述的方法，其中，所述遮盖区域从内部空间几何结构数据求取，所述内部空间几何结构数据特别是从车辆内部空间的cad数据中导出。7.根据权利要求6所述的方法，其中，当数据眼镜(3)在车辆中启用时或紧接着在启用之后，所述内部空间几何结构数据从车辆的辅助系统(2)传送给数据眼镜(3)，所述内部空间几何结构数据说明所涉及的车辆的内部空间几何结构。8.根据权利要求1至7之一所述的方法，其中，基于最初预定的数据眼镜姿态或最近求取的数据眼镜姿态将所述遮盖区域(m)应用于相机图像上。9.用于增强显示信息对象的数据眼镜(3)，所述数据眼镜包括：-显示面(35)，所述显示面构成为，增强地显示信息对象；-数据眼镜相机(40)，所述数据眼镜相机构成为，检测具有设定的至少一个标记或设定的至少一个对象的相机图像；-控制单元(37)，所述控制单元构成为，
‑‑
用遮盖区域(m)遮盖相机图像，且借助于计算机支持的模式识别方法来分析处理经遮盖的相机图像，以便定位所述至少一个标记(42)或所述至少一个对象(43)；
‑‑
通过内向外追踪，根据与在所遮盖的相机图像中所定位的所述至少一个标记或所定位的所述至少一个对象有关的位置、大小和/或定向来求取数据眼镜姿态；其中，对于模式识别方法考虑仅仅在遮盖区域(m)之外的相机图像；以及
‑‑
根据数据眼镜姿态在显示单元(35)上输出信息对象。

技术总结
本发明涉及一种用于运行用于根据车辆内部空间中的数据眼镜姿态在显示面上增强显示信息对象的数据眼镜的方法，其中，数据眼镜姿态通过对固定地设定在车辆内部空间中的至少一个标记或在车辆内部空间中设定的至少一个对象进行内向外追踪来实现，该至少一个标记或至少一个对象能通过计算机支持的模式识别方法来定位，该模式识别方法应用于数据眼镜相机的相机图像，从而相对于车辆内部空间的数据眼镜姿态能够根据所定位的所述至少一个标记或所述至少一个对象的位置、大小和/或定向来确定，对于模式识别方法考虑仅仅在遮盖区域之外的相机图像。的相机图像。的相机图像。


技术研发人员：A
受保护的技术使用者：宝马股份公司
技术研发日：2022.03.29
技术公布日：2023/9/23