可穿戴跟踪系统和可穿戴跟踪方法与流程

1.本公开涉及一种可穿戴跟踪系统；特别地，本公开涉及一种可穿戴跟踪系统和可穿戴跟踪方法。


背景技术：

2.为了给用户带来沉浸式体验，不断地开发涉及扩展现实(extended reality；xr)的技术，例如增强现实(augmented reality；ar)、虚拟现实(virtual reality；vr)以及混合现实(mixed reality；mr)。ar技术允许用户将虚拟元素带到现实世界。vr技术允许用户进入整个新虚拟世界以经历不同生活。mr技术合并现实世界与虚拟世界。
3.为了供应沉浸式体验，由用户穿戴的可穿戴装置通常用于提供沉浸式视觉内容或跟踪用户的位置。因此，在ar、vr或mr的应用中，可穿戴装置的便利性和性能通常严重地影响用户体验。


技术实现要素：

4.本公开涉及可穿戴跟踪系统和可穿戴跟踪方法，以便容易地跟踪用户。
5.在本公开中，提供一种可穿戴跟踪系统。可穿戴跟踪系统包含可穿戴装置、外部相机以及处理器。可穿戴装置适于穿戴在用户的身体部位上。可穿戴装置配置成基于跟踪传感器，检测身体部位的身体移动(movement)。外部相机配置成获得身体部位的身体图像。处理器配置成基于身体移动，获得身体部位的身体移动轨迹的第一移动轨迹，基于身体图像，获得身体部位的身体移动轨迹的第二移动轨迹，以及基于第一移动轨迹和第二移动轨迹，判定身体部位的身体姿势(pose)。
6.在本公开中，提供一种可穿戴跟踪方法。可穿戴跟踪方法包含：基于身体移动，从可穿戴装置获得身体部位的身体移动轨迹的第一移动轨迹，其中可穿戴装置适于穿戴在用户的身体部位上，且可穿戴装置配置成基于跟踪传感器，检测身体部位的身体移动；基于身体图像，从外部相机获得身体部位的身体移动轨迹的第二移动轨迹，其中外部相机配置成获得身体部位的身体图像；以及由处理器基于第一移动轨迹和第二移动轨迹，判定身体部位的身体姿势。
7.基于上文，根据可穿戴跟踪系统和可穿戴跟踪方法，容易地执行对用户的跟踪。
8.为了使前述内容更易理解，如下详细地描述附有附图的数个实施例。
附图说明
9.包含附图以提供对本公开的另一理解，且并入本说明书中并构成本说明书的一部分。附图示出本公开的示范性实施例，且与描述一起用于解释本公开的原理。
10.图1为根据本公开的实施例的可穿戴跟踪系统的示意图。
11.图2a为根据本公开的实施例的可穿戴跟踪系统的跟踪场景的示意图。
12.图2b为根据本公开的实施例的第一移动轨迹的跟踪场景的示意图。
13.图2c为根据本公开的实施例的第二移动轨迹的跟踪场景的示意图。
14.图2d为根据本公开的实施例的可穿戴装置与外部相机之间的坐标变换关系的跟踪场景的示意图。
15.图3为根据本公开的实施例的可穿戴跟踪方法的示意性流程图。
16.附图标号说明
17.100：可穿戴跟踪系统；
18.110：可穿戴装置；
19.112：跟踪传感器；
20.120：外部相机；
21.130：处理器；
22.200a、200b、200c、200d：跟踪场景；
23.300：可穿戴追踪方法；
24.bd：身体部位；
25.cmr、dv：坐标系统；
26.img：身体图像；
27.mv：身体移动；
28.ps：身体姿势；
29.rlt：坐标变换关系；
30.s310、s320、s330：步骤；
31.u：用户。
具体实施方式
32.现在将详细参照本公开的示范性实施例，在随附附图中示出所述实施例的实例。只要可能，相同的附图标号在附图和描述中用于指代相同或相似部分。
33.在本公开的整个说明书和所附权利要求书中，特定术语用以指代特定组件。本领域中的技术人员应理解，电子装置制造商可用不同名称来指代相同组件。本文并不意图区分有相同功能但不同名称的那些组件。在以下描述和权利请求中，如“包括”和“包含”的词语是开放式术语，且应解释为“包含但不限于
……”
。
34.贯穿本技术案的整个说明书(包含所附权利要求书)所使用的术语“耦合(或连接)”可指代任何直接或间接连接构件。举例而言，如果文本描述第一装置耦合(或连接)到第二装置，则应解释为第一装置可直接连接到第二装置，或第一装置可通过其它装置或某些连接构件间接连接以连接到第二装置。在本技术案的整个说明书(包含所附权利要求书)中提到的术语“第一”、“第二”以及类似术语仅用于命名离散元件或用于在不同实施例或范围当中进行区分。因此，术语不应视为限制元件数量的上限或下限且不应用于限制元件的布置顺序。另外，在可能的情况下，在附图和实施例中使用相同参考标号的元件/组件/步骤表示相同或类似部分。在不同实施例中使用相同附图标记或使用相同术语可相互参考元件/组件/步骤的相关描述。
35.应注意，在以下实施例中，可在不脱离本公开的精神的情况下替换、重组以及混合数个不同实施例的技术特征以完成其它实施例。只要每一实施例的特征并不违反本公开的
device；pld)、其它类似装置或这些装置的组合。本公开并不限于此。另外，在实施例中，处理器130的功能中的每一个可实现为多个程序代码。程序代码存储于存储器中，且由处理器130执行。替代地，在实施例中，可实现处理器130的功能中的每一个作为一个或多个电路。本公开并不限制软件或硬件的使用以实现处理器130的功能。
44.此外，处理器130可集成在可穿戴装置110中、外部相机120中、额外装置中或云服务器中。然而，本公开并不限于此。也就是说，本公开并不限制在可穿戴跟踪系统100中执行计算的位置。
45.在一个实施例中，可穿戴装置110可包含显示模块(未绘示)，且显示模块包含例如有机发光二极管(organic light-emitting diode；oled)显示装置、小型led显示装置、微型led显示装置、量子点(quantum dot；qd)led显示装置、液晶显示器(liquid-crystal display；lcd)显示装置、拼接显示装置、可折叠显示装置或电子纸显示器(electronic paper display；epd)。然而，本公开并不限于此。
46.在一个实施例中，可穿戴装置110或外部相机120可包含网络模块(未展示)，且网络模块包含例如有线网络模块、无线网络模块、蓝牙模块、红外模块、射频识别(radio frequency identification；rfid)模块、紫蜂网络模块(zigbee network module)或近场通信(near field communication；nfc)网络模块，但本公开并不限于此。也就是说，可穿戴装置110可配置成通过有线通信或无线通信与外部相机120通信。
47.图2a为根据本公开的实施例的可穿戴跟踪系统的跟踪场景的示意图。参考图1和图2a，跟踪场景200a描绘可穿戴装置110可穿戴在用户u的身体部位bd上，且外部相机120可面向所述用户u安置以捕捉所述用户u的照片(即，身体图像img)。应注意，虽然为方便起见解释，描绘可穿戴装置110可穿戴在用户u的头部上，但可穿戴装置110也可穿戴在用户u的其它身体部位上。
48.在一个实施例中，可穿戴装置110可为头戴式装置，且用户u的身体部位bd可为面部的一部分(例如，鼻子)或用户u的头部。在另一实施例中，可穿戴装置110可为腕带装置，且用户u的身体部位bd可为用户u的手腕。在又一实施例中，可穿戴装置110可为腰带装置，且用户u的身体部位bd可为用户u的腰部。然而，本公开并不限于此。也就是说，本公开并不限制可穿戴可穿戴装置110的身体部位bd。此外，在不同实施例中，可穿戴装置110与身体部位bd之间的距离可以不同。因此，处理器130可配置成用于每一实施例的局部变换矩阵，以将可穿戴装置110的坐标变换为身体部位bd的坐标。
49.如上文所描述，可穿戴装置110可包含跟踪传感器112，且可穿戴装置110可配置成基于跟踪传感器112检测身体部位bd的身体移动。
50.在一个实施例中，跟踪传感器112可包含内部相机(未绘示)、光探测和测距(light detection and ranging；lidar)装置、全球定位系统(global positioning system；gps)装置、雷达、红外传感器、超声波传感器、其它类似装置或这些装置的组合。本公开并不限于此。跟踪传感器112可配置成获得可穿戴装置110周围的环境的环境图像。此外，处理器130可配置成基于同时定位与映射(simultaneous localization and mapping；slam)算法根据环境图像产生第一移动轨迹。也就是说，基于slam算法根据环境图像产生slam地图。换句话说，slam地图可通过相机、lidar装置、gps装置、雷达、红外传感器、超声波传感器、其它类似装置或这些装置的组合获得。本公开并不限于此。
51.在一个实施例中，跟踪传感器112可包含惯性测量单元(inertial measurement unit；imu)传感器(未绘示)。imu传感器112可配置成检测可穿戴装置110的线加速度或角速度。此外，处理器130可配置成根据线加速度或角速度产生第一移动轨迹。
52.在一个实施例中，imu传感器112包含例如陀螺仪、加速度计、其它类似装置或这些装置的组合。本公开并不限于此。在一个实施例中，imu传感器112可为加速度计，且可配置成检测三个自由度(degrees of freedom；dof)中的三个线加速度值中的至少一个。三个线加速度值可包含沿着x轴的第一加速度值、沿着y轴的第二加速度值以及沿着z轴的第三加速度值。在一个实施例中，imu传感器112可为陀螺仪，且可配置成检测三个自由度中的三个角速度中的至少一个。三个角速度可包含绕x轴的滚转(roll)角速度、绕y轴的俯仰(pitch)角速度以及绕z轴的偏航(yaw)角速度。在一个实施例中，imu传感器112可包含加速度计和陀螺仪，且配置成检测六个自由度的改变。六个自由度的改变包含对应于三个垂直轴的三个线加速度值和对应于三个垂直轴(例如，x、y、z轴)的三个角速度。
53.在一个实施例中，外部相机120可配置成获得身体部位bd的身体图像img。此外，处理器130可配置成基于同时定位与映射(slam)算法根据身体图像img产生第二移动轨迹。
54.应注意，已经开发了不同技术来跟踪用户u的移动。举例来说，存在两个主要类别的跟踪技术，其为内向外(inside-out)跟踪和外向内(outside-in)跟踪。内向外跟踪是关于内部装置自身(例如，可穿戴式装置110)相对于外部环境来跟踪移动。外向内跟踪是关于外部装置(例如，外部相机120)跟踪移动。所述外部装置与内部装置分开安置且配置成观测/跟踪内部装置的移动。
55.通过利用可穿戴跟踪系统100，响应于用户u的身体部位bd移动，身体部位bd的身体移动轨迹可由可穿戴装置110或外部相机120获得。也就是说，可穿戴式装置110向可穿戴跟踪系统100提供内向外跟踪功能，且外部相机120向可穿戴跟踪系统100提供外向内跟踪功能。换句话说，处理器130可配置成基于内向外跟踪算法，获得第一移动轨迹，且配置成基于外向内跟踪算法，获得第二移动轨迹。
56.以此方式，由于可穿戴装置110和外部相机120配置成基于用户u的身体部位bd的身体移动轨迹跟踪用户u，因此不需要考虑可穿戴装置110或外部相机120的制造商，由此增加了便利性和用户体验。
57.图2b为根据本公开的实施例的第一移动轨迹的跟踪场景200b的示意图。图2c为根据本公开的实施例的第二移动轨迹的跟踪场景200c的示意图。图2d为根据本公开的实施例的可穿戴装置与外部相机之间的坐标变换关系的跟踪场景200d的示意图。参考图1至图2d，图2b描绘基于可穿戴装置110跟踪(获得)所述用户u的身体部位bd的第一移动轨迹，且图2c描绘基于外部相机120跟踪(获得)所述用户u的身体部位bd的第二移动轨迹。
58.举例来说，用户u可使用身体部位bd在环境中绘画圆(即，身体移动轨迹)。可穿戴装置110可通过基于跟踪传感器112检测身体移动mv而获得(记录/跟踪)圆。外部相机120可通过捕捉身体图像img而获得(记录/跟踪)圆。此外，处理器130可基于身体移动mv获得第一移动轨迹，且可基于身体图像img获得第二移动轨迹。第一移动轨迹和第二移动轨迹可具有与由用户u画的圆类似或相同的大小和形状。也就是说，第一移动轨迹和第二移动轨迹中任一皆可为圆。因此，通过由处理器130比较第一移动轨迹与第二移动轨迹，可产生可穿戴装置110与外部相机120之间的坐标变换关系rlt。因此，可由处理器130基于坐标变换关系rlt
判定身体姿势ps。
59.在一个实施例中，可穿戴装置110与外部相机120之间的坐标变换关系rlt可描绘为图2d。可穿戴装置110的坐标系统dv可被定义为内向外坐标系统，且外部相机120的坐标系统cmr可被定义为外向内坐标系统。
60.在获得基于可穿戴装置110的第一移动轨迹和基于外部相机120的第二移动轨迹之后，处理器130可配置成将第一移动轨迹与第二移动轨迹对准。举例来说，第一移动轨迹和第二移动轨迹都是圆。第一移动轨迹也可被称为第一圆，且第二移动轨迹也可被称为第二圆。处理器130可配置成移动第一圆的位置和/或旋转第一圆，以与第二圆对准(拟合)。也就是说，处理器130可配置成计算第一圆的内向外坐标系统(即，第一移动轨迹)与第二圆的外向内坐标系统(即，第二移动轨迹)之间的位置变换矩阵。此外，处理器130可配置成计算第一圆的内向外坐标系统(即，第一移动轨迹)与第二圆的外向内坐标系统(即，第二移动轨迹)之间的旋转变换矩阵。因此，可根据位置变换矩阵和/或旋转变换矩阵判定坐标变换关系rlt。举例来说，可使用基于第一移动轨迹和第二移动轨迹的标准线性最小二乘法来求解校准矩阵(例如，位置变换矩阵或旋转变换矩阵)。然而，本公开并不限于此。
61.因此，一旦判定坐标变换关系rlt，就可将内向外坐标系统中的第一坐标变换到外向内坐标系统中的第二坐标。也就是说，基于用户u的可穿戴装置110的第一跟踪结果可与用户u的基于外部相机120的第二跟踪结果融合。因此，可根据第一跟踪结果和第二跟踪结果的融合结果判定身体姿势ps。换句话说，处理器130可配置成基于位置变换矩阵和旋转变换矩阵判定身体姿势ps。
62.以此方式，由于可穿戴装置110和外部相机120配置成基于用户u的身体部位bd的身体移动轨迹跟踪用户u，因此不需要考虑可穿戴装置110或外部相机120的制造商，由此增加了便利性和用户体验。
63.图3为根据本公开的实施例的可穿戴跟踪方法的示意性流程图。参考图1至图3，可穿戴跟踪方法300可包含步骤s310、步骤s320以及步骤s330。
64.在步骤s310中，可由处理器130基于由可穿戴装置110检测到的身体移动mv，而获得用户u的身体部位bd的身体移动轨迹的第一移动轨迹。在步骤s320中，可由处理器130基于由外部相机120获得的身体图像img，而获得用户u的身体部位bd的身体移动轨迹的第二移动轨迹。在步骤s330中，可由处理器130基于第一移动轨迹和第二移动轨迹，判定身体姿势ps。另外，可穿戴跟踪方法300的实施细节可参考图1到图2d中的描述，以获得足够教示、建议以及实施实施例，而本文中不冗余地描述细节。
65.以此方式，由于可穿戴跟踪方法300配置成基于用户u的身体部位bd的身体移动轨迹跟踪用户u，因此不需要考虑可穿戴装置110或外部相机120的制造商，由此增加了便利性和用户体验。
66.综上所述，根据可穿戴跟踪系统100和可穿戴跟踪方法300，由于可穿戴装置110和外部相机120配置成基于用户u的身体部位bd的身体移动轨迹跟踪用户u，因此不需要考虑可穿戴装置110或外部相机120的制造商，由此增加便利性和用户体验。
67.对本领域的技术人员显而易见的是，可在不脱离本公开的范围或精神的情况下对所公开的实施例做出各种修改和变化。鉴于前述内容，希望公开涵盖修改和变化，前提是所述修改和变化属于所附权利要求书和其等效物的范围内。

技术特征：
1.一种可穿戴跟踪系统，其特征在于，包括：可穿戴装置，适于穿戴在用户的身体部位上，其中所述可穿戴装置配置成基于跟踪传感器，检测所述身体部位的身体移动；外部相机，配置成获得所述身体部位的身体图像；以及处理器，配置成：基于所述身体移动，获得所述身体部位的身体移动轨迹的第一移动轨迹；基于所述身体图像，获得所述身体部位的所述身体移动轨迹的第二移动轨迹；以及基于所述第一移动轨迹和所述第二移动轨迹，判定所述身体部位的身体姿势。2.根据权利要求1所述的可穿戴跟踪系统，其特征在于，其中处理器进一步配置成：基于内向外跟踪算法，获得所述第一移动轨迹；以及基于外向内跟踪算法，获得所述第二移动轨迹。3.根据权利要求1所述的可穿戴跟踪系统，其特征在于，其中所述处理器进一步配置成：通过比较所述第一移动轨迹与所述第二移动轨迹，来产生所述可穿戴装置与所述外部相机之间的坐标变换关系；以及基于所述坐标变换关系，判定所述身体姿势。4.根据权利要求1所述的可穿戴跟踪系统，其特征在于，其中所述处理器进一步配置成：将所述第一移动轨迹与所述第二移动轨迹对准；计算所述第一移动轨迹的内向外坐标系统与所述第二移动轨迹的外向内坐标系统之间的位置变换矩阵；计算所述第一移动轨迹的所述内向外坐标系统与所述第二移动轨迹的所述外向内坐标系统之间的旋转变换矩阵；以及基于所述位置变换矩阵和所述旋转变换矩阵，判定所述身体姿势。5.根据权利要求1所述的可穿戴跟踪系统，其特征在于，其中所述跟踪传感器包括：内部相机，配置成获得所述可穿戴装置周围的环境的环境图像，其中所述处理器配置成基于同时定位与映射算法，根据所述环境图像，产生所述第一移动轨迹。6.根据权利要求1所述的可穿戴跟踪系统，其特征在于，其中所述跟踪传感器包括：惯性测量单元传感器，配置成检测所述可穿戴装置的线加速度或角速度，其中所述处理器配置成根据所述线加速度或所述角速度，产生所述第一移动轨迹。7.根据权利要求1所述的可穿戴跟踪系统，其特征在于，其中所述处理器配置成基于同时定位与映射算法，根据所述身体图像，产生所述第二移动轨迹。8.根据权利要求1所述的可穿戴跟踪系统，其特征在于，其中所述可穿戴装置为头戴式装置、腕带装置或腰带装置，且所述身体部位为所述用户的面部的一部分、头部、手腕或腰部。9.根据权利要求1所述的可穿戴跟踪系统，其特征在于，其中所述可穿戴装置为第一制造商的第一产品，且所述外部相机为第二制造商的第二产品。10.一种可穿戴跟踪方法，其特征在于，包括：
基于身体移动，从可穿戴装置获得身体部位的身体移动轨迹的第一移动轨迹，其中所述可穿戴装置适于穿戴在用户的所述身体部位上，且所述可穿戴装置配置成基于跟踪传感器，检测所述身体部位的所述身体移动；基于身体图像，从外部相机获得所述身体部位的所述身体移动轨迹的第二移动轨迹，其中所述外部相机配置成获得所述身体部位的所述身体图像；以及由处理器基于所述第一移动轨迹和所述第二移动轨迹，判定所述身体部位的身体姿势。

技术总结
本公开提供一种可穿戴跟踪系统和可穿戴跟踪方法。可穿戴跟踪系统包含可穿戴装置、外部相机以及处理器。可穿戴装置适于穿戴在用户的身体部位上。可穿戴装置配置成基于跟踪传感器，检测身体部位的身体移动。外部相机配置成获得身体部位的身体图像。处理器配置成基于身体移动，获得身体部位的身体移动轨迹的第一移动轨迹，基于身体图像，获得身体部位的身体移动轨迹的第二移动轨迹，以及基于第一移动轨迹和第二移动轨迹，判定身体部位的身体姿势。判定身体部位的身体姿势。判定身体部位的身体姿势。


技术研发人员：萧家尧 王冠勋
受保护的技术使用者：宏达国际电子股份有限公司
技术研发日：2023.03.23
技术公布日：2023/9/26