使用混合密度网络的多对象定位的制作方法

使用混合密度网络的多对象定位
1.相关申请的交叉引用
2.本技术要求于2021年2月22日提交的美国专利申请no.17/182,153的优先权，其全部内容通过援引整体纳入于此。
3.引言
4.本公开的各方面涉及无线定位，尤其涉及多对象定位。
5.无线感知和定位在各种行业中已经变得越来越普遍。例如，对象的室内定位(例如，人类在空间中移动)因其广泛的消费者和商业应用而正被积极开发。然而，无线定位(特别是室内定位)也被证明是一个具有挑战性的问题，特别是在建模室内环境中的多径信号的高维度和复杂性方面。
6.当前提供多对象定位的办法通常需要主动定位，其中被跟踪的对象是发送和接收信号以辅助跟踪的主动参与者。尽管已经做出一些努力来实现被动定位，但这些技术通常局限于单个对象跟踪。
7.简要概述
8.某些方面提供了使用混合密度网络来执行对象定位的计算机实现的方法，包括：接收在物理空间中收集的射频(rf)信号数据；通过使用第一神经网络处理该rf信号数据来生成对该rf信号数据进行编码的特征向量；使用第一混合模型处理该特征向量以生成：第一编码张量，第一编码张量指示该物理空间中的一组移动对象；第一位置张量，第一位置张量指示该物理空间中的每个移动对象的位置；以及第一不确定性张量，第一不确定性张量指示该物理空间中的每个移动对象的位置的不确定性；以及输出来自第一位置张量的至少一个位置。
9.某些方面提供了用于训练混合密度网络以进行对象定位的方法，包括：当多个对象在物理空间中移动时，收集该物理空间中的信号数据记录的序列；针对每个信号数据记录，使用该物理空间中的一个或多个相机来确定该多个对象中的每个对象的真值位置；部分地基于该真值位置来计算负对数似然损失；以及基于该负对数似然损失来精化第一神经网络和第一混合模型的一个或多个参数，以使得第一神经网络和第一混合模型被训练成定位在该物理空间中移动的多个对象。
10.其他方面涉及：被配置成执行本文所描述的方法的装置；以及包括计算机可执行指令的非瞬态计算机可读介质，这些计算机可执行指令在由设备的处理器执行时使该设备执行本文所描述的方法。
11.以下描述和相关附图详细阐述了一个或多个方面的某些解说性特征。
12.附图简述
13.附图描绘了该一个或多个方面中的某些方面，并且因此不被认为限制本公开的范围。
14.图1描绘了根据本文所公开的一些方面的包括定位系统的环境，该定位系统被配置成使用混合密度网络来提供多对象定位。
15.图2描绘了根据本文所公开的一些方面的包括定位系统的环境，该定位系统被配
置成使用因接收机而异的混合密度网络来提供多对象定位。
16.图3解说了根据本文所公开的一些方面的使用主干机器学习模型和混合密度模型来提供多对象定位的工作流。
17.图4是解说根据本文所公开的一些方面的用于训练混合密度网络以提供多对象定位的方法的流程图。
18.图5是解说根据本文所公开的一些方面的用于使用混合密度网络来分析信号数据以提供多对象定位的方法的流程图。
19.图6是解说根据本文所公开的一些方面的用于使用混合密度网络基于信号数据来提供对象定位的方法的流程图。
20.图7是解说根据本文所公开的一些方面的用于训练混合密度网络以基于信号数据来提供对象定位的方法的流程图。
21.图8是解说根据本文所公开的一些方面的被配置成训练和利用混合密度网络以进行多对象定位的处理系统的框图。
22.为了促成理解，在可能之处使用了相同的附图标记来指定各附图共有的相同要素。构想了一个方面的要素和特征可有益地被纳入到其他方面中而无需进一步引述。
23.详细描述
24.本公开的各方面提供了用于训练和使用混合密度网络以提供被动多对象定位的装置、方法、处理系统和计算机可读介质。
25.尽管信号特性分析有助于标识和跟踪单个目标，但已证明使用当前技术很难或不可能推广至空间中的多个对象。本文所公开的各方面主要提供了基于无线信号数据的被动多对象定位。在各方面，使用空间中的射频(rf)信号特性来实现定位。例如，在无线局域网(wlan)部署(诸如wi-fi
tm
网络)中，定位系统可以收集和分析网络的信道状态信息(csi)，以便训练一个或多个混合密度网络(mdn)来预测空间中的移动对象(例如，人)的数量、每个对象的位置以及围绕每个对象的位置的不确定性。即，各种信号可以出于一种目的(例如，提供与空间中的计算设备的无线通信)而存在于空间中。使用本文所公开的各方面，通信信道的噪声或其他属性可以被用于表征物理环境(例如，空间中的对象的位置)。
26.在一方面，该csi或其他信号数据隐含地反映了传播环境和位于无线介质中的所有对象的签名，包括人和其他对象的存在，从而允许系统推断物理空间中对象的数量和位置。在一些方面，定位系统利用一个或多个mdn，每个mdn包括主干模型(诸如神经网络)和混合模型。
27.主干模型通常将输入信号数据映射到特征空间中，并生成表示该数据的特征向量。在各方面，该特征向量的维度是超参数，其可以被调整以影响训练和利用模型所需的速度、效率和计算资源。该特征向量随后可被传递给经训练的混合模型，该混合模型基于该特征向量来预测空间中的对象的存在和位置。
28.混合模型是表示给定观测值的概率分布的概率模型。即，在一方面，混合模型能够生成概率分布作为输出，而不是简单的坐标位置(大多数典型模型就是这种情形)。这允许该系统能够很好地进行推广并且同时准确地标识和跟踪多个对象，而现有办法在本质上局限于单个对象。本文描述的混合模型是对条件概率分布(例如，任意条件密度函数p(t|x))进行建模的框架，其中t是目标变量(例如，对象位置)，并且x是输入数据(例如，来自空间的
信号数据)。此外，在至少一些方面，本文描述的混合模型利用噪声作为输入的函数。因此，除了提供对目标变量t(例如，对象位置)的预测之外，在一些方面，该混合模型还可以附加地估计预测值的不确定性。
29.通过利用该模型架构，定位系统能够消除空间中的多个对象的歧义，并生成它们的位置的准确预测。相比之下，现有的定位办法通常要么局限于单个对象跟踪，要么需要主动定位来跟踪多个对象。此外，在各方面，本文描述的mdn可以提供比其他办法更高的准确度，并且需要更少的参数，这导致在训练期间更快的收敛(即，更少的训练时间)和用于训练模型的计算资源减少。此外，与依赖于已知环境地图的现有解决方案相比，本文描述的模型可以提供显著更高的空间分辨率。例如，虽然一些现有的解决方案涉及通过在地图上生成或标识离散像素或区域来定位对象，但是本公开的各方面可以用于生成连续输出，从而允许系统在预测中提供显著更高的分辨率。
30.利用混合密度网络进行多对象定位的示例环境
31.图1描绘了根据本文所公开的一些方面的包括定位系统125的环境100，该定位系统125被配置成使用混合密度网络130来提供多对象定位。所解说的环境100包括具有一组对象115a-c和收发机110的物理空间105。注意，虽然物理空间105以二维来描绘，但其代表三维物理空间。如图所示，收发机110被配置成在物理空间105中传送和接收信号。收发机110可以是专用设备(例如，为了提供无线定位而安装的)，或者可以是多用途设备(例如，为了提供无线连通性而安装的接入点，但是其也可以用于提供无线定位)。
32.如图所示，收发机110可以在物理空间105中传送信号120a-e，这些信号在返回收发机110之前与空间中的各种元素交互(例如，被它们反射和折射、被它们衰减等等)。这样的元素通常可包括固定物(例如，建筑物、墙壁、天花板、地板、柱子等)和移动对象(例如，人、动物、交通工具等)。
33.在所解说的方面，收发机110正被用于与空间105中的设备117(例如，计算设备)通信。如图所示，来自收发机110的信号120d和120e中的一些信号到达设备117(直接到达，或者在从空间105中的一个或多个对象反射或以其他方式与空间105中一个或多个对象交互之后到达)，而其他信号则不到达设备117。例如，信号120d直接到达，而信号120e从对象115c反射。
34.在一方面，被跟踪的对象在信号发射方面是完全被动的。即，信号120不需要被与任何对象相关联的设备(例如，设备117)接收，并且设备不需要主动地将响应信号传送回收发机110。取而代之，定位系统125分析由相对于对象(例如115a-c)的反射、折射、衰减等引起的信号特性。这允许定位系统125定位和跟踪被动(就信号发射而言)对象，诸如人类、动物、交通工具等，因为它们存在于空间105内并在空间105内移动。尽管描绘了室内物理空间105，但是定位系统125可以与任何类型的环境(包括室外空间)结合使用。
35.收发机110通常收集关于信号120的特性并将其提供给定位系统125，但是在其他方面，收发机110可以将原始信号提供给中间系统以确定各种信号特性。这些特性通常反映了在收发机110的信号传送和接收之间在物理空间105中的多径衰落、反射、散射和/或衰减的复合结果。在各个方面，信号特性可包括例如：信号强度、信号的相位、信号的载波频率偏移、信号的信噪比、信号的方差、信号的均值、信号的带宽、信号的峰均比、信号的载波、以及由于硬件缺陷导致的噪声和失真的结果。在一些方面，定位系统125利用来自收发机110的
csi数据。
36.在各方面，信号120(例如，120a-e)在物理空间105中反射或折射时可以经过任何数量的路径。例如，一些信号可以直接从对象115反射后返回到收发机110，而其他信号可以从一个或多个其他元素(诸如房间中的墙壁)反射后从对象115反射并返回到收发机110(称为多径)。对象115还可以吸收和衰减信号。相应地，信号可能以这样的方式反射、折射或衰减，使得它们不会返回到收发机110，或者以显著降级的状态返回。一些信号可以到达空间中的主动设备(例如，信号120d和120e)，而另一些信号则没有到达空间中的主动设备(例如，信号120a-c)。为了概念清楚，包括被描绘为与对象115a-c交互的信号120a-e，并且当然可以存在由收发机110接收的任何数量和种类的rf信号。类似地，空间中可能存在零个或更多个主动设备(例如，设备117)。即，定位系统125可以分析空间中的任何信号的特性，而不管它们是否到达另一个主动设备(或由另一个主动设备传送)、或者甚至是否存在任何其他主动设备。例如，单个收发机可以传送和接收rf信号(例如，广播帧或任何其他信号)，并且在不需要任何主动设备接收或传送任何rf信号的情况下检测空间中(被动)对象的存在。
37.在图1所解说的方面，基于任何收到信号(例如，由收发机110接收的信号)的信号特性，定位系统125生成与物理空间105中的对象115的位置和/或移动有关的一个或多个预测135(在一些方面也被称为推断)。为此，在所解说的方面，定位系统125利用一个或多个mdn 130。
38.通常，定位系统125使用收到信号特性连同一些已知的真值数据来训练mdn 130。真值数据(诸如以二维或三维笛卡尔坐标或极坐标(仅举几个示例)形式的编码位置)可以例如由附加跟踪系统(诸如基于图像的跟踪系统)来提供。在运行时(在训练之后)，mdn 130可以被用于处理新接收到的信号特性以生成预测135。
39.在一些方面，为了收集用于mdn 130的训练数据，定位系统125收集空间中的信号数据，并且同时使用任何合适的感测数据来确定物理空间105中的对象(例如，人)的数量以及每个对象的位置。例如，在各个方面，可以通过使用物理空间105中的深度传感器、被配置成捕捉物理空间105的图像的一个或多个相机、或者其他定位系统(诸如基于rfid的定位系统)等来获取训练数据。使用该捕捉到的传感器数据，系统能够确定空间中每个对象的位置(例如，使用图像分析技术)。
40.然后，可以将该信号数据与所确定的对象位置(例如，经标记的位置数据)配对，然后将其用于通过监督式训练来训练和精化mdn 130。在至少一个方面，一旦收集到训练数据，系统就可以禁用传感器(或者传感器可被移除)，并且mdn 130可以被用于标识对象位置。
41.预测135通常可包括基于来自物理空间105的当前信号数据生成的一个或多个张量。在一个方面，每个预测135包括编码张量、位置张量和不确定性张量。
42.编码张量通常指示在房间中检测到的对象的数量。在一个方面，编码张量是二进制值的向量，其中值“1”指示存在对象，而值“0”指示不存在对象。在另一方面，编码张量中的值在从零到一的范围内，其中较高的值指示对象存在的可能性更大。编码张量的长度是控制定位系统125在给定时间能够标识的唯一性对象的数量的超参数。例如，如果编码张量具有维度k＝5，则定位系统125可以在任何时间跟踪五个唯一性对象。即，对于编码张量中的每个索引k，对应的值指示空间中存在对象的概率。
43.在一个方面，位置张量通常是具有k行的二维矩阵，其中每一行对应于编码张量的一行。即，对于每个索引k，位置张量指示对应的位置。位置张量的宽度由物理空间105中的相关维度d的数量来定义。即，d是被跟踪的维度的数量。例如，如果定位系统被配置成提供二维跟踪(例如，沿着物理空间105的平面布置图而不考虑垂直位置)，则位置张量可以具有为2的宽度(例如，使用笛卡尔坐标系指示x和y坐标位置，或者使用极坐标系指示角度和距离，这里仅作为两个示例)。在各方面，可以使用任何维度并且具有任何合适原点的任何坐标系。在至少一个方面，该系统利用笛卡尔坐标系，其原点位于收发机110的位置或空间105的角落(例如，左下角可以是0,0，使得所有其他位置表示正的维度值)。
44.不确定性张量通常指示如位置张量所指示的预测位置的不确定性。在一个这样的方面，不确定性张量是广义协方差矩阵的形式。即，它是一个方阵(秩为d)，其中d是被跟踪的维度的数量(例如，物理空间中的二维或三维跟踪)，从而给出所预测的向量或张量(例如，位置张量)中每对元素之间的方差。由于输出概率分布是k个分量的混合，因此在一方面，不确定性张量的维数是k
×d×
d。
45.例如，在跟踪至多达十个对象的三维定位系统125中，不确定性张量可以是10
×3×
3。对于每个索引k，不确定性张量指示位置张量中由相同索引k指示的对应位置的不确定性(例如，沿每个维度的不确定性)。即，如果位置张量包括二维(x,y)的预测位置，则不确定性张量指示每个维度中的不确定性。
46.在一个方面，对于编码张量中超过阈值(例如，0.5)的每个值，该值的索引被用于标识对应的位置(来自位置张量)和不确定性(来自不确定性张量)。这些位置和不确定性然后可以被输出作为物理空间105中所标识的对象和位置。在至少一个方面，系统可以使用这些位置将对象的一些指示叠加在空间的地图或其他类型的可视化或表示上，从而允许用户快速查明空间中移动对象的数量和位置。
47.在各方面，定位系统125可以使用各种技术来区分移动对象(例如，对象115a-c)和静止对象(例如墙壁和家具)。在一些方面，定位系统125利用多普勒效应来鉴别移动对象的模式与静止对象。任何反射或散射rf信号的移动对象(包括人类)会引起多普勒效应，多普勒效应可通过分析跨时间的数据单元(例如，wifi网络中的分组)的信号变化而被检测到。在一些方面，因为mdn 130能够处理多个连贯分组，所以与静止对象相比，它可以从移动对象的方向提取不同的特征集。这可以允许定位系统125标识移动对象并且忽略静止对象。
48.此外，在一些方面，当对象115对应于空间中的人类时，定位系统能够利用附加的考虑因素：已知的人体反射损耗路径。通常已知反射损耗对于不同对象是不同的，并且损耗的某些方面可以是对空间中的人体的指示。除了指示电磁吸收和散射量的对象表面属性外，介电常数还决定了穿透对象的信号量和从对象反射的信号量。通常，不同的材料和对象具有不同的表面和介电常数。在一个方面，来自从人体方向到达的路径的这种反射损耗可以是对环境中人类的存在和位置的指示(与静止对象相反)。
49.在一些方面，由于定位系统125利用数据驱动的学习技术来区分移动对象和静止对象，所以这些因素可以在训练期间隐式地学习，而不是在运行时期间显式地确定和评估。
50.利用因接收机而异的混合密度网络进行多对象定位的示例环境
51.图2描绘了根据本文所公开的一些方面的包括定位系统125的环境200，该定位系统125被配置成使用因接收机而异的混合密度网络130来提供多对象定位。
52.在所解说的方面，物理空间205包括单个发射机210和两个接收机215a-b。在各方面，在该空间中可以存在任何数量的发射机和接收机。此外，在一些方面，发射机210和接收机215中的每一者可以是收发机，如以上所讨论的。在一些方面，使用多个接收机可以提供对空间的更好覆盖，从而允许更准确的定位。如图所示，发射机210通常将rf信号225发射到物理空间205中，rf信号225可以与空间中的对象220交互，然后被一个或多个接收机215检测到。
53.例如，信号225a被对象220a反射并由接收机215a接收，而信号225b被对象220a反射并由接收机215b接收。当然，在各方面，可以存在穿过空间的任何数量的信号，其中一些信号与对象220交互，而另一些信号不与对象220交互。类似地，一些信号可以由一个或多个接收机215接收，而其他信号不被接收。
54.在所描绘的环境200中，定位系统125利用一组mdn 130来执行对象定位。在一个方面，每个mdn 130对应于物理空间205中的特定接收机215。即，来自每个接收机215的信号数据可以被用于训练对应的mdn 130，而不是基于来自两个接收机215a-b的信号来训练的共享或交叠模型。使用这种因接收机而异的模型可以有益地提供环境的多个不同视角，从而允许针对每个时间点生成多个推断。在一方面，在运行时期间，使用对应的因接收机而异的mdn 130来分析来自每个接收机215a-b的信号数据。在一些方面，因接收机而异的mdn 130作为整体以生成最终输出预测。这可以提高预测的准确性(例如，因为具有低确定性的模型可以被忽略或被赋予低权重，以偏向于产生高置信度输出的模型)。
55.在一些方面，定位系统125然后聚集由每个mdn 130输出的预测135。这可以允许在空间205中进行更准确的定位，因为每个模型可以学习每个接收机215的唯一性rf视野。此外，随着对象在空间中移动，从每个对象到每个接收机的距离可能会显著变化。因为更靠近给定接收机的对象往往在信号数据中产生更强的伪像，所以使用多个接收机215可以允许系统生成准确的预测，而不管对象在哪里(例如，不管它是否特别靠近单个接收机)。
56.使用混合密度网络进行多对象定位的示例工作流
57.图3解说了根据本文所公开的一些方面的使用主干机器学习模型和混合密度模型来提供对象定位的工作流300。在所解说的方面，混合密度网络是主干模型315和混合模型330的组合。在各方面，组合主干模型315和混合模型330可以允许系统生成涉及概率分布而不是简单坐标的更准确的预测。
58.如图所示，从接收机305接收信号数据310。在至少一个方面，信号数据310以某种形式(例如，通过预处理组件)被编码或向量化，而不是直接从接收机305接收的原始数据。此外，在一些方面，部分地通过对原始数据执行一个或多个操作或变换(诸如滤波、快速傅立叶变换等)来生成信号数据310。如以上所讨论的，信号数据310可包括信道状态信息，并且通常指示物理空间中的rf介质的特性。例如，这些特性可以是空间中的rf衰落、rf反射、rf折射、rf散射和/或rf衰减的复合结果。在一些方面，信号数据310附加地包括雷达特征，诸如rf信号的到达角、出发角、飞行时间和多普勒频移数据。
59.在所解说的工作流300中，信号数据310被提供给主干模型315。主干模型315通常充当整个mdn的特征提取部分。在一个方面，主干模型315是神经网络。该神经网络可以利用各种架构，包括卷积神经网络、多层感知器网络等。在至少一个方面，主干模型315利用现成的架构，诸如resnet18架构。在所解说的方面，主干模型315包括层310a-c的序列。尽管解说
了三层，但是在主干模型315中可以有任何数量的层。在一个方面，主干模型315包括数个二维卷积层。层315还可包括其他处理方面，诸如循环连接、池化、归一化、非线性操作等。
60.如图所示，主干模型315输出特征向量325。在一些方面，该特征向量325是表示由层315从信号数据310提取的显著特征的高维度(例如，128维)向量。在各方面，该特征向量325的维度是可配置的超参数。即，主干模型315可以被训练以产生任何期望大小的特征向量325。在一些方面，该系统可以利用预先训练的主干模型315。
61.该特征向量325然后被提供给混合模型330。在所解说的工作流300中，混合模型330包括三个线性层335a-c，每个线性层产生一组输出(例如张量)。具体地，在所解说的方面，层335a输出编码张量340，层335b输出位置张量345，并且层335c输出不确定性张量350。尽管为了便于理解，所解说的描述提出了一维张量，但是在各方面，编码张量340、位置张量345和不确定性张量350可以各自具有任何维度。尽管未在所解说的工作流300中描绘，但在至少一个方面，层335a利用s形输出函数，以使得编码张量340中的每个值在从零到一的范围内。
62.总的来说，在一个方面，编码张量340、位置张量345和不确定性张量350在被组合时可以表示一组高斯分布。在这样的方面，空间中每个对象的位置被建模为多维概率分布。对于每个索引k，位置张量345中指示的值表示与对象位置相对应的高斯分布的中心。不确定性张量350中指示的值指示该位置的不确定性，并且控制高斯分布的协方差。即，位置张量345有效地对每个维度的高斯概率分布的均值进行编码，并且不确定性张量对每个维度的高斯概率分布的方差进行编码。
63.此外，在这样的方面，编码张量340中的对应值可以用作贡献权重，以表示环境中有多少对象以及其他张量是否具有可用数据。即，对于每个索引k，可以将编码张量340中的相应值与一个或多个阈值进行比较，以确定位置张量345和不确定性张量350中的对应值是包含有效数据(例如，很可能表示空间中对象的位置)还是垃圾数据(例如它们不太可能对应于空间中的对象)。在一些方面，可以使用验证集上的交叉验证技术以便确定最优值来确定用于评估编码张量的阈值。
64.在一方面，使用反向传播和梯度下降来端到端地训练整个mdn(包括主干模型315和混合模型330)。为了收集经标记的训练数据，在一方面，在一个或多个传感器(例如，相机)从物理空间捕捉数据的同时，为该空间收集带时间戳的信号数据。该捕捉到的数据可以用于标识空间中每个移动对象的数量和位置(例如，使用图像分析)。通过基于时间将信号数据和传感器数据进行相关，系统可以生成经标记的训练数据，其中信号数据的每个元素(例如，在特定时间戳经历的rf特性)被标记有空间中每个移动对象的数量和位置。
65.在至少一个方面，编码张量340的真值标签是二进制向量，其中值1指示存在对象，而值0指示没有对象。例如，如果在给定时间空间中存在三个对象，则与来自该时间的rf数据相关联的编码标签可以是[1,1,1,0,
…
,0]。
[0066]
在一个方面，该向量的排列不影响其表示的个体对象的数量。即，第一向量[0,1,0,1]和第二向量[1,0,1,0]被认为是等价的，因为它们均指示存在两个对象。在这样的方面，为了将真实的真值编码向量与所生成的编码张量340进行比较，定位系统计算这两个张量之间的距离。
[0067]
在另一方面，填充编码张量的次序从张量中的第一个元素开始。例如，[0,0,0,0]
指示房间中不存在移动对象，[1,0,0,0]指示存在一个对象，而[1,1,0,0]指示存在两个对象。在这样的方面，可以通过计算两个张量的每个对应元素之间的二进制交叉熵损失来实现真值标签和所生成的编码张量340之间的比较。
[0068]
为了提供位置张量345的真值，定位系统(例如，图1中的125)可以使用空间中每个对象的所确定的坐标位置。在一个方面，不确定性张量350的真值标签是固定和预定义的不确定性(例如，在每个方向上10cm)。在另一方面，基于测量人的位置以生成训练数据的误差(例如，使用一个或多个相机)来决定真值不确定性。
[0069]
为了训练mdn，在一个方面，定位系统迭代地利用与给定时间戳相关联的(例如，在某个时刻收集的)信号数据作为输入以及叠加该时间戳的真值中的所有高斯分布，并且通过将生成的张量与真值进行比较来计算损失。即，因为空间中的每个对象与对应的真值高斯分布相关联，并且模型被训练成同时跟踪多个对象，所以每个对象的单独高斯分布可以被组合为每个训练记录的叠加真值。
[0070]
在一方面，损失包括两项：所生成的张量与真值之间的负对数似然损失以及所生成的编码张量和表示房间中的人或其他对象的数量的真值张量上的交叉熵损失通过利用反向传播和梯度下降，主干模型315和混合模型330的参数被迭代地精化。
[0071]
在至少一个方面，除了利用协方差矩阵作为不确定性张量350的真值之外，定位系统还可以使用协方差矩阵来对目标在空间中的移动取向进行编码。
[0072]
一般来说，每个协方差矩阵将方差的概念推广到多个维度。在一些实现中，系统使用在对角线上具有恒定唯一值的对角线协方差矩阵。这表明系统考虑了围绕中心点的每个轴的恒定且相等的不确定性。在一些方面，定位系统可以通过用全矩阵替换对角线协方差矩阵来对每个对象的移动方向进行编码，其中矩阵的元素表示空间平面中的移动取向。
[0073]
在一方面，协方差矩阵指示位置张量的每对元素之间的方差。由于模型的输入可以是n个连贯分组的序列，因此在接收到这n个分组时，对象的移动方向/取向可以通过矩阵中方差的不同缩放来编码。例如，假设对象在二维笛卡尔坐标系中以45度角在对角线上移动。在一个方面，可以使协方差矩阵的主对角线大于其两个非对角线条目。在这种情形中，通过预测类似的协方差矩阵，mdn能够在其输出处解码运动的取向/方向。在这样的方面，所预测的不确定性张量350因此可以被评估以解码每个对象的移动取向/方向。
[0074]
在一些方面，该系统在没有时间依赖性的情况下估计每个目标对象的位置。即，该系统可以评估给定时刻或时间窗口的信号特性，以便预测对象在该时刻或时间窗期间的位置和/或移动，而不考虑任何先前的信号特性和/或估计位置。然而，在至少一个方面，该系统可以使用各种技术来纳入该先前数据。例如，该系统可以使用时间平滑技术(例如，卡尔曼滤波过程)作为后处理阶段。作为另一示例，该系统可以在网络架构中使用循环层(例如lstm、gru)，或者用在输入序列上应用了内核的因果卷积算子来代替标准卷积算子，以便考虑该时间数据。
[0075]
在一些方面，mdn用随机化的权重来初始化，并且使用训练数据迭代地精化。在至少一个方面，模型可以基于关于环境的几何形状的已知信息来正则化。例如，定位系统可以接收将要部署该系统的建筑平面布置图的二维地图。在一个方面，在不太可能存在人或其他对象的情况下，地图可以指示低概率值。
[0076]
如以上所讨论的，mdn的输出是坐标系中移动对象的位置。一般来说，通过不考虑关于环境几何形状的先验信息，在任何给定点存在人的概率具有均匀分布。然而，在建筑物和其他物理空间中部署该系统会对空间中对象的存在施加一些限制。例如，不应在已经被其他对象(例如，墙壁、橱柜等)占据的地方检测到对象。提供对这些静态对象的指示作为先验信息可以改进定位任务，因为模型可以学习惩罚在这些预定义的无效位置中的检测，使得在生成位置张量时，有效区域之外的位置被指派较低的概率值。即，系统可以学习忽略不太可能存在对象的区域。这可以显著地减少假阳性检测错误。
[0077]
训练混合密度网络以用于多对象定位的示例方法
[0078]
图4是解说根据本文所公开的一些方面的用于训练混合密度网络以提供多对象定位的方法400的流程图。在一个方面，方法400由图1的定位系统125执行。在其他方面，一个或多个其他组件或系统可以执行方法400以训练mdn来定位和跟踪空间中的任何数量的对象。
[0079]
方法400在框405开始，其中定位系统接收物理空间的信号数据。在一个方面，如以上所讨论的，该信号数据包括空间中的一个或多个rf信号的特性。例如，信号数据可以包括来自空间中的一个或多个无线网络的csi。如以上所讨论的，rf信号可以用于除对象标识之外的目的(例如，用于计算设备之间的通信)。尽管如此，这些信号的特性可以由本文所公开的方面用于执行对象定位。信号数据通常表示rf环境，并且隐式地对空间中对象的位置进行编码。
[0080]
方法400然后继续到框410，其中定位系统确定截至信号数据被收集时存在于空间中的对象的数量。在一个方面，定位系统通过分析由一个或多个相机在对应时间捕捉到的一个或多个图像并标识每个图像中的对象(例如，人)来这样做。该所确定的用户数量可以用作信号数据的真值。在一些方面，系统可以简单地检测空间中一个或多个对象的存在，而不是确定对象的实际数量。
[0081]
在框415，定位系统标识空间中每个所标识的对象的位置。如上所讨论的，在一些方面，定位系统利用对空间中捕捉到的一个或多个图像的图像分析来确定空间中每个移动对象的位置，尽管如上所述也可以使用其他主动定位方法。在一方面，这些所确定的位置用作所生成的位置的真值。在至少一个方面，定位系统还生成或确定位置的真值不确定性。这可以包括但不限于：利用预定义的不确定性(例如，十厘米)、确定由位置确定引入的不确定性(例如，图像分析中的不确定性或误差)等。
[0082]
方法400然后前进到框420，其中定位系统使用mdn来生成编码张量、位置张量和不确定性张量，如上所讨论的。为此，定位系统通常提供信号数据作为主干模型(例如，神经网络)的输入，该主干模型输出特征向量。该特征向量然后被用作混合模型的输入，该混合模型包括三个线性层，每个线性层对应于相应的输出张量。
[0083]
在框425，定位系统比较真值和所生成的张量，以计算针对预测的负对数似然损失在一个方面，定位系统使用下面的式1来这样做，其中θ表示主干模型和混合模型的联合参数。如上所讨论的，该系统通常可以利用离散主干网络和混合模型。在各方面，系统架构不限于主干模型的特定架构。然而，尽管存在这种分裂，定位系统仍将这些模型视为端到端训练的统一模型。因此，θ包括所有学习参数：主干模型和混合模型两者的学习参数。这些联合参数是联合训练的，并且一起用于预测。
[0084]
在下面的式1中，k是可以跟踪的移动对象的最大数量，π
gt
是指示存在的对象数量的真值二进制向量，μ
gt
是空间中每个对象的真值坐标位置，并且∑
gt
是表示每个对象的位置不确定性(以及在一些方面的移动方向)的真值协方差矩阵。
[0085][0086]
方法400然后继续到框430，其中定位系统计算真值编码张量(基于空间中所确定的对象数量生成)和所生成的编码张量(由mdn生成以预测对象数量)之间的交叉熵损失在一个方面，模型的总损失可以被计算为其中λ是对应于交叉熵损失的贡献权重的可配置超参数。
[0087]
在各方面，可以通过实验和/或使用交叉验证集来调整损失项之间的贡献权重λ。通常，减小λ会导致连同对象的真实检测和定位出现虚假预测。发生这种虚假检测是因为所预测的分布不仅在对象的正确位置上具有峰值，而且在环境中可以跟踪的所有k个位置上也具有峰值。另一方面，增大λ会降低定位性能，但该模型在预测空间中的对象数量方面可能效果更好(即使在估计它们的位置方面不太准确)。
[0088]
在框435，该损失随后被用于经由反向传播和梯度下降来精化mdn。即，主干网络和混合模型的权重或其他参数均可以基于所计算出的损失进行精化。以此方式，mdn迭代地学习以生成更准确的输出张量。
[0089]
方法400然后继续到框440，其中定位系统确定训练是否已经完成。在一个方面，这包括评估模型的准确度或性能。如果模型性能满足或超过一些所定义的准则，则在一方面，定位系统确定训练完成，并且方法400前进到框445。在其他方面，该准则可包括确定是否有附加的训练数据可用。如果是这样，则训练尚未完成。在又一个方面，该准则可包括已经完成所确定数量的训练迭代。
[0090]
如果训练未完成，则方法400返回到框405以处理下一组输入数据。如果训练完成，则方法400继续到框445，其中定位系统部署经训练的mdn以供在运行时期间使用。这允许定位系统基于rf信号特性(例如，无线网络信号的特性)来标识空间中对象的数量和位置，而无需使用其他传感器设备(诸如相机)。
[0091]
利用混合密度网络以用于多对象定位的示例方法
[0092]
图5是解说根据本文所公开的一些方面的用于使用混合密度网络来分析信号数据以提供多对象定位的方法500的流程图。在一个方面，方法500由定位系统(例如，图1的定位系统125)执行。
[0093]
方法500开始于框505，此时定位系统接收物理空间的信号数据。如以上所讨论的，信号数据可以对应于用于除对象标识之外的目的(例如，用于计算设备之间的通信)的rf信号。尽管如此，这些信号的特性可以由本文所公开的方面用于执行对象定位。在一个方面，信号数据包括来自空间中的一个或多个无线网络的csi。如上所讨论的，信号数据通常反映空间中作为信号与空间中的物理对象交互的结果的rf环境。
[0094]
方法500然后继续到框510，其中定位系统使用经训练的主干神经网络来处理接收
到的信号数据，以生成特征向量。即，定位系统可以将信号数据作为输入提供给网络，网络在其输出处生成特征向量。
[0095]
在框515，定位系统使用经训练的混合模型来处理该特征向量，以生成指示空间中任何对象的位置的输出张量集合。在一个方面，输出张量集合包括指示对象数量的编码张量、指示每个所标识对象的坐标位置的位置张量、以及指示每个所标识对象的位置不确定性的不确定性张量。方法500随后继续至框520。
[0096]
在框520，定位系统选择索引值k以用于分析。在一方面，定位系统可以使用各种技术来选择索引，因为定位系统将顺序地或并行地遍历每个索引以评估输出张量。
[0097]
方法500前进到框525，其中定位系统确定编码张量中在所选索引k处的对应值是否超过所定义的阈值或满足一些其他所定义的准则。在一个方面，该阈值指示值必须大于0.5。在一些方面，可以手动或自动配置阈值，以防止假阳性(例如，错误地标识不存在的对象)和假阴性(例如，错误地确定空间中没有对象)。
[0098]
如果编码向量中的对应值不满足准则，则方法500继续到框545。然而，如果值满足准则，则方法500继续到框530。在框530，定位系统标识位置张量中在所选索引k处的对应值。即，定位系统确定位置张量中针对所选索引指示的坐标。如上所讨论的，在一方面，位置张量通常可以包括每个索引处的坐标值，但只有这些值的子集是有效的。通过评估编码张量，定位系统可以确定哪些位置值是有效的。
[0099]
方法500然后继续到框535，其中定位系统标识不确定性张量中在所选索引k处的对应值。即，定位系统确定不确定性张量中针对所选索引指示的不确定性值。如上所讨论的，在一方面，不确定性张量通常可包括每个索引处的值，但只有这些值的子集是有效的。通过评估编码张量，定位系统可以确定哪些不确定性值是有效的。
[0100]
在框540，定位系统然后从位置张量输出至少所确定的位置。在一些方面，定位系统还输出所确定的不确定性。在各方面，此输出可以采用任何数量的形式。例如，在一个方面，定位系统将对位置的指示叠加在图形用户界面(gui)上输出的该空间的地图上(例如，通过在地图上的位置处放置对象或某个其他标识符)。在一些方面，定位系统还输出不确定性，诸如通过描绘围绕预测位置的热图，或预测位置周围指示不确定性区域的包围圆(或其他形状)。
[0101]
在至少一个方面，如果不确定性张量也对移动方向进行编码，则定位系统也可以输出对该方向的指示(例如，使用箭头来指示对象正在移动的方向)。此外，在一些方面，一旦所有索引都被迭代，定位系统还可以输出对检测到的对象总数的指示。
[0102]
方法500然后继续到框545，其中定位系统确定是否存在至少一个剩余的未被评估的索引。如果是，则方法500返回框520。否则，方法500在框550处终止。
[0103]
在一些方面，每当接收到新的信号数据时，重复方法500。例如，如果随时间接收到信号数据，则定位系统可以随时间迭代地处理数据并输出经更新的位置。这允许随时间跟踪对象移动。
[0104]
利用混合密度网络的示例方法
[0105]
图6是解说根据本文所公开的一些方面的用于使用混合密度网络基于信号数据来提供对象定位的方法600的流程图。
[0106]
方法600开始于框605，其中定位系统接收在物理空间中收集的rf信号数据。
[0107]
在一些方面，rf信号数据包括物理空间中的rf信号的特性。此外，在一些方面，该特性是以下至少一者的结果：rf衰落、rf反射、rf折射、rf散射或rf衰减。
[0108]
在框610，定位系统通过使用第一神经网络处理rf信号数据来生成对rf信号数据进行编码的特征向量。
[0109]
方法600然后继续到框615，其中定位系统使用第一混合模型来处理该特征向量，以生成指示该物理空间中的一组移动对象的第一编码张量、指示该物理空间中每个移动对象的位置的第一位置张量、以及指示该物理空间中每个移动对象的位置的不确定性的第一不确定性张量。
[0110]
在一些方面，第一编码张量是指定多个值的一维张量，其中第一编码张量中的多个值中的每个相应值指示相应移动对象位于该物理空间中的概率。
[0111]
在一些方面，对于编码张量中的多个值中的每个相应值，第一位置张量指定相应高斯分布的相应均值，并且第一不确定性张量指定相应高斯分布的相应协方差矩阵。
[0112]
此外，在框620，定位系统输出来自第一位置张量的至少一个位置。在一些方面，输出至少一个位置包括在物理空间的图形地图上指示该至少一个位置。
[0113]
在一些方面，第一神经网络和第一混合模型是基于从第一接收机收集的数据来训练的，第二神经网络和第二混合模型是基于从第二接收机收集的数据来训练的，并且方法600还包括在输出至少一个位置之前聚集来自第二混合模型的第二位置张量与来自第一混合模型的第一位置张量。
[0114]
在一些方面，方法600还包括基于第一不确定性张量来确定每个移动对象的移动方向。
[0115]
在一些方面，方法600还包括标识第一编码张量中具有超过最小阈值的值的索引集合。在一个这样的方面，对于该索引集合中的每一个相应索引，方法600包括标识第一位置张量中的对应位置，并输出第一位置张量中所标识的对应位置。
[0116]
在一些方面，第一混合模型是至少部分地基于物理空间的地图来训练的，其中该地图指示可被移动对象占用的有效区域，并且在生成第一位置张量时惩罚有效区域之外的位置，以使得在生成第一位置张量时有效区域之外的位置被指派较低概率值。
[0117]
训练混合密度网络的示例方法
[0118]
图7是解说根据本文所公开的一些方面的用于训练混合密度网络以基于信号数据来提供对象定位的方法700的流程图。
[0119]
方法700开始于框705，其中定位系统在一个或多个对象在物理空间中移动时收集物理空间中的信号数据记录的序列。
[0120]
在框710，针对每个信号数据记录，定位系统使用物理空间中的一个或多个相机来确定该一个或多个对象中的每个对象的真值位置。
[0121]
方法700然后继续到框715，其中定位系统使用第一神经网络和第一混合模型来生成该一个或多个对象中的每个对象的预测位置。
[0122]
在框720，定位系统基于真值位置和预测位置来计算负对数似然损失。
[0123]
此外，在框725，定位系统基于负对数似然损失来精化第一神经网络和第一混合模型的一个或多个参数，以使得第一神经网络和第一混合模型被训练成定位在物理空间中移动的多个对象。
[0124]
在一些方面，方法700还包括生成物理空间中的预测对象数量，并且精化第一神经网络和第一混合模型的一个或多个参数还包括部分地基于该一个或多个对象的实际数量和预测对象数量来计算交叉熵损失。
[0125]
在一些方面，方法700还包括标识该一个或多个对象的数量，并生成指示该数量的真值编码张量。在至少一个方面，方法700还包括基于所确定的真值位置来生成真值位置张量。此外，在一些方面，方法700包括确定多个对象中的每个相应对象的相应不确定性，以及基于所确定的不确定性来生成真值不确定性张量。
[0126]
在一些方面，确定相应的不确定性包括标识预定义的固定的不确定性测量。在至少一个方面，基于真值编码张量、真值位置张量和真值不确定性张量来计算负对数似然损失。
[0127]
使用混合密度网络进行多对象定位的示例系统
[0128]
在一些方面，关于图3-7描述的方法和工作流可以在一个或多个设备上执行。例如，训练和推断可由单个设备执行或者跨多个设备分布。
[0129]
举例来说，定位系统可以被包括在无线路由器(或无线接入点，诸如网状接入点)内，该无线路由器在空间中提供无线连通性，其中该路由器包括无线感测模块，该无线感测模块接收无线信道状态信息作为输入，以便执行用于空间中的对象定位的推断。在一个这样的方面，深度学习(或神经网络)引擎核心可以是图形处理单元(gpu)、数字信号处理器(dsp)、中央处理单元(cpu)、神经处理单元(npu)或另一类型的处理单元或集成电路的形式。
[0130]
图8是解说处理系统800的框图，该处理系统800可被配置成执行本文所描述的各种方法的各方面，包括例如关于图3-7所描述的方法。
[0131]
处理系统800包括中央处理单元(cpu)802，其在一些示例中可以是多核cpu。在cpu 802处执行的指令可例如从与cpu 802相关联的程序存储器加载，或者可从存储器814加载。
[0132]
处理系统800还包括为特定功能定制的附加处理组件，诸如图形处理单元(gpu)804、数字信号处理器(dsp)806、以及神经处理单元(npu)810。
[0133]
尽管在图8中未描绘，但是npu 810可被实现为cpu 802、gpu 804和/或dsp 806中的一者或多者的一部分。
[0134]
处理系统800还包括输入/输出808。在所解说的方面，输入/输出808与天线812通信耦合。例如，输入/输出808可以与一个或多个发射机、接收机和/或收发机(例如，图2中的发射机210和接收机215以及图1中的收发机110)耦合，以便接收信号数据。在各方面，发射机、接收机和/或收发机可以是处理系统800的一部分，或者可以是单独的组件或设备。在一些方面，各种组件可以是分布式的，但作为一个系统进行操作。
[0135]
尽管未被包括在所解说的方面中，处理系统800还可包括一个或多个附加输入和/或输出设备808，诸如屏幕、物理按钮、扬声器、话筒等等。
[0136]
处理系统800还包括存储器814，该存储器814代表一个或多个静态和/或动态存储器，诸如动态随机存取存储器、基于闪存的静态存储器等。在该示例中，存储器814包括计算机可执行组件，其可由处理系统800的前述处理器中的一个或多个处理器执行。
[0137]
在该示例中，存储器814包括训练组件816、推断组件818和显示组件819。所描绘的组件以及其他未描绘的组件可被配置成执行本文所描述的方法的各个方面。例如，训练组
件816可以被配置成接收和处理信号数据和真值824标签，以训练神经网络820和混合模型822，并且推断组件818可以利用经训练的神经网络820和混合模型822在运行时间期间处理空间中的信号数据。显示组件819可以生成并显示每个对象的预测位置(例如，在gui中描绘的地图上)。
[0138]
在所解说的方面，存储器814包括一组一个或多个神经网络820和一组混合模型822。在一些方面，每个神经网络820与对应的混合模型822相关联，以共同形成mdn。在至少一个方面，对于处理系统800使用的每个接收，存在对应的神经网络820和混合模型822。此外，在所解说的示例中，保留了一组真值824。在一些方面，真值824包括历史信号数据记录，每个记录标记有对象的实际数量、每个对象的位置和每个位置的不确定性。
[0139]
示例条款
[0140]
条款1：一种方法，包括：接收在物理空间中收集的射频(rf)信号数据；通过使用第一神经网络处理该rf信号数据来生成对该rf信号数据进行编码的特征向量；使用第一混合模型处理该特征向量以生成：第一编码张量，第一编码张量指示该物理空间中的一组移动对象，第一位置张量，第一位置张量指示该物理空间中的每个移动对象的位置，以及第一不确定性张量，第一不确定性张量指示该物理空间中的每个移动对象的位置的不确定性；以及输出来自第一位置张量的至少一个位置。
[0141]
条款2：如条款1的方法，其中该rf信号数据包括该物理空间中的rf信号的特性，并且其中该特性是以下至少一者的结果：rf衰落、rf反射、rf折射、rf散射或rf衰减。
[0142]
条款3：如条款1-2中任一项的方法，其中，第一编码张量是指定多个值的一维张量，其中第一编码张量中的该多个值中的每个相应值指示相应移动对象位于该物理空间中的概率。
[0143]
条款4：如条款1-3中任一项的方法，其中对于该多个值中的每个相应值：第一位置张量指定相应高斯分布的相应均值，并且第一不确定性张量指定该相应高斯分布的相应协方差矩阵。
[0144]
条款5：如条款1-4中任一项的方法，其中：第一神经网络和第一混合模型是基于从第一接收机收集的数据来训练的，第二神经网络和第二混合模型是基于从第二接收机收集的数据来训练的，并且该方法进一步包括：在输出该至少一个位置之前，聚集来自第二混合模型的第二位置张量与来自第一混合模型的第一位置张量。
[0145]
条款6：如条款1-5中任一项的方法，该方法进一步包括：基于第一不确定性张量来确定每个移动对象的移动方向。
[0146]
条款7：如条款1-6中任一项的方法，该方法进一步包括：标识第一编码张量中具有超过最小阈值的值的索引集合；对于该索引集合中的每个相应索引，标识第一位置张量中的对应位置；以及输出第一位置张量中所标识的对应位置。
[0147]
条款8：如条款7的方法，其中第一混合模型是至少部分地基于物理空间的地图来训练的，该地图指示可被移动对象占用的有效区域，并且在生成第一位置张量时惩罚有效区域之外的位置，以使得在生成第一位置张量时有效区域之外的位置被指派较低概率值。
[0148]
条款9：如条款1-8中任一项的方法，其中输出该至少一个位置包括在该物理空间的图形地图上指示该至少一个位置。
[0149]
条款10：一种方法，包括：当一个或多个对象在物理空间中移动时，收集该物理空
间中的信号数据记录的序列；针对每个信号数据记录，使用该物理空间中的一个或多个相机来确定该一个或多个对象中的每个对象的真值位置；使用第一神经网络和第一混合模型来生成该一个或多个对象中的每个对象的预测位置；基于该真值位置和该预测位置来计算负对数似然损失；以及基于该负对数似然损失来精化第一神经网络和第一混合模型的一个或多个参数，以使得第一神经网络和第一混合模型被训练成定位在该物理空间中移动的多个对象。
[0150]
条款11：如条款10的方法，进一步包括：生成该物理空间中的预测对象数量，其中精化第一神经网络和第一混合模型的该一个或多个参数进一步包括：部分地基于该一个或多个对象的实际数量和该预测对象数量来计算交叉熵损失。
[0151]
条款12：如条款10-11中任一项的方法，该方法进一步包括：标识该一个或多个对象的数量；以及生成指示该数量的真值编码张量。
[0152]
条款13：如条款12的方法，该方法进一步包括：基于所确定的真值位置来生成真值位置张量。
[0153]
条款14：如条款13的方法，该方法进一步包括：确定该多个对象中的每个相应对象的相应不确定性；以及基于所确定的不确定性来生成真值不确定性张量。
[0154]
条款15：如条款14的方法，其中确定该相应不确定性包括标识预定义的固定的不确定性测量。
[0155]
条款16：如条款14的方法，其中，该负对数似然损失是基于该真值编码张量、该真值位置张量和该真值不确定性张量来计算的。
[0156]
条款17：一种系统，包括：包括计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器被配置成执行计算机可执行指令并使该处理系统执行根据条款1-16中任一者的方法。
[0157]
条款18：一种包括计算机可执行指令的非瞬态计算机可读介质，这些计算机可执行指令在由处理系统的一个或多个处理器执行时使该处理系统执行根据条款1-16中任一者的方法。
[0158]
条款19：一种实施在计算机可读存储介质上的计算机程序产品，包括用于执行根据条款1-16中任一者的方法的代码。
[0159]
附加考虑
[0160]
提供先前描述是为了使本领域任何技术人员均能够实践本文中所描述的各个方面。本文中所讨论的示例并非是对权利要求中阐述的范围、适用性或者方面的限定。对这些方面的各种修改将容易为本领域技术人员所明白，并且在本文中所定义的普适原理可被应用于其他方面。例如，可以对所讨论的要素的功能和布置作出改变而不会脱离本公开的范围。各种示例可恰适地省略、替代、或添加各种规程或组件。例如，可以按与所描述的次序不同的次序来执行所描述的方法，并且可以添加、省略、或组合各种步骤。而且，参照一些示例所描述的特征可在一些其他示例中被组合。例如，可使用本文中所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各个方面的补充或者不同于本文中所阐述的本公开的各个方面的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
[0161]
如本文所使用的，术语“示例性”意指“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
[0162]
如本文中所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多重相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。
[0163]
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或另一数据结构中查找)、查明及诸如此类。而且，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)及诸如此类。而且，“确定”可包括解析、选择、选取、建立及诸如此类。
[0164]
本文中所公开的各方法包括用于实现方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。此外，上述方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(asic)、或处理器。一般地，在存在附图中解说的操作的场合，这些操作可具有带相似编号的相应配对装置加功能组件。
[0165]
以下权利要求并非旨在被限定于本文中示出的各方面，而是应被授予与权利要求的语言相一致的全部范围。在权利要求内，对单数元素的引用不旨在意指“有且只有一个”(除非专门如此声明)，而是“一个或多个”。除非特别另外声明，否则术语“一些/某个”指的是一个或多个。权利要求的任何要素都不应当在35u.s.c.
§
112(f)的规定下来解释，除非该要素是使用短语“用于
……
的装置”来明确叙述的或者在方法权利要求情形中该要素是使用短语“用于
……
的步骤”来叙述的。本公开通篇描述的各个方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且旨在被权利要求所涵盖。此外，本文所公开的任何内容都不旨在捐献于公众，无论此类公开内容是否明确记载在权利要求书中。

技术特征：
1.一种方法，包括：接收在物理空间中收集的射频(rf)信号数据；通过使用第一神经网络处理所述rf信号数据来生成对所述rf信号数据进行编码的特征向量；使用第一混合模型来处理所述特征向量以生成：第一编码张量，所述第一编码张量指示所述物理空间中的一组移动对象；第一位置张量，所述第一位置张量指示所述物理空间中的每个移动对象的位置；以及第一不确定性张量，所述第一不确定性张量指示所述物理空间中的每个移动对象的位置的不确定性；以及输出来自所述第一位置张量的至少一个位置。2.如权利要求1所述的方法，其中所述rf信号数据包括所述物理空间中的rf信号的特性，并且其中所述特性是以下至少一者的结果：rf衰落、rf反射、rf折射、rf散射或rf衰减。3.如权利要求1所述的方法，其中，所述第一编码张量是指定多个值的一维张量，其中所述第一编码张量中的所述多个值中的每个相应值指示相应移动对象位于所述物理空间中的概率。4.如权利要求3所述的方法，其中对于所述多个值中的每个相应值：所述第一位置张量指定相应高斯分布的相应均值，并且所述第一不确定性张量指定所述相应高斯分布的相应协方差矩阵。5.如权利要求1所述的方法，其中：所述第一神经网络和所述第一混合模型是基于从第一接收机收集的数据来训练的，第二神经网络和第二混合模型是基于从第二接收机收集的数据来训练的，并且所述方法进一步包括：在输出所述至少一个位置之前，聚集来自所述第二混合模型的第二位置张量与来自所述第一混合模型的所述第一位置张量。6.如权利要求1所述的方法，所述方法进一步包括：基于所述第一不确定性张量来确定每个移动对象的移动方向。7.如权利要求1所述的方法，所述方法进一步包括：标识所述第一编码张量中具有超过最小阈值的值的索引集合；对于所述索引集合中的每个相应索引，标识所述第一位置张量中的对应位置；以及输出所述第一位置张量中所标识的对应位置。8.如权利要求7所述的方法，其中：所述第一混合模型是至少部分地基于所述物理空间的地图来训练的，所述地图指示能被移动对象占用的有效区域，并且在生成所述第一位置张量时惩罚所述有效区域之外的位置，以使得在生成所述第一位置张量时向所述有效区域之外的位置指派较低的概率值。9.如权利要求1所述的方法，其中输出所述至少一个位置包括在所述物理空间的图形地图上指示所述至少一个位置。10.一种系统，包括：存储器，所述存储器包括计算机可执行指令；一个或多个处理器，所述一个或多个处理器被配置成执行所述计算机可执行指令并使
所述系统执行操作，所述操作包括：接收在物理空间中收集的射频(rf)信号数据；通过使用第一神经网络处理所述rf信号数据来生成对所述rf信号数据进行编码的特征向量；使用第一混合模型来处理所述特征向量以生成：第一编码张量，所述第一编码张量指示所述物理空间中的一组移动对象；第一位置张量，所述第一位置张量指示所述物理空间中的每个移动对象的位置；以及第一不确定性张量，所述第一不确定性张量指示所述物理空间中的每个移动对象的位置的不确定性；以及输出来自所述第一位置张量的至少一个位置。11.如权利要求10所述的系统，其中所述rf信号数据包括所述物理空间中的rf信号的特性，并且其中所述特性是以下至少一者的结果：rf衰落、rf反射、rf折射、rf散射或rf衰减。12.如权利要求10所述的系统，其中，所述第一编码张量是指定多个值的一维张量，其中所述第一编码张量中的所述多个值中的每个相应值指示相应移动对象位于所述物理空间中的概率。13.如权利要求12所述的系统，其中对于所述多个值中的每个相应值：所述第一位置张量指定相应高斯分布的相应均值，并且所述第一不确定性张量指定所述相应高斯分布的相应协方差矩阵。14.如权利要求10所述的系统，其中：所述第一神经网络和所述第一混合模型是基于从第一接收机收集的数据来训练的，第二神经网络和第二混合模型是基于从第二接收机收集的数据来训练的，并且所述操作进一步包括：在输出所述至少一个位置之前，聚集来自所述第二混合模型的第二位置张量与来自所述第一混合模型的所述第一位置张量。15.如权利要求10所述的系统，其中所述操作进一步包括：基于所述第一不确定性张量来确定每个移动对象的移动方向。16.如权利要求10所述的系统，其中所述操作进一步包括：标识所述第一编码张量中具有超过最小阈值的值的索引集合；对于所述索引集合中的每个相应索引，标识所述第一位置张量中的对应位置；以及输出所述第一位置张量中所标识的对应位置。17.如权利要求10所述的系统，其中：所述第一混合模型是至少部分地基于所述物理空间的地图来训练的，所述地图指示能被移动对象占用的有效区域，并且在生成所述第一位置张量时惩罚所述有效区域之外的位置，以使得在生成所述第一位置张量时向所述有效区域之外的位置指派较低的概率值。18.如权利要求10所述的系统，其中输出所述至少一个位置包括在所述物理空间的图形地图上指示所述至少一个位置。19.一种方法，包括：当一个或多个对象在物理空间中移动时，收集所述物理空间中的信号数据记录的序
列；针对每个信号数据记录，使用所述物理空间中的一个或多个相机来确定所述一个或多个对象中的每个对象的真值位置；使用第一神经网络和第一混合模型来生成所述一个或多个对象中的每个对象的预测位置；基于所述真值位置和所述预测位置来计算负对数似然损失；以及基于所述负对数似然损失来精化所述第一神经网络和所述第一混合模型的一个或多个参数，以使得所述第一神经网络和所述第一混合模型被训练成定位在所述物理空间中移动的多个对象。20.如权利要求19所述的方法，进一步包括：生成所述物理空间中的预测对象数量，其中精化所述第一神经网络和所述第一混合模型的所述一个或多个参数进一步包括：部分地基于所述一个或多个对象的实际数量和所述预测对象数量来计算交叉熵损失。21.如权利要求19所述的方法，所述方法进一步包括：标识所述一个或多个对象的数量；以及生成指示所述数量的真值编码张量。22.如权利要求21所述的方法，所述方法进一步包括：基于所确定的真值位置来生成真值位置张量。23.如权利要求22所述的方法，所述方法进一步包括：确定所述多个对象中的每个相应对象的相应不确定性；以及基于所确定的不确定性来生成真值不确定性张量。24.如权利要求23所述的方法，其中确定所述相应不确定性包括标识预定义的固定的不确定性测量。25.如权利要求23所述的方法，其中，所述负对数似然损失是基于所述真值编码张量、所述真值位置张量和所述真值不确定性张量来计算的。26.一种系统，包括：存储器，所述存储器包括计算机可执行指令；一个或多个处理器，所述一个或多个处理器被配置成执行所述计算机可执行指令并使所述系统执行操作，所述操作包括：当一个或多个对象在物理空间中移动时，收集所述物理空间中的信号数据记录的序列；针对每个信号数据记录，使用所述物理空间中的一个或多个相机来确定所述一个或多个对象中的每个对象的真值位置；使用第一神经网络和第一混合模型来生成所述一个或多个对象中的每个对象的预测位置；基于所述真值位置和所述预测位置来计算负对数似然损失；以及基于所述负对数似然损失来精化所述第一神经网络和所述第一混合模型的一个或多个参数，以使得所述第一神经网络和所述第一混合模型被训练成定位在所述物理空间中移动的多个对象。
27.如权利要求26所述的系统，其中所述操作进一步包括：生成所述物理空间中的预测对象数量，其中精化所述第一神经网络和所述第一混合模型的所述一个或多个参数进一步包括：部分地基于所述一个或多个对象的实际数量和所述预测对象数量来计算交叉熵损失。28.如权利要求26所述的系统，其中所述操作进一步包括：标识所述一个或多个对象的数量；以及生成指示所述数量的真值编码张量；以及基于所确定的真值位置来生成真值位置张量；确定所述多个对象中的每个相应对象的相应不确定性；以及基于所确定的不确定性来生成真值不确定性张量。29.如权利要求28所述的系统，其中确定所述相应不确定性包括标识预定义的固定的不确定性测量。30.如权利要求28所述的系统，其中，所述负对数似然损失是基于所述真值编码张量、所述真值位置张量和所述真值不确定性张量来计算的。

技术总结
本公开的某些方面提供了使用混合密度网络进行对象定位的技术，包括：接收在物理空间中收集的射频(RF)信号数据；通过使用第一神经网络处理该RF信号数据来生成对该RF信号数据进行编码的特征向量；使用第一混合模型来处理该特征向量，以生成指示该物理空间中的一组移动对象的第一编码张量、指示该物理空间中每个移动对象的位置的第一位置张量、以及指示该物理空间中每个移动对象的位置的不确定性的第一不确定性张量；以及输出来自第一位置张量的至少一个位置。至少一个位置。至少一个位置。


技术研发人员：F
受保护的技术使用者：高通股份有限公司
技术研发日：2022.01.21
技术公布日：2023/10/15