用于运动感测的设备、系统和方法与流程

用于运动感测的设备、系统和方法
1.相关申请的交叉引用
2.本技术要求2017年12月22日提交的美国临时专利申请第62/610,013号的权益，其全部内容通过引用并入本文。
技术领域
3.本技术涉及使用音频设备检测与活体对象相关联的生物运动。更具体地，本技术涉及使用声学感测与音频设备一起来检测诸如生理移动(诸如活体对象的呼吸移动、心脏移动和/或其他较不呈周期性的身体移动)的生理特征。


背景技术：

4.例如在睡眠期间监测人的呼吸和身体(包括肢体)移动在许多方面可能有用。例如，这种监测可用于监测和/或诊断睡眠呼吸紊乱状况，诸如睡眠呼吸暂停。传统上，有效无线电定位或测距应用的进入障碍是需要专门的硬件电路和天线。
5.智能手机和其他便携式且不显眼的处理或电子通信装置在日常生活中普遍存在，甚至在没有陆线的发展中国家也是如此。例如，许多家庭含有能够发射和记录声音的音频装置，例如，智能扬声器、有源音箱、智能装置、智能电视机和其它装置。这样的装置可以使用虚拟助理来支持语音命令，该虚拟助理处理所接收到的口头命令并以音频输出进行响应。
6.期望具有用于以有效的方式监测生物运动(即，生理移动)的方法。这种系统和方法的实现将解决相当大的技术挑战。


技术实现要素：

7.本技术涉及用于例如在对象睡着时检测对象的移动的系统、方法和设备。基于这样的移动检测，包括例如呼吸移动，可以检测对象的移动、睡眠相关特点、呼吸特点、心脏特点、睡眠状态等。更具体地，与处理器使能的音频设备(诸如交互式音频装置或其他处理装置，诸如智能电话、平板计算机、智能扬声器等)相关联的应用处理装置传感器(诸如集成的和/或外部可连接的扬声器和麦克风)的音频功能以检测运动。本文中的术语“装置”在广义上使用并且可以包括集中式或分布式的系统，该系统可以包括一个或多个扬声器、一个或多个麦克风以及一个或多个处理器。然而，在一些版本中，它也可以是集成装置，以便基本上将在本文描述的感测/检测方法的部件和任何一个或多个特征设置为单元。例如，可以将具有其方法和感测部件的处理装置集成在单一外壳中，诸如手持系统(例如，配置的智能电话、感测智能电话)或其他这样的便携式系统。
8.本技术的一些版本可以包括处理器可读介质，该处理器可读介质上存储有处理器可执行指令，这些处理器可执行指令在由处理器执行时致使该处理器检测生理参数，诸如用户的检测生理移动。生理移动可以包括呼吸移动、心脏移动、肢体移动、姿势移动和全身移动中的任一者或多者。生理参数还可以包括可以从所检测到的生理移动导出的一个或多
个特点(例如，呼吸振幅、相对呼吸振幅、呼吸速率、呼吸速率可变性、心脏振幅、相对心脏振幅、心率和心率可变性；等)，以及可能从其他生理参数导出的其他特点(例如，(a)存在状态(存在或不存在)；(b)睡眠状态，诸如，清醒或睡着；(c)睡眠阶段，诸如n-rem 1(非rem浅睡眠子阶段1)、n-rem 2(非rem浅睡眠子阶段2)、n-rem 3(非rem深睡眠(也称为慢波睡眠)(sws)))、rem睡眠等；或其他睡眠相关参数，诸如(d)疲劳和/或(e)嗜睡；等)。处理器可执行指令可以包含用于控制经由耦合到交互式音频装置的扬声器在可以包括用户的附近区域产生声音信号的指令。处理器可执行指令可以包含用以控制经由耦合到交互式音频处理装置的麦克风感测从用户反射的声音信号的指令。处理器可执行指令可以包含用于处理所感测到的声音信号的指令。处理器可执行指令可以包含用于经由耦合到交互式音频装置的麦克风评估所感测到的可听口头通信的指令。处理器可执行指令可以包含用声音信号和反射声音信号导出生理移动信号的指令。处理器可执行指令可以包含用于响应于所感测到的可听口头通信而基于对所导出的生理移动信号的评估来生成输出的指令。
9.本技术的一些版本可以包含处理器可读介质，在该处理器可读介质上存储有处理器可执行指令，这些处理器可执行指令在由交互式音频装置处理器执行时致使处理器检测用户的生理移动。处理器可执行指令可以包括用于控制经由耦合到交互式音频装置的扬声器在交互式音频装置附近区域产生声音信号的指令。处理器可执行指令可以包括用于控制经由耦合到交互式音频装置的麦克风感测来自附近区域的反射声音信号的指令。处理器可执行指令可以包括用所感测到的反射声音信号的至少一部分和表示声音信号的至少一部分的信号来导出生理移动信号的指令。处理器可执行指令可以包括用于基于对所导出的生理移动信号的至少一部分的评估来生成输出的处理器可执行指令。
10.在一些版本中，所产生的声音信号的至少一部分(诸如用于感测的那部分)可以在基本上不可听的声音范围内。所产生的声音信号的至少该部分可以是低频超声声学信号。表示声音信号的部分的信号可以包含内部产生的振荡器信号或直接路径测得的信号。用于导出生理移动信号的指令可以被配置为(a)用声音信号的至少一部分和所感测到的反射声音信号的至少部分导出生理移动信号，或者(b)用所感测到的反射声音信号的部分和可以与所产生的声音信号的至少一部分相关联的相关联信号导出生理移动信号。任选地,相关联的信号可以是内部产生的振荡器信号或直接路径测得的信号。用于导出生理移动信号的指令可以被配置为将振荡器信号与所感测到的反射声音信号的部分相乘。所导出的生理移动信号可以包括呼吸运动/总运动，或心脏运动中的一者或多者，或者对这种运动中的任一者或多者的检测。介质还可以包括处理器可执行指令，该处理器可执行指令用于经由耦合到交互式音频装置的麦克风评估所感测到的可听口头通信；并且其中生成输出的指令可以被配置为响应于所感测到的可听口头通信来生成输出。用于导出生理移动信号的处理器可执行指令包含利用表示声音信号的至少一部分来解调所感测到的反射声音信号的部分。解调可以包括声音信号的部分与所感测到的反射声音信号的部分的相乘。
11.用于控制产生声音信号的处理器可执行指令可以产生双音调频连续波信号。双音调频连续波信号可以包含与重复波形中的第二锯齿波频率变化重叠的第一锯齿波频率变化。介质可以包括用于生成超宽带(uwb)声音信号作为可听白噪声的处理器可执行指令，并且其中处理器可读介质可以包含用于利用uwb声音信号来检测用户运动的指令。该介质可以进一步包括处理器可执行指令以在设置过程中生成探测来自扬声器的声学序列以校准
低频超声回波的距离测量值。介质可以包括处理器可执行指令，处理器可执行指令用于在设置过程中生成来自一个或多个扬声器(包括扬声器)的时间同步的校准声学信号，以评估麦克风与交互式音频装置的另一麦克风之间的距离。该介质可以包括用于操作波束形成过程以进一步定位检测区域的处理器可执行指令。基于对所导出的生理移动信号的评估而生成的输出可以包括所监测到的用户睡眠信息。
12.在一些版本中，对所导出的生理移动信号的部分的评估可以包括检测一个或多个生理参数。该一个或多个生理参数可以包括呼吸速率、呼吸的相对振幅、心脏振幅、相对心脏振幅、心率和心率变化性中的任一者或多者。所监测到的用户睡眠信息可以包括睡眠评分、睡眠阶段和睡眠阶段中的时间中的任一者。所生成的输出可以包括交互式查询和响应呈现。可以通过说话者来实现所生成的交互式查询和响应呈现。所生成的交互式查询和响应呈现可以包括用以改善所监测到的用户睡眠信息的意见。基于对所导出的生理移动信号的部分的评估而生成的输出可以进一步基于访问网络上的服务器和/或进行网络资源的搜索。该搜索可以基于历史用户数据。基于对所导出的生理移动信号的至少一部分的评估而生成的输出可以包括用于控制自动化器具或系统的控制信号。该介质可以进一步包括用于通过网络将控制信号传输到该自动化器具或系统的处理器控制指令。网络可以是互联网。
13.任选地，介质还可以包括处理器控制指令，用于基于对所导出的生理移动信号的至少一部分的评估来生成控制信号以改变交互式音频装置的设置。改变交互式音频装置的设置的控制信号可以包括基于检测到用户距交互式音频装置的距离、用户的状态或用户的位置的音量变化。该处理器可执行指令可以被配置为用于评估不同声学感测范围的运动特点以监测多个用户的睡眠特点。用于控制产生声音信号的指令可以控制产生处于不同感测频率的同时感测信号，以便感测具有不同频率的不同用户。控制产生声音信号的指令可以控制产生用于在不同时间感测不同用户的交错的声学感测信号。介质可以进一步包括处理器可执行指令，用于基于所导出的生理移动信号的至少一部分来检测用户的存在或不存在。
14.在一些版本中，介质可以进一步包括处理器可执行指令，用于基于所导出的生理移动信号的至少一部分来进行用户的生物测定识别。该介质可以进一步包括用于基于(a)从对所导出的生理移动信号的至少一部分的分析确定的生物测定评估，和/或(b)从对所导出的生理移动信号的至少一部分的分析确定的所检测到的存在在网络上生成通信的处理器可执行指令。介质可以进一步包括处理器可执行指令，该处理器可执行指令被配置为致使该交互式音频装置声学地检测用户的运动存在、以可听方式询问该用户、以可听方式认证该用户，以及授权该用户或传送关于该用户的警报消息。用于可听地认证用户的处理器可执行指令可以被配置为将由麦克风所感测到的用户的口头声波与先前记录的口头声波进行比较。任选地，处理器可执行指令可以被配置为利用基于运动的生物测定感测来认证用户。
15.在一些版本中，介质可以包括处理器可执行指令，用于致使交互式音频装置基于所导出的生理移动信号的至少一部分来检测运动姿势。介质可以包括处理器可执行指令，该处理器可执行指令用于基于所检测到的运动手势生成控制信号、发送通知，或者控制对(a)自动化器具和/或(b)交互式音频装置的操作的改变。用于控制对交互式音频装置的操作的改变的控制信号可以实现用于发起交互式音频装置的交互式语音助理操作的激活麦
克风感测，由此可以进行非激活的交互式语音助理处理。发起交互式语音助理操作可以进一步基于麦克风感测对口头关键字的检测。该介质可以包括处理器可执行指令，该处理器可执行指令用于致使交互式音频装置基于所导出的生理移动信号的至少一部分来检测用户的呼吸运动，并且生成输出提示以激励用户调整用户呼吸。
16.在一些版本中，介质可包括处理器可执行指令，用于致使交互式音频装置接收来自另一交互式音频装置的通信，由另一处理装置经由由交互式音频装置的麦克风所感测到的不可听声波来控制通信。用于控制在交互式音频装置附近区域产生声音信号的指令可以基于通信来调整用于产生声音信号的至少一部分的参数。调整后的参数减少了交互式音频装置与另一交互式音频装置之间的干扰。对所导出的生理移动信号的至少一部分的评估进一步可以包括对睡眠开始或唤醒开始的检测，并且其中基于该评估的输出可以包括服务控制信号。服务控制信号可以包括以下中的一者或多者：照明控制；器具控制；音量控制；恒温控制；遮窗控制。该介质可以进一步包括处理器可执行指令，该处理器可执行指令用于提示用户收集反馈并且响应于所导出的生理移动信号的一部分和反馈中的至少一者而生成意见。介质可以包括用于确定环境数据的处理器可执行指令，并且其中该意见可以进一步基于所确定的环境数据。该介质可以包括用于确定环境数据并且基于所确定的环境数据和所导出的生理移动信号的至少一部分来生成用于环境控制系统的控制信号的处理器可执行指令。该介质可以包括用于提供睡眠改善服务的处理器可执行指令，该睡眠改善服务可以包括以下各项中的任一项：(a)响应于所检测到的睡眠状况和/或所收集的用户反馈来生成建议；以及(b)生成控制信号以控制环境器具来设置环境睡眠条件和/或向用户提供睡眠相关意见消息。
17.在一些版本中，介质可以包括处理器可执行指令，用于基于所导出的生理移动信号的至少一部分来检测姿势，并且发起用于发起交互式音频装置的交互式语音助理操作的麦克风感测。该介质可以包括用于基于所导出的生理移动信号的至少一部分来发起和监测小睡会话的处理器可执行指令。该介质可以包括处理器可执行指令，用于通过改变所产生的声音信号的至少一部分的参数来改变检测范围，以跟踪用户穿过附近区域的移动。该介质可以包括处理器可执行指令，这些处理器可执行指令用于用所导出的生理移动信号的至少一部分来检测未经授权的运动并且生成警报或通信以通知该用户或第三方。该通信可以在智能电话或智能手表上提供警报。
18.本技术的一些版本可以包括服务器。服务器可以具有对在本文描述的任何处理器可读介质的访问权。服务器可以被配置为接收通过网络将处理器可读介质的处理器可执行指令下载到交互式音频装置的请求。
19.本技术的一些版本可以包括交互式音频装置。交互式音频装置可以包括一个或多个处理器。交互式音频装置可以包括耦合到一个或多个处理器的扬声器。交互式音频装置可以包括耦合到一个或多个处理器的麦克风。交互式音频装置可以包括在本文描述的任何处理器可读介质和/或可以一个或多个处理器可以被配置为用在本文描述的任何服务器来访问这些处理器可执行指令。任选地，交互式音频装置可以是便携式和/或手持式装置。该交互式音频装置可以包括移动电话、智能手表、平板计算机或智能扬声器。
20.本技术的一些版本可以包括服务器访问本文描述的任何处理器可读介质的方法。该方法可包括在服务器处接收通过网络将处理器可读介质的处理器可执行指令下载到交
互式音频装置的请求。该方法可包括响应于请求将处理器可执行指令传输到交互式音频装置。
21.本技术的一些版本可以包括交互式音频装置的处理器的方法。该方法可以包括用处理器访问在本文描述的任何处理器可读介质。该方法可以包括在处理器中执行处理器可读介质的处理器可执行指令。
22.本技术的一些版本可以包括用于检测用户的生理移动的交互式音频装置的方法。该方法可以包括经由耦合到交互式音频装置的扬声器在交互式音频装置附近区域产生声音信号。该方法可以包括经由耦合到交互式音频装置的麦克风感测来自附近区域的反射声音信号。该方法可以包括在处理器中利用反射声音信号的至少一部分和表示声音信号的至少一部分的信号来导出生理移动信号。该方法可以包括基于对所导出的生理移动信号的至少一部分的评估来从处理器生成输出。
23.在一些版本中，所产生的声音信号的至少一部分(诸如用于感测的那部分)可以在基本上不可听的声音范围内。所产生的声音信号的部分可以是低频超声声学信号。表示声音信号的部分的信号可以包含内部产生的振荡器信号或直接路径测得的信号。该方法可以包括(a)用声音信号的至少一部分和所感测到的反射声音信号的部分导出生理移动信号，或者(b)用所感测到的反射声音信号的部分和可以与声音信号的至少一部分相关联的相关联信号导出生理移动信号。任选地,相关联的信号可以是内部产生的振荡器信号或直接路径测得的信号。该方法可以包括将振荡器信号与所感测到的反射声音信号的部分相乘来导出生理移动信号。该方法可以包括在处理器中经由耦合到交互式音频装置的麦克风评估所感测到的可听口头通信，其中生成输出可以响应于所感测到的可听口头通信。该方法可以包括通过利用声音信号的至少一部分对所感测到的反射声音信号的一部分进行解调来导出生理移动信号。解调可以包括声音信号的部分与所感测到的反射声音信号的部分的相乘。产生声音信号可以生成双音调频率解调的连续波信号。双音调频连续波信号可以包括与重复波形中的第二锯齿波频率变化重叠的第一锯齿波频率变化。该方法可以包括产生超宽带(uwb)声音信号作为可听白噪声，并且其中可以利用uwb声音信号来检测用户运动。该方法可以包括在设置过程中生成探测来自扬声器的声学序列以校准低频超声回波的距离测量值。
24.在一些版本中，该方法可以包括在设置过程中生成来自一个或多个扬声器(包括扬声器)的时间同步的校准声学信号，以评估麦克风与交互式音频装置的另一麦克风之间的距离。该方法可以包括操作波束形成过程以进一步定位检测区域。任选地，基于对所导出的生理移动信号的至少一部分的评估而生成的输出可以包括所监测到的用户睡眠信息。对所导出的生理移动信号的至少一部分的评估可以包括检测一个或多个生理参数。一个或多个生理参数可以包括呼吸速率、呼吸的相对振幅、心率、心脏振幅、相对心脏振幅和心率可变性中的任一者或多者。所监测到的用户睡眠信息可以包括睡眠评分、睡眠阶段和睡眠阶段中的时间中的任一者。所生成的输出可以包括交互式查询和响应呈现。可以通过说话者来实现所生成的交互式查询和响应呈现。所生成的交互式查询和响应呈现可以包括用以改善所监测到的用户睡眠信息的意见。
25.在一些版本中，基于对所导出的生理移动信号的至少一部分的评估而生成的输出可以进一步基于访问网络上的服务器和/或进行网络资源的搜索。该搜索可以基于历史用
户数据。基于对所导出的生理移动信号的评估的至少一部分而生成的输出可以包括控制自动器具或系统的控制信号。该方法可以进一步包括通过网络将该控制信号传输到该自动化器具或系统。网络可以是互联网。该方法还可以包括在处理器中生成控制信号，以基于对所导出的生理移动信号的至少一部分的评估来改变交互式音频装置的设置。改变交互式音频装置的设置的控制信号可以包括基于检测到用户距交互式音频装置的距离、用户的状态或用户的位置的音量变化。该方法可以进一步包括在处理器中评估不同声学感测范围的运动特点以监测多个用户的睡眠特点。
26.该方法还可以包括控制以不同感测频率产生同时的声学感测信号，以便感测具有不同频率的不同用户。该方法可以包括控制产生用于在不同时间感测不同用户的交织声学感测信号。该方法可以包括基于所导出的生理移动信号的至少一部分来检测用户的存在或不存在。该方法可以包括用处理器基于所导出的生理移动信号的至少一部分对用户进行生物测定识别。该方法可以包括用处理器基于(a)从对所导出的生理移动信号的至少一部分的分析确定的生物测定评估，和/或(b)从对所导出的生理移动信号的至少一部分的分析确定的所检测到的存在在网络上生成通信。该方法可以包括利用交互式音频装置声学地检测用户的运动存在、可听地向用户发出挑战、可听地认证用户，以及授权用户或传送关于用户的警报消息。任选地，可听地认证用户可以包括将由麦克风所感测到的用户的口头声波与先前记录的口头声波进行比较。该方法可以包括利用基于运动的生物测定感测来认证用户。
27.在一些版本中，该方法可以包括利用交互式音频装置，基于所导出的生理移动信号的至少一部分来检测运动姿势。该方法可以包括在交互式音频装置的处理器中基于所检测到的运动手势生成控制信号以发送通知，或者控制对(a)自动化器具和/或(b)交互式音频装置的操作的改变。用于控制对交互式音频装置的操作的改变的控制信号可以包括用于发起交互式音频装置的交互式语音助理操作的激活麦克风感测，由此可以进行非激活的交互式语音助理处理。该方法可以包括基于麦克风感测对口头关键字的检测来发起交互式语音助理操作。该方法可以包括利用交互式音频装置，基于所导出的生理移动信号的至少一部分来检测用户的呼吸运动，并且生成输出提示以激励用户调节用户呼吸。该方法可以包括利用交互式音频装置接收来自另一交互式音频装置的通信，该通信由另一处理装置经由由交互式音频装置的麦克风感测的不可听的声波来控制。该方法可以包括基于通信调整用于在交互式音频装置的附近区域产生声音信号的至少一部分的参数。调整后的参数可以减少交互式音频装置与其他交互式音频装置之间的干扰。对所导出的生理移动信号的至少一部分的评估进一步可以包括对睡眠开始或唤醒开始的检测，并且其中基于该评估的输出可以包括服务控制信号。服务控制信号可以包括以下中的一者或多者：照明控制；器具控制；音量控制；恒温控制；遮窗控制。
28.该方法可以包括提示用户收集反馈并且作为响应基于所导出的生理移动信号和反馈中的至少一者来生成意见。该方法可以包括确定环境数据，并且其中该意见可以进一步基于所确定的环境数据。该方法可以包括确定环境数据、基于所确定的环境数据和所导出的生理移动信号的至少一部分来生成用于环境控制系统的控制信号。该方法可以进一步包括控制提供睡眠改善服务，该睡眠改善服务可以包括以下各项中的任一项：(a)响应于所检测到的睡眠状况和/或所收集的用户反馈来生成建议；以及(b)生成控制信号以控制环境
器具来设置环境睡眠条件和/或向用户提供睡眠相关意见消息。该方法可以包括基于所导出的生理移动信号来检测姿势，并且发起用于发起交互式音频装置的交互式语音助理操作的麦克风感测。该方法可以包括基于所导出的生理移动信号的至少一部分来启动和监测小睡时段。该方法可以包括通过改变所产生的声音信号的至少一部分的参数来改变检测范围，以跟踪用户通过附近区域的移动。该方法可以包括用所导出的生理移动信号的至少一部分来检测未授权的运动并且生成警报或通信以通知该第三方用户或第三方。该通信在智能电话或智能手表上提供警报。
29.本文所描述的方法、系统、装置和设备可以在处理器中提供改善的功能，该处理器是诸如通用或专用计算机的处理器、便携式计算机处理装置(例如，移动电话、只能手表、平板计算机、智能扬声器、智能电视机等)、呼吸监测器和/或利用麦克风和扬声器的其他处理装置。此外，所描述的方法、系统、装置和设备可以在自动智能音频装置的技术领域中提供改善。
30.当然，这些方面的部分可以形成本技术的子方面。此外，各个子方面和/或各个方面可以以各种方式组合，并且还构成本技术的附加方面或子方面。
31.通过考虑包含在以下具体实施方式、摘要、附图说明和权利要求书中的信息，本技术的其他特征将变得清楚明白。
附图说明
32.在附图中以实例而非限制的方式示出了本技术，在附图中相同的附图标记表示相似的元件，包括：
33.图1示出了示例性支持语音的音频装置，诸如使用具有本文所述的信号生成和处理技术的低频超声生物运动感测的音频装置。
34.图2示出了用于从装置附近区域接收音频信息的示例性处理装置以及该装置的示例性处理的示意图。
35.图3是诸如智能扬声器装置等处理装置的示意图，可以根据本技术的某些形式来配置该处理装置。
36.图4a展示了单音线性调频脉冲的频率特点，诸如用于频率解调连续波感测(fmcw)。
37.图4b展示了双音调线性调频脉冲的频率特点，诸如用于频率解调连续波感测(fmcw)。
38.图5示出了可实施用于本发明技术的感测系统的双音调fmcw的示例性解调。
39.图6示出了支持语音的音频装置的示例性操作，诸如使用具有本文描述的信号生成和处理技术的低频超声生物运动感测的音频装置。
40.图7示出了诸如用于本文描述的处理的示例性音频处理模块或块。
41.图8示出了通过处理音频导出运动特点而产生的示例性输出(例如，睡眠阶段数据)。
42.图8a、图8b和图8c示出了诸如用于fmcw系统的三角形单音调的各种信号特点。
43.图9a、图9b和图9c示出了诸如用于fmcw系统的三角形双音调的各种信号特点。
具体实施方式
44.在更详细地描述本技术之前，应当理解，本技术不限于在本文描述的可以变化的特定实例。还应当理解，本公开中使用的术语是为了描述所讨论的具体实例的目的，而不旨在是限制性的。
45.关于可共享共同特点或特征的本技术的各种形式提供以下描述。应理解，任一示例性形式的一个或多个特征可与另一形式的一个或多个特征组合。此外，本文任何形式的任何单一特征或特征组合可构成另一示例性形式。
46.5.1用音频设备筛选、监测和检测
47.本技术涉及用于检测对象的移动的音频系统、方法和设备，该移动包括诸如当对象睡着时的例如，身体总移动、呼吸移动和/或心脏相关的胸部移动。更具体地，涉及与诸如智能扬声器等交互式音频装置相关联的处理应用。在一些版本中，音频装置可以是使用装置传感器(诸如扬声器和麦克风)来检测这种运动的智能电话、平板计算机、移动、移动电话、智能电视机、膝上型计算机等。
48.现在将参照图1至图3来描述适于实现本技术的示例性系统的特别极小的或非突出的版本。交互式音频装置可以被实现为具有一个或多个处理器(诸如微控制器)的处理装置100，该处理器可以是配置有用于检测对象110的移动的应用200的智能扬声器。它可以放置在对象110附近区域的床头桌上或以其他方式位于房间中。或者，处理装置100可为(例如)智能电话、平板计算机、膝上型计算机、智能电视机或其它电子装置。处理装置100的处理器可以被配置为执行应用200的功能等，包括使得音频信号被生成和传输，通常通过作为诸如在装置附近区域的房间中的一般开放或无限制介质的空中。处理装置可以通过用例如换能器(诸如麦克风)感测所传输的信号来接收所传输的信号的反射。处理装置，诸如通过利用所发送的信号进行解调可以处理所感测到的信号，以确定身体移动，诸如全身移动、心脏移动和呼吸移动。除了其他部件之外，处理装置100可以典型地包含扬声器和麦克风。扬声器可以被实施为传输所生成的音频信号并且麦克风接收所反射的信号。可以利用在2017年9月19日提交的国际专利申请pct/ep 2017/073613中描述的任何技术来实施所生成的用于感测和处理的音频信号，国际专利申请的全部公开内容通过引用并入本文。尽管图1至图3中所示的版本示出了具有集成感测设备的各种处理装置(例如，其中外壳包括所有感测设备或诸如麦克风和扬声器的组件)，但是在一些版本中，感测设备可以是经由有线和/或无线连接耦合或一起操作的分立或分开容纳的部件。
49.虽然在本文一般地描述了关于声学感测(例如，近场、低频超声学感测等)的感测设备，但是应当理解，这些方法和装置可以使用其他感测技术来实施。例如，作为替代方案，处理装置可以用用作感测设备的rf传感器的射频(rf)收发器来实施，使得所产生的信号和所反射的信号是rf信号。可以用以下中描述的任何技术和传感器部件来实施可以与处理装置集成或耦合的这种rf传感装置：2013年7月19日提交的标题为“范围门控射频生理传感器”的国际专利申请第pct/us2013/051250号；2017年8月16日提交的标题为“数字射频运动检测传感器”的国际专利申请第pct/ep 2017/070773号；和2017年8月16日提交的标题为“数字范围门控射频传感器”的国际专利申请第pct/ep 2016/069413号。类似地，在替代版本中，可以用红外辐射发生器和红外辐射检测器(例如，ir传输器和ir检测器)来实施这种用于传输感测信号并感测其反射的感测设备。可类似地实施如本文的用于运动检测和表征
的此类信号的处理。
50.使用这些不同感测技术中的两者或多者的组合，可以通过组合相应技术的优点来增强感测结果。例如，在我们日常生活的噪声环境中，所讨论的声学感测技术是相当令人满意的。然而，当噪声低得多并且感测信号更容易听到时，具有非常灵敏的听觉的用户可能发现使用这种技术在夜晚是有问题的。类似地，虽然ir感测在夜晚期间提供良好的s/n信号，但是其在白天的光(和热)中使用可能是有问题的。在这种情况下可以在夜晚使用ir感测，通过在白天使用声学感测来补充。
51.任选地，处理装置的基于声音的感测方法可以在其他类型的装置中实施或由其他类型的装置实施，诸如床边装置(例如，呼吸治疗装置，诸如持续气道正压(例如，“cpap”)装置或高流量治疗装置)，诸如图5中所示的呼吸治疗装置5000，其中治疗装置用作处理装置100或与单独的处理装置100协同操作。参考在2014年10月28日申请的国际专利公开第wo/2015/061848号(申请号pct/au 2014/050315)，和在2016年3月14日申请的国际专利公开第wo/2016/145483号(申请号pct/au 2016/050117)中描述的装置，可以考虑这种装置(包括压力设备或鼓风机(例如，蜗壳中的电机和叶轮)、压力装置或鼓风机的一个或多个传感器和中央控制器)的实例，其全部公开内容通过引用并入本文。这种呼吸治疗装置5000可以包括可选的加湿器4000并且经由患者回路4170(例如，导管)向患者界面3000提供治疗。在一些情况下，呼吸治疗装置5000可以具有单独的传感器，诸如麦克风，用于感测患者回路4170内和通过患者回路4170的内部声音相关的状况，而不是用于感测贯穿本技术描述的过程的外部声音相关的声音状况。
52.处理装置100可以适于提供监测对象的呼吸和/或其他移动相关特征的有效且有效的方法。当在睡眠期间使用时，处理装置100及其相关联的方法可用于检测(例如)用户的呼吸并识别睡眠阶段、睡眠状态、状态之间的转变、呼吸和/或其他呼吸特点。当在唤醒期间使用时，处理装置100及其相关方法可用于检测运动，诸如人或对象呼吸(吸气、呼气、停止和导出速率)和/或心冲击描记图波形的存在或不存在以及随后导出的心率等。这样的移动或移动特点可以用于控制如在本文更详细描述的各种功能。
53.处理装置100可以包括集成芯片、存储器和/或其他控制指令、数据或信息存储介质。例如，可以在装置或设备的存储器中的集成芯片上编码包括本文描述的评估/信号处理方法的编程指令，以形成专用集成芯片(asic)。这样的指令还可以或可选地使用适当的数据存储介质作为软件或固件被加载。任选地，这样的处理指令可以诸如通过网络(例如因特网)从服务器下载到处理装置，使得当指令被执行时，处理装置用作筛选或监测设备。
54.因此，处理装置100可以包括如图3所示的多个部件。处理装置100可以包括麦克风或声音传感器302、处理器304、可选的显示器界面306、可选的用户控制/输入界面308、扬声器310和存储器/数据存储312(诸如，具有本文描述的处理方法/模块的处理指令)以及其他部件。在一些情况下，麦克风和/或扬声器可以使用装置额处理器被用作用户界面，诸如当处理装置例如经由扬声器对麦克风所感测到的音频和/或口头命令进行响应时，控制处理装置的操作。就这点而言，处理装置100可用作例如使用自然语言处理的语音助理。
55.处理装置100的一个或多个部件可以与处理装置100集成或可操作地耦合。例如，麦克风或声音传感器302可以与处理装置100集成，或者诸如通过有线或无线链路(例如，蓝牙、wi-fi等)与处理装置100耦合。因此，处理装置100可包括数据通信界面314。
56.存储器/数据存储装置312可以包含用于控制处理器304的多个处理器控制指令。例如，存储器/数据存储312可以包含处理器控制指令，用于使得应用200由本文描述的处理方法/模块的处理指令来执行。
57.本技术的实例可被配置为使用可由应用200实施的一个或多个算法或过程来在用户使用处理装置100睡着时检测运动、呼吸和任选的睡眠特点。例如，应用200可以由若干子进程或模块来表征。如图2所示，应用200可以包括音频信号生成和传输子过程202、运动和生物物理特征检测子过程204、诸如用于对象不存在/存在检测、生物测定识别、睡眠特征、呼吸或心脏相关特征等的运动特征化子过程206、以及诸如用于呈现信息或控制如本文更详细描述的各种装置的结果输出子过程208。
58.例如，可以实施诸如在睡眠分段处理模块中的处理206处的可选睡眠分段。然而，可任选地添加这些处理模块/块中的任一者或多者(例如，睡眠评分或分段、对象识别处理、运动监测和/或预测处理、器具控制逻辑处理或其它输出处理等)。在一些情况下，可以使用以下任何专利或专利申请中描述的设备、系统和方法的任何部件、装置和/或方法来执行信号后处理的功能，其中每个专利或专利申请的全部公开内容通过引用并入本文：2007年6月1日提交的名称为“用于监测生理体征的设备、系统和方法”的国际专利申请第pct/us2007/070196号；2007年10月31日提交的标题为“用于监测心肺参数的系统和方法”的国际专利申请第pct/us2007/083155号；2009年9月23日提交的标题为“用于评估和干预的生活质量参数的非接触和最小接触监测”的“国际专利申请第pct/us2009/058020号；2010年2月4日提交的标题为“用于慢性疾病监测的设备、系统和方法”的国际申请第pct/us2010/023177号；2013年3月30日提交的标题为“用于监测心肺健康的方法和装置”的国际专利申请第pct/au 2013/000564号；2015年5月25日提交的标题为“用于监测慢性疾病的方法和设备”的国际专利申请第pct/au 2015/050273号；2014年10月6日提交的标题为“疲劳监测和管理系统”的国际专利申请第pct/au 2014/059311号；2017年8月16日提交的标题为“数字射频运动检测传感器”的国际专利申请第pct/ep2017/070773号；2013年9月19日提交的标题为“用于确定睡眠阶段的系统和方法”的国际专利申请第pct/au 2013/060652号；2016年4月20日提交的标题为“根据特征信号检测和识别人”的国际专利申请第pct/ep 2016/058789号；2016年12月8日提交的标题为“利用传感器的周期性肢体移动识别”的国际专利申请第pct/ep2016/080267号；2016年8月17日提交的标题为“睡眠呼吸障碍筛查器”的国际专利申请第pct/ep2016/069496号；2016年4月20日提交的标题为“利用传感器的手势识别”的国际专利申请第pct/ep2016/058806号；2016年8月16日提交的标题为“数字范围门控射频传感器”的国际专利申请第pct/ep 2016/069413号；2016年8月26日提交的标题为“用于监测和管理慢性疾病的系统和方法”的国际专利申请第pct/ep2016/070169号；2014年7月8日提交的标题为“用于睡眠管理的方法和系统”的国际专利申请第pct/us2014/045814号；2016年3月24日提交的标题为“周期性呼吸的检测”的美国专利申请第15/079,339号。因此，在一些实例中，对所检测到的移动(包括例如呼吸移动)的处理可以用作用于确定(a)指示睡眠的睡眠状态中的任一者或多者的基础；(b)指示清醒的睡眠状态；(c)指示深睡眠的睡眠阶段；(d)指示浅睡眠的睡眠阶段；以及(e)指示rem睡眠的睡眠阶段。就这点而言，虽然本公开的声音相关感测技术提供了用于运动感测的不同机制/过程，诸如使用扬声器和麦克风以及声音信号的处理，但是当与这些并入的参考文献中描述的雷达或rf感测技术相比时，一旦利用本说明
书中描述的声音感测/处理方法获得了呼吸信号，诸如呼吸速率，则可以通过这些并入的参考文献的确定方法来实施处理呼吸或其他生理移动信号以提取睡眠状态/阶段信息的原理。例如，一旦由rf或sonar根据运动确定呼吸率、移动和激活计数，则睡眠分段是常见的分析。作为附加实例，rf脉冲cw和sonarfmcw实施方式之间的感测波长可以不同。因此，可以诸如通过检测跨范围的移动(以不同的感测距离开始)而不同地确定速度。对于fmcw，可以在多个范围进行移动检测。因此，可以跟踪一个或多个移动目标(不管它是两个人，还是实际上是人的不同部分，这取决于它们相对于sonar传感器的角度。
59.典型地，可以生成来自扬声器的音频信号并将其传输到用户，用于使用本文描述的一个或多个音调来感测诸如音频信号。音调以一个或多个特定频率提供介质(例如，空气)中的压力变化。出于本描述的目的，所产生的音调(或音频信号或声音信号)可以被称为“声音”、“声学”或“音频”，因为它们可以以与可听压力波(例如，通过扬声器)类似的方式产生。然而，这样的压力变化和音调在本文应当被理解为是可听的或不可听的，尽管它们由术语“声音”、“声学”或“音频”中的任一者表征。因此，所产生的音频信号可以是可听的或不可听的，其中人群中的可听频率阈值随年龄而变化。信号可以是基本上不可听的，使得大多数人无法辨别声音(例如，在高于18khz的频率范围内)。典型的“音频”标准范围是大约20hz到20,000hz(20khz)。高频听阈随年龄增加而降低，中年人不可听15-17khz以上的声音，而青少年不可听18khz以上的声音。语音的最重要的频率大约在250-6,000hz的范围内。典型的消费者智能电话的扬声器和麦克风信号响应被设计为在许多情况下在19-20khz以上滚降，其中一些延伸到23khz以上和更高(特别是在装置支持大于48khz，诸如96khz的采样速率的情况下)。因此，对于大多数人，可以使用17/18到24khz范围内的信号并且保持不可听。对于能听到18khz而听不到19khz的年轻人，可以使用19khz到21khz的频带。注意，一些家庭宠物可能能够听到更高的频率(例如，狗达到60khz、猫达到79khz)。本技术的感测音频信号的适当范围可以在低超声频率范围内，诸如15至24khz、18至24khz、19至24khz、15至20khz、18至20khz或19至20khz。
60.可以由本文所述的处理装置来实现如pct/ep 2017/073613中所述的诸如使用低频超声学感测信号的音频感测的任何布置和方法。然而，在一些情况下，可以如本文所述实现双音fmcw(也称为双斜坡技术)。
61.例如，具有一个“音调”(即，频率上扫和下扫)的三角形fmcw波形可以由处理装置使用其扬声器生成，其中波形具有图4a中所示的频率与时间特点，并且其中可以评估上扫或仅下扫或甚至两者的处理以用于距离检测。对于一个音调的相位连续的三角形形式是高度期望的，因为它最小化或消除了由相位不连续性产生的播放声音中的任何可听假象。这种情况的斜坡变化可能引起非常不愉快的和可听的嗡嗡声，因为要求扬声器在样本空间内从播放某一频率的某一幅度的声音跳转到播放相似幅度的低得多(或高得多)的频率；扬声器中的机械变化可以引起咔嗒声，并且线性调频声的频繁重复意味着用户听到蜂鸣声(许多紧密间隔的咔嗒声)。
62.任选地，在本技术的一些版本中，可以用具有斜坡波形(例如，仅由上扫或下扫组成)的特殊双“音调”来实施作为fmcw的声学感测信号，使得频率从一个斜坡的末端(频率斜升和斜降)到下一个斜坡(频率斜升和斜降)急剧变化，而没有可听假象。这种双“音调”频率调制波形在图4b中示出了其相对于时间的频率特点。这可最终简化系统中的数据处理，且
还移除三角波形的每一点处的潜在高振幅转变。急剧的和重复的转变有时会在系统的低级dsp/codec/固件中触发奇怪的行为。
63.图4a和图4b示出了fmcw单音调(图4a)和双音调(图4b)实施方式的频域比较。单音调(图4a)可以优选地包括下扫(产生的频率随时间减少)以确保不可听性。然而，下扫可能被省略，但可能导致一些可听性。双音调(音调对)图4b可以帮助避免这种下扫的需要，因为时域表示的形状是不可听的。图4b示出了第一音调4001和可选的第二音调4002的重叠。图没有示出接收到的回波(即，反射信号)。因此，音调在重复波形中形成与第二锯齿波频率变化重叠的第一锯齿波频率变化。它们是连续的，使得它们可以在感测周期期间重复。
64.因此，当利用fmcw类型的方法实施低频超声传感系统时，存在可以产生声传感信号的不同方式。这可能涉及频域中的波形形状(例如，三角形(对称或不对称)、斜坡、正弦曲线等)、周期(时间上的“线性调频”的持续时间)和带宽(由“线性调频”覆盖的频率，例如，19-21khz)的差异。还可以在fmcw配置中使用两个或多个同时的音调。
65.采样数的选择定义了可能的输出解调采样率(例如，在48khz采样率下的512个采样等于93.75hz(48,000/512)，而4096个采样持续时间的扫描时间等于11.72hz(48,000/4096)。如果使用具有1500个样本正常运行时间和1500个样本停机时间的三角波形，则输出采样率为16hz(48,000/3000)。对于这种类型的系统，例如可以通过将信号乘以参考模板来执行同步。
66.关于输出采样率的选择，经验测试已经示出在大约8至16hz的区域中操作是优选的，因为它广泛地避免1/f噪声(由于空气移动、潜在地强衰落和/或房间模式引起的低频效应)以及停留在以较高解调采样率看到的混响区域之外(即，我们已经允许时间用于感测波形“线性调频”的任何一个频率中的能量在下一个“线性调频”中的下一个类似分量之前衰落)。以另一种方式呈现，如果你让仓太宽，则气流和温度的变化(例如，开门并且热量进入或离开房间)意味着你正在查看的任何块可能含有不想要的可能看起来像呼吸的基线漂移。实际上，这意味着当空气移动时，可以看到波浪在频带上运动(穿过距离仓)。这与桌式或脚柱式风扇，或空调或其他hvac系统的更局部化效果不同。实际上，如果使块太宽，则系统开始“看起来像”cw系统。另一方面，如果在过高的刷新率(即，太短的斜坡)下操作系统，可以得到混响。
67.对于如图4a所示的具有一个“音调”(即，频率上扫和下扫)的三角形fmcw波形，系统可以处理例如仅上扫或仅下扫，或者实际上可以处理两者以用于距离检测。对于一个音调的相位连续的三角形形式是高度期望的，因为它最小化或消除了由相位不连续性产生的播放声音中的任何可听假象。这种情况的斜坡变化可能引起非常不愉快的和可听的嗡嗡声，因为要求扬声器在样本空间内从播放某一频率的某一幅度的声音跳转到播放相似幅度的低得多(或高得多)的频率；扬声器中的机械变化可以引起咔嗒声，并且线性调频声的频繁重复意味着用户听到蜂鸣声(许多紧密间隔的咔嗒声)。
68.因此，在本技术的一些版本中，可以用具有斜坡波形(例如，仅由上扫或下扫组成)的特殊双“音调”来实施作为fmcw的声学感测信号，使得频率从一个斜坡的末端(频率斜升和斜降)到下一个斜坡(频率斜升和斜降)急剧变化，而没有可听假象。这种双“音调”调频波形示出了其相对于时间的频率特点，其中至少两个变化的频率跳动在一段时间内重叠，并且在该周期的任何时刻，诸如对于斜坡的持续时间，这些频率跳动中的每一者都可以具有
相对于其他频率不同的频率，这在图4b中关于虚线和实线示出。这可最终简化系统中的数据处理，且还移除三角波形的每一点处的潜在高振幅转变。急剧的和重复的转变有时会在系统的低级dsp/codec/固件中触发奇怪的行为。
69.实施这种双音调信号的一个重要考虑是，产生(成形)所得形状，使得扬声器/系统不需要进行急剧的转变，并且它具有零点。这可以降低对使信号不可听而进行的滤波的需求。例如，可以避免高通或带通滤波，同时仍然允许信号作为不可听的感测信号进行操作。波形中零的存在简化了信号处理，因为零简化了这种信号的传输和接收的同步(例如，用于解调)。双音调的结果是，当使用一个以上的音调时，它提供了衰落鲁棒性的要素，并且衰落可以随所使用的频率以及相位或频率而变化(例如，在双音调系统中，可以在fmcw音之间使用100hz的偏移)。
70.可参照图8和图9来考虑图4a的fmcw单音调和图4b的fmcw双音调的性能。图8a、图8b和图8c示出了图4a的fmcw单音调实例的信号特点。图9a、图9b和图9c示出了图4b的fmcw双音调实例的信号特点。
71.图8a示出了作为在声学感测系统中操作的三角单音调fmcw操作的所传输的(tx)信号8001和所接收到的(rx)反射8001-r(回波)。图8b示出时域波形。图8c示出了信号的频谱内容。显然，在较低频率(在与fmcw信号的带宽相关的峰值区域之外)处仍然存在内容。这样的较低频率因此可以在可听频率范围内，从而导致不期望的性能特点。
72.图9a描绘了信号图9002中的双音调斜波fmcw信号。信号图9002表示两个音调，并且信号图9002-r表示两个音调/多音调的接收回波。图9b示出了具有零点(作为结果的过零点)的双音调的余弦状函数形状。图9c示出了在较低频率下更平滑得多的峰值和更低的功率幅度。当与图8c的斜率区域sr相比时，图9c的斜率区域sr示出了在/到较低频率中双音调斜坡fmcw的功率(db)的急剧下降。从高(基本上不可听的、用于感测)频范围到较低(可听的、通常不用于感测)频率的更急剧的滚降是期望的声学感测属性，因为它对于用户来说较不突兀。在较低频率(在与fmcw信号的带宽相关的峰值区域之外)的功率可以比在图8c中所示的单音调fmcw三角形式的情况下的功率小40db。如图9c所示，当与图8c的多边峰区域pr相比时，图9c的上平滑峰区域pr指示双音调斜坡fmcw信号可以具有更好的声学感测属性并且对扬声器的要求更低。
73.这样的多音调fmcw或双音调fmcw系统(例如在基于linux的单板计算机上运行)可以提供感测，使得可以在4m或更大的感测范围内识别多个人。它还可以检测例如在距离处理装置1.5米的心率，以及在外至大约4米或更大的呼吸率。示例性系统可以使用18,000hz和18,011.72hz的两个音调，这两个音调可以分别斜升到例如19,172hz和19183.72hz。
74.对于该1,172hz的斜坡，我们可以考虑使用例如大小为4096点的fft，其中仓宽度为48,000hz/4096＝11.72。针对音速为340m/s，我们注意到：340ms/s/11.72/2(用于输出和返回)＝100个仓上14.5m或者每个仓14.5cm。例如，每个“仓”可以检测多达一个人(每个仓)(但是实际上人之间的间隔将大于这个值)。作为同步过程的一部分，信号可以被平方，例如，以避免在计算上更昂贵的相关操作，其中信号被乘以参考模板。与所使用的fft大小无关，最大范围分辨率是声速/(带宽*2)＝340/(1172*2)＝14.5cm。然而，可以任选地提供同步过程，该同步过程包括将所感测到的反射信号与所感测到的直接路径信号互相关。同步处理可以任选地包括将参考模板与所感测到的反射声音信号的至少一部分相乘。
75.这样的多音调fmcw或双音调fmcw系统(例如在基于linux的单板计算机上运行)可以提供感测，使得可以在4m或更大的感测范围内识别多个人。它还可以检测例如在距离处理装置1.5米的心率，以及在外至大约4米或更大的呼吸率。示例性系统可以使用18,000hz和18,011.72hz的两个音调，这两个音调可以分别斜升到例如19,172hz和19183.72hz。
76.对于该1,172hz的斜坡，我们可以考虑使用例如大小为4096点的fft，其中仓宽度为48,000hz/4096＝11.72。针对音速为340m/s，我们注意到：340ms/s/11.72/2(用于输出和返回)＝100个仓上14.5m或者每个仓14.5cm。例如，每个“仓”可以检测多达一个人(每个仓)(但是实际上人之间的间隔将大于这个值)。作为同步过程的一部分，信号可以被平方，例如，以避免在计算上更昂贵的相关操作，其中信号被乘以参考模板。与所使用的fft大小无关，最大范围分辨率是声速/(带宽*2)＝340/(1172*2)＝14.5cm。
77.图5示出了通过将信号乘以其自身来“自混合”解调双音调fmcw斜坡的实例(以平方为单位)。任选地，可以通过将所接收到的回波信号与表示所产生的传输信号的信号(例如，来自振荡器的信号)相乘来执行解调，以产生反映扬声器或处理装置100的范围内的距离或运动的信号。处理产生“差拍频率”信号，该信号有时被称为“中间”频率(if)信号。如本文更详细描述的，当诸如通过本地振荡器或通过其自身解调所接收到的rx信号并将其低通滤波时，其利用fmcw可能产生还不被认为是基带的不寻常的“中间”信号。可以诸如通过应用快速傅立叶变换处理(fft)来处理if信号以变为基带(bb)。
78.如图5所示，仅利用接收(反射声音信号)rx信号进行解调。这在数学上是可能的，因为rx信号包含表示其中的传输(tx)信号(例如，所产生的声音，其可以部分地沿着从扬声器到麦克风的直接路径传播，并且与反射声音一起被感测)的信号的大百分比。装置可以将所接收到的信号rx自身相乘(诸如仅对其进行平方，因为解调可以被认为是乘法操作)。这之后可以是滤波过程(例如，低通滤波)。
79.尽管图5示出了自混合，但是可以实施若干不同的方法来利用反射信号和感测信号(即tx或声音信号)导出运动信号。在一个这样的版本中，本地振荡器lo(其也可以产生声音信号)可以有效地产生用于经解调的tx信号的副本。由于延迟或失真，实际产生的tx信号可能与来自振荡器的内部信号略有不同。然后，可以通过来自本地振荡器lo(tx)*rx的信号的乘法来进行解调，该乘法之后还可以进行滤波(例如，低通滤波)。
80.在另一种版本中，可实施两个本地振荡器以产生两个lo信号。例如，lo信号的正弦和余弦副本可被实施以提供所接收到的信号的正交解调。通常，仅传输来自振荡器的一个信号(正弦或余弦)。由于延迟或失真，确切的tx信号将与来自本地振荡器lo的信号稍微不同。在该版本中，可以进行解调(a)rx*lo(sin)和(b)rx*lo(cos)，在每种情况下都可以跟随滤波(例如，低通)以产生i和q解调分量。
81.系统的声音感测与其他音频回放的感测-混合(共存)(音乐、语音、打鼾等)
82.除了本文描述的超声学感测之外，当处理装置100可以将其扬声器和/或麦克风用于其他目的时，可以实施本技术的一些版本。可以实施另外的过程以允许这种同时起作用。例如，传输比特流(声学感测信号)可以与由扬声器播放的任何其他音频内容(可听的)数字混合，如前面提到的用于同时产生音频内容和超声学感测。可以使用几种方法来执行这种可听音频内容和超声处理。一种方法需要对其他音频内容(其可以是单声道、立体声或更多通道-诸如在多通道环绕声系统中)进行预处理以去除将与感测波形重叠的任何频谱内容。
例如，音乐序列可以含有将与例如18到20khz感测信号重叠的超过18khz的分量。在这种情况下，可以低通滤出将近18khz的音乐分量。第二种选择是自适应地对音乐滤波，以便在重叠感测期间的短时间段内去除频率分量(直接路径和回波)，否则允许未滤波的音乐；该方法被设计为保持音乐的保真度。第三种选择可以简单地对音乐源不做任何改变。
83.应当注意，在延迟被故意添加到某些通道(例如，dolby pro logic、digital、atmos、dts等，或者实际上虚拟化的空间形成器功能)上的音频源的情况下，也相应地处理任何这样的带内信号，并且当处理回波时，将不延迟感测波形或者将允许延迟感测波形)。
84.感测-与语音助理共存
85.应当注意，超声学感测波形的某些实现(例如，三角fmcw波形)可能对正在执行语音识别服务的某些语音助理(诸如，google home)具有不期望的和不想要的影响，因为它们具有可听频带内的频谱内容。通过使用双斜坡音调对，或预滤波(高通或带通滤波三角线性调频)感测波形，或使语音识别信号处理适应于对超声学感测信号分量鲁棒，可以避免这样的潜在串扰。
86.如下考虑fmcw斜坡信号y：
87.y＝[a cos(2pi(f1+f2t)t+phi]
0t
[0088]
这个在时间周期t中从频率f_1倾斜到频率f_2，当在时间周期t切换时，这具有次谐波。
[0089]
对这一现象的分析表明，它具有出现在较低频率的频带外谐波，因此可以被听到。
[0090]
现在考虑特定的双斜坡对y，如下所示：
[0091]
y＝[a cos(2pi(f1+f2t)t+phi]
0t-[ac os(2pi(f1+(1/t)+f2t)t+phi]
0t
[0092]
因此，消除了次谐波(在上文中减去)，并且保留了信号。1/t是非常特异性的；通过使用(1/t)，或实际上是-(1/t)，在时间周期t的切换的效果被抵消。因此，所得到的信号是不可听的。它在数学上简单的同时做到这一点，这是一个优点，因为它在装置(例如，智能移动电话装置)上计算不繁琐。
[0093]
因为双音调开关处于dc电平(“0”)，所以在波形线性调频(信号的开始和结束)中存在关闭的自然点，以便避免咔嗒声(即，以避免扬声器进行大跳跃的方式来打开和关闭)。“0”还允许我们在每个线性调频脉冲之间，或者实际上在线性调频脉冲组之间引入安静周期，以便减轻回响和/或识别特定的传输器(即，重叠线性调频脉冲开/关时间序列)。
[0094]
当考虑同时在房间中操作的两个装置时，子谐波的缺乏也是一个优点，因为它去除了可能的干扰源。因此，两个不同的装置可以使用非重叠(以频率为单位)的音调对，或者实际上以频率为单位重叠(但是由于非重叠静默时段的添加而及时重叠)的音调对。在扬声器/麦克风组合具有有限的可用不可听的带宽的情况下，后者可能是一个优点(即，它们的灵敏度在19或20khz以上严重滚降)。
[0095]
即使将相对不可听的三角fmcw信号与双音调斜坡进行比较，后者也具有非常小的子谐波电平(接近真实世界智能装置上的噪声基底-例如，接近量化电平)。
[0096]
因为双音调斜坡可以斜升或斜降(而不是三角形)并且没有带外分量，所以不存在利用三角形斜坡可能发生的斜坡间泄漏问题。
[0097]
在没有大量滤波的情况下，不能使标准斜坡音频信号不可听，这可能使所得到的波形的相位和幅度失真。
[0098]
感测-校准/房间映射以优化性能
[0099]
处理装置可以配置有设置过程。当装置首次建立时(或在操作期间周期性地建立时)，其可以发出声学探测序列以映射房间环境、房间中的人的存在和/或数量等。如果装置随后被移动，或者检测到感测信号的质量已经降低，则可以重复该过程。该系统还可以传输声学训练序列，以便检查扬声器和麦克风的性能，并且评估均衡参数；真实世界的换能器可能在系统所使用的超声频率以及温度和开启特点方面具有一些非线性(例如，由于扬声器可能花费数分钟来解决)。
[0100]
感测-用于定位的波束形成
[0101]
可以实施专用波束形成或利用现有的波束形成功能，即，其中采用信号处理来提供发送到传感器阵列或从传感器阵列接收的信号的方向或空间选择性。这通常是“远场”问题，其中波前对于低频超声相对平坦(与“近场”医学成像相反)。对于纯cw系统，将音频波从扬声器传播出去，导致最大和最小区域。然而，如果可以获得多个换能器，则可以有利地控制辐射图-称为波束形成的方法。在接收侧，也可以使用多个麦克风。这允许在方向上优先地操纵声学感测(例如，在存在多个扬声器的情况下操纵所传输的声音和/或所接收到的声波)并且扫过区域。针对床上用户的情况，可以将感测转向对象，或者转向在床上有例如两个人的多个对象。可以在传输或接收时实施波束转向。由于低成本超声换能器(麦克风或扬声器)可以是相当定向的(例如，针对小换能器，波长与换能器的尺寸在此相当)，这可以限制它们可以被转向的区域。
[0102]
感测-解调和下变频
[0103]
回到图5，诸如利用图7所示的乘法器(混频器)模块7440或根据图5的解调器解调所感测到的信号，以产生基带信号，可以进一步处理该基带信号以检测在感测场中是否存在与人的有特点的运动相关的、与接收的回波的变化相关的解调信号中的干扰。在除了接收到的回波信号之外还存在强的接收到的“直接路径”(从扬声器到麦克风的高串扰，例如，通过固体传输对通过空气传输和/或从扬声器到麦克风的短距离)信号的情况下，可以执行所得和的乘法以进行解调。否则，所接收到的回波可以与以电子形式而非声音形式提取的原始传输信号的一部分相乘(混合)。在特定实例中，系统不将所接收到的信号乘以传输信号来对其进行解调(尽管它可以是其他实施例)。相反，系统可以如下将接收信号(其包含传输信号的衰减版本以及接收回波)与其自身相乘：
[0104]
传输＝a
tx
(cos(p)-cos(q))
[0105]
接收＝a(cos(p)-cos(q))+b(cos(r)-cos(s))
[0106]
自混频器＝[a(cos(p)-cos(q))+b(cos(r)-cos(s))]x[a(cos(p)-cos(q))+b(cos(r)-cos(s))]即，接收x接收
[0107]
低通滤波后的自混频分量(已解调)：
[0108]
方程简化后的自混频器输出(经解调的)：
其中aa和bb是dc分量。
[0109]
含有反射信号信息的解调分量(可以是静态的，也可以是移动相关的)：-ab cos(q-r) ab cos(q-s) ab cos(p-r)
ꢀ‑
ab cos(p-s)
[0110]
其优点是：传输和接收之间不需要同步，因为所有定时信息只包含在接收中，并且它在计算上是快速和简单的(方形阵列)。
[0111]
在i、q(同相和正交)解调之后，存在如何分离与空气湍流、多路径反射(包括与其相关的衰落)和其他缓慢运动(通常非生理)信息相关的低频分量的选择。在一些情况下，这种处理可以称为杂波去除。可以减去dc电平(均值)，或者在重叠或非重叠块的基础上执行一些其他减损(诸如线性趋势去除)；高通滤波器也可用于去除dc和极低频分量(vlf)。可以处理“去除的”信息以评估这种dc和vlf数据的强度-诸如是否存在强气流或显著的多路径效应。然后经滤波的解调信号可以被传递到频谱分析阶段。另一种选择是不使用高通滤波器并将未滤波的信号直接传递到频谱分析处理块，并在本阶段执行dc和vlf评估。
[0112]
示例性系统架构
[0113]
图6示出了使用低频超声生物运动感测的支持语音的睡眠改善系统的示例性系统架构。可以利用在本文描述的感测技术(例如，多音调fmcw声学感测技术)来实施系统。用户可以与先前被激活以监测用户睡眠的语音激活的扬声器通话。例如，口头指令可以查询由麦克风接收的智能扬声器，并且麦克风信号的查询由处理器评估以确定查询的内容或指令，以产生确定的睡眠评分、呼吸(sdb)事件或睡眠统计的可听报告。基于报告，诸如通过建议治疗装置来帮助睡眠，系统的处理还可以产生关于改善睡眠的听觉意见。可以响应于麦克风接收到的询问(诸如“昨晚我的睡眠如何？”)经由处理装置100的扬声器通过说和听向用户解释例如，图8中示出的与睡眠有关的数据，例如睡眠评分、睡眠阶段中的时间等。作为响应，处理装置100可以经由其扬声器生成诸如声音/音频的输出，该输出具有由处理装置所检测到的数据，诸如来自sonar感测的数据。例如，作为响应，处理装置可以生成音频报告，其解释道：“你睡了共计六小时，并且在睡眠时间期间你仅苏醒过两次。深睡眠4小时，浅睡眠2小时。存在呼吸暂停和呼吸暂停低通气计数两个事件”。
[0114]
关于图7所示的示例性模块，可以考虑用于检测启用了本技术的低频超声所感测到的启用了扬声器的处理装置100附近区域的运动的系统处理。处理装置7102包括扬声器7310和，任选地，麦克风7302以及具有一个或多个可编程处理器的微控制器7401。这些模块可以被编程到微控制器的存储器中。就这点而言，在7410，音频样本或音频内容可以由可选的上采样处理模块进行上采样，并且可以被提供给求和器模块7420，诸如如果可选的音频内容与感测信号同时由扬声器产生。就这点而言，加法器模块7420任选地从产生fmcw信号(例如期望低超声频率范围内的双音调fmcw信号)的fmcw处理模块74430将音频内容与期望频率范围内的fmcw信号组合。求和的fmcw信号然后可以诸如由转换器模块处理，用于由扬声器7310输出。fmcw信号还被施加到解调器，诸如乘法器模块7440，其中fmcw信号与在麦克风7302处观察到的所接收到的回波信号一起被处理(例如，混合/相乘)。在这样的混合之前，所接收到的回波信号可以被滤波，例如自适应地滤波，如前面提到的，以去除感兴趣的
频谱之外的不期望的频率。音频输出处理模块7444可以任选地对滤波后的输出进行下采样和/或对信号进行转换以产生音频信号。从乘法器模块7440输出的经解调的信号然后可诸如由后处理模块7450进一步处理。例如，可以通过频率处理(例如，fft)和数字信号处理对其进行处理，以通过频率范围来改善所检测到的原始生理移动信号或以其他方式分离运动，从而隔离(a)呼吸运动或移动，(b)心脏运动或移动，以及总运动或移动，诸如全身运动或全身移动。然后，可以通过7460处的特征处理记录或以其他方式，例如数字化地处理生理运动信号，以表征信号的各种运动，从而检测如先前所提及的各种信息输出(睡眠、睡眠阶段、运动、呼吸事件等)。
[0115]
关于总移动或全身运动的检测，这种移动可以包括手臂移动、头部移动、躯干移动、肢体移动和/或全身移动等中的任何移动。可以考虑并应用从传输和反射信号进行这种检测以进行运动检测的方法，该方法可以应用于sonar声音类型的运动检测，例如，如在国际专利申请第pct/ep2016/058806和/或pct/ep2016/080267中所描述的，其全部公开内容通过引用并入本文。根据它的性质，这样的rf或sonar技术可以一次看到所有的身体移动，或者至少看到身体运动的大部分移动，并且该技术可以取决于“波束”被精确地引导到哪里。腿部移动，诸如当它是周期性的时，可以主要被区分为基于移动频率的运动，并且任选地通过执行不同的自动增益控制(agc)操作。当身体总移动较少时，呼吸检测是最有效的，以隔离呼吸波形的特征频率和信号形状(正常、copd或chf随着时间和吸气/呼气比率改变为速率、sdb事件、长期sdb解调等)。
[0116]
当运动与床上的人相关联时，最大振幅信号可与全身移动(诸如滚动)相关联。手或腿的移动可以较快(例如，来自i/q信号的常速)但相对幅度较低。因此，在识别中可以考虑通过分析运动信号的这种移动的不同分量和/或分量序列，诸如其是否以总运动和加速度开始，臂移动的速度然后停止等。此识别可更针对不同运动姿势动作。
[0117]
感测-与其他音频数字信号处理(dsp)共存
[0118]
对于处理装置100的扬声器产生的声信号所使用的感测频率和波形形状，可以抑制(例如，禁用)装置或相关联的硬件或软件中的任何现有回波消除。也可以禁用自动增益控制(agc)和噪声抑制，以便最小化反射的“回波”信号的干扰(非预期信号的处理)，该反射的“回波”信号通常在幅度上相对较小。
[0119]
对所得到的所接收到的信号(例如，在扬声器处接收的信号)进行数字带通滤波，以从不同频率的其他信号(例如，语音、背景噪声、在相同或协同定位的装置中运行的不同感测信号等)中分离预期的传输感测波形。
[0120]
感测-多模式/混合感测
[0121]
连续波(cw)系统可以使用快速检测来检测“任何事物”(即，房间中的一般运动)，但是缺少准确的距离选通，并且对于衰落相对较差。增强是使用多音调cw来防止衰落。为了定位运动-可以使用范围门控-为此，期望使用fmcw、uwb或一些其他解调方案，诸如fsk或psk。fmcw不具有类似cw罐的尖锐零点，有助于范围门控且抵抗房间中模式的建立。
[0122]
换言之，可以使用诸如双音调或多音连续波(cw)的波形来感测诸如大房间的区域中的任何移动。选择多个音调，以便最小化由于多路径反射和/或混响而产生的驻波或行波所引起的任何零点。这种方法的优点在于，它允许检测任何运动，并且使用潜在更大的信号来填充空间。因此，它可以用作灵敏的运动检测器，并且用作入侵者检测器。当检测到候选
运动时，系统搜索可能的候选生理信号，诸如用户走进房间、典型的激活序列、然后呼吸、心率和诸如姿势的特征移动。系统可以从不直接提供距离信息的cw类型系统切换到可以在指定距离检测并跟踪运动(诸如调频连续波(fmcw)或超宽带(uwb)信号)的系统。
[0123]
uwb系统可以是可听的或不可听的，这取决于扬声器和麦克风的频率响应；如果这些组件能够支持更高的频率，则宽带信号可能仍然在人类听觉范围之外。对于更典型的消费者扬声器，uwb声音更可能是可听的，并且可以被成形为像经滤波的白噪声一样的声音(例如，粉红噪声，或听起来不让人耳觉得“难受”的某种变体)。这在睡眠时例如通过模仿白噪声发生器可能是可接受的。否则，uwb是当用户远离家用于安全应用时提供基于距离的所感测到的另一种选择。
[0124]
在一些版本中，可以用多个感测设备来执行感测，诸如使用任两者或多者类型的感测设备(例如，声学感测设备、rf感测设备和ir感测设备中的任两者或多者)。例如，处理装置可以利用rf感测和声学感测(例如，fmcw)来检测运动。处理装置可以利用ir感测和声学感测(例如，fmcw)来检测运动。处理装置可以利用ir感测和rf感测来检测运动。处理装置可以利用ir感测、rf感测和声学感测(例如，fmcw)来检测运动。
[0125]
感测生理信号
[0126]
在dc和vlf(例如，气流)分离之后，呼吸、心率和总运动信号被分离。可以通过在fft窗口中的仓搜索，以及跨越窗口的跟踪，和/或经由在指定范围(例如，用于使用解调信号的复fft分析提取的指定距离范围的“时域”信号)的时域信号的直接峰/谷或过零点分析来评估以上这些。这允许选择用户运动的范围。这有时被称为“2d”(二维)处理作为fft。
[0127]
使用智能扬声器进行生物测定感测
[0128]
在家庭环境中日益采用诸如“智能扬声器”的所谓“智能”装置为新的生理感测服务提供了机会。
[0129]
智能扬声器或类似装置典型地包括经由无线装置(诸如蓝牙、wi-fi、zig bee、网状网、对等联网等)与用于家庭自动化的其他连接的家庭设备(例如用于家庭自动化、智能自动化器具、智能照明、智能恒温器，或用于为器具供电的智能电源开关等)和网络(诸如因特网)进行通信，例如如图6所示。不同于设计为简单地传输声信号的标准扬声器，智能扬声器通常包括一个或多个扬声器、一个或多个麦克风以及处理电子器件。麦克风、扬声器和处理器可以被实施为界面到智能助理(人工智能(ai)系统)以提供个性化的语音控制。一些实例是google home、apple homepod、amazon echo，其中使用“ok google”、“hey siri”、“alexa”短语来激活语音。这些装置和连接的传感器可以被认为是“物联网”(iot)的一部分。
[0130]
当将先前讨论的超声检测技术(使用可听或不可听声信号)并入到智能扬声器中时，基于其能力(在智能扬声器系统的设计时评估和/或基于特定装置的实际性能更新)需要某些优化。概括地说，扬声器和麦克风所支持的最大频率将最终定义可以使用的最高频率不可听的感测信号，并且这可以基于特定装置的制造公差而稍微变化。
[0131]
例如，第一装置(例如，google home装置)中的扬声器可能具有与第二装置(诸如，samsung galaxy s5智能电话)中的扬声器不同的特点。第一装置扬声器可以对高达24khz的频率敏感，具有对类似频率的接近平坦的麦克风响应。然而，第二装置可以具有在较低频率下滚降的扬声器，其灵敏度在18khz以上具有峰和谷。例如，amazon alexa装置的扬声器
可能会以20khz滚降。示例性google装置可以使用被动反射式扬声器设计来对返回的波进行倒相并将其侧向发出，这改变了其声学特点(例如，在效果上，“10khz”扬声器变为25khz扬声器)。
[0132]
一些装置可具有麦克风阵列，诸如平板上的多个麦克风，且其可实施增益和平均功能，但麦克风元件之间具有间隔(例如，动态阵列分集阵列)。可以在数字域中使用数字信号处理在数字上完成这样的处理，即在数字域中完成。
[0133]
关于这种系统要管理的一个电势差涉及扬声器和麦克风的取向。例如，在某些实施方式中，扬声器可以面向前方，并且可以指向用户的可能方向。然而，麦克风(一个或多个)可以朝向房间或天花板20-30度。
[0134]
因此，为了优化用于距离声学感测的拾音，应用可以被配置为经由扬声器生成探测序列以学习房间拓扑，并且允许可能的反射路径。因此，设置过程可以生成序列以校准低频超声回波的距离测量值(例如，以在多个人或运动源与智能扬声器处于不同距离时支持对多个人或运动源的同时监测)。从信号处理的角度来看，混响基底(反射声波的能量耗散花费多长时间)对于不同的感测信号将是不同的，例如，对于cw(连续波)具有2-3的因子，而对于fmcw(即，减少的混响)具有大约5的因子(即，减少的混响)(即，fmcw仍然可能遭受混响衰落，这取决于频率跨度、持续时间和重复序列的形状)。
[0135]
麦克风分离可能存在困难。例如，在公共外壳中的麦克风阵列在智能扬声器上可用的情况下，麦克风的示例性间隔可以是71mm间隔。对于20mm波长，这意味着一个麦克风可以在波谷，而另一个在波峰区域(例如，当你移动固定的说话者时，snr将在麦克风之间变化)。期望的结构可以是配置两个麦克风，其具有在19-20mm范围内的特定音频感测波长相关间隔。在这种距离对于预先配置的系统是未知的情况下，校准过程(诸如设置过程的一部分)可以检测距离。例如，设置过程可以经由一个或多个扬声器生成时间同步的校准声音，以计算或评估从每个扬声器到每个麦克风的传播时间，并且基于这些计算来评估麦克风之间的差异。因此，在用两个或多个麦克风感测距智能电话的距离时，可以考虑麦克风之间的距离。
[0136]
也可以利用在本文描述的感测操作来实施其他装置，诸如有源声条(即，包括麦克风)和运动智能装置。
[0137]
存在至少一个扬声器和至少一个麦克风(或可以被配置为执行这些功能的换能器)允许使用有源低频超声在这些装置上执行生物测定感测，并且处理这些装置的回波。如前所述，这可以通过播放(传输)声信号来实施，声信号例如正好在大多数用户的听力范围之外(例如，高于18khz)，但是在已知的或确定的系统能力内(例如，对于48khz的采样率，可以低于24khz，但是通常低于25或30khz)。相反，通常在高得多的频率下操作医疗超声，例如1-18mhz，并且对于这些操作需要专门的设备。所讨论的超声测量技术提供了方便的非接触测量，而不需要购买任何昂贵的设备-仅使用几乎每个家庭都可获得的智能扬声器系统(包括智能电话)。
[0138]
不同感测装置/应用的共存
[0139]
可以看出，编码的或未编码的超声信号可以由不同的装置产生，以允许设备和系统实施识别和其他数据交换目的。例如，移动电话应用可以被配置为生成用于通信目的的这样的信号，以便将其自身标识到其附近区域的另一个启用所感测到的装置/系统，诸如智
能扬声器，反之亦然。这些类型的信号可以用于代替短距离射频通信(例如，在蓝牙不可用或被禁用的情况下)以进行识别。然后，系统的装置可以自动地确定其他处理装置在感测附近区域的存在(例如，经由来自另一处理装置的不可听的声学生成的通信信号)，并且调整所生成的感测信号的参数，使得它们可以在非干扰感测模式下操作(例如，通过使用不同的频带和/或在时间上不重叠)。
[0140]
低频超声(sonar)感测
[0141]
许多地方含有能够传输和记录恰好高于人的听觉阈值的低频超声范围内的声音的音频装置，例如，信息娱乐系统。这样的装置和系统可以适于使用低频超声技术对附近区域的人执行生理感测。可以在不影响标准音频系统的原始预期功能的情况下执行这种感测。在一个实例中，可以通过软件更新(即，允许添加附加的有用功能而不增加商品成本)来实施这种感测功能。在一些情况下，可以指定新装置或系统中的一者或多者换能器来支持用于低频超声所感测到的音频频率范围，在制造时进行额外的测试以确保它们符合本说明书。
[0142]
这种声学(可听的或不可听的)感测技术可用于多种目的，包括主动健康管理、医疗装置和安全功能。
[0143]
可以在运动智能装置或智能扬声器装置上实现运行高达约25khz的低频超声系统。这使用电子装置上的一个或多个换能器向一个或多个对象传输声能，其中换能器被配置为在包括小于25khz的频率的频率范围上生成声能。扬声器可以包含在智能电话、智能扬声器、条形音箱、便携式电视机屏幕、或包含能够支持低频超声学感测和处理的换能器的许多其他装置和配置中。如果计算机被实施为控制扬声器系统，则它有效地创建智能扬声器系统。
[0144]
可以从附近区域内的所感测到的音频信号中提取并分类可听声音，诸如呼吸声音、咳嗽声音、睡着时打鼾声音、气喘声音、喘息声音、语音声音、嗅闻声音、打鼾声音，以便允许将这些声音与将被检测以用于运动感测的反射感测信号隔离。这些声音中的一些(例如，咳嗽)可以掩蔽感测信号(特别是如果其以非常低的声压级操作)，这是不期望的。然而，这样的声音仍然可以是可检测的，使得它们可以与其他环境声音(例如，汽车喇叭鸣笛、电机噪声、街道声音、风、砰的一声或关门等)分离。呼吸音在安静环境中通常具有更好的信号质量，并且当采用主动感测方法诸如sonar或radar(包括rf方法)(其主要检测躯干和肢体移动)或相机/红外系统时，可以提供吸气/呼气时间(以及因此呼吸率)的良好的第二评估值。换句话说，系统仍然可以提取关于声音特点的信息，即使是非常大声的声音，这意味着当相关联的信号质量下降到可接受的阈值以下时，系统可以跳过感测信号的小部分。
[0145]
在sonar系统中，由吸气或呼气引起的空气移动也可以通过跟踪所得到的行波阵面的方法来检测(由于在感测环境中建立的声学模式的干扰-如果感测信号持续足够长以经历混响)。直接从可听信号检测打鼾更容易，因为这是相对大的过程，例如通过使用平均最大分贝水平来将打鼾分类为轻度(40-50db)、中度(50-60db)或重度(＞60db)。
[0146]
因此，在一些情况下，处理装置100可以使用用于检测呼吸的运动检测(例如，声纳)技术。然而，在一些情况下，可以由用于呼吸检测的处理装置100来实施麦克风处的可听呼吸信号的声学分析。
[0147]
rf(radar)感测
[0148]
为了安全起见，一些系统可以包括用于简单的内部移动检测的单脉冲多普勒雷达模块。这些可以被增强(利用更新的软件)或用能够将运动检测定位到附近区域的特定区域的模块来替换，特别是能够检测和区分每个座椅/就座区域上的人。可以用诸如超宽带(uwb)感测信号或调频连续波(fmcw)感测信号的技术来增强传感器，或者在其生成的感测信号中包括诸如ofdm、psk、fsk等其他编码方案。这些可以用具有精确测距能力(1cm或更小)的传感器来实施。这样的传感器可以在限定的区域中进行感测(例如，经由可以被配置为在附近区域内具有特定座椅定向的感测方向的天线设计来设置)。在一些情况下，可以针对特定感测区域实施多个天线，并且多个天线可以与波束形成技术一起使用以设置与不同天线相关联的距离感测差异。在一个区域中可以使用多个传感器来提供人(或宠物)可能处于的多个区域的覆盖(例如，用于每个座椅的传感器)。
[0149]
多模式数据处理
[0150]
当使用sonar、rf或红外线感测(即，用于ir波传输和接收的红外线传输器和检测器)时，处理装置100可接收由附近区域(例如，用于评估占有率)的设备产生的额外数据或信号，使得生物运动感测可基于来自此类设备的数据。例如，检测是坐在给定座椅上还是床上的人的座椅/床负载传感器可以向生物运动处理装置100提供信息，以相对于可能与特定座椅或床相关联的感测来确定何时启动生物运动感测。红外系统可以任选地例如与能够跟踪人眼移动的相机系统结合，诸如用于嗜睡检测。
[0151]
处理装置可以配置有用于评估用于检测生物运动特点的相关范围/距离的距离信息。例如，处理装置100可以具有诸如房间的附近区域内部的距离映射(地图)。可以在设计阶段初始提供这样的映射，例如被提供用于指定初始感测配置。任选地，在处理装置的控制下，感测系统可以动态地更新(或检测)一个或多个人使用时的地图。初始配置可以例如捕获/检测座椅的位置，以及最可能的座椅配置；在座椅可移动的情况下，传感器可向系统报告当前设置以更新感测参数(例如，当座椅向后或向前滑动，或向下折叠等时，就座者的位置可相对于感测扬声器移动)。
[0152]
生物测定特征检测-呼吸、心脏、移动和距离
[0153]
处理传感器信号
[0154]
例如任选地如果处理装置没有执行解调，那么特别包括处理装置100的系统可以从传感器(诸如从sonar、rf/radar或红外线)接收解调信号。然后，处理装置100可以通过分离感兴趣的分量来处理信号，感兴趣的分量诸如是直流信号dc和极低频vlf(例如，气流)、呼吸、心率和总运动信号。可以通过在快速傅里叶变换(fft)窗口中的仓搜索和跨越窗口的跟踪来评估/检测以上这些，和/或经由对特定范围(例如，针对使用解调信号的复fft分析提取的特定距离范围的“时域”信号)的时域信号的直接峰/谷或过零点分析来评估/检测以上这些。由于fft是由例如国际专利申请pct/ep 2017/073613中描述的fft来执行的，所以这有时被称为“2d”(二维)处理。
[0155]
对于sonar感测，可以在音频带中找到重要的其他信息并由麦克风拾取。这样的信息可以是信息娱乐声音(音乐、无线电、电视机、电影、电话或视频呼叫(包括人类语音、环境噪声)以及其他内部和外部声音，诸如汽车、交通或车辆噪声。这些音频分量中的大部分可以被认为是干扰，并且可以从生物测定参数评估中被抑制(例如，被滤波)。
[0156]
对于radar感测，可以抑制来自其他rf源的信号分量。
[0157]
对于红外感测(诸如当除了眼睛跟踪之外还执行生理感测时)，温度变化和太阳位置可能引起干扰并且可能被考虑在内。因此，可以在处理感测信号时评估诸如来自恒温器温度传感器的温度传感器和时间。
[0158]
与所使用的精确感测技术(rf、ir、sonar)无关，(例如，通过使用带通滤波器的带通滤波、通过包络检测器评估)，然后通过峰值/波谷检测器)对所接收到的时域反射信号可进行进一步处理。可以用hilbert变换或通过对呼吸数据进行平方、通过低通滤波器发送平方后的数据，并计算得到的信号的平方根来执行包络检测。在一些实例中，呼吸数据可以被归一化并通过峰谷检测(或任选地，过零点)过程发送。检测过程可以分离吸气和呼气部分，并且在一些情况下，可以被校准以检测用户的吸气和呼气部分。
[0159]
呼吸激活通常在0.1至0.7hz的范围内(每分钟6次呼吸-诸如从起搏的深呼吸到每分钟42次呼吸-成人中的非典型快速呼吸速率。心脏激活反映在较高频率的信号中，并且可以通过用具有从0.7hz到4hz范围(每分钟48次搏动到每分钟240次搏动)的通带的带通滤波器进行滤波来访问这种激活。由于总运动而导致的激活通常在4hz至10hz的范围内。应当注意，在这些范围内可以存在重叠。强(干净)呼吸轨迹可以引起强谐波，并且需要跟踪这些以避免将呼吸谐波与心脏信号混淆。在距离换能器较长的距离(例如，几米)处，检测相对小的心脏机械信号可能是非常具有挑战性的，并且这样的心率评估更适合于用户安静地躺在智能扬声器的仪表内的设置，诸如在椅子/长椅上或在床上。
[0160]
一旦确定了不存在/存在为“存在”，则针对传感器领域中的一者或多者人执行呼吸、心脏和运动/激活信号(以及它们的相对位置和速度，如果移动的话，诸如移进和移出附近区域)的评估。可以看出，产生测距信息的系统能够分离多个人的生物测定数据，即使多个人具有相似的休息呼吸速率(这在年轻夫妇中并不罕见)。
[0161]
基于这些参数，可以准备各种统计测量(例如，平均值、中值、第3矩和第4矩、对数、平方根等)、波形(形态处理)，然后提供给表征系统，诸如简单分类或逻辑回归函数，或使用神经网络或人工智能系统的更复杂的机器学习系统。处理的目的是从所收集的生物测定数据获得进一步的了解。
[0162]
睡眠分段分析
[0163]
由于不存在/存在/觉醒/(nrem)睡眠阶段1/睡眠阶段2/睡眠阶段3(慢波睡眠sws/深度)/rem具有与代表睡眠周期的基础睡眠架构相关的序列，因此将其视为有序而非无序问题(即，反映人在一个状态保持一段时间的典型睡眠周期)是有帮助的。睡眠的顺序在例如整个夜晚(“睡眠”)赋予观察明确的顺序。
[0164]
一些系统还可以利用“正常”睡眠模式的知识，该睡眠模式在接近夜晚开始时具有更(更普遍)深睡眠(sws)，并且在接近夜晚结束时具有更多的rem睡眠。的该先验知识可以被用于加权(例如，随着时间调整这些状态的先验概率)用于正常睡眠者的分类系统；然而，应当注意，来自人口常规值的这些假设可能对于非正常睡眠者或在白天定期睡眠或睡眠卫生差(不良睡眠习惯，诸如广泛变化的“上床”和“起床”时间)的那些睡眠者不适用。
[0165]
传统上，已经在追溯到rechschaffern&kales指南(rechschaffern和kales，1968)(用于人类受试者的睡眠阶段的标准化术语、技术和评分系统手册，美国公共卫生服务公司，美国政府打印办公室，华盛顿特区1968年)的30秒“时期”中考虑到睡眠阶段，当看脑电图eeg时，发现30秒间隔理想地用于以10mm/s的纸速观察阿尔法和纺锤(一页相当于三十
秒)。当然，睡眠和清醒(以及不存在/存在)的实际生理过程将不均匀地分成30秒的块，因此可以选择更长或更短的时间。本文概述的系统优先使用1秒(1赫兹)睡眠阶段输出，尽管它以重叠方式使用较长数据块来每1秒(1赫兹)递送更新(具有与底层处理块大小相关联的相关延迟)。使用此1秒输出以更好地显示睡眠循环中的微小变化/转变。
[0166]
睡眠特征-手动和自动生成
[0167]
所感测到的信号(表示距离对时间(运动)信息的信号)用于计算各种特征，诸如睡眠特征。这些特征然后可用于导出关于用户的生理状态的信息。
[0168]
对于特征生成，可以实施多种方法。例如，人类专家可以基于其经验，通过查看呼吸和其他生理数据及其分布，理解特定变化的生理基础以及反复试验，从处理或未处理的信号手动产生特征。或者，机器可通过某种人类监督(“机器学习”领域的核心概念)来“学习”特征，其中提供具有预期结果的经标记数据且提供某种人类帮助，或以全自动方式来“学习”特征，其中可提供一些或不提供经标记数据。
[0169]
可以在以下广泛的类别中广泛地考虑深度学习：深度神经网络(dnn)、卷积神经网络(cnn)、递归神经网络(rnn)和其他类型。在dnn内，可以考虑深度信念网络(dbn)、多层感知器(mlp)以及堆叠式自动编码器(sae)。
[0170]
深度置信网络(dbn)拥有生成能力，例如从输入数据自动生成特征。用于此目的的另一种方法是有助于在预处理数据中找到固有结构的无监督学习的形式的模糊c-均值聚类(fcm)。
[0171]
可以通过将数字信号处理技术应用于所感测到的移动数据来形成手工特征。在理想情况下的呼吸信号是完美的正弦曲线，具有两个振幅(深或浅)和恒定频率(恒定呼吸速率)，描述为你吸入然后呼出。在现实世界中，它可能远离正弦曲线-尤其是如经由基于声学或射频的感测方法从躯干区域所检测到的。例如，吸气可能比呼气更深并且更快，并且如果保持呼气一会儿，则可能在波形上出现凹口。吸气和呼气幅度以及呼吸频率可以变化。一些提取方法集中在检测峰和谷，然后检测两者的较好质量(即检测局部峰和丢弃谷)。如果需要峰值时间和谷值时间两者以便评估吸气时间和呼气时间两者以及体积(例如，通过时域信号相对于计算的参考基线的积分来计算)，则这不理想，但是对于呼吸速率评估可能足够好。
[0172]
可以使用各种方法来帮助评估任何这些特征，诸如呼吸和/或心率或幅度。
[0173]
例如，峰值和谷值候选信号提取需要从噪声中恢复呼吸波形状，并且可能存在各种带外和带内噪声，通常具有较低频率噪声的优势，这可能使较低呼吸速率的准确检测复杂化(例如，每分钟4-8次呼吸，虽然对于自主呼吸是不寻常的，但是如果要求用户将他们的呼吸引导到较慢的速率，则可能出现这种情况)。时域检测方法包括使用自适应阈值在低通滤波之后的最大和最小检测(其在多个呼吸的块上调整以允许连续地检测深浅呼吸)。任选地，信号可以被低通滤波和微分(例如，导数函数)。然后，可以检测与最大变化率相关的微分信号中的峰值，以提供呼吸事件的指示。这种方法提取呼吸波形的基准点，呼吸波形被建模为在其上具有一些噪声的正弦曲线。lpf去除高频噪声。然后进行区分并检测峰。实际上，这找到了原始信号的最大变化率的点，而不是原始信号的峰和谷，因为呼吸波形在最大变化率时通常是最清楚的，而不是比方说宽的峰(例如，如果呼吸保持持续短时间)。一种可能更稳健的方法是检测过零点(在固定的或自适应的基线附近区域)，因为边界的交叉不直接
受信号幅度的局部变化的影响。
[0174]
虽然呼吸信号在时域信号中可以是容易可见的(取决于胸部离(一个或多个)传感器的距离和角度)，但是与呼吸相比，心脏运动通常是非常小的信号。较高次的呼吸谐波(例如，与波形相关的同频信号)可以使心脏信号提取复杂化，并且需要被拒绝，或者被检测和排除。
[0175]
也可以将频域方法应用于例如呼吸数据。这些方法可以包括使用fft(其可以被加窗以对抗频谱泄漏)的频带中的所检测到的峰值，该fft使用可以重叠(例如，被重复移位例如一秒的数据流的30s的数据块)或非重叠(例如，数据流被认为在三十秒块中是非重叠的)的数据块。也可以使用利用welch方法的功率谱密度psd，或者参数模型(自回归)，随后进行峰值搜索。当呼吸信号变得不太成正弦曲线时，谱峰将趋于更宽(更分散)，并且如果形状具有尖锐的峰、尖锐的谷或凹口，则可以包括谐波。另一种方法是使用自相关(描述信号与自身的移位版本的相似性)来评估呼吸速率，其中假设基础呼吸波形在一段时间内相对稳定，并且自相关中的周期性局部最大值可以由最可能的候选(例如，与噪声无关)来跟踪和滤波，以便评估呼吸速率。可以在时域中进行自相关，或者在频域中通过fft进行自相关。时间频率方法，诸如小波也是有用的，其中选择具有正弦形状的合适的小波(例如symlet、debauchies等)，其可以执行强的去噪；再次，最终在感兴趣的时间尺度(即，在目标呼吸速率范围内)执行峰值检测。
[0176]
将时域信号应用于卡尔曼滤波(递归算法)来评估系统状态；该方法提供了仅基于使用先前步骤来预测系统的未来未知状态的方法。除了滤波之外，它还可以提供诸如大运动、呼吸和心脏移动的信号分离。
[0177]
(噪声污染观察(例如，用于检测噪声环境中的生理移动)
[0178]
呼吸峰和谷的任何检测需要注意潜在的混杂效应，诸如如果对象停止呼吸(例如，呼吸暂停)或表现出非常浅的呼吸(例如，呼吸不足)则对象进行大的移动(例如，在床上滚动或在驾驶的同时移动)。使用能够跟踪位置的感测提供了分离这些效果的有用手段。例如，可以将滚动看作高频移动以及空间位置的变化。因此，后续呼吸的幅度可以更高或更低，但仍然是“健康”呼吸。换句话说，所检测的幅度变化可能是由于所提取的接收呼吸信号(在下变频等之后)强度的变化，而不是人的呼吸的变化。因此，可以看出这可以允许新颖的校准方法，其中所检测到的距离可以用于将信号强度与呼吸深度相关联(并且因此近似潮气量。在没有观察到这种移动或移位的情况下，可以将指定持续时间范围的减小、停止或改变(例如，由于阻塞性事件期间胸部和腹部上的反常移动而导致的疾病)识别为异常呼吸(例如，呼吸暂停/呼吸不足事件)。
[0179]
可以看出，实用的、鲁棒的心肺评估系统可以依靠多种方法来定位参数。对于良好的信号质量情况，频率(或时间频率)评估可以定位可能的呼吸速率、局部呼吸可变性的评估，然后提取微小的峰和谷时间，并且用范围进行校准，以便评估吸气和呼气体积(用于睡眠分段的有用特征)。期望这种信号质量度量随时间变化。如果在测量的呼吸速率中存在变化，则可以在不同的时间尺度上进行处理，例如，在30、60、90、120、150秒等上求平均或中值滤波。
[0180]
在sonar情况下，原始接收波形的包络(例如，声学fmcw信号的包络)可以被处理为主输入，或者被处理为副输入，诸如当实施其他附加感测信号时，用于呼吸率评估(诸如用
于使用sonar来提供用于rf感测系统的额外信息，反之亦然)。这基于检测人的呼气的空气中的实际扰动的特点。这意味着在客舱、房间或附近区域(例如，来自开放的窗户、附近的空调单元、附近的加热器等)没有其他强空气流；如果存在，则可以丢弃它们对测量值的影响，或者使用它们来检测环境中气流的变化。
[0181]
大的气流将倾向于作为穿过距离单元的低频移动(即，穿过距离流动的扰动)是可检测的。这对于感测具有更多混响(例如，允许一个频率的能量在房间中积累，以及相关联的房间模式)的波形来说是更明显的。
[0182]
当考虑跨一般群体(即，包括具有正常健康状况的用户、具有各种健康状况的用户，包括诸如睡眠呼吸暂停、copd、心脏问题等呼吸状况)工作的睡眠分段系统时，可以看到，呼吸率和心率的基线可以广泛地变化。以年龄、性别、体重指数(bmi)为例。对于类似的年龄和bmi，女性可能具有比男性稍高的基线呼吸率(尽管最近在4-16岁的儿童中的研究没有显示统计学差异)。具有较高bmi的那些将倾向于比类似年龄的某人的平均值呼吸更快。儿童正常呼吸频率比成人高很多。
[0183]
因此，在一些版本中，可以在应用深度信念网络(dbn)之前，利用混合实施方式来制造诸如具有与传感器类型无关的处理装置100的系统，诸如其中形成初始信号处理和一些手工特征。(混合实施方式涉及结合机器学习的特征的人类“手工制作的”、数字信号处理(dsp)导出的特征的混合。)使用来自睡眠实验室或家庭psg的专家评分多导睡眠图(psg)过夜数据集、来自世界各地的多个站点来执行初始监督训练，并且使用指定的评分方法由至少一个评分器来评分。从利用一个或多个选择感测方法收集的数据集执行进一步的无监督训练。这使得系统能够在睡眠实验室之外反映新的和更加多样的数据。
[0184]
在手工制作的特征方面(即，人类工程师/数据科学家已经设计、选择或创建了它们)，提取具有相关联的信号质量水平的呼吸信号，其中感兴趣的特定特征是呼吸速率在不同时间尺度上的可变性，以及吸气和呼气时间的变化。形成用于清醒和睡眠的个性化基线呼吸率的评估。例如，已知在清醒时呼吸率可变性的短期变化可以与情绪和情绪变化相关，而在睡眠时这些变化与睡眠阶段的变化相关。例如，呼吸率可变性在rem睡眠中增加。呼吸率自身的长期变化可以与精神状况的变化相关，诸如提供精神健康的指标。当用户睡着时，特别是当在更长的时间标度上分析时，并且与群体标准值相比，这些影响可能更深刻。
[0185]
可以使用测量的呼吸率的可变性作为用户的状态(睡眠/清醒)或睡眠阶段(rem、n1，然后是n2，然后在sws睡眠中最低)的指示。例如，当在正常健康人中在诸如15分钟的时间段内查看标准化的呼吸率变化时，当他们清醒时可以看到最大的变化；这种可变性在所有睡眠状态中下降，在rem睡眠中次之(但仍然小于苏醒时)，然后在n1中进一步减小，再在n2中进一步减小，然后在sws睡眠中最低。总之，在rem睡眠中由于呼吸引起的空气压力可以增加，这可以对所检测到的声学信号具有影响-在安静的环境中或在安静的时间可以检测潜在的额外特征。
[0186]
对于健康人，这种归一化的呼吸频率值不应当在不同的位置(仰卧、俯卧、侧卧等)之间显著变化。然而，应当注意，可能需要对正确潮气量进行校准。例如，系统可以整夜归一化，因为一个人的平均呼吸率可以是例如在睡着时每分钟13.2次呼吸(br/min)，而另一个人的平均值可以是17.5br/min。这两个速率显示每个睡眠阶段相似的可变性。速率的差异仅仅掩蔽可能被考虑用于对睡眠状态进行分类的改变。系统可以考虑平均速率(或总速率
图)以用于其他目的，诸如随时间推移与自身进行比较，或者实际上与类似人口统计中的某个人进行比较。对于患有阻塞性睡眠呼吸暂停(osa)的人而言，预期呼吸可变性将在仰卧位置(背卧)增加-用户的呼吸健康的潜在有用指示。
[0187]
具有混合型呼吸暂停或中枢性呼吸暂停的对象在清醒期间倾向于显示出比正常对象更大的呼吸可变性(有用的生物标志物)，在清醒期间也具有相对于正常的变化，这不是显而易见的(但在许多情况下仍然存在)。
[0188]
系统可以随时间学习个人特定的睡眠模式(例如，呼吸可变性)；因此，非常期望一种一旦部署就位，就能够执行无监督学习的系统。
[0189]
这些模式可以过夜(即，在睡眠期期间)变化并且可以受到在睡眠期期间发生的呼吸暂停的影响，如呼吸的部分或完全停止(或当存在阻塞的气道时胸部和腹部的反常移动)。可以看出，如果计算睡眠阶段，处理问题的一种方式是通过抑制具有所检测到的呼吸暂停的周期(和呼吸速率中的相关联的振荡)。可以简单地标记呼吸暂停和潜在的微唤醒，而不是试图在时间点对睡眠阶段进行分类。周期性呼吸模式(诸如潮式呼吸(csr))具有强振荡模式；这些也可以在睡眠预处理阶段期间被检测。尽管csr可以发生在任何睡眠阶段，但在非rem睡眠中暂停倾向于更有规律，而在rem睡眠中更有规律(系统可以使用信息来改善具有csr的对象的睡眠分段)。
[0190]
类似地，可以用抑制与呼吸波形形态相关的任何谐波的处理步骤来提取心脏信号。检测诸如阻塞性、混合性或中枢性呼吸暂停的特定模式，以及任何相关的恢复呼吸和与通气相关的移动。根据心脏信号，基于生理上可能的心率值来评估搏动间“心率可变性”(hrv)信号。可以计算频谱hrv量度，诸如平均呼吸频率的对数功率，lf/hf(低频与高频)比、归一化的hf的对数等。
[0191]
逐次搏动时间(hrv波形)的hf谱是0.15-0.4hz范围内的功率，与2.5至7秒的副交感神经或迷走神经激活(呼吸性窦性心律失常-或rsa)的节律有关，并且有时被称为“呼吸带”。
[0192]
lf频带为0.04-0.15hz，认为其反映静止时的压力感受器活性(并且一些研究建议可能与心脏交感神经支配具有关系)。
[0193]
极低频(vlf)hrv功率在0.0033-0.04hz之间(300至25秒)，且降低的值与心律失常和创伤后应激障碍(ptsd)有关。
[0194]
也可以使用时域方法，诸如sdnn(正常心跳间隔间的标准偏差-以捕获长期可变性)和rmssd(连续心跳间隔差的均方根-以捕获短期可变性)提取hrv参数。rmssd还可以用于筛选不规则不规律的逐次搏动行为，诸如在心房纤颤中所见的。
[0195]
就hrv而言，所计算的lf/hf比的变化是非rem睡眠的可检测特征，在rem睡眠期间向“交感”hf优势变化(其可能与交感神经到副交感神经平衡有关)。
[0196]
更通常地，rem睡眠中hrv典型地增加。
[0197]
当随着时间分析时，呼吸速率和心率信号的长期平均值或中值对特定的人是重要的，尤其是如果存在一些干预，诸如药物治疗、病后痊愈(身体或精神)、健康水平的改变、睡眠习惯随着时间的改变。它们在人与人之间的直接比较方面有点不是很有用(除非使用非常相似的分组策略)。因此，对于呼吸和心脏可变性特征，将这些归一化(例如，根据度量归一化、去均值、去除中值等)以使得能够在群体中更好地进行概括是有用的。
[0198]
进一步分析所提取的特征可以利用深度信念网络(dbn)。这种网络由受限波尔兹曼机(rbm)、自动编码器和/或感知器的构建块组成。dbn对于从这些提取的特征中学习是特别有用的。可以在没有监督的情况下使用dbn，然后用标记的数据(即，通过人类专家输入确认的数据)进行训练。
[0199]
可以传递到dbn上的所提取的特征可以包括：呼吸暂停类型和位置、呼吸率及其在不同时间标度上的可变性、呼吸、吸气和呼气时间、吸气和呼气的深度。心率及其在不同时间标度上的可变性、心冲击描记图搏动形状/形态移动以及激活类型诸如总移动、plm/rls、信号质量(随时间测量的完整性)、用户信息诸如年龄、身高、体重、性别、健康状况、职业等。还可以计算诸如信号的偏度、峰度、熵等其他统计参数。dbn将自己确定几个特征(对其进行“学习”)。有时可能难以理解它们所代表的是什么，但它们常常比人做得更好。挑战是它们有时可能在差的局部最优值处结束。一旦他们已经“学习”了特征，系统就可以用一些标记的数据(例如，由人类专家输入的数据)来调整它们，可以对特征(一个专家或多个专家的共识)进行评分。
[0200]
dbn还可以从输入参数直接学习新的特征，该输入参数包括呼吸波形、激活水平、心脏波形、原始音频样本(在sonar情况下)、i/q生物激活数据(在sonar或radar情况下)、强度和颜色水平(例如，来自红外相机的数据)等。
[0201]
单纯使用手工特征的机器学习方法是“浅学习”方法，其在性能水平上趋于稳定。相反，随着数据大小的增加，“深度学习”该方法可以继续改善。上述方法使用深度学习(在这种情况下为dbn)来创建用于经典机器学习的新特征(例如，取新特征、通过特征性能来优胜特征选择、用ica(独立分量分析)或pca(主分量分析)来白化(即，维度缩减)，以及使用基于决策树的方法(诸如随机森林或支持向量机(svm))来分类。
[0202]
如本文所使用的，完全深度学习方法避免了这样的特征选择步骤，这可以被看作是一个优点，因为这意味着系统不使用在人群中看到的庞大种类的景象。然后可以从未标记的数据中学习新特征。
[0203]
用于这些多模式信号的一种方法是首先在每个信号上，然后在链接的数据上训练深度信念网络。其基本原理是，某些数据流可能简单地在时间段内无效(例如，心脏信号质量低于可用阈值，但是存在可用的良好质量的呼吸、移动和音频特征信号，在这种情况下，来自心脏数据的任何学习或导出的特征对于该时间段将是无意义的)。
[0204]
对于分类，可以应用基于序列的方法，诸如隐藏马尔可夫模型(hmm)。这样的hmm仍然可以任选地用于输出，以便分离睡眠阶段，以便将输出睡眠图映射到分级的“睡眠架构”，这可以通过医院睡眠实验室psg系统来提供，并且使异常睡眠阶段切换最小化。然而，如果我们认识到睡眠是渐进的生理过程，我们可能更喜欢不强迫系统进入少量的睡眠阶段，并且允许系统捕获渐进的变化(即，在睡眠状态“之间”具有更多的时间)。
[0205]
不具有隐藏层的更简单的状态机方法是可能的，但是最终可能具有在大量睡眠者中泛化的问题，每个睡眠者具有其自己独特的人体生理特征和行为。其他方法如条件随机场(crf)或变体诸如隐藏状态crf、潜在动态crf或条件神经场(cnf)或潜在动态cnf。应当注意，长短期记忆(lstm)，特别是当应用于序列模式识别时(在正常健康睡眠者中是更典型的)可以具有良好的辨别能力。
[0206]
半监督学习可以使用循环神经网络(rnn)来执行，其可以有效地在未标记数据中
找到结构。rnn是具有输入/隐藏层和输出的标准的神经网络结构。它使用图展开和参数共享技术对输入/输出排序(即，下一输入取决于前一输出-即，隐藏单元具有传递信息的循环连接)。对于自然语言处理应用，lstmrnn是公知的(利用lstm来克服爆炸和消失梯度问题)。
[0207]
在检测睡眠开始方面，如果语音识别服务正在运行，用户的语音命令可以用作“唤醒”(不要与无意识的睡眠交谈混淆)的第二决定因素。如果使用(由用户解锁的)个人智能装置，则通过ui输入、加速度计、陀螺仪等的移动，这也可以用作唤醒的决定因素以增强其他睡眠/唤醒感测服务。
[0208]
睡眠结构和睡眠评分及其它运动特点
[0209]
上述使用低频超声系统和技术的感测操作可以被实现用于检测人的存在/不存在、人的移动以及多个生物测定特征。可以评估各种参数，包括呼吸速率、呼吸的相对幅度(浅、深等)、心率和心率可变性、移动强度和持续时间以及激活指数。使用这些参数中的一个或多个，然后可以确定对象是清醒的还是睡着的，并且如果是睡着的，则确定他们的睡眠阶段是什么(浅n1或n2睡眠、深睡眠或rem睡眠)，以及预测可能的即将到来的睡眠阶段。可以根据例如2014年7月8日提交的国际专利申请第pct/us2014/045814号、2017年9月19日提交的国际专利申请pct/ep 2017/073613和2016年12月8日提交的国际专利申请第pct/ep 2016/080267以及本文先前鉴定的任何专利申请来实施用于这种表征的方法。
[0210]
该系统可以，诸如通过根据装置的离散感测范围来评估运动而提供全自动的，无缝的睡眠检测-以及从一个装置检测睡眠的两个或更多人的能力，不同的对象在该装置中处于与智能扬声器或处理装置不同的范围中。例如，声学感测波形可被处理以检测与如pct/ep 2017/073613中描述的处理装置不同的范围。然后，智能扬声器的处理可以被配置为，诸如通过自动地周期性地改变检测范围以实现在不同范围中的感测而在pct/ep 2017/070773中描述的动态范围监测方案的不同时间评估不同范围的运动特点。任选地，感测波形可以使用编码方案，以便允许在多个范围中同时感测，如本文所述。
[0211]
可以使用对睡眠开始的准确检测来提供一定范围的服务，诸如特别是在家庭扬声器与家庭自动化/物联网平台界面的情况下生成一个或多个服务控制信号。例如，当用户入睡时，家庭照明可以变暗或改变颜色(例如，从白色到红色)，窗帘或百叶窗可以自动关闭，恒温器设置可以被调整以管理睡眠环境的温度，并且音乐回放可以在音量上被减小并且随着时间被关闭。检测器检测用户的总移动的能力可以作为控制自动化器具的基础。例如，如果用户在夜晚唤醒并开始步行，则可以由智能扬声器检测移动(利用所生成的声音生成和感测处理)，并且智能扬声器然后可以基于特定的运动感测控制对自动照明设置的改变。例如，它可以控制要照明的微妙路径照明(例如，在床的底部周围的led)，以便不会不适当地干扰睡眠，但允许照到休息室/卫生间。就这点而言，器具控制响应可以是将装置设置为开和关，或者它可以对器具进行分级变化(例如，高对低照明)。该装置可以具有可配置的设置过程，使得用户可以预先选择响应于不同的运动或睡眠相关检测的期望的系统控制行为。
[0212]
该系统可以自动捕捉人的完整睡眠期，其中捕捉诸如上床睡、入睡时间、实际睡眠时间、苏醒和最终苏醒的阶段。可以为人评估睡眠分段和睡眠评分。即使所讨论的声纳传感器与pct/us2014/045814中描述的rf传感器略有不同，一旦运动被确定和/或睡眠相关参数被测量，可以以与在本文描述的方式类似的方式评估睡眠评分。健康人的典型睡眠评分输入参数包括总睡眠时间、深睡眠时间、rem睡眠时间、浅睡眠时间、入睡开始后苏醒(waso)的
时间和入睡开始(入睡时间)。睡眠评分可以任选地使用人的年龄和性别，以提供相对于他们的人口常模(以下称为常值)的归一化评分。还可以在计算中使用历史参数值。
[0213]
掩蔽声音
[0214]
智能扬声器可以被实施为经由其扬声器产生掩蔽声音。例如，它可以产生白噪声(典型的掩蔽声音)。一些人喜欢在睡眠时用它，因为它可能隐藏其他潜在的令人厌烦的环境噪声。诸如通过产生具有与所感测到的噪声相反的相位的声音，其它掩蔽声音可以是消除声音的噪声。通过舒缓掩蔽噪声，该系统可以用于帮助成人或婴儿睡眠以及监测他们的呼吸。在一些情况下，掩蔽噪声本身可以是感测声学信号，诸如如果系统通过使用超宽带(uwb)方案产生低超声声学感测。
[0215]
睡眠开始服务
[0216]
处理器或微控制器可以被配置为诸如基于利用声学感测的典型历史睡眠阶段确定和/或睡眠阶段的周期的定时来预测即将到来的睡眠阶段或当前睡眠阶段的预期长度。通过这样的预测，可以对诸如音频和照明源的器具进行受控改变(即，智能扬声器或处理装置可以诸如利用无线控制信号来控制器具)，以调节器具(如已经讨论的)。例如，智能扬声器可以配置有“总是开启”(白天和夜晚)的连续感测。因此，它可以自动识别人存在的时期、人睡着的时期(无论是完全睡眠阶段，还是小睡)，以及苏醒，不存在等)。智能扬声器可以识别用户何时开始睡着，以及他们何时开始苏醒。通过这样的检测，系统检测到有人在装置附近区域睡着，并且响应于该检测可以减小(扬声器、电视机等的音频内容的)回放音量。当装置检测到人已经进入更深睡眠时期时，可以在5-10分钟之后关闭音量和电视机等。这种检测还可以用作自动调暗、设置自动防盗警报、调整加热/空调设置、激活相关智能装置(例如智能电话等)上的“免打扰”功能等的控制决策。
[0217]
如果通过其处理检测到睡眠，则智能扬声器或处理装置100可以禁用语音助理提示，这可以帮助避免意外地唤醒人。可以禁用这样的提示直到出现预定义的唤醒窗口(例如，允许诸如将人从预先选择的睡眠阶段唤醒以便用作“智能报警”的提示，并且潜在地使睡眠惯性最小化)。
[0218]
处理装置可以根据在感测空间中所检测到的人数来做出这样的控制决定。例如，如果两个人在床上，并且装置检测到一个人睡着而另一个人清醒，则系统可以控制音量设置，以便将语音助理音量减小到可能的最小，同时允许其仍然被使用。这可以允许清醒的那个人听到该装置，但也可以使装置唤醒睡着的那个人的风险最小化。相反，如果当检测到至少一个清醒的人并且检测到至少一个睡着的人时正在播放介质内容(例如，音乐或电影)，则对于仍然清醒的人，该装置可以制止降低介质音量，或者略微降低介质音量。然后，当装置检测到剩下的人也睡着了时，该装置可以进一步减少并关闭介质内容。
[0219]
在一些情况下，处理装置可以基于对用户在处理装置的房间中的位置和/或存在的检测来控制对音量水平(可听音频内容音量)的调节。例如，如果没有检测到用户存在，则可以减小或可选地增加音量。该装置甚至可以基于或作为所检测到的位置(例如，距离处理装置或特定地点(例如，床)的距离)的函数，诸如通过随着离装置距离的增加而增加体积和/或随着离装置距离的减少而减少体积来控制体积调整。作为进一步的示例，如果处理装置检测到用户在床上，则体积可以减小或者如果离开床，则体积可以增加。
[0220]
唤醒开始服务
[0221]
该系统可以为多种唤醒场景提供服务。例如，如果用户在夜晚苏醒，则他们可以接收语音帮助以帮助他们返回睡眠-例如使用具有个人反馈的思考程序。任选地，或者除了语音辅助之外，该系统可以控制对其他参数和所连接的器具设置的改变，以促使此人再次睡着。这可以包括例如控制到温度设置的改变、照明设置、诸如在电视机、显示面板上或由投影仪产生的图像的投影，诸如使用连接的/智能婴儿床摇动器等来激活床振动。例如，在睡着的婴儿的情况下，一旦声学运动感测装置检测到婴儿可能将要苏醒(例如，通过检测从深睡眠阶段到浅睡眠阶段的变化以及增加的身体移动)，或者检测到婴儿苏醒，就可以激活摇篮。任选地，可以诸如在智能装置的扬声器上播放儿童歌曲或音乐，或者通过播放某种自动形式的讲演来播放音频内容。这可有助于延长睡眠时间或父母可延迟照顾婴儿的时间，给与吵闹的婴儿或学步的婴儿的父母非常需要的刹车。
[0222]
如果用户已经设置了警报时间窗口，则处理装置可以针对用于唤醒用户的合适的睡眠阶段(通常是光睡眠阶段)来监视用户的睡眠阶段。在没有这样的阶段的情况下，处理装置还可以主动地引入微妙的光和声音，以使它们从交替阶段(诸如深度或rem睡眠阶段)进入轻睡眠，然后再进清醒。这种智能报警处理装置还可以被配置为控制附加连接的家庭自动化器具功能。例如，在检测到清醒的用户时，处理装置可以与诸如自动窗帘/百叶窗的器具通信以开启以促进清醒、与自动烤箱通信以加热早餐、与自动咖啡机通信以打开以开始制作咖啡等。
[0223]
还可以使用生物测定感测来配置每日小睡计划。这可以允许你小睡，知道你在下午3.30点有预约，并且需要清醒并为此而警觉(即，不是直接从深睡眠中醒来)，或者实际上在午睡期间使用光和声音刺激来防止你进入深睡眠(因此你在醒来时不会感觉到昏昏沉沉)。
[0224]
睡眠改善服务
[0225]
可以基于用户的最近趋势以及相似年龄、性别、生活方式等的人的人口标准，向用户递送意见以改善他们的睡眠行为(睡眠卫生)。
[0226]
所描述的系统进一步允许收集来自用户的反馈。反馈可以涉及用户当前如何感觉、用户上夜如何睡眠、所提供的意见的使用、医学或锻炼是否有益等。可以通过输入装置来收集任何这样的反馈。在一个示例中，这可以是智能电话的键盘。在智能扬声器包括个人音频助理应用功能的情况下，有可能经由语音引出和处理来自用户的反馈，例如回答关于他们的状况的问题、询问他们如何感觉、向他们提供个性化反馈，包括提供关于他们的困倦和疲劳状况的数据。因此，该系统(诸如处理装置)可配置有用于自然语言处理的软件模块，该软件模块用于向系统提供作为对话界面的定向对话序列(例如，多语种、可听口头命令、查询)，以从处理装置获得可基于对声学感测运动信号的评估的信息。可以利用google云平台、对话流程企业开发套件来实施示例性自然语言处理模块或会话界面。
[0227]
作为示例，考虑具有一组或多个处理装置100的多房间或多楼层属性。具有基于声学的感测的处理装置100可以位于厨房中，并且可以位于卧室中。在准备早餐时，人们可以通过口头表达来查询他们的睡眠信息：“好的，google，我的睡眠如何？”作为响应，处理装置可以定位来自前夜的睡眠阶段的睡眠参数(以及前夜的趋势)，可能已经通过另一处理装置100(即，卧室中的一个)的基于声学的运动感测应用而被检测到该睡眠参数。对处理装置的这种查询可类似地应用于从例如fitbit、garmin watch、resmed s+以及含有与所查询的睡
眠等相关的数据的任何其它网站或联网服务器检索所记录的会话数据。
[0228]
因此，人们可以选择何时以及以什么形式接收关于他们睡眠的意见。就这点而言，睡眠管理系统可以通过使用处理装置100的麦克风和扬声器经由问题和响应口头询问而呈现的音频内容来交互式地递送或呈现睡眠意见块。来自睡眠管理系统(诸如pct/us2014/045814中描述的睡眠管理系统)的意见可以经由处理装置100来递送，并且可以与睡眠习惯的改变、生活方式的改变或实际上新的产品意见相关。
[0229]
例如，涉及处理装置100的扬声器和麦克风的示例性查询/应答询问会话可以生成以下输出：“嗨，redmond，根据您最近的睡眠分段、您的购买历史以及您的日常不适报告，您可能会从新床垫中受益。我发现了一种以折扣价特价销售的优质新内螺旋弹簧床垫，因为你不喜欢选择记忆泡沫。你想定购吗？”。可以基于对因特网和历史用户数据的一个或多个搜索以及由处理装置做出的所检测到的睡眠状况来收集和生成这样的内容。
[0230]
这样，系统允许基于例如声学地进行的、睡眠检测和交互式口头通信(用户与处理装置100的语音助理应用之间的对话)的反馈和进一步操作。这样的反馈和操作可以基于处理装置访问环境数据(例如，包括声音数据、温度数据、光数据等)，其可以搜索或以其他方式利用环境相关系统和传感器来检测，并且可以包括生成控制信号以控制环境系统的操作。这种平台所产生的输出还可以向人们提供销售相关产品，诸如以解决睡眠状况。例如，可以使用自然语言在平台上开发该系统以提供与该系统的定向对话。然后可以通过与处理装置100交互而不是仅仅发送睡眠相关消息来呈现个性化的睡眠意见。例如，用户可以请求处理装置：“好的，google，我昨晚睡得怎么样？”“哦，redmond，这是瑞思迈的睡眠评分app，你昨晚的评分为38。哦，似乎有点低。”“发生了什么？”呃，我们发现您的睡眠环境和呼吸模式存在一些问题。你想知道更多信息吗？”“想！”“您的卧室在华氏77度时温度太高。我们今晚可以在睡前一小时开空调-您看可以吗？”“好的”。“然后告诉我有关我的呼吸情况。”“我们检测到您昨晚大声打鼾，并且在您睡眠rem期间的呼吸中存在一些间隙。你想谈谈吗？”“好的，这是什么意思呢？”“您昨晚打鼾挺厉害的，并且在您的呼吸模式中存在一些中断，这就是您的评分低的原因。你一天经常感到疲倦吗？”“是的。”您是否想打电话问下医生您的症状？您可以免费得到有关您的健康计划的10分钟咨询。”[0231]
对于这种交互，诸如结合网络上的支持服务器的处理而工作的处理装置100可以包括人工智能(ai)过程，以诸如通过组合来自白天激活的检测信息(例如，历史用户数据)(例如，来自可穿戴gps、加速度计、心率传感器和其他激活监视器的检测的锻炼或步伐信息和心率，这些激活监视器还可以通过运动感测等检测这种信息)和检测的睡眠信息来提供改进的灵活性和范围，以便基于组合的检测数据来递送定制服务，诸如睡眠相关意见和产品供应。
[0232]
生物测定识别服务(另请参阅安全感测)
[0233]
生物测定特征可以用于个人识别，并且如上所述，可以用于生活环境中的设备的控制，以及与云服务的数据交换。例如，可以通过分析从生理运动信号中导出的运动相关特点来实现生物测定识别。这种基于运动的生物测定方法可以是在pct/ep 2016/058789中描述的那些。因此，本文的生物测定识别可基于从本文的基于声学的感测方法导出的运动信号。
[0234]
使用超声学感测实现人识别意味着处理装置100区分背景噪声和声学感测信号，
并用于验证装置附近区域人的存在。因此，在一些版本中，处理装置100可被配置为操作波束形成过程，诸如其中学习用于不同信道(不同扬声器信号)的合适延迟，使得可针对与检测附近区域和扬声器位置相关联的差异来调整声信号接收的定时。同样地，该系统可以使用波束成形来进一步定位所检测到的区域(例如，用于详细的距离检测和对象跟踪)。当在感测附近区域内检测到对象的存在时，这种过程可以作为设置过程或调整过程运行。
[0235]
如已经指出的，诸如当处理装置100检测到对象在检测范围中的不存在/存在时，和/或通过随后基于生物测定信号处理来检测和识别人时，低频超声可以产生复杂的安全感测平台。
[0236]
在一些情况下，处理装置100甚至可以调整其感测信号以提供至少两种模式。一种模式可以包括旨在检测人何时进入被监测区域的一般监测模式，可以采用不同的检测方案(例如，uwb、cw、fmcw等)来进行存在检测。一旦检测到被监测的人的存在，系统可以切换到增强的测距和任选地心脏感测、呼吸感测模式等(例如，双音调fmcw或(a)fhrg)。然后，诸如当人的“签名”参数对于与处理装置协作工作的处理装置(例如，记录数据)或另一装置(例如，联网服务器)是可访问的时，可以使用所检测到的参数(例如，心脏参数、呼吸参数、全身运动参数等)来识别人。任选地，如果这样的签名相对于所记录的数据没有被识别，则处理装置(或协作服务器)可以判定新的人已经进入感测附近区域。
[0237]
因此，通过感测装置周围的区域，系统可以检测未知或未识别的生物运动信号或未识别的手势。基于这样的检测，诸如处理装置的系统可以激活或传送潜在不想要的存在的警告或其他消息。一个实际示例包括由智能电话发送的警告。当电话经由声音感测和识别方法检测到除了其被识别的拥有者之外的其他人正在使用或试图使用电话时，智能电话可以确定其已经被忘记/离开无人看管。
[0238]
在另一个示例中，google home智能扬声器或其他智能扬声器或处理装置可以使用声音感测来监视公寓、房间或住宅，并且可以充当非常智能的入侵者警报器。例如，处理装置可以，诸如在运动不存在的时间段之后检测公寓中的运动。作为响应，处理装置可以控制一个或多个自动化器具。例如，可以通过由处理装置基于检测而生成或发起的控制信号来照亮次级光。该处理还可以，诸如通过可听地询问此人以识别他自己或她自己经由该扬声器发起询问，或者它可以提供可听的欢迎。这个人可以说“这是redmond”。然后，处理装置可以诸如通过尝试识别与特定已知人相关的其口头签名，例如，通过将可听响应与先前记录的可听响应(例如，声波分析)进行比较来评估响应。如果语音被识别，则处理装置可以结束挑战/响应询问。如果没有响应或者如果处理装置没有识别口头签名，则处理装置可以诸如经由其通信界面与其他服务通信。例如，它可以经由网络或因特网通知其他人或所有者(例如，通过控制电子邮件、文本消息、通过电话记录的音频消息等的生成)已经存在入侵。换言之，处理装置以及任选地与一个或多个附加系统处理装置或服务器一起执行：声学检测、可听询问、可听认证，以及授权或传送警报或警告消息。此外，任选地，诸如代替语音识别，或者除了语音识别之外，处理装置可以诸如通过检测呼吸率和心率来执行如先前所讨论的基于运动的生物测定认证，以提供对处理装置附近区域的人的认证或次级认证的手段。
[0239]
该处理装置可以被配置为进行进一步的处理，诸如当此人的口头签名被识别时。例如，处理装置然后可以进行进一步的对话询问，诸如在打开灯之后。该处理装置可以询问
此人他/她以前在哪里。例如，在离开人(redmond)之前，可能已经告诉处理装置他正在去健身房或者他在他的移动电话或锻炼装置上预订了跟踪服务，使得跟踪的位置(诸如经由gps)与处理装置共享。当处理装置通过声音检测检测到人的存在(并任选地识别用户/redmond)时，处理装置可能会发起对话，诸如“怎样去健身房，redmond？有没有最佳个人成绩？”。该处理装置还可以检测无线装置的到达并且发起数据的下载。例如，它可以检测启用无线移动/健康跟踪器(例如，蓝牙配件位)，并且它可以下载步数、心率或其他激活参数。这样的数据还可以用于验证特定人的认证/识别的可信度。由处理装置生成的附加对话然后可以基于所下载的数据，诸如经由扬声器提供可听响应。诸如基于相机的面部或身体识别的其它参数也可由装置在多模态识别中启动，诸如利用可由处理装置控制的相机器具。
[0240]
对于非入侵者警报配置，或者当已经识别出人时，所检测到的房间中的移动可以用作控制照明变化的基础，例如，如果检测到黑暗(这可以通过时间/时钟或者通过耦合到处理装置的光传感器来确定)，则处理装置可以生成控制信号以经由家庭自动化或者处理装置100本身中的光源来利用灯开启或者以其他方式增加照明。
[0241]
cw声学感测模式可以检测房间中的吃水深度(气流)，并且例如可以用作处理装置生成提醒的基础，诸如通过扬声器利用可听会话消息向人们指示他们可能已经使窗户打开或者风扇可能正在运转等。在一些情况下，自动风扇器具可以基于其对这种气流的存在或不存在的检测而利用处理装置的控制信号来激活或去激活。
[0242]
范围检测
[0243]
通过检测一个或多个人与处理装置100的扬声器的距离，诸如利用在本文描述的声音感测方法，可以通过扬声器经由音频，或者通过其他家庭自动化服务(例如，器具)传递不同的服务。举例来说，处理装置可基于所检测到的距扬声器的距离将处理装置(诸如，用于语音助理应用)的扬声器的音量等级设定到适当等级(例如，对于较远的话音量较大，对于较近的话音量较低)。因此，可以基于所检测到的用户距离自动改变音量。
[0244]
在一些版本中，其它检测也可用于改善距离检测。例如，距离信息可以从诸如红外部件(例如，近红外线传感器，近红外线传感器)的其他传感器导出。可以组合距离检测以增加范围(或实际上速度)评估的准确度。
[0245]
来自近场和远场麦克风的数据也可以用于更好地定位sonar回波-尤其是如果两种类型的麦克风都存在于同一硬件上。
[0246]
手势控制
[0247]
该处理装置还可以被配置为基于在本文描述的声学感测方法并且通过生理运动信号的处理来识别姿势。例如，处理装置可以被配置为根据pct/ep 2016/058806中描述的运动信号来识别特征手势，诸如特定的手、臂或腿移动，诸如其中生理运动信号由本文的声学感测方法导出。因此，可根据所检测到的姿势来调整处理装置的功能和/或可由处理装置控制的自动化器具的功能，例如，顺时针圆周运动以增大扬声器上的音量，以及逆时针运动以减小音量并任选地关闭装置(例如，处理装置100或本文所述的任何器具)。可以使用手势来控制处理装置，诸如使其发起通信，诸如发送可以与处理装置进行的通知，诸如语音呼叫或紧急呼叫、文本消息、电子邮件等。
[0248]
呼吸控制和反馈服务
[0249]
可以利用白天应用来实施处理装置100，诸如用于通过基于声学导出的运动信号
生成诸如深呼吸锻炼的沉思输出来减少压力和血压。例如，呼吸运动信号可以由处理装置100处理/评估以生成定时提示，该定时提示可以帮助由控制器经由其扬声器和/或相关器具(例如，受控灯)的输出提供定制的最小呼吸练习(例如，以每分钟8次呼吸以下的速率的“腹部呼吸”)。系统可以使用呼吸的诱导来实现目标值，诸如其中装置通过将所检测到的呼吸曲线与系统递送的呼吸刺激/提示相关联来控制对用户的可听和/或可视反馈。
[0250]
呼吸提示可以是可听刺激，其中系统用目标呼吸节奏对音乐预滤波，然后在回放之前与感测信号重叠。该系统还可以选择具有接近于用户所检测到的呼吸率和/或心率的节奏的音乐类型。
[0251]
当焦虑或紧张时，使用者的呼吸模式可以是浅的和快速的，其中上胸和颈肌代替腹肌用于呼吸。个性化呼吸训练的一些优点是在没有药物干预的情况下用于健康改善，以潜在地减少应激激素、“平衡”自主神经系统(副交感神经系统和交感神经系统)、增加脑α波的产生，并且改善膈肌和腹肌的功能(特别是在具有潜在呼吸状况的那些中)。
[0252]
由处理装置提供的示例性放松游戏可以要求用户缓慢且深地呼吸，并且基于由处理装置通过声学运动感测对呼吸运动的检测，可以在由处理装置控制的显示器器具上呈现形状。可以控制球或气球以与用户胸部移动同步地在显示器上充气和放气，如通过在本文描述的声学感测方法自动感测的。当用户到达目标时，诸如在很少移动的情况下三分钟的稳定呼吸，处理装置改变显示。例如，气球可以上浮以表示完成，并且处理装置可以经由扬声器宣布用户“赢”。在处理装置还检测到心脏信号的情况下，可以使用呼吸和心率之间增加的相干性来获得游戏中的额外点。该形状也可以由与呼吸同步改变强度的光或具有强烈节奏分量的声音代替，并且“赢得”放松游戏的奖励可以是光颜色的改变或音乐序列。
[0253]
该系统的其他用途是使用一个或多个定速照明(经由灯或显示装置)和/或专用音频序列来提供警觉性呼吸训练，以增加用户的呼吸速率并调节用户的吸气/呼气时间，任选地具有来自低频超声生物测定检测的生物反馈。
[0254]
增加私密性
[0255]
许多虚拟助理总是收听(麦克风保持激活)语音识别服务(例如，在本地连续收听关键词/短语等“ok google”、“alexa”、“hey siri”)。就此而言，它们通常是活性的。在关键字/关键短语之后的任何事情都可以被发送到互联网。有些人不愿意以这种方式不断地监视他们的谈话。上述移动检测的一个优点是它允许处理装置去激活其麦克风，直到用户准备好使用该处理装置。就这点而言，处理装置的语音辅助操作可以被配置为正常不激活。例如，处理装置可以应用其声运动检测方法，诸如通过检测特定运动或运动手势，来发起麦克风监视，而不是使用麦克风的典型音频关键字识别。这消除了对用户对话持续监控的需要，并且允许用户更具有隐私。虽然这种运动检测可以靠近处理装置进行，但是也可以在处理装置周围的附近区域进行检测。这样的方法可以使用标准运动手势或用户定制的运动手势(例如，在设置过程中学习的简讯)来触发处理装置以激活扬声器。这可以发起与处理装置的自然语言会话，诸如经由扬声器触发来自处理装置的口头响应。然而，任选地，处理装置还可以等待在麦克风激活之后利用麦克风检测可听关键字。口头关键字然后可以用作用于发起与处理装置100的自然语言对话会话的触发器。
[0256]
这种用于唤醒处理装置或发起会话的方法可以比传统方法更优选。对于静止和讲话的用户，处理装置的助理应用不会收听口头关键字，直到检测到运动。这样的特征还可以
意味着处理装置在房间中没有人的同时不收听语音(或房间中的其他噪声)。但是，这样的主动收听模式可以有选择地打开到更加连续的状态，诸如如果用户正在离开(“请监测房间，因为我现在正在离开”)。
[0257]
另一个隐私权优点是可以进行详细的睡眠跟踪或白天不存在/存在、呼吸和/或心率跟踪，而不需要在卧室/起居室中记录相机。
[0258]
其他应用
[0259]
该技术的其它用途包括扬声器和麦克风已经可用或者可以容易地改型的情况。例如，对于电梯中的占用传感器(电梯以及现有的扬声器和麦克风(用于紧急通信)可以用于感测空间中的呼吸或其他移动信号。
[0260]
还可以使用用于使用fmcw跨范围感测或使用cw大面积感测的公共地址(pa)系统。许多这样的系统已经使用20khz或类似的音调来确保它们正确地工作，并且可以被升级为包括超声生物测定感测(例如，用于在火车站、图书馆、商店等中使用的超声生物测定感测)。
[0261]
打盹
[0262]
无论人是躺在床上、在沙发椅上还是在处理装置的任何区域/附近区域，系统的处理装置100均可以被编程为具有小睡功能以辅助智能小睡。例如，用户可以告诉装置“我正在小睡”。交互式音频装置然后可以可听地帮助用户入睡，并且然后通过监视睡眠和/或时间，基于预期的可用时间、当前睡眠不足评估、一天中的时间和用户请求来指导人到适当的小睡持续时间。例如，可以优化目标持续时间，诸如20分钟、30分钟、60分钟或90分钟(完全睡眠循环)。60分钟的小睡是为了优化深睡眠，并允许一些时间在结束时从任何睡眠惯性恢复，而20和30分钟的目标时间被优化以在用户仍处于浅睡眠时或在处于深睡眠超过一分钟或两分钟之前唤醒用户。除了小睡时间之外，还记录睡前清醒的时间(小睡)。
[0263]
如果使用者在前一天正常睡眠，20-25分钟的小睡可以优于90分钟的完全睡眠周期，因为更长的时间可以影响那个夜晚的睡眠。
[0264]
多用户附近区域感测
[0265]
在一些版本中，处理装置可被配置为用一个或多个扬声器和一个或多个麦克风同时监测两个人(或更多人)。例如，处理装置可以以不同的感测频率产生多个感测信号，用于感测具有不同频率的不同用户。在一些情况下，其可控制产生用于在不同时间感测不同用户的交错感测信号(例如，在不同时间的不同感测信号)。在一些情况下，它可以按顺序调节用于在不同时间感测不同范围的范围选通(例如，用于平行感测中)。
[0266]
在一些情况下，存在有助于最大化信号质量的一些条件。例如，可以将处理装置(例如，射频(rf)传感器，或支持sonar的智能电话)放置在床边储物柜上。在这种情况下，可能存在第一个人的“遮蔽”效果，第一个人的身体可以阻挡非常多的感测信号(并且实际上有益于范围门控(在床上仅感测一个人)。在sonar中，处理装置可产生两个(或多个)不同感测信号，或甚至单个fmcw(三角形、双斜坡或其他)感测信号以检测两个(或多个)人。fmcw的距离可分性意味着一个感应信号是足够的(诸如在房间里只有一个扬声器/麦克风)。理想地，为了同时监测两个人，用户可以将处理装置放置在升高的位置，使得大部分声能到达两个用户(例如，使得第一用户和他/她的床单/羽绒被不会阻挡太多的感测信号)。如果在同一装置上有两个麦克风，则如果存在显著的相长/相消干涉(例如，因为它可能更接近一个
上的峰值，而另一个上的零-尤其是对于来自更远对象的较小幅度的接收信号)，则这也可以提供优点。
[0267]
如果有更靠近第二个人的sonar/智能电话，它可能更有益(并且可能实现更高的信号质量)。第二个人可以使用他们的智能电话/处理装置，并且第一个人使用他们的智能电话/处理装置。可以产生感测信号以避免彼此干扰(即，防止信号在时间和/或频率上重叠)。这些装置可以自动地感测环境(通过在传输之前侦听和/或在我们传输时处理所接收到的信号)，以便选择性地选择不干扰来自附近区域其他装置的预先存在的感测信号的感测信号解调/技术。
[0268]
在一些情况下，传输和接收灵敏度的声压级使得具有完全相同的传输感测信号的两个智能手机不会引起干扰，因为空气衰减和吸声表面(织物、地毯、床上用品等)的混合可能具有将第二源保持在干扰阈值以下的影响。如果由相应用户使用每个处理装置，则这些装置可以被配置为任选地自动降低每个装置的输出功率，使得可以诸如以最低的必要输出功率充分地检测被监测对象的生物测定信号。这样的过程可以允许每个过程检测运动，同时避免与其他装置的干扰。
[0269]
噪声/干扰避免
[0270]
在一些情况下，当处理装置在扬声器上播放内容声音(例如，节目、音乐、语音等)时，处理装置可以低通该内容声音以去除(例如)18khz以上的任何内容。该处理装置然后可以覆盖该低频超声信号用于感测。这意味着系统去除(或显着地衰减)可能影响感测能力的“音乐”的分量。然而，在一些情况下，可以省略这种滤波。这种滤波可能使高质量hi-fi上的内容声音(影响高度)模糊(或者可能使用户认为这可能发生-感觉而不是现实问题)。处理装置可以被配置为避免对音乐/声音内容进行低通滤波(或者如果在单独的但附近区域的扬声器上播放，则实际上可能甚至不具有对其进行滤波的能力)。因此，在感测信号中可能存在不想要的分量。轻这种情况的一种方式是实现对实时和最近(在时间上)“带内”干扰的反馈以适应感测信号。取决于可能不足的处理资源(或希望非常快地动作(低延迟))，处理装置可以同时发送两个感测信号(在fmcw信号的情况下，其可以是两个共同定位的三角斜坡或实际上两组双斜坡等)。然后，处理装置可以包括表决处理，以评估得到的生物运动信号，从而基于所检测到的信号中的运动来选择更好的信号(在信号质量方面)。可以在整个感测处理(使用时间)中动态地持续这样的处理。
[0271]
5.2其他评论
[0272]
本专利文献的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人对本专利文献或专利公开的传真复制，因为它出现在专利局专利文件或记录中，但保留所有版权。
[0273]
除非上下文另外明确规定且在提供值的范围的情况下，应理解，在所述范围的上限与下限之间的每个中间值(到下限的单位的十分之一)和在所述范围内的任何其他陈述值或中间值涵盖于技术内。这些中间范围的上限和下限(其可以独立地包括在中间范围中)也涵盖在该技术内，服从于所陈述的范围内的任何具体排除的限制。其中所陈述的范围包括极限中的一者或两者，排除那些所包括的极限中的一者或两者的范围也包括在技术中。
[0274]
此外，在本文陈述一个或多个值被实现为本技术的一部分的情况下，应当理解，除非另有说明，否则这些值可以是近似的，并且这些值可以被利用到任何适当的有效数字，以
达到实际技术实现可以允许或要求它的程度。
[0275]
除非另外定义，否则本文使用的所有技术和科学术语具有与本技术所属领域的普通技术人员通常理解的相同的含义。尽管与本文所述的那些类似或等同的任何方法和材料也可用于本技术的实践或测试，但本文描述了有限数目的示例性方法和材料。
[0276]
当特定材料被确定为用于构造部件时，具有类似特点的明显替代材料可用作替代物。此外，除非相反地指定，否则本文描述的任何和所有组件应理解为能够被制造，并且因此可以一起或单独制造。
[0277]
必须注意，如本文和所附权利要求中所使用的，单数形式“一”、“一个”和“该”包括它们的复数等同物，除非上下文另外清楚地指出。
[0278]
本文提及的所有出版物通过引用整体并入本文以公开和描述作为那些出版物的主题的方法和/或材料。提供本文讨论的出版物仅仅是为了它们在本技术的申请日之前的公开内容。本文不应被解释为承认本技术无权由于在先发明而早于此类公开。此外，所提供的出版日期可能与实际出版日期不同，这可能需要独立确认。
[0279]
术语“包含(comprises)”和“包括(comprising)”应当被解释为以非排它性的方式提及要素、组分或步骤，表明所提及的要素、组分或步骤可以存在，或利用，或与未明确提及的其他要素、组分或步骤组合。
[0280]
包括在具体实施方式中使用的主题标题仅仅是为了便于读者参考，而不应用于限制在整个公开或权利要求书中找到的主题。主题标题不应用于解释权利要求或权利要求限制的范围。
[0281]
尽管已参考特定实例描述了本文中的技术，但应理解，这些实例仅说明技术的原理和应用。在一些情况下，术语和符号可能暗示实践所述技术不需要的特定细节。例如，尽管可以使用术语“第一”和“第二”，除非另有说明，它们不旨在表示任何顺序，而是可以用于区分不同的元件。此外，尽管可以按顺序描述或示出方法中的过程步骤，但是这种顺序不是必需的。本领域技术人员将认识到，可以修改这样的顺序和/或可以同时或甚至同步地进行其方面。
[0282]
因此，应当理解，在不脱离本技术的精神和范围的情况下，可以对说明性实例进行许多修改，并且可以设计其他布置。

技术特征：
1.一种处理器可读介质，其上存储有处理器可执行指令，所述处理器可执行指令在由交互式音频装置的处理器执行时，使所述处理器检测用户的生理移动，所述处理器可执行指令包括：用于控制经由耦合到所述交互式音频装置的传输器在所述交互式音频装置附近区域传输射频(rf)信号的指令；用于控制经由耦合到所述交互式音频装置的接收器感测所传输的信号的反射的指令；用于利用所感测到的反射信号的至少一部分和表示所传输的信号的至少一部分的信号来导出生理移动信号的指令；以及用于基于对所导出的生理移动信号的至少一部分的评估来生成输出的指令，其中，所生成的输出包括交互式询问和响应呈现。2.根据权利要求1所述的处理器可读介质，其中所述所导出的生理移动信号包括呼吸运动、总运动、或心脏运动中的一者或多者。3.根据权利要求1所述的处理器可读介质，进一步包括所述处理器可执行指令，用于以经由耦合到所述交互式音频装置的麦克风评估所感测到的可听口头通信；并且其中生成所述输出的指令被配置为响应于所述所感测到的可听口头通信来生成所述输出。4.根据权利要求1所述的处理器可读介质，进一步包括处理器可执行指令，用于操作波束成形过程以进一步定位所检测到的区域。5.根据权利要求1所述的处理器可读介质，其中基于对所述所导出的生理移动信号的所述部分的评估而生成的输出包括所监测到的用户睡眠信息。6.根据权利要求1至5中任一项所述的处理器可读介质，其中对所述所导出的生理移动信号的所述部分的评估包括检测一个或多个生理参数，所述一个或多个生理参数包括呼吸速率、呼吸的相对振幅、心率、心脏振幅、相对心脏振幅、以及心率可变性中的任一者或多者。7.根据权利要求1至5中任一项所述的处理器可读介质，其中：(a)所述所生成的输出包括通过说话者来实现的交互式询问和响应呈现；或者(b)所述所生成的输出包括通过说话者来实现的交互式询问和响应呈现，并且包括用以改善用户睡眠的意见。8.根据权利要求1至5中任一项所述的处理器可读介质，其中：(a)基于对所述所导出的生理移动信号的所述部分的评估而生成的所述输出进一步基于访问网络上的服务器和/或进行网络资源的搜索；(b)基于对所述所导出的生理移动信号的所述部分的评估而生成的输出包括用于控制自动化器具或系统的控制信号；或者(c)基于对所述所导出的生理移动信号的所述部分的评估而生成的输出包括用于控制自动化器具或系统的控制信号，并且，所述处理器可读介质还包括处理器控制指令，用于通过网络将所述控制信号传输到所述自动化器具或系统。9.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括：(a)处理器控制指令，用于基于对所述所导出的生理移动信号的至少一部分的评估来生成控制信号以改变所述交互式音频装置的设置；或者(b)处理器控制指令，用于基于对所述所导出的生理移动信号的至少一部分的评估来
生成控制信号以改变所述交互式音频装置的设置，其中所述用于改变所述交互式音频装置的设置的控制信号包括基于检测到用户离所述交互式音频装置的距离、用户的状态、或用户的位置的音量变化。10.根据权利要求1至5中任一项所述的处理器可读介质，其中所述处理器可执行指令被配置为评估不同感测范围的运动特点，以监测多个用户的睡眠特点。11.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括用于基于所述所导出的生理移动信号的至少一部分来检测用户的存在或不存在的处理器可执行指令。12.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括用于基于所述所导出的生理移动信号的至少一部分来进行用户的生物测定识别的处理器可执行指令。13.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括处理器可执行指令，用于基于(a)从对所导出的生理移动信号的至少一部分的分析确定的生物测定评估，和/或(b)从对所导出的生理移动信号的至少一部分的分析确定的检测到的存在，来在网络上生成通信。14.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括处理器可执行指令，被配置为使所述交互式音频装置检测用户的运动存在、以可听方式询问所述用户、以可听方式认证所述用户、以及授权所述用户或传送关于所述用户的警报消息。15.根据权利要求14所述的处理器可读介质，其中：(a)用于可听地认证所述用户的处理器可执行指令被配置为将耦合到所述处理器的麦克风所感测到的所述用户的口头声波与先前记录的口头声波进行比较；并且/或者(b)处理器可执行指令被配置为用基于运动的生物测定感测来认证所述用户。16.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括：处理器可执行指令，用于使所述交互式音频装置基于所述所导出的生理移动信号的至少一部分来检测运动手势；和处理器可执行指令，用于基于所述所检测到的运动手势生成控制信号、发送通知，或者控制对(a)自动化器具和/或(b)所述交互式音频装置的操作的改变。17.根据权利要求16所述的处理器可读介质，其中：(a)所述用于控制对所述交互式音频装置的操作的改变的控制信号包括激活用于发起所述交互式音频装置的交互式语音助理操作的麦克风感测，由此参与不激活的交互式语音助理进程；或者(b)所述用于控制对所述交互式音频装置的操作的改变的控制信号包括激活用于发起所述交互式音频装置的交互式语音助理操作的麦克风感测，由此参与不激活的交互式语音助理进程，其中发起所述交互式语音助理操作还基于所述麦克风感测对口头关键字的检测。18.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括：处理器可执行指令，用于使所述交互式音频装置接收来自另一交互式音频装置的通信，所述通信由另一处理装置经由由所述交互式音频装置的麦克风所感测到的不可听的声波来控制。19.根据权利要求1至5中任一项所述的处理器可读介质，其中：(a)对所述所导出的生理移动信号的所述部分的评估进一步包括对睡眠开始或唤醒开
始的检测，并且其中基于所述评估的输出包括服务控制信号；或者(b)对所述所导出的生理移动信号的所述部分的评估进一步包括对睡眠开始或唤醒开始的检测，并且其中基于所述评估的输出包括服务控制信号，其中所述服务控制信号包括以下中的一者或多者：照明控制；器具控制；音量控制；恒温控制；遮窗控制。20.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括用于提供睡眠改善服务的处理器可执行指令，所述睡眠改善服务包括以下中的任一项：(a)响应于所检测到的睡眠状况和/或所收集的用户反馈来生成建议；以及(b)生成控制信号以控制环境器具来设置环境睡眠条件和/或向用户提供睡眠相关意见消息。21.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括处理器可执行指令，用于基于所述所导出的生理移动信号的至少一部分来检测手势，并且启动用于启动所述交互式音频装置的交互式语音助理操作的麦克风感测。22.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括用于基于所述所导出的生理移动信号的至少一部分来发起和监测小睡会话的处理器可执行指令。23.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括处理器可执行指令，用于通过改变所传输的rf信号的至少一部分的参数来改变检测范围，以便跟踪用户穿过所述附近区域的移动。24.根据权利要求1至5中任一项所述的处理器可读介质，进一步包括：(a)处理器可执行指令，用于用所述所导出的生理移动信号的至少一部分来检测未授权的运动并且生成警报或通信以通知所述用户或第三方；或者(b)处理器可执行指令，用于用所述所导出的生理移动信号的至少一部分来检测未授权的运动并且生成警报或通信以通知所述用户或第三方，其中所述通信在智能电话或智能手表上提供警报。25.一种能够访问根据权利要求1至5中任一项所述的处理器可读介质的服务器，其中所述服务器被配置为接收通过网络将所述处理器可读介质的所述处理器可执行指令下载到交互式音频装置的请求。26.一种交互式音频装置，包括：一个或多个处理器；耦合到所述一个或多个处理器的扬声器；耦合到所述一个或多个处理器的麦克风；以及根据权利要求1至5中任一项所述的处理器可读介质。27.根据权利要求26所述的交互式音频装置，其中所述交互式音频装置包括移动电话、智能手表、平板计算机、或智能扬声器。28.一种服务器访问根据权利要求1至5中任一项所述的处理器可读介质的方法，所述方法包括在所述服务器处接收用于通过网络将所述处理器可读介质的所述处理器可执行指令下载到交互式音频装置的请求；以及响应于所述请求将所述处理器可执行指令传输到所述交互式音频装置。29.一种处理器可读介质，其上存储有处理器可执行指令，所述处理器可执行指令在由具有至少一个麦克风和至少一个扬声器的交互式音频装置的处理器执行时，使所述处理器检测用户的生理移动，所述处理器可执行指令包括：用于控制经由耦合到所述交互式音频装置的麦克风感测来自附近区域的声音信号的指令；
用于利用所感测到的声音信号的至少一部分来导出生理信号的指令，其中实施所述麦克风处的可听呼吸的声学分析来检测呼吸；用于基于对所导出的生理信号的至少一部分的评估来生成输出的指令；用于在设置过程中经由所述至少一个扬声器生成探测序列以学习所述交互式音频装置所位于的房间的拓扑的指令。30.根据权利要求29所述的处理器可读介质，其中所述设置过程生成所述序列来以低频超声波校准距离测量值。31.根据权利要求29所述的处理器可读介质，其中所述处理器可执行指令进一步以下指令：利用经由来自另一处理装置的不可听的声学生成的通信信号，控制自动地确定其他处理装置在所述交互式音频装置的感测附近区域的存在。32.根据权利要求31所述的处理器可读介质，其中所述处理器可执行指令进一步包括用于以下指令：自动调整所述交互式音频装置的参数，以使其在非干扰感测模式下操作。33.根据权利要求29所述的处理器可读介质，其中所述处理器可执行指令进一步以下指令：基于对用户在所述交互式音频装置的房间中的位置和/或存在的检测来自动地控制对可听音频的音量水平的调节。34.一种交互式音频装置，包括：一个或多个处理器；耦合到所述一个或多个处理器的至少一个扬声器；耦合到所述一个或多个处理器的至少一个麦克风；以及根据权利要求29至33中任一项所述的处理器可读介质。

技术总结
一种处理器可读介质，存储有处理器可执行指令，处理器可执行指令在由交互式音频装置的处理器执行时，使处理器检测用户的生理移动，处理器可执行指令包括：用于控制经由耦合到交互式音频装置的传输器在交互式音频装置附近区域传输射频信号的指令；用于控制经由耦合到交互式音频装置的接收器感测所传输的信号的反射的指令；用于利用所感测到的反射信号的至少一部分和表示所传输的信号的至少一部分的信号来导出生理移动信号的指令；以及用于基于对所导出的生理移动信号的至少一部分的评估来生成输出的指令，其中，所生成的输出包括交互式询问和响应呈现。互式询问和响应呈现。互式询问和响应呈现。


技术研发人员：雷德蒙
受保护的技术使用者：瑞思迈传感器技术有限公司
技术研发日：2018.12.21
技术公布日：2023/10/20