使用生理数据检测非预期用户界面行为的制作方法

1.本公开整体涉及在电子设备上提供改进的用户体验，并且具体地涉及检测不同于用户期望的用户界面行为的系统、方法和设备。


背景技术：

2.用于提供用户界面的现有基于计算机的技术提供多种特征，这些特征响应于用户输入，例如，触摸屏接触、触摸屏手势、口头命令、基于注视的输入、控制器输入、键盘输入、鼠标输入等。可能发生非预期用户界面响应和其他用户界面行为。例如，用户界面行为可涉及其中用户界面错误地检测到输入以及即使该输入实际上未被提供也作出响应的误报，或者其中用户界面未能检测到所提供的输入的漏报。现有技术可能不能充分地检测到此类非预期用户界面行为。


技术实现要素：

3.本文所公开的一些具体实施提供了使用用户的生理数据(例如，指示惊讶、震惊、负面反应等)来确定发生了非预期用户界面行为的系统、方法和设备。在一些具体实施中，具有处理器的设备实现一种方法。当用户正在使用电子设备时，该方法经由传感器获得用户在一段时间期间的生理数据，并且使用该生理数据来确定该用户早该段时间期间的特性。该方法基于该用户在该时间段期间的该特性来识别在该时间段之前发生的非预期用户界面行为。在一些具体实施中，给定一段时间(例如，300ms时间窗口)的生理数据，该方法识别漏报，例如，遗漏对用户到对象的接触或其他基于用户移动的选择的检测。在一些具体实施中，给定一段时间的生理数据，该方法识别误报，例如，当此类内容或选择实际上没有发生时检测到用户到对象的接触或其他用户选择。在一些具体实施中，分类器或其他机器学习模型被用于执行识别。
4.根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。
附图说明
5.因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
6.图1示出了当用户正在使用电子设备时提供用户界面并从用户获得生理数据的设备。
7.图2示出了在非预期用户界面行为之前图1的用户的瞳孔。
8.图3示出了向用户呈现非预期用户界面行为的图1的设备。
9.图4示出了在非预期用户界面行为之后的图3的用户的瞳孔。
10.图5是示出使用生理数据来识别非预期用户界面行为的示例性方法的流程图。
11.图6示出了在触摸事件之后的与预期用户界面行为相关联的示例性生理数据。
12.图7示出了在触摸事件之后的与非预期用户界面行为相关联的示例性生理数据。
13.图8是示出根据一些具体实施的示例性设备的设备部件的框图。
14.图9是根据一些具体实施的示例性头戴式设备(hmd)的框图。
15.根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
16.描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
17.图1示出了包括设备10的物理环境5，该设备被配置为呈现用户界面15以及经由设备10上的传感器35从用户25获得生理数据(例如，眼睛数据、eeg数据等)。设备10可实现本文所公开的技术中的一种或多种技术以获得生理数据，基于生理数据来确定用户特性，并且基于用户特性来识别非预期用户界面行为。在图1中，用户25在与物理环境中的一个或多个对象交互时使用设备10。设备10上的传感器35被配置为捕获生理数据(例如，基于捕获用户25的图像、接触用25户的皮肤等的传感器)。在设备10的使用期间，用户25可观看呈现在设备10上的用户界面15并且例如通过将手指20触摸到设备10的触摸屏来与用户界面15交互。
18.由设备10的传感器35获得的生理数据可用于基于用户25的特性来识别非预期用户界面行为。在一些具体实施中，给定生理数据，识别漏报，例如，识别对用户到对象的接触或其他基于用户移动的选择的遗漏检测。在一些具体实施中，给定生理数据，识别误报，例如，当此类内容或选择实际上没有发生时识别存在对用户到对象的接触或其他用户选择的错误检测。
19.虽然设备10在图1中被示为移动设备，但是其他具体实施涉及其他类型的设备。在一些具体实施中，如图1所示，设备10是手持电子设备(例如，智能手机或平板电脑)。在一些具体实施中，设备10是膝上型计算机或台式计算机。在一些具体实施中，设备10具有触控板，并且在一些具体实施中，设备10具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些具体实施中，设备10为可穿戴设备，诸如头戴式设备(hmd)、手表、臂章、手镯、项链、脚镯或戒指。
20.此外，虽然本文所讨论的这些示例和其他示例示出了物理环境5中的单个设备10，但是本文所公开的技术适用于多个设备以及多个现实世界环境。例如，设备10的功能可由多个设备执行。
21.在一些具体实施中，设备10包括用于检测眼睛位置和眼睛移动的眼睛跟踪系统。
例如，眼睛跟踪系统可包括一个或多个红外(ir)发光二极管(led)、眼睛跟踪相机(例如，近红外(nir)照相机)和向用户25的眼睛发射光(例如，nir光)的照明源(例如，nir光源)。此外，设备10的照明源可发射nir光以照明用户25的眼睛，并且nir相机可捕获用户25的眼睛的图像。在一些具体实施中，可分析由眼睛跟踪系统捕获的图像以检测用户25的眼睛的位置和移动，或检测关于眼睛的其他信息诸如瞳孔扩张或瞳孔直径。此外，从眼睛跟踪图像起估计的注视点可使得能够与内容进行基于注视的交互。
22.在一些具体实施中，设备10具有用户界面(例如，图形用户界面gui)、一个或多个处理器、存储器以及存储在存储器中的用于执行多个功能的一个或多个模块、程序或指令集。在一些具体实施中，用户25通过触敏表面上的手指接触和手势与用户界面进行交互。在一些具体实施中，这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。
23.在一些具体实施中，设备10采用各种生理传感器、检测或测量系统。检测的生理数据可包括但不限于：脑电图(eeg)、心电图(ecg)、肌电图(emg)、功能近红外光谱信号(fnirs)、血压、皮肤电导或瞳孔响应。此外，设备10可同时检测多种形式的生理数据，以便受益于生理数据的同步采集。此外，在一些具体实施中，生理数据表示非自愿数据，即，不受意识控制的响应。例如，瞳孔响应可表示非自愿移动。
24.在一些具体实施中，用户25的一只或两只眼睛(包括用户的一个或两个瞳孔)以瞳孔响应的形式呈现生理数据。用户25的瞳孔响应经由视神经和动眼神经颅神经导致瞳孔的尺寸或直径的变化。例如，瞳孔响应可包括收缩响应(瞳孔缩小)，即，瞳孔变窄，或扩张响应(瞳孔散大)，即，瞳孔加宽。在一些具体实施中，设备10可检测表示时变瞳孔直径的生理数据的图案。
25.图2示出了图1的用户25的眼睛45的瞳孔50。如图1所示，当前生理状态(例如，当前瞳孔直径55)与过去生理状态(例如，过去瞳孔直径60)相比可能变化。例如，当前生理状态可包括当前瞳孔直径并且过去生理状态可包括过去瞳孔直径。该生理数据可表示随时间动态地变化的响应模式。
26.图3示出了向用户25呈现具有非预期用户界面行为的用户界面15的图1的设备10。在看到用户界面行为并对其作出反应后，用户可展现生理响应或以其他方式展现由传感器35捕获的用户特性。例如，用户的眼睛可用由传感器35观察到并由设备10上的算法(例如，使用阈值或机器学习模型)分类的新状态、变化或模式作为与非预期用户界面行为的指示对应的用户响应来响应。
27.图4示出了在非预期用户界面行为之后的图3的用户的瞳孔。在该示例中，当前瞳孔直径55相对于图2中所示的瞳孔直径被扩张。瞳孔直径的改变可基于该改变的一个或多个特性(例如，幅度、随时间的模式、关于用户界面动作的定时、关于未被识别为用户输入的用户动作的定时等)被认为是对非预期用户界面行为的指示。附加信息可用于识别非预期用户界面行为。例如，用户随后发起撤销动作或用户重复先前动作(例如，刚好在检测到用户特性之前执行的动作)，诸如未被识别为用户输入的指向或手势。
28.根据一些具体实施，图5是用于使用生理数据来识别非预期用户界面行为的方法500的流程图表示。在一些具体实施中，方法500由一个或多个设备(例如，设备10)执行。方法500可在移动设备、hmd、台式计算机、膝上型计算机或服务器设备上执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
29.在框510处，当用户正在使用电子设备时，方法500获得用户在一定时间段期间的生理数据。作为示例，这可涉及获得眼睛的图像、测量可根据其确定注视方向/移动的角膜-视网膜静息电位的眼电图(eog)数据、测量肌生成信号的肌电图(emg)数据。该时间段可以是固定时间窗口，例如100ms、200ms、300ms、400ms、500ms等。可使用经由心电图(ecg)或其他心脏传感器来获得心脏数据。血液数据可经由血液传感器获得。呼吸数据可经由呼吸或其他身体传感器获得。脑部数据可经由脑电图(eeg)传感器或其他脑部传感器获得。各种其他传感器可另外或可替换地用于获得用户的生理数据。
30.在框520处，基于生理数据，方法500确定用户在该时间段期间的特性。在一些具体实施中，特性涉及注视方向、注视速度、注视方向变化、瞳孔半径、瞳孔扩张和/或瞳孔收缩。在一些具体实施中，头戴式设备(hmd)上的面向内的相机捕获用户的眼睛的图像，并且经由计算机视觉技术确定一个或多个眼睛特性。在一些具体实施中，特性涉及基于肌电图(emg)数据的肌肉状态。在一些具体实施中，特征涉及基于心脏数据检测到的心率变化或模式。在一些具体实施中，特性涉及基于血液数据检测到的血压、血氧或血糖的变化或模式。在一些具体实施中，特征涉及基于呼吸数据检测到的呼吸的变化或模式。在一些具体实施中，特征涉及基于脑部数据检测到的脑部活动变化或模式。在一些具体实施中，特性是多个用户特性(例如，眼睛和肌肉特性两者)的组合。
31.在框530处，基于用户的特性，方法500识别非预期用户界面行为。一个或多个用户特性可指示非预期用户界面行为。例如，在检测到的用户到对象的内容或其他用户界面输入之后的时间段期间，用户的注视可稳定，并且这种稳定可以是基于指示所检测到的输入不应当被检测为输入的生理数据确定的眼睛特性。在一些具体实施中，识别非预期用户界面行为涉及：基于检测到该生理数据指示对与非预期事件发生而不是预期事件发生相关联的用户界面行为的反应类型，而确定该用户界面行为是非预期的。
32.在一些具体实施中，机器学习模型被训练成检测非预期用户界面行为。这种模型可被训练成将与时间窗口对应的生理数据分类为指示刚好在该时间窗口之前发生的非预期用户界面行为或者不指示刚好在该时间窗口之前发生的非预期用户界面行为。可从一般用户的样本群体获得并使用训练数据，例如包括与已知场景相关联的生理数据集，这些已知场景例如是其中用户界面正确地识别用户输入被接收、正确地识别没有用户输入被接收、用户界面错误地识别用户输入被接收以及用户界面未能识别用户输入被接收的情形。在一些具体实施中，机器学习模型被训练并用于识别附加或另选类型的用户界面行为，例如，其中用户提供一种类型的用户输入(例如，指向手势)并且检测到第二类型的用户输入(例如，轻扫手势)的情形。作为示例，应当通过确保用户理解并同意用户数据的使用、理解使用什么类型的用户数据、控制用户数据的收集和使用以及限制用户数据的分配(例如，通过确保用户数据在用户的设备上被本地处理)来尊重用户偏好和隐私。
33.在一些具体实施中，用于检测非预期用户界面行为的算法或机器学习模型是为特
定用户定制或个性化的。例如，训练机器学习模型的训练数据可基于用户何时发起撤销命令来自动生成。在这种情形下，导致撤销的动作的用户输入和与该用户输入之后的时间段相关联的生理数据可用于训练机器学习模型以识别类似的非预期用户行为的后续实例。
34.在一些具体实施中，检测到非预期用户界面行为并且自动发起响应。例如，这可涉及自动纠正先前的动作，例如提供自动动作或自动撤销。在一些具体实施中，非预期用户界面行为被检测到并被确定为漏报。在该示例中，界面响应可被自动地修改，从而在应当已经检测到输入/交互时基于环境的状态(例如，用户的手的位置、光标位置等)提供鼠标点击、选择或其他用户界面输入/交互。在一些具体实施中，非预期用户界面行为被检测到并被确定为误报。在该示例中，界面响应可被自动地反转，例如反转/撤销最后的界面动作。在其他具体实施中，非预期用户界面行为可与漏报(例如，预料的对象未被选择)和误报(例如，非预料的对象被选择)两者相关联。在该示例中，界面响应可被自动地改变，例如选择预料的对象而不选择非预料的对象。
35.在一些具体实施中，对非预期用户界面行为的检测触发向用户呈现信息、内容或选项。例如，可向用户呈现消息，该消息要求用户识别一个或多个所识别的用户界面行为中的哪一个用户界面行为(如果有的话)是不期望的或以其他方式非预期的。又如，向用户呈现消息，该消息向用户呈现关于要采取的动作的选项。例如，可要求用户选择应当撤销一个或多个所识别的用户界面动作中的哪一个用户界面动作。又如，可要求用户选择现在应当采取而未采取的一个或多个用户界面动作中的哪些用户界面动作。对此类选择的用户响应可被记录和学习。例如，系统可识别或以其他方式学习哪些类型的用户界面行为触发特定用户中的哪些类型的生理响应。
36.在一些具体实施中，检测非预期用户界面行为涉及识别多个可能的用户界面行为中最有可能是用户的生理响应的原因的一个用户界面行为。例如，在短时间窗口内，用户界面可检测口头言辞命令(例如，使照明变暗)并且检测手部手势(例如，基于手势的对象选择)。在一些具体实施中，系统基于生理数据(例如，某些类型的非预期行为可与某些类型的生理响应相关联)以及/或者基于用户的后续动作(例如，用户看着光源或看着所选择的对象)来消除这些可能在原因的歧义。
37.图6示出了在触摸事件之后的与预期用户界面行为相关联的示例性生理数据。在该示例中，在预期用户界面响应之后的时段610期间，注视速度和瞳孔半径展现相应的模式。例如，在对用户界面适当地响应的触摸屏的触摸事件之后，用户可在时段610期间展现这些模式。设备可执行本文所公开的技术以在时段610期间分析该生理数据并且检测该预期用户界面行为在时段610之前发生。
38.图7示出了在触摸事件之后的与非预期用户界面行为相关联的示例性生理数据。在该示例中，在非预期用户界面响应之后的时段710期间，注视速度和瞳孔半径展现相应的模式。例如，在对用户界面不适当地响应(例如，通过不响应于触摸)的触摸屏的触摸事件之后，用户可在时段710期间展现这些模式。设备可执行本文所公开的技术以在时段710期间分析该生理数据并且检测该预期用户界面行为在时段710之前发生。
39.图8是根据一些具体实施的设备10的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备
10包括一个或多个处理单元902(例如，微处理器、asic、fpga、gpu、cpu、处理核心等)、一个或多个输入/输出(i/o)设备及传感器906、一个或多个通信接口908(例如，usb、firewire、thunderbolt、ieee 802.3x、ieee 802.11x、ieee 802.16x、gsm、cdma、tdma、gps、ir、bluetooth、zigbee、spi、i2c和/或类似类型的接口)、一个或多个编程(例如，i/o)接口910、一个或多个显示器912、一个或多个面向内部和/或面向外部的图像传感器914、存储器920以及用于互连这些部件和各种其他部件的一条或多条通信总线904。
40.在一些具体实施中，该一条或多条通信总线904包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，该一个或多个i/o设备和传感器906包括以下各项中的至少一者：惯性测量单元(imu)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器、脑电图(eeg)传感器、心电图(ecg)传感器、肌电图(emg)传感器、功能性近红外光谱信号(fnirs)传感器、皮肤电导传感器或图像传感器，例如用于瞳孔响应等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、一个或多个深度传感器(例如，结构光、渡越时间等)等。
41.在一些具体实施中，一个或多个显示器912被配置为向用户25呈现用户体验。在一些具体实施中，一个或多个显示器912对应于全息、数字光处理(dlp)、液晶显示器(lcd)、硅上液晶(lcos)、有机发光场效应晶体管(olet)、有机发光二极管(oled)、表面传导电子发射器显示器(sed)、场发射显示器(fed)、量子点发光二极管(qd-led)、微机电系统(mems)、视网膜投影系统和/或类似显示器类型。在一些具体实施中，一个或多个显示器912对应于衍射、反射、偏振、全息等波导显示器。例如，设备10包括单个显示器。又如，设备10包括针对用户25的每只眼睛的显示器，例如，hmd。在一些具体实施中，一个或多个显示器912能够呈现扩展现实(xr)内容，例如，增强现实内容、虚拟现实内容等。
42.在一些具体实施中，一个或多个图像传感器系统914被配置为获取与包括用户25的眼睛的用户25的面部的至少一部分对应的图像数据。例如，该一个或多个图像传感器系统914包括一个或多个rgb相机(例如，具有互补金属氧化物半导体(cmos)图像传感器或电荷耦合设备(ccd)图像传感器)、单色相机、ir相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统914还包括在用户25的面部的一部分上发射光的照明源，诸如闪光灯或闪光源。
43.存储器920包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备。在一些具体实施中，存储器920包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器920可选地包括与一个或多个处理单元902远程定位的一个或多个存储设备。存储器920包括非暂态计算机可读存储介质。在一些具体实施中，存储器920或者存储器920的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括任选的操作系统920和用户体验模块940。
44.操作系统930包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，模块940被配置为使用生理数据来预测或以其他方式确定用户与对象接触的各方面。为此，在各种具体实施中，模块940包括生理数据跟踪单元942、用户特性单元944和预测单元946。
45.在一些具体实施中，生理数据跟踪单元942被配置为使用本文所讨论的技术中的
一种或多种技术或另有可能适当的技术来跟踪用户的瞳孔、肌肉、心脏、血液、呼吸、脑部和/或其他生理属性。出于这些目的，在各种具体实施中，该单元包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。
46.在一些具体实施中，用户特性单元944被配置为使用本文所讨论的技术中的一种或多种技术或另有可能适当的技术来确定用户特性(例如，由眼睛、肌肉、心脏、血液、呼吸、脑部或其他生理属性展现的状态、变化或模式)。出于这些目的，在各种具体实施中，该单元包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。
47.在一些具体实施中，预测单元946被配置为使用本文所讨论的技术中的一种或多种技术或另有可能适当的技术基于一个或多个用户特性来预测或以其他方式识别非预期用户界面行为。出于这些目的，在各种具体实施中，该单元包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。
48.尽管图8的单元和模块被示出为驻留在单个设备(例如，设备10)上，但应当理解，在其他具体实施中，这些单元的任何组合可位于单独的计算设备中。
49.此外，图8更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图8中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
50.图9示出了根据一些具体实施的示例性头戴式设备1000的框图。头戴式设备1000包括容纳头戴式设备1000的各种部件的外壳1001(或壳体)。外壳1001包括(或耦接到)设置在外壳1001的近侧(用户25的)端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将头戴式设备1000保持在用户25的面部上的适当位置(例如，围绕用户25的眼睛)。
51.外壳1001容纳显示器1010，该显示器显示图像、朝向用户25的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器1010通过具有一个或多个透镜1005的目镜发射光，该透镜折射由显示器1010发射的光，使显示器对用户25显示为比从眼睛到显示器1010的实际距离更远的虚拟距离。为了使用户25能够聚焦在显示器1010上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。
52.外壳1001还容纳跟踪系统，该跟踪系统包括一个或多个光源1022、相机1024和控制器1080。一个或多个光源1022将光发射到用户25的眼睛上，其反射为可由相机1024检测的光图案(例如，闪光圈)。基于该光图案，控制器1080可确定用户25的眼动跟踪特征。例如，控制器1080可确定用户25的注视方向和/或眨眼状态(睁眼或闭眼)。又如，控制器1080可确定瞳孔中心、瞳孔尺寸或关注点。因此，在各种具体实施中，光由所述一个或多个光源1022发射，从用户25的眼睛反射，并且由相机1024检测。在各种具体实施中，来自用户25的眼睛的光在到达相机1024之前从热镜反射或通过目镜。
53.显示器1010发射第一波长范围内的光，并且所述一个或多个光源1022发射第二波
长范围内的光。类似地，相机1024检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。
54.在各种具体实施中，眼睛跟踪(或者具体地讲，确定的注视方向)用于使用户能够进行交互(例如，用户25通过观看显示器1010上的选项来选择它)，提供有孔的渲染(例如，在用户25正在观看的显示器1010的区域中呈现更高的分辨率并且在显示器1010上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器1010上提供的图像)。
55.在各种具体实施中，一个或多个光源1022朝向用户25的眼睛发射光，该光以多个闪光的形式反射。
56.在各种具体实施中，相机1024是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户25的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。在具体实施中，每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。
57.应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。
58.如上所述，本发明技术的一个方面是收集和使用生理数据来改善用户的电子设备体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可包括生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。
59.本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进内容观看体验。因此，使用此类个人信息数据可能使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。
60.个人信息和/或生理数据的使用应当根据公认的满足或超过行业或政府要求的既定隐私惯例来进行。例如，此类用户数据应当被收集用于合法且合理的用途，并且不在这些用途之外提供或出售。收集应当仅在基于用户知情同意之后进行。另外，重要的是保障和安全地访问此类数据并且确保访问该数据的其他人遵守隐私策略。可使用第三方来证明对隐私策略的遵守。
61.可使得用户能够选择性地阻止对此类数据的使用或访问以及/或者“选择加入”或“选择退出”参与此类数据的收集。又如，用户可选择不提供此类数据用于特定目的。再如，用户可选择不提供此类数据，但是准许匿名数据的传送以改进服务或系统的功能。
62.因此，尽管本公开广泛地涵盖个人数据的使用，但是还可设想也可实现各种实施方案而不需要访问此类个人数据。这些技术不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。可使用仅允许数据的所有者解密所存储的数据的加密系统来存储数据。数据可被匿名存储(例如，无需识别和/或用户信息)。这样，第三方可能不能够确定与所存储的数据相关联的用户的身份。
63.本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的
技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。
64.除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
65.本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
66.本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
67.本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
68.还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种对象，但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
69.本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。
70.如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。
[0071]
本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

技术特征：
1.一种方法，包括：在包括处理器的电子设备处：当所述电子设备在使用中时，经由传感器获得用户在某时间段期间的生理数据；确定所述用户的眼睛在所述时间段期间的特性，其中基于所述生理数据来确定所述用户的所述眼睛的所述特性；以及基于所述用户的所述眼睛在所述时间段期间的所述特性来识别在所述时间段之前发生的非预期用户界面行为。2.根据权利要求1所述的方法，其中识别所述非预期用户界面行为包括：基于检测到所述生理数据指示对与非预期事件发生而不是预期事件发生相关联的用户界面行为的反应类型，确定所述用户界面行为是非预期的。3.根据权利要求1至2中任一项所述的方法，其中使用经由机器学习模型或计算机执行算法实现的分类器来识别所述非预期用户界面行为。4.根据权利要求1至3中任一项所述的方法，其中识别所述非预期用户界面行为包括识别对基于用户移动的选择的遗漏检测。5.根据权利要求1至3中任一项所述的方法，其中识别所述非预期用户界面行为包括识别对用户到对象的接触的遗漏检测。6.根据权利要求1至3中任一项所述的方法，其中识别所述非预期用户界面行为包括识别对基于用户移动的选择的错误检测。7.根据权利要求1至3中任一项所述的方法，其中识别所述非预期用户界面行为包括识别对用户到对象的接触的错误检测。8.根据权利要求1至7中任一项所述的方法，其中所述生理数据包括所述眼睛的图像，并且所述特性包括注视方向、注视速度或瞳孔半径。9.根据权利要求1至8中任一项所述的方法，其中所述生理数据包括眼电图(eog)数据，并且所述特性包括注视方向或注视速度。10.根据权利要求1至9中任一项所述的方法，还包括基于识别所述非预期用户界面行为来呈现信息、内容或选项。11.一种电子设备，包括：非暂态计算机可读存储介质；以及一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下的操作：经由传感器获得用户在所述电子设备在使用中的时间段期间的生理数据；确定所述用户的眼睛在所述时间段期间的特性，其中基于所述生理数据来确定所述用户的所述眼睛的所述特性；以及基于所述用户的所述眼睛在所述时间段期间的所述特性来识别在所述时间段之前发生的非预期用户界面行为。12.根据权利要求11所述的设备，其中使用经由机器学习模型或计算机执行算法实现的分类器来识别所述非预期用户界面行为。13.根据权利要求11至12中任一项所述的设备，其中识别所述非预期用户界面行为包
括识别对基于用户移动的选择的遗漏检测。14.根据权利要求11至12中任一项所述的设备，其中识别所述非预期用户界面行为包括识别对用户到对象的接触的遗漏检测。15.根据权利要求11至12中任一项所述的设备，其中识别所述非预期用户界面行为包括识别对基于用户移动的选择的错误检测。16.根据权利要求11至12中任一项所述的设备，其中识别所述非预期用户界面行为包括识别对用户到对象的接触的错误检测。17.根据权利要求11至16中任一项所述的设备，其中所述生理数据包括所述眼睛的图像，并且所述特性包括注视方向、注视速度或瞳孔半径。18.根据权利要求11至17中任一项所述的设备，其中所述生理数据包括眼电图(eog)数据，并且所述特性包括注视方向或注视速度。19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机上的计算机可执行程序指令以执行包括以下的操作：当电子设备在使用中时，经由传感器获得用户在某时间段期间的生理数据；确定所述用户的眼睛在所述时间段期间的特性，其中基于所述生理数据来确定所述用户的所述眼睛的所述特性；以及基于所述用户的所述眼睛在所述时间段期间的所述特性来识别在所述时间段之前发生的非预期用户界面行为。20.根据权利要求19所述的非暂态计算机可读存储介质，其中使用经由机器学习模型或计算机执行算法实现的分类器来识别所述非预期用户界面行为。

技术总结
本文所公开的一些具体实施提供了使用用户的生理数据(例如，指示惊讶)来确定发生了非预期用户界面行为的系统、方法和设备。在一些具体实施中，具有处理器的设备实现一种方法。该方法经由传感器获得用户在一段时间期间的生理数据，并且当该用户正在使用该电子设备时使用该生理数据来确定该用户在该段时间期间的特性。该方法基于该用户在该时间段期间的该特性来识别在该时间段之前发生的非预期用户界面行为。界面行为。界面行为。


技术研发人员：I
受保护的技术使用者：苹果公司
技术研发日：2021.09.15
技术公布日：2023/8/1