电子设备及其交互方法与流程

1.本技术涉及智能终端的技术领域。尤其涉及一种电子设备及其交互方法。


背景技术：

2.随着电子设备的屏幕向大屏、全面屏的发展，电子设备的屏幕能够提高用户浏览图片、视频以及玩游戏的用户体验。但是，随着屏幕持续变大，在用户单手握持电子设备的场景（如：搭乘地铁，上下楼梯等等），仅靠握持电子设备的单手一时之间可能无法触及屏幕的全部区域。因此，用户在单手操作时，需要单手调整握持姿势或者握持位置才能触及屏幕的全部区域，这一调整过程不但繁琐还会增加电子设备掉落的风险；若用户改为双手操作，则会增加用户出现意外的危险，如：用户搭乘地铁时，若用户双手操作电子设备使得用户松开车厢内的把手，一旦出现紧急刹车，则会导致用户摔倒。因此，需要一种能够安全且简便地实现控制电子设备的屏幕的全部区域的方法。


技术实现要素：

3.本技术提供了一种电子设备及其交互方法。
4.第一方面，本技术实施例提供了一种交互方法，应用于电子设备，方法包括：显示第一界面，第一界面包括第一应用控件；检测到用户对电子设备执行的对应第一应用控件的第一惯性动作，并且检测到用户注视电子设备的屏幕的注视区域对应第一应用控件；执行对应第一应用控件的触发功能。
5.在本技术中，这里的电子设备可以包括：配置有显示屏（触控屏）以及前置摄像头的各种电子设备，例如，手机、平板电脑、可穿戴设备等等。这里的第一界面可以是电子设备的屏幕，第一应用控件可以是第一界面中显示的应用程序的应用控件，这里的第一惯性动作可以是用户对电子设备执行的操作，这里的注视区域可以包括：如，整个电子设备的屏幕或者电子设备的屏幕中的局部区域。这里的触发功能可以是用户对应用控件执行用户操作（如：点击操作，滑动操作）对应的执行结果（如：跳转至另一个应用界面，删除显示内容等等）。
6.可以看出，通过本技术的交互方法，在用户握持并使用电子设备的过程中，在确定出用户的眼睛固定注视电子设备的屏幕，即，用户的注视区域落在电子设备的屏幕（注视区域包括：应用程序的应用界面、电子设备的屏幕中的局部区域等等）的情况下，可以根据用户对电子设备执行的惯性动作控制注视区域中的应用控件，实现用户即使在单手握持电子设备的情况下，也可以安全且简便地使用电子设备，降低了电子设备掉落甚至用户自身的风险。
7.在上述第一方面的一种可能的实现中，第一界面包括第一应用的第一应用界面，并且第一应用控件属于第一应用。
8.在本技术中，电子设备的屏幕可以只显示第一应用的第一应用界面，第一应用控件可以是第一应用的第一应用界面中的应用控件。
9.在上述第一方面的一种可能的实现中，执行对应第一应用控件的触发功能，包括：对应于第一惯性动作为将电子设备靠近用户，显示第一应用控件对应的第一显示内容。
10.在本技术中，若第一应用是短信应用，第一应用控件是短信应用的一览界面中的一个短信控件，将电子设备靠近用户后，显示的第一显示内容是短信控件对应的短信的详细界面。
11.在上述第一方面的一种可能的实现中，执行对应第一应用控件的触发功能，还包括：对应于第一惯性动作为将电子设备向左侧翻转，从第一应用界面中删除第一应用控件对应的第一显示内容。
12.在本技术中，若第一应用是短信应用，第一应用控件是短信应用的一览界面中的一个短信控件，将电子设备向左侧翻转后，删除短信控件对应的短信。
13.在上述第一方面的一种可能的实现中，执行对应第一应用控件的触发功能，还包括：对应于第一惯性动作为将电子设备向右侧翻转，标记第一应用界面中第一应用控件对应的第一显示内容。
14.在本技术中，若第一应用是短信应用，第一应用控件是短信应用的一览界面中的一个短信控件，将电子设备向右侧翻转后，标记短信控件对应的短信。
15.在上述第一方面的一种可能的实现中，第一界面包括第一应用的第一应用界面，并且第一应用控件属于第二应用。
16.在本技术中，电子设备的屏幕可以只显示第一应用的第一应用界面，第一应用控件可以是在第一应用的第一应用界面中通过如：弹出框、提示框等显示的第二应用的应用控件。
17.在上述第一方面的一种可能的实现中，执行对应第一应用控件的触发功能，包括：对应于第一惯性动作为向右侧倾斜电子设备，打开第二应用的第二应用界面。
18.在本技术中，若第一应用是新闻应用，第一应用控件是新闻应用的一览界面中的邮件应用的弹出框，将电子设备向右侧翻转后，显示邮件应用的应用界面，即，第二应用界面。
19.在上述第一方面的一种可能的实现中，第二应用界面包括第二应用控件；并且方法还包括：检测到用户向左侧倾斜电子设备，并且用户注视电子设备的屏幕的注视区域对应第二应用控件；显示第一应用的第一应用界面，将第二应用界面最小化并且第二应用通过后台运行。
20.在本技术中，这里的第二应用界面可以是邮件应用的应用界面，第二应用控件可以是邮件应用的应用界面中的返回控件，将电子设备向左侧翻转后，显示新闻应用的一览界面，即，返回新闻应用的一览界面。邮件应用可以处于后台运行。
21.在上述第一方面的一种可能的实现中，检测到用户注视电子设备的屏幕，包括：采集用户的面部图像；在判断出面部图像中用户的面部面向电子设备的屏幕时，获取用户的眼睛区域；在判断出眼睛区域中的眼睛的注视方向为电子设备的屏幕时，确定用户的眼睛在电子设备的屏幕中的注视区域。
22.在本技术中，可以通过神经网络模型，如：人脸识别模型，人脸注视检测模型，注视估计模型等，从电子设备采集的用户的面部图像中，确定确定用户的眼睛在电子设备的屏幕中的注视区域。
23.第二方面，本技术实施例提供一种电子设备，包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及处理器，是电子设备的处理器之一，用于执行第一方面的交互方法。
24.第三方面，本技术实施例提供一计算机程序产品，包括：非易失性计算机可读存储介质,非易失性计算机可读存储介质包含用于执行第一方面的交互方法的计算机程序代码。
附图说明
25.图1（a）为本技术实施例提供的用户握持并操作手机的场景示意图；图1（b）为本技术实施例提供的用户握持并操作手机的场景示意图；图1（c）为本技术实施例提供的用户握持并操作手机的场景示意图；图2（a）为本技术实施例提供的用户在地铁场景中单手握持并操作手机的场景示意图；图2（b）为本技术实施例提供的用户握持并操作手机的场景示意图；图2（c）为本技术实施例提供的一组应用界面的示意图；图3（a）为本技术实施例提供的用于执行交互方法的控制系统的架构图；图3（b）为本技术实施例提供的人脸检测框架的示意图；图3（c）为本技术实施例提供的人脸注视检测框架的示意图；图3（d）为本技术实施例提供的注视估计框架的示意图；图3（e）为本技术实施例提供的一组惯性动作的示意图；图4为本技术实施例提供的电子设备的结构示意图；图5为本技术实施例提供的电子设备的软件结构示意图；图6为本技术实施例提供的交互方法的流程示意图；图7（a）为本技术实施例提供的用户握持并操作手机的场景示意图；图7（b）为本技术实施例提供的用户握持并操作手机的场景示意图；图7（c）为本技术实施例提供的用户握持并操作手机的场景示意图；图7（d）为本技术实施例提供的用户握持并操作手机的场景示意图；图7（e）为本技术实施例提供的用户握持并操作手机的场景示意图；图7（f）为本技术实施例提供的用户握持并操作手机的场景示意图；图7（g）为本技术实施例提供的用户握持并操作手机的场景示意图；图8（a）为本技术实施例提供的用户握持并操作手机的场景示意图；图8（b）为本技术实施例提供的用户握持并操作手机的场景示意图；图8（c）为本技术实施例提供的用户握持并操作手机的场景示意图；图8（d）为本技术实施例提供的用户握持并操作手机的场景示意图；图8（e）为本技术实施例提供的用户握持并操作手机的场景示意图；图8（f）为本技术实施例提供的用户握持并操作手机的场景示意图；
图8（g）为本技术实施例提供的用户握持并操作手机的场景示意图。
具体实施方式
26.下面将结合附图对本技术实施例中的技术方案进行清楚、详尽地描述。
27.可以理解，本技术技术方式适用于配置有显示屏（触控屏）以及前置摄像头的各种电子设备，例如，手机、平板电脑、可穿戴设备、车载设备、增强现实（augmented reality，ar）/虚拟现实（virtual reality，vr）设备、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，umpc）、上网本、个人数字助理（personal digitalassistant，pda）等移动终端。
28.下面以电子设备为手机为例，介绍本技术实施例。
29.参考图1（a）至图1（c），图1（a）至图1（c）示出了一种用户握持并操作手机100的场景示意图。
30.如图1（a）所示，手机100的屏幕显示短信应用101的应用界面。这里的短信应用101的应用界面可以是短信/彩信的详细界面。短信应用101的应用界面包括短信内容102、返回信息控件103以及联系人控件104。其中，用户可以点击返回信息控件103返回短信/彩信的一览界面，用户可以点击联系人控件104切换至短信/彩信的联系人的详细界面。在用户单手握持（左手握持）手机100的下部时，若用户想点击返回信息控件103，且用户的左手的拇指无法触及返回信息控件103对应的屏幕区域时，用户需要单手调整握持位置，如图1（b）所示，用户可以将握持位置调整至手机100的中部，通过左手的拇指点击返回信息控件103。在一些实施例中，如图1（c）所示，用户也可以保持手机100的握持位置不变，通过右手点击返回信息控件103。
31.可以看出，继续参考图1（b），用户从单手握持（左手握持）手机100的下部调整至单手握持手机100的中部的过程比较繁琐，而且手机100还可能会意外掉落；而如图1（c）所示，若用户右手触及手机100且用户当前在搭乘地铁，一旦出现紧急刹车，则会导致用户摔倒。上述场景都会给使用手机的用户带来风险。
32.为了解决上述问题，本技术实施例提出了一种电子设备的交互方法，该方法预先设置了在特定场景（如前文提到的地铁场景）下，根据用户对电子设备执行的惯性动作（inertial measurement unit, imu），对当前用户注视电子设备的注视区域中的一些应用控件执行触发功能。这里的惯性动作可以是用户对电子设备执行的操作，例如：向右倾斜电子设备等等，这里的触发功能可以是用户对应用控件执行用户操作（如：点击操作，滑动操作）对应的执行结果（如：跳转至另一个应用界面，删除显示内容等等）。
33.例如，用户在地铁场景中，如果使用短信应用，则对应用户对手机执行了右翻（向右倾斜）的惯性动作，设置对应的触发功能：手机自动将短信应用中的某条短信打开。
34.如此，在用户后续使用电子设备的过程中，可以根据电子设备的使用场景、用户的惯性动作，来自动执行对应的操作，也就是，确定用户的眼睛的注视区域落在电子设备的屏幕后，实现对注视区域中的至少一个应用控件的执行触发功能，实现电子设备改变电子设备的显示内容。在一些实施例中，这里的注视区域可以包括：如，整个电子设备的屏幕或者电子设备的屏幕中的局部区域，这里的应用控件可以包括：应用程序的应用界面中的应用控件或者其他应用程序的应用控件（下文简称控件），如：弹出框、提示框等等。
35.例如：下面参考图2（a）至图2（c），在图2（a）至图2（c）所示的场景中，用户可以处于地铁场景且单手握持手机100使用短信应用101，用户对手机100执行了左翻（向左倾斜）的惯性动作，左翻的惯性动作与短信应用101的应用界面中的返回信息控件103之间具有对应关系，手机100可以响应左翻的惯性动作，改变短信应用101的显示内容。
36.如图2（a）所示，在用户使用手机100的短信应用的过程中，手机100可以通过采集用户的面部图像，基于面部图像确定用户的眼睛注视手机100的屏幕，且注视区域为短信应用的应用界面。
37.如图2（b）所示，手机100的屏幕显示短信应用101的应用界面。短信应用101的应用界面包括短信内容102、返回信息控件103以及联系人控件104。在用户单手握持（左手握持）手机100的下部时，若用户想点击返回信息控件103，且用户的左手的拇指无法触及返回信息控件103对应的屏幕区域时，用户可以保持握持位置不变左翻手机100。响应于上述左翻的惯性动作，如图2（c）所示，手机100的屏幕显示短信应用101的应用界面，这里的应用界面可以是短信应用101的一览界面，也就是，通过左翻的惯性动作，手机100控制短信应用101从详细界面返回了一览界面，即，实现了对返回信息控件103的点击操作。
38.在一些实施例中，本技术实施例提出的交互方法还包括：在用户使用目标应用程序，电子设备显示目标应用程序的应用界面的过程中，采集用户的面部图像，在判断出面部图像中用户的面部朝向为面向电子设备的屏幕时，获取用户的眼睛区域，在判断出用户的眼睛的注视方向为注视电子设备的屏幕时，确定用户的眼睛在电子设备的屏幕中的注视区域。这里的注视区域可以包括应用程序的应用界面、应用界面的局部区域、电子设备的屏幕中的局部区域等等。响应于用户对电子设备执行的惯性动作，对注视区域中的至少一个目标控件（包括：目标应用程序的应用界面中的控件、其他应用程序的控件）执行与惯性动作对应的操作（如：实现点击应用界面内的控件、关闭应用界面或者返回上一级界面等等）。这里的惯性动作可以包括：向左/右/前/后倾斜（左翻、右翻）电子设备，上/下移动电子设备以及将电子设备靠近/远离用户等等。
39.在一些实施例中，判断面部图像中用户的面部朝向为面向电子设备的屏幕的过程可以包括：采集面部图像中用户的面部对应的关键点（也可以称为特征点，如：双眼、鼻子以及嘴巴等等），根据关键点的位置计算用户的面部相对于电子设备的屏幕的面部角度，基于面部角度计算用户的面部朝向。判断用户的眼睛的注视方向为注视电子设备的屏幕的过程可以包括：采集面部图像中用户的眼睛区域，识别出眼睛区域中的眼睛对应的关键点的位置（如：瞳孔、眼角等对应的关键点的位置），根据眼睛的关键点的位置，确定眼睛的注视方向。而确定用户的眼睛在电子设备的屏幕中的注视区域的过程可以包括：建立电子设备的屏幕的坐标系，基于面部图像中用户的面部，测量用户的面部与屏幕的相对位置，结合相对位置、电子设备的屏幕的大小、分辨率等等参数，计算注视方向与屏幕的交点，基于屏幕的坐标系以及交点确定注视区域。
40.通过本技术实施例提出的交互方法，用户握持并使用电子设备的目标应用程序的过程中，在确定出用户的眼睛固定注视电子设备的屏幕，即，用户的注视区域落在电子设备的屏幕（注视区域包括：目标应用程序的应用界面、电子设备的屏幕中的局部区域等等）的情况下，可以根据用户对电子设备执行的惯性动作控制注视区域中的目标应用程序的控件或者其他应用的控件。实现用户即使在单手握持电子设备的情况下，也可以安全且简便地
使用电子设备，降低了电子设备掉落甚至用户自身的风险，达到更好的用户体验。
41.为了便于理解，下面以电子设备为手机100为例，通过图3（a）进一步描述设置于手机100中的用于执行交互方法的控制系统300的架构图，其中控制系统300可以用于用于执行本技术提及的交互方法。
42.如图3（a）所示，控制系统300包括图像采集模块301、注视估计模块302、惯性动作识别模块303以及触发控制模块304。其中，图像采集模块301用于采集用户的面部图像，在判断出面部图像包括用户的面部时，获取面部图像中的面部对应的区域。图像采集模块301还用于判断面部的方向，在判断出面部图像中用户的面部的朝向为面向手机100的屏幕时，获取用户的面部的眼睛区域。若面部图像不包括用户的面部或者用户的面部未朝向手机100的屏幕，则退出交互方法。
43.注视估计模块302用于根据眼睛区域，确定出用户的眼睛的注视方向，根据注视方向，确定用户的眼睛在电子设备的屏幕中的注视区域。若用户的眼睛对应的注视区域不是手机100的屏幕或者注视估计模块302未启动，则退出交互方法。
44.惯性动作识别模块303用于响应用户对手机100执行的惯性动作，匹配出与惯性动作对应的控制操作，这里的控制操作可以包括对注视区域中的至少一个目标控件执行的操作，包括：对手机100的屏幕显示的目标应用程序的应用界面中的控件执行的操作以及其他应用程序的控件执行的操作，例如：左翻的惯性动作可以对应于对手机100的屏幕显示的目标应用程序的应用界面的控件执行的点击操作。可以理解，若未匹配出与惯性动作对应的控制操作，则退出交互方法。
45.触发控制模块304用于对注视区域中的目标控件（包括：手机100的屏幕显示的目标应用程序的应用界面）执行与惯性动作对应的控制操作。可以理解，在执行完成控制操作后，则退出交互方法。
46.通过上述图3（a）所示的控制系统300，在用户使用手机100的不同场景下，即，用户通过手机100使用不同的目标应用程序，能够实现不同的惯性动作触发不同的控制操作（触发不同的事件），简化了用户使用目标应用程序的过程。图3（a）所示的控制系统300实现本技术实施例的交互方法的流程如图3（a）所示。交互方法可以包括：s301：图像采集模块301采集图像。
47.示例性地，图像采集模块301可以通过手机100的前置摄像头实时地采集至少一张图像。若用户正在使用手机100，即，用户通过手机100使用目标应用程序，且手机100的屏幕面向用户的面部，则手机100采集到的图像里会包括用户的面部。
48.s302：图像采集模块301判断图像中是否包括用户的面部。
49.示例性地，若用户正在通过手机100使用目标应用程序，如：用户通过手机100打开了短信应用正在浏览短信，则图像采集模块301采集的图像中包括用户的面部，执行步骤s304，进一步获取图像中的用户的面部对应的区域。否则，执行步骤s303，退出交互方法的流程。可以理解，若用户通过手机100打开了音乐应用正在听音乐，用户可以将手机100放在口袋或者背包中，这种场景下，图像采集模块301采集的图像中就不会包括用户的面部。
50.在一些实施例中，图像采集模块301可以通过人脸检测框架，如：dbface模型（一种resnet50模型），获取图像中用户的面部，若人脸检测框架输出面部对应的区域，则确定图像中包括用户的面部。图3（b）示出了一种图像采集模块301使用的人脸检测框架的示意图，
人脸检测框架可以包括n（n可以为自然数）个特征处理层以及至少一个向量机(supportvector machines, svm)，也可以称为分类器。其中，基于人脸检测框架确定图像中包括用户的面部的流程可以包括：将图像采集模块301采集的图像（输入图像）输入图3（b）所示的人脸检测框架，人脸检测框架可以包括多个特征处理层（卷积层）以及分类器等等，图像经过特征处理层进行特征提取后，若图像包括用户的面部，则人脸检测框架可以对输出的图像设置分类标记，分类标记用于标识图像中包括用户的面部。在另一些实施例中，若图像不包括面部，则输出的图像可以没有设置分类标记。
51.s303：执行结束。
52.示例性地，在图像采集模块301确定图像中不包括用户的面部、用户的面部未面向手机100的屏幕以及用户的眼睛的注视区域不是手机100的屏幕的情况下，控制系统300可以退出交互方法的流程。
53.s304：图像采集模块301获取面部图像中的面部对应的区域。
54.示例性地，这里的面部对应的区域可以称为面部区域，即，图像中用户的人脸对应的区域。在一些实施例中，图像采集模块301对应的人脸检测框架也可以从输入的图像中提取出面部区域。
55.s305：图像采集模块301判断面部是否面向手机100的屏幕。
56.示例性地，图像采集模块301可以判断用户的面部是否面向手机100的屏幕，如果是，则执行步骤s306，进一步获取面部中的眼睛区域。否则，执行步骤s303，在用户的面部未面向手机100的屏幕的情况下，控制系统300可以退出交互方法的流程。
57.在一些实施例中，图像采集模块301可以通过人脸注视检测框架，判断步骤s304获取面部区域中面部的朝向。图3（c）示出了一种图像采集模块301使用的人脸注视检测框架的示意图，可以看出，将面部区域输入图3（c）所示的人脸注视检测框架，人脸注视检测框架可以是一种卷积神经网络（convolutional neural networks，cnn），可以包括多个卷积层（conv）以及全连接层（fully connectedlayer，fc）。人脸注视检测框架可以根据输入的面部区域中的左眼、右眼、整个面部以及还有面部的网格图（grid图），经过多个卷积层和全连接层，最终输出注视分类结果。这里的注视分类结果可以包括面部面向手机100的屏幕或者面部未面向手机100的屏幕。
58.在另一些实施例中，人脸注视检测框架也可以直接根据输入的整个面部，经过多个卷积层和全连接层，最终输出注视分类结果。例如：人脸注视检测框架可以是一种简单地判断注视与否的分类任务神经网络模型，该神经网络模型可以通过计算面部朝向确定注视分类结果，包括：先检测面部区域中的关键点（面部区域中整个面部的轮廓对应的位置），计算关键点对应的俯仰角（pitch）、偏航角（yaw）或者滚动角（roll）等等，例如：在偏航角以及俯仰角分别在30度和20度时，人脸注视检测框架的注视分类结果可以是面部面向手机100的屏幕。
59.s306：注视估计模块302获取面部对应的眼睛区域。
60.示例性地，注视估计模块302可以进一步获取面部对应的眼睛区域，即，面部区域中用户的左眼以及右眼对应的区域。
61.s307：注视估计模块302根据眼睛区域确定用户的眼睛在手机100的屏幕上的注视区域。
62.示例性地，注视估计模块302可以根据眼睛区域，确定用户的眼睛在手机100的屏幕上的注视区域。可以理解，这里的注视区域可以包括：应用程序的应用界面、应用界面的局部区域、电子设备的屏幕中的局部区域以及屏幕中的控件（如：弹出框、悬浮框，按键等等）等等。
63.在一些实施例中，注视估计模块302可以通过注视估计框架，确定用户的眼睛在手机100的屏幕上的注视区域。图3（d）示出了一种注视估计模块302使用的注视估计框架的示意图，可以看出，将眼睛区域输入图3（d）所示的注视估计框架，注视估计框架也可以是一种卷积神经网络（convolutional neural networks，cnn），可以包括多个卷积层、池化层和全连接层以及投影变换层（landmark affine txmn）、输出变换层等。注视估计框架可以根据输入的眼睛区域中的左眼、右眼、左右眼角对应的关键点，例如：将左眼、右眼对应的关键点经过多个卷积层、平均池化层（avgpool）。将左右眼角对应的关键点，如：（x1，x1）、（x2，x2）、（x3，x3）以及（x4，x4）等等经过投影变换层（landmark affine txmn）、全连接层。左眼、右眼、左右眼角对应的对应的结果再经过全连接层以及输出变换层（output affinetxmn）等等，最终输出注视回归结果（gaze prediction）。注视回归结果包括：用户的眼睛在手机100的屏幕上的注视区域，注视区域包括：目标应用程序的应用界面、电子设备的屏幕中的局部区域等等。
64.可以理解，注视估计框架根据眼睛区域输出注视回归结果的过程可以包括一个注视校正过程，由于应用的各个手机100的参数（如：屏幕的大小等等）以及用户的特征的不同，注视校正过程可以包括：手机100的屏幕显示随机点，经过第一预设时间段（如，500ms）采集用户注视手机100的屏幕中随机点的图像，经过第二预设时间段（如，1500ms），手机100的屏幕显示字符并隐藏随机点通过随机点，响应于用户对手机100的左侧或者右侧的点击，结束注视校正过程，等待响应（即，等待注视校正结果）。在进行注视校正的过程中，如果注视估计模块302确定所有的注视点都在固定区域，那么认为此区域已经捕获注视事件，即，此区域为注视区域。
65.在一些实施例中，确定注视区域的方式也可以为采集面部图像中用户的眼睛区域，识别出眼睛区域中的眼睛对应的关键点的位置（如：瞳孔、眼角等对应的关键点的位置），根据眼睛的关键点的位置，确定眼睛的注视方向。建立电子设备的屏幕的坐标系，基于面部图像中用户的面部，测量用户的面部与屏幕的相对位置，结合相对位置、电子设备的屏幕的大小、分辨率等等参数，计算注视方向与屏幕的交点，基于屏幕的坐标系以及交点确定注视区域。
66.s308：注视估计模块302判断注视区域是否为手机100的屏幕。
67.示例性地，注视估计模块302通过注视估计框架得到的注视回归结果可以包括：眼睛区域对应的注视区域落在手机100的屏幕或者眼睛区域对应的注视区域不在手机100的屏幕。若注视区域为手机100的屏幕，则执行步骤s309，惯性动作识别模块303可以响应用户对手机100执行的惯性动作，确定与惯性动作对应的用户操作。否则，说明用户的眼睛的注视区域不是手机100的屏幕，可以退出交互方法的流程。
68.s309：响应于用户对手机100执行的惯性动作，惯性动作识别模块303确定与惯性动作对应的控制操作。
69.示例性地，这里的惯性动作识别模块303，可以通过用户对手机100执行了惯性动
作后，获取的手机100的线性加速度以及角速度等数据，确定惯性动作的种类。例如：在预设检测时间段（如，200ms）内，将采集的手机100的加速度以及角速度等数据输入到分类器（如：向量机以及决策树等等)，选取数据的最小值，最大值，均值，范围，标准差等等作为特征，将特征与惯性动作的种类的惯性动作阈值（均方根误差(root mean square error，rms)）进行比较，选择与惯性动作阈值之间误差最小的惯性动作阈值对应的惯性动作的种类，确定用户对手机100执行的惯性动作。
70.在一些实施例中，如图3（e）所述，惯性动作识别模块303可以预先设置8个惯性动作，包括：中式（保持手机100不动）、前翻（向用户侧翻转手机100）、左翻、右翻、左翻页、右翻页、靠近、远离。可以理解，惯性动作识别模块303还可以设置更多种类的惯性动作，不限于上述举例说明的惯性动作。
71.在一些实施例中，惯性动作识别模块303还可以预先设置惯性动作与控制操作之间的对应关系，这里的对应关系可以基于目标应用程序的应用界面、应用界面中的各个控件以及其他应用程序的各个控件确定。
72.s310：触发控制模块304执行控制操作。
73.示例性地，例如：若手机100显示短信应用的详细界面，则用户对手机100执行的左翻的惯性动作可以是，触发控制模块304控制触发手机100的屏幕从显示短信应用的详细界面返回短信应用的一览界面。
74.通过上述图3（a）所示的控制系统300，在用户使用手机100的不同场景下，即，用户通过手机100使用不同的目标应用程序，能够实现不同的惯性动作触发不同的控制操作（触发不同的事件），简化了用户使用目标应用程序的过程。
75.在一些实施例中，图3（a）所示的控制系统300包括：多个判断条件（门限），减少判断误差，避免了意外启动控制系统300（如：仅通过单独眼球注视的控制系统，在用户阅读电子书或者新闻的时候容易误触发），减少意外启动控制系统300的系统开销。基于模型的注视估计模块302和惯性动作识别模块303的精度高，且惯性动作与控制操作之间的动作组合多，能够支持更加丰富的触发事件，不需用户在对手机100执行任何的触控输入和改变手机100的握持姿态。
76.图4是本技术实施例提供的一例电子设备100的结构示意图。如图4所示，电子设备（如手机）可以包括：处理器410，外部存储器接口420，内部存储器421，通用串行总线（universal serial bus，usb）接口430，充电管理模块440，电源管理模块441，电池442，天线1，天线2，移动通信模块450，无线通信模块460，音频模块470，扬声器470a，受话器470b，麦克风470c，耳机接口470d，传感器模块480，按键490，马达491，指示器492，摄像头493，显示屏494，以及用户标识模块（subscriber identification module，sim）卡接口495等。
77.其中，上述传感器模块480可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器和环境光传感器等传感器。传感器模块480可以用于确定用户对电子设备100执行的惯性动作。
78.可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
79.处理器410可以包括一个或多个处理单元，例如：处理器410可以包括应用处理器（application processor，ap），调制解调处理器，图形处理器（graphics processing unit，gpu），图像信号处理器（image signal processor，isp），控制器，存储器，视频编解码器，数字信号处理器（digitalsignal processor，dsp），基带处理器，和/或神经网络处理器（neural-network processing unit，npu）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器可以用于执行本技术的交互方法。
80.处理器410中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器410的等待时间，因而提高了系统的效率。
81.在一些实施例中，处理器410可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，i2c）接口，集成电路内置音频（inter-integratedcircuit sound，i2s）接口，脉冲编码调制（pulse code modulation，pcm）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，uart）接口，移动产业处理器接口（mobile industryprocessor interface，mipi），通用输入输出（general-purpose input/output，gpio）接口，用户标识模块（subscriber identity module，sim）接口，和/或通用串行总线（universal serialbus，usb）接口等。
82.可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
83.电子设备通过gpu，显示屏494，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏494和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器410可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
84.显示屏494用于显示图像，视频等。该显示屏494包括显示面板。
85.电子设备可以通过isp，摄像头493，视频编解码器，gpu，显示屏494以及应用处理器等实现拍摄功能。isp用于处理摄像头493反馈的数据。摄像头493用于捕获静态图像或视频。在一些实施例中，电子设备可以包括1个或n个摄像头493，n为大于1的正整数。摄像头493可以用于采集本技术提及的用户面部图像。
86.外部存储器接口420可以用于连接外部存储卡，例如（micro sd）卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口420与处理器410通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
87.内部存储器421可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令，从而执行电子设备的各种功能应用以及数据处理。例如，在本技术实施例中，处理器410可以通过执行存储在内部存储器421中的指令，内部存储器421可以包括存储程序区和存储数据区。内部存储器421可以用于存储人脸检测框架、人脸注视检测框架以及人脸注视检测框架等等。
88.其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器421可以包括高速随机存取存储器，还可以包括非
易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universalflash storage，ufs）等。
89.可以理解的是，本技术实施例示意的结构并不构成对电子设备的具体限定。在本技术另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
90.图5是本发明实施例的电子设备100的软件结构框图。
91.分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用层，应用框架层，安卓运行时(android runtime)和系统库，以及内核层。
92.如图5所示，应用层可以包括生活，视频，阅读，购物，图库，日历，通话，导航和音乐等应用程序。可以理解，这里的应用程序可以是电子设备100已安装的应用或者服务，或者是通过快服务中心检索到的电子设备100未安装的应用或者服务。
93.应用框架层可以包括布局子系统，窗口管理模块、控制服务等等。其中，布局子系统用于确定电子设备的屏幕中的各个显示元素的位置。窗口管理模块用于获取应用对应的窗口的属性。控制服务可以是图3（a）所示的控制系统300，用于在用户握持并使用电子设备的目标应用程序的过程中，在确定出用户的眼睛固定注视电子设备的屏幕（即，用户的注视区域落在电子设备的屏幕，包括：目标应用程序的应用界面、电子设备的屏幕的局部区域等等）的情况下，可以根据用户对电子设备执行的惯性动作控制目标应用程序的应用界面或者其他应用。
94.系统库可以包括绘制服务模块（surfaceflinger）、布局模块和视图模块等等。其中，绘制服务模块（surfaceflinger）用于将一个或者多个应用的窗口中的一个或者多个图层进行绘制合成之后得到帧数据。布局模块和视图模块可以用于管理窗口中的应用界面的运行模式。
95.内核层包括显示驱动，事件驱动和传感器驱动等等。
96.下面基于图6所示的方法流程示意图来详细描述本技术实施例提供的交互方法。图6所示的方法可以由手机100的处理器执行相关的指令实现。
97.参考图6，该通话交互方法可以包括以下步骤：s601：打开第一应用程序，显示第一应用程序的应用界面。
98.示例性地，这里的第一应用程序可以是短信应用。如图7（a）所示，手机100的屏幕显示短信应用701的应用界面（即，第一应用界面），这里的应用界面可以是短信应用701的一览界面。响应于用户对短信应用701的一览界面中的短信702的用户操作，如：长按操作，短信应用701的一览界面显示选定后的短信702。
99.s602：采集用户的面部图像，根据面部图像中的眼睛区域确定用户的眼睛在手机100的屏幕上的注视区域。
100.示例性地，手机100可以通过图3（a）至图3（e）所示的控制系统300确定用户的注视区域为手机100的屏幕。可以看出，手机100通过全屏显示的方式呈现短信应用701的应用界面，这里的注视区域可以包括短信应用701的应用界面。
101.s603：响应于用户对手机100执行的惯性动作，对注视区域执行与惯性动作对应的
控制操作。
102.示例性地，继续参考图7（a），用户握持手机100靠近用户，响应于用户对手机100执行的惯性动作，这里的惯性动作可以是靠近。如图7（b）所示，手机100的屏幕显示短信应用701的应用界面，这里的应用界面可以是短信应用701的详细界面。短信应用701的应用界面包括返回信息控件703、联系人控件704以及短信内容705。这时，用户握持手机100远离用户，响应于用户对手机100执行的惯性动作，这里的惯性动作可以是远离。如图7（c）所示，手机100的屏幕显示短信应用701的应用界面，这里的应用界面可以是短信应用701的一览界面，也就是，通过响应远离的惯性动作，手机100控制短信应用701从详细界面返回了一览界面，即，通过惯性动作，实现了对返回信息控件703的点击操作。
103.在一些实施例中，继续参考图7（d），响应于用户对短信应用701的一览界面中的短信702的用户操作，如：长按操作，短信应用701的一览界面显示选定后的短信702。这时，用户握持手机100左翻页（即，向左侧翻转手机100），响应于用户对手机100执行的惯性动作，这里的惯性动作可以是左翻页。如图7（e）所示，手机100的屏幕继续显示短信应用701的一览界面，其中，一览界面中不包括短信702，即，通过响应左翻页的惯性动作，实现了在短信应用701的一览界面中删除短信702。
104.在一些实施例中，继续参考图7（f），短信应用701的一览界面显示选定后的短信702。这时，用户握持手机100右翻页（即，向右侧翻转手机100），响应于用户对手机100执行的惯性动作，这里的惯性动作可以是右翻页。如图7（g）所示，手机100的屏幕继续显示短信应用701的一览界面，其中，一览界面中的短信702增加了标记706，即，通过响应右翻页的惯性动作，实现了在短信应用701的一览界面中标记短信702。
105.可以看出，在图7（a）至图7（g）所示的场景中，手机100的屏幕显示的目标应用程序的应用界面都是短信应用701的应用界面，包括：一览界面和详细界面。用户针对手机100执行的惯性动作对应的控制操作也都是作用于手机100的短信应用701的应用界面。下面通过图8（a）至图8（g）所示的示意图，描述用户针对手机100执行惯性动作，对手机100的屏幕显示的目标应用程序以外其他应用程序的控件执行控制操作的场景。
106.如图8（a）所示，手机100的屏幕显示新闻应用801的应用界面，手机100的屏幕还显示有日程安排应用的弹出框802以及邮件应用的弹出框803，弹出框802和弹出框803覆盖新闻应用801的应用界面的部分区域（上方区域）。其中，弹出框802提醒日程安排，弹出框803提醒新邮件。
107.示例性地，继续参考图8（a），手机100可以通过图3（a）至图3（e）所示的控制系统300确定用户的注视区域为手机100的屏幕中的日程安排应用的弹出框802对应的区域。可以看出，手机100通过全屏显示的方式呈现新闻应用801的应用界面，这里的注视区域可以包括手机100的屏幕中的局部区域。
108.这时，用户左翻手机100，响应于用户对手机100执行的惯性动作，这里的惯性动作可以是左翻。如图8（b）所示，手机100的屏幕中只显示的邮件应用的弹出框803，也就是，通过响应左翻的惯性动作，手机100控制日程安排应用的弹出框802滑走，手机100的屏幕不显示日程安排应用的弹出框802。
109.在一些实施例中，如图8（c）所示，图8（c）所示的手机100的屏幕的显示内容与图8（a）相同，显示新闻应用801的应用界面，手机100的屏幕还显示有日程安排应用的弹出框
802以及邮件应用的弹出框803，用户的注视区域为手机100的屏幕中的日程安排应用的弹出框802对应的区域。
110.这时，用户右翻手机100，响应于用户对手机100执行的惯性动作，这里的惯性动作可以是右翻。如图8（d）所示，手机100的屏幕中先只显示的邮件应用的弹出框803，接着再显示日程安排应用的弹出框802。也就是，通过响应右翻的惯性动作，手机100控制日程安排应用的弹出框802滑走，手机100的屏幕稍后再显示日程安排应用的弹出框802。
111.在一些实施例中，如图8（e）所示，图8（e）所示的手机100的屏幕的显示内容与图8（a）相同，显示新闻应用801的应用界面，手机100的屏幕还显示有日程安排应用的弹出框802以及邮件应用的弹出框803，但是，用户的注视区域为手机100的屏幕中的邮件应用的弹出框803对应的区域。
112.这时，用户握持手机100靠近用户，响应于用户对手机100执行的惯性动作，这里的惯性动作可以是靠近。如图8（f）所示，手机100的屏幕显示邮件应用804的应用界面，这里的应用界面可以是邮件应用的弹出框803中显示的邮件对应的详细界面。也就是，通过响应靠近的惯性动作，手机100控制打开邮件应用804的应用界面，显示邮件应用的弹出框803中显示的邮件对应的邮件内容。
113.这时，用户握持手机100远离用户，响应于用户对手机100执行的惯性动作，这里的惯性动作可以是远离。如图8（g）所示，手机100的屏幕显示新闻应用801的应用界面，这里的应用界面可以是新闻应用801的一览界面，也就是，通过响应远离的惯性动作，手机100控制关闭邮件应用804的应用界面，返回新闻应用801的应用界面。
114.可以看出，在图8（a）至图8（g）所示的场景中，根据用户在手机100的屏幕中的注视区域，响应用户针对手机100执行的惯性动作，手机100可以对屏幕显示的目标应用程序以外其他应用程序的控件执行控制操作。提高了用户使用手机100的用户体验。
115.在一些实施例中，在上述图示中，对惯性动作与电子设备对控件执行控制操作之间不做具体限定的，可以任意配置惯性动作与控制操作之间的对应关系，例如：在图8（f）中，用户也可以对电子设备执行向右侧倾斜的惯性动作，电子设备显示弹出框803中显示的邮件对应的详细界面。
116.应当理解的是，虽然在本文中可能使用了术语“第一”、“第二”等等来描述各个特征，但是这些特征不应当受这些术语限制。使用这些术语仅仅是为了进行区分，而不能理解为指示或暗示相对重要性。举例来说，在不背离示例性实施例的范围的情况下，第一特征可以被称为第二特征，并且类似地第二特征可以被称为第一特征。
117.此外，各种操作将以最有助于理解说明性实施例的方式被描述为多个彼此分离的操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖描述的顺序，其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序也可以被重新安排。当所描述的操作完成时，所述处理可以被终止，但是还可以具有未包括在附图中的附加操作。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
118.说明书中对“一个实施例”，“实施例”，“说明性实施例”等的引用表示所描述的实施例可以包括特定特征、结构或性质，但是每个实施例也可能或不是必需包括特定的特征、结构或性质。而且，这些短语不一定是针对同一实施例。此外，当结合具体实施例描述特定特征，本领域技术人员的知识能够影响到这些特征与其他实施例的结合，无论这些实施例
是否被明确描述。
119.除非上下文另有规定，否则术语“包含”、“具有”和“包括”是同义词。短语“a/b”表示“a或b”。短语“a和/或b”表示“（a）、（b）或（a和b）”。
120.如本文所使用的，术语“模块”可以指代，作为其中的一部分，或者包括：用于运行一个或多个软件或固件程序的存储器（共享、专用或组），专用集成电路（asic），电子电路和/或处理器（共享、专用或组），组合逻辑电路，和/或提供所述功能的其他合适组件。
121.在附图中，可能以特定布置和/或顺序示出了一些结构或方法特征。然而，应当理解的是，这样的特定布置和/或排序不是必需的。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来进行说明。另外，特定附图中所包含得结构或方法特征并不意味着所有实施例都需要包含这样的特征，在一些实施例中，可以不包含这些特征，或者可以将这些特征与其他特征进行组合。
122.上面结合附图对本技术的实施例做了详细说明，但本技术技术方案的使用不仅仅局限于本专利实施例中提及的各种应用，各种结构和变型都可以参考本技术技术方案轻易地实施，以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内，在不脱离本技术宗旨的前提下做出的各种变化，均应归属于本技术专利涵盖范围。

技术特征：
1.一种交互方法，应用于电子设备，其特征在于，所述方法包括：显示第一界面，所述第一界面包括第一应用控件；检测到用户对所述电子设备执行的对应所述第一应用控件的第一惯性动作，并且检测到所述用户注视所述电子设备的屏幕的注视区域对应所述第一应用控件；执行对应所述第一应用控件的触发功能。2.根据权利要求1所述的方法，其特征在于，所述第一界面包括第一应用的第一应用界面，并且所述第一应用控件属于所述第一应用。3.根据权利要求2所述的方法，其特征在于，所述执行对应所述第一应用控件的触发功能，包括：对应于所述第一惯性动作为将所述电子设备靠近所述用户，显示所述第一应用控件对应的第一显示内容。4.根据权利要求2所述的方法，其特征在于，所述执行对应所述第一应用控件的触发功能，还包括：对应于所述第一惯性动作为将所述电子设备向左侧翻转，从所述第一应用界面中删除所述第一应用控件对应的第一显示内容。5.根据权利要求2所述的方法，其特征在于，所述执行对应所述第一应用控件的触发功能，还包括：对应于所述第一惯性动作为将所述电子设备向右侧翻转，标记所述第一应用界面中所述第一应用控件对应的第一显示内容。6.根据权利要求1所述的方法，其特征在于，所述第一界面包括第一应用的第一应用界面，并且所述第一应用控件属于第二应用。7.根据权利要求6所述的方法，其特征在于，所述执行对应所述第一应用控件的触发功能，包括：对应于所述第一惯性动作为向右侧倾斜所述电子设备，打开所述第二应用的第二应用界面。8.根据权利要求7所述的方法，其特征在于，所述第二应用界面包括第二应用控件；并且所述方法还包括：检测到用户向左侧倾斜所述电子设备，并且用户注视所述电子设备的屏幕的注视区域对应所述第二应用控件；显示所述第一应用的第一应用界面，将所述第二应用界面最小化并且所述第二应用通过后台运行。9.根据权利要求1所述的方法，其特征在于，所述检测到所述用户注视所述电子设备的屏幕，包括：采集所述用户的面部图像；在判断出所述面部图像中所述用户的面部面向所述电子设备的屏幕时，获取所述用户的眼睛区域；在判断出所述眼睛区域中的眼睛的注视方向为所述电子设备的屏幕时，确定所述用户的眼睛在电子设备的屏幕中的注视区域。
10. 一种电子设备，其特征在于，包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及处理器，是电子设备的处理器之一，用于执行权利要求1-9中任一项所述的交互方法。11.一种计算机程序产品，其特征在于，包括：非易失性计算机可读存储介质,所述非易失性计算机可读存储介质包含用于执行权利要求1-9中任一项所述的交互方法的计算机程序代码。

技术总结
本申请涉及一种电子设备及交互方法，方法包括：显示第一界面，第一界面包括第一应用控件；检测到用户对电子设备执行的对应第一应用控件的第一惯性动作，并且检测到用户注视电子设备的屏幕的注视区域对应第一应用控件；执行对应第一应用控件的触发功能。通过本申请的交互方法，在用户握持并使用电子设备的过程中，在确定用户的注视区域落在电子设备的屏幕（注视区域包括：应用程序的应用界面、电子设备的屏幕中的局部区域等等）的情况下，可以根据用户对电子设备执行的惯性动作控制注视区域中的应用控件，实现用户即使在单手握持电子设备的情况下，也可以安全且简便地使用电子设备，降低了电子设备掉落甚至用户自身的风险。降低了电子设备掉落甚至用户自身的风险。降低了电子设备掉落甚至用户自身的风险。


技术研发人员：谢字希 邸皓轩 李丹洪
受保护的技术使用者：荣耀终端有限公司
技术研发日：2023.09.13
技术公布日：2023/10/20