一种双手位置识别方法、系统、设备及介质与流程

1.本发明涉及手势识别技术领域，具体地，涉及一种双手位置识别方法、系统、设备及介质。


背景技术：

2.手势识别，目的是通过数学算法来识别人类手势。手势可以源自任何身体运动或状态。用户可以使用简单的手势来控制或与设备交互，而无需接触他们。手势识别可以被视为计算机理解人体语言的方式，从而产生人机交互，并实现功能表现。
3.目前人们对手势的应用已有较多研究，比如某现有技术提供一种手势识别装置、方法及系统，手势识别装置包括：设置在与手指位置对应的至少一个传感器，传感器用于识别运动手指相对于其他手指的运动信息；输入方式判定单元，用于根据至少一个传感器检测到手势运动信息和角度变化信息判断识别装置需要的输入方式，其中输入方式包括模拟键盘的输入法、模拟功能键、模拟鼠标中至少一种；输入内容生成单元，当输入方式判定单元确定需要的输入方式时，输入方式生成单元根据至少一个传感器检测到手势运动信息和角度变化信息，分别对应生成对应在键盘上的输入位置、功能键的切换、鼠标移动方向中的一种；因此能够实现虚拟人机交互，得到快速、准确的模拟输入内容。
4.某现有技术涉及一种手势识别方法、手势识别模块及手势识别系统。手势识别方法包含：对一影像进行一二值化处理，以取得一二值化影像，其中该二值化影像包括多个前景像素以及多个背景像素；判断该二值化影像中该多个前景像素是否包围至少一第一背景像素；以及当该多个前景像素包围该第一背景像素时，判断一手势符合一预设手势。
5.但现有技术中的方案均在固定范围内的应用为条件，对于手势识别限制在很窄的范围内，比如20cm内等。但是对于较远距离处的手势应用则无法有效覆盖，比如1m以上。现有技术在手势的可用范围、准确率、识别效率、使用效率以及人机交互等方面的问题。
6.以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。


技术实现要素：

7.为此，本发明利用深度相机获得左手、右手和眼部的三维信息，计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a，并通过不同的权重值确定最终的加权中心点c，具有可操作范围大、精度高、成本低、操作简便、设置灵活的优点。
8.第一方面，本发明提供一种双手位置识别方法，其特征在于，包括如下步骤：
9.步骤s1：利用深度相机获得左手、右手和眼部的三维信息；
10.步骤s2：确定眼球位置、脸部中心点和手部锚点；其中，所述手部锚点由左手手势、右手手势和左手右手的相对位置确定；
11.步骤s3：计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a；计
算所述脸部中心点与所述手部锚点的连线，并与所述显示器相交于位置b；
12.步骤s4：根据所述手部锚点和所述眼部距离所述显示器的距离，分别对所述位置a和所述位置b给予权重值α和β，并计算位置a与位置b的加权中心点c；其中，α+β＝1。
13.可选地，所述的一种双手位置识别方法，其特征在于，在步骤s2中，分别确定左眼瞳孔位置和右眼瞳孔位置，作为眼球位置。
14.可选地，所述的一种双手位置识别方法，其特征在于，在步骤s3中，用所述左眼瞳孔位置与所述手部锚点连线，并与显示器相交于位置a1，给予权重值μ；用所述右眼瞳孔位置与所述手部锚点连线，并与显示器相交于位置a1，给予权重值ν,并计算所述位置a1和所述位置a2的加权中心点a；其中，μ+ν＝1，μ和ν的值与所述左眼瞳孔与所述右眼瞳孔距离所述显示器的距离差相关。
15.可选地，所述的一种双手位置识别方法，其特征在于，在确定所述手部锚点时包括：
16.步骤s21：根据左手、右手与脸的对应关系、位置关系确定有效手；
17.步骤s22：识别出所述有效手的关键点，并根据所述关键点分布确定手部状态；
18.步骤s23：若所述手部状态为第一状态，则取所述有效手的部分关键点作为左手锚点或右手锚点；若所述手部状态为第二状态，则对所述有效手的至少部分关键点求取中心点作为所述左手锚点或所述右手锚点；求取所述左手锚点或所述右手锚点的中点，作为所述手部锚点。
19.可选地，所述的一种双手位置识别方法，其特征在于，步骤s21包括：
20.步骤s211：根据手是否位于脸的前方，确定出第一人脸与第一手；
21.步骤s212：去除掉脸部法向量与所述显示器夹角小于第一夹角的人脸与手部，得到第二人脸与第二手；
22.步骤s213：将所述第二手与预设手部姿态对比，确定相似度最高的手作为有效手。
23.可选地，所述的一种双手位置识别方法，其特征在于，步骤s23包括：
24.步骤s231：若所述手部状态为第一状态，且突出的手指数量为1，则取所述突出的手指的指尖关键点作为左手锚点或右手锚点；
25.步骤s232：若所述手部状态为第一状态，且突出的手指数量大于1，则取所述突出的手指的指尖关键点的中心点作为所述左手锚点或所述右手锚点；
26.步骤s233：若所述手部状态为第二状态，则对所述有效手的至少部分关键点求取中心点作为所述左手锚点或所述右手锚点；
27.步骤s234：求取所述左手锚点或所述右手锚点的中点，作为所述手部锚点。
28.可选地，所述的一种双手位置识别方法，其特征在于，所述加权中心点c与所述显示器上鼠标的实际位置存在校正参数ε；其中，校正参数ε与所述加权中心点c位于所述显示器的位置相关。
29.第二方面，本发明提供一种双手位置识别系统，用于实现上述任一项所述的双手位置识别方法，其特征在于，包括：
30.获取模块，用于利用深度相机获得左手、右手和眼部的三维信息；
31.确定模块，用于确定眼球位置、脸部中心点和手部锚点；其中，所述手部锚点由左手手势、右手手势和左手右手的相对位置确定；
32.连线模块，用于计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a；计算所述脸部中心点与所述手部锚点的连线，并与所述显示器相交于位置b；
33.计算模块，用于根据所述手部锚点和所述眼部距离所述显示器的距离，分别对所述位置a和所述位置b给予权重值α和β，并计算位置a与位置b的加权中心点c；其中，α+β＝1。
34.第三方面，本发明提供一种双手位置识别设备，其特征在于，包括：
35.处理器；
36.存储器，其中存储有所述处理器的可执行指令；
37.其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述双手位置识别方法的步骤。
38.第四方面，本发明提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现前述任意一项所述双手位置识别方法的步骤。
39.与现有技术相比，本发明具有如下的有益效果：
40.本发明利用深度相机获得左手、右手和眼部的三维信息，利用手和眼部的轮廓信息即可完成处理，对手和眼部的信息精度要求底，能够在近距离和远距离下都可以实现有效识别，大大增加了用户操作的范围和便捷性。
41.本发明以左手和右手计算手部锚点，使得用户可以通过调整左手和右手的位置，实现对界面更加精细的控制，大大提高位置控制的精度。
42.本发明以眼和手的连线计算与显示器的交点，无需复杂的计算，具有计算简单、准确的特点，并且可以利用相交的特点对手和人脸进行选择，从而实现对有效人脸的识别，降低误识别机率。
43.本发明对手和眼部距离显示器的距离分别给予不同的权重值，实现人体与显示器在不同距离下的控制模式的平顺转换，从而对不同距离下的人体控制均可以有效响应，提高响应的连贯性。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
45.图1为本发明实施例中一种双手位置识别方法的步骤流程图；
46.图2为本发明实施例中一种双手位置识别示意图；
47.图3为本发明实施例中一种加权中心点示意图；
48.图4为本发明实施例中一种确定所述手部锚点的步骤流程图；
49.图5为本发明实施例中一种确定有效手的步骤流程图；
50.图6为本发明实施例中一种分类确定所述手部锚点的步骤流程图；
51.图7为本发明实施例中一种标定系统示意图；
52.图8为本发明实施例中一种非接触式标定系统示意图；
53.图9为本发明实施例中另一种非接触式标定系统示意图；
54.图10为本发明实施例中一种双手位置识别系统的结构示意图；
55.图11为本发明实施例中一种双手位置识别设备的结构示意图；以及
56.图12为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
57.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
58.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
59.本发明实施例提供的一种双手位置识别方法，旨在解决现有技术中存在的问题。
60.下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
61.本发明利用深度相机获得左手、右手和眼部的三维信息，计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a，并通过不同的权重值确定最终的加权中心点c，具有可操作范围大、精度高、成本低、操作简便、设置灵活的优点。
62.图1为本发明实施例中一种双手位置识别方法的步骤流程图。如图1所示，本发明实施例中一种双手位置识别方法的步骤包括：
63.步骤s1：利用深度相机获得左手、右手和眼部的三维信息。
64.在本步骤中，采用的深度相机可以是任意类型的深度相机，包括但不限于结构光相机、tof相机、双目相机等。在获得的深度图像上，识别出手和眼部，从而得到手和眼部的三维信息。如图2所示，深度相机和显示器均朝向人体一侧。人体将左手和右手置于眼部前方，以实现对显示器的控制。
65.步骤s2：确定眼球位置、脸部中心点和手部锚点。
66.在本步骤中，所述手部锚点由左手手势、右手手势和左手右手的相对位置确定。眼球位置可以根据眼球的颜色进行区分判断。脸部中心点是脸部最靠近中心的点，可以是脸表面所有的点的中心，也可以是与脸朝向垂直的平面上的中心点。脸部中心点甚至还可以取眼部以外的脸部关键点。脸部中心点能够表征脸部的特征，确定与显示器或手部的距离。手部锚点是能够代表手部的一个点，但同时还能够符合人的视线特征。通过左手手势确定左手锚点，通过右手手势确定右手锚点，再通过左手锚点与右手锚点确定手部锚点。在确定左手锚点或右手锚点时，可以采用多种方法，比如以手势确定、以手部中心点为左手锚点或右手锚点等。根据左手锚点和右手锚点可以取中间值，比如中点或其他比例的点得到手部
锚点。
67.在部分实施例中，分别确定左眼瞳孔位置和右眼瞳孔位置，作为眼球位置。此时，分别确定出左眼眼球位置和右眼眼球位置。本实施例适合眼部与深度相机距离较近的情形，可以直接利用眼球信息确定瞳孔位置，具有更高的精度。比如，人位于电脑前方时，眼部距离屏幕较近。
68.步骤s3：计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a；计算所述脸部中心点与所述手部锚点的连线，并与所述显示器相交于位置b。
69.在本步骤中，通过进行三维重建，获得手部锚点与眼球位置和脸部中心点连线与显示器的交点。在本实施例中，深度相机与显示器的位置是固定的、已知的。深度相机与显示器既可以是集成一体的，也可以是组装的。当深度相机与显示器是集成一体时，深度相机可以位于显示器边缘，也可以位于显示器内部，比如显示器开孔等。当深度相机与显示器是组装时，深度相机与显示器可以通过固定装置分别进行固定，再对固定后的深度相机与显示器进行标定，从而获得显示器与深度相机更加准确的位置关系。眼球位置可以分别指左眼与右眼的位置，也可以指左眼与右眼的平均位置。当眼球位置为左眼与右眼的位置时，对左眼眼球、右眼眼球分别与手部锚点进行连线，计算与显示器的交点，再对交点进行操作。当眼球位置为左眼与右眼的平均位置时，先对左眼眼球与右眼眼球取平均位置，再与手部锚点进行连线，计算与显示器的交点。
70.在部分实施例中，用所述左眼瞳孔位置与所述手部锚点连线，并与显示器相交于位置a1，给予权重值μ；用所述右眼瞳孔位置与所述手部锚点连线，并与显示器相交于位置a1，给予权重值ν,并计算所述位置a1和所述位置a2的加权中心点a；其中，μ+ν＝1，μ和ν的值与所述左眼瞳孔与所述右眼瞳孔距离所述显示器的距离差相关。
71.在部分实施例中，所述加权中心点c与所述显示器上鼠标的实际位置存在校正参数ε；其中，校正参数ε与所述加权中心点c位于所述显示器的位置相关。
72.步骤s4：根据所述手部锚点和所述眼部距离所述显示器的距离，分别对所述位置a和所述位置b给予权重值α和β，并计算位置a与位置b的加权中心点c。
73.在本步骤中，α+β＝1。根据手部锚点、眼部与显示器的距离，分别给予手和眼部对应的位置a和位置b不同的权重值，以使在近处时，眼球的权重增加，在远处时，脸部的权重增加。当所述手和所述眼部距离所述显示器的距离增大时，权重值α减小，权重值β增大；当所述手和所述眼部距离所述显示器的距离增大时，权重值α增大，权重值β减小。如图3所示，加权中心点c位于位置a与位置b的连线上，并偏向权重值大的点。
74.图4为本发明实施例中一种确定所述手部锚点的步骤流程图。如图4所示，本发明实施例中一种确定所述手部锚点的步骤包括：
75.步骤s21：根据左手、右手与脸的对应关系、位置关系确定有效手。
76.在本步骤中，当目标空间中存在多个人时，容易出现多个人和手的情况。这种情况在远距离时更容易出现，比如看电视时。本步骤通过手是否位于人脸前方以及左手与右手的对应关系，剔除掉不相关的手，从而得到有效手。有效手可以是一个，也可以是多个。
77.步骤s22：识别出所述有效手的关键点，并根据所述关键点分布确定手部状态。
78.在本步骤中，利用关键点识别算法识别出有效手的关键点。比如常用的21个手部关键点。在根据关键点确定手部状态时可以有多种方法，比如通过对检测到的手部关键点
之间的角度计算便可以实现简单的手势识别，比如计算大拇指向量0-2和3-4之间的角度，它们之间的角度大于某一个角度闻值定义为弯曲，小于某一个值为伸直。
79.步骤s23：若所述手部状态为第一状态，则取所述有效手的部分关键点作为左手锚点或右手锚点；若所述手部状态为第二状态，则对所述有效手的至少部分关键点求取中心点作为所述左手锚点或所述右手锚点；求取所述左手锚点或所述右手锚点的中点，作为所述手部锚点。
80.在本步骤中，第一状态为预先设置的部分手势，并且部分关键点比较突出，比如单伸出一根手指、伸出两根手指等。第二状态为预先设置的部分手势，并且关键点比较均匀，或没有预设的手势，比如五指张开、手握拳等。
81.本实施例通过确定有效手，并对有效手的手部状态进行区域，确定部分关键点或中心点作为左手锚点或右手锚点，进而确定手部锚点，更加符合人体的感知，降低手势控制的门槛，并可以使得用户的操作可以更加精细，操作更加便捷、高效。
82.图5为本发明实施例中一种确定有效手的步骤流程图。如图5所示，本发明实施例中一种确定有效手的步骤包括：
83.步骤s211：根据手是否位于脸的前方，确定出第一人脸与第一手。
84.在本步骤中，根据手与脸的位置关系，确定出第一人脸与第一手。将脸前方的一个空间定义为前方，而非仅指正前方。前方包括脸前的一个空间，通常截面面积不小于120cm2。前方为从人脸至显示器的深度范围均可。第一手的数量是第一人脸的数量的两倍。本步骤还需要对人脸与手的匹配关系进行识别，判断出与人脸对应的左手和右手。
85.步骤s212：去除掉脸部法向量与所述显示器夹角小于第一夹角的人脸与手部，得到第二人脸与第二手。
86.在本步骤中，将不朝向显示器的人脸剔除，从而使得人看时他人或其他区域时的操作被中断，有效防止误操作。
87.步骤s213：将所述第二手与预设手部姿态对比，确定相似度最高的手作为有效手。
88.在本步骤中，在多个第二手中选择最终的有效手。有效手的数量可以为一对，也可以为两对，甚至更多对。比如人体面对显示器时，可以单人或双人进行手势操作，比如双人游戏等各类互动内容，增加趣味性。有效手的数量可以预先设置。
89.本实施例对识别出的手进一步筛选，可以根据预设条件获得相应的有效手，从而使得在多人时也可以有效识别。
90.图6为本发明实施例中一种分类确定所述手部锚点的步骤流程图。如图6所示，本发明实施例中一种分类确定所述手部锚点的步骤包括：
91.步骤s231：若所述手部状态为第一状态，且突出的手指数量为1，则取所述突出的手指的指尖关键点作为左手锚点或右手锚点。
92.在本步骤中，突出的手指为一根，则取该手指的指尖关键点为左手锚点或右手锚点。比如手部仅伸出一根食指，则以眼球和脸部与食指指尖的连线确定显示器上的交点。
93.步骤s232：若所述手部状态为第一状态，且突出的手指数量大于1，则取所述突出的手指的指尖关键点的中心点作为所述左手锚点或所述右手锚点。
94.在本步骤中，突出的手指为两根或更多根，则取突出手指的指尖的中心点为手部锚点。在计算中心点时，若为两根手指，则取两个手指指尖关键点的中心；若为两根以上手
指，则取多根手指指尖关键点构成三角形或多边形的质心。
95.步骤s233：若所述手部状态为第二状态，则对所述有效手的至少部分关键点求取中心点作为所述左手锚点或所述右手锚点。
96.在本步骤中，第二状态为关键点分布较为均匀或未定义的手势，需要将所有关键点或其中的部分关键点进行处理，求取关键点的中心点作为左手锚点或右手锚点。本步骤中处理的手势通常是执行具体的操作，比如抓取、右键点击等，需要对整体的方位进行计算。
97.步骤s234：求取所述左手锚点或所述右手锚点的中点，作为所述手部锚点。
98.在本步骤中，手部锚点不位于左手，也不位于右手，而是位于左手与右手之间的位置。通过调整左手和右手的位置，用户可以更加精细地控制手部锚点与显示器的交点，从而更加精细地控制手势精度。
99.本实施例对不同的手势进行详细的划分，分别进行对应的操作，使得各种手势均可以精细操作，从而实现对手势的准确定义与识别，获得更准确的识别数据。
100.图7为本发明实施例中一种标定系统示意图。如图7所示，本发明实施例中一种标定系统除了包括深度相机、显示器外，还包括标定杆。
101.标定杆的设计能够测量到屏幕指定4个顶点的距离，可分为接触和无接触两种类型。接触式标定杆采用第一颜色的细长杆子，长度固定为l，末端采用第二颜色标记。非接触式的标定杆前端装有激光发射器。
102.接触式标定杆在标定时包括如下步骤：
103.步骤s61:将标定杆末端接触屏幕上p1点，连续拍摄n张深度图像；
104.步骤s62:提取所述标定杆的空间直线方程l1，根据所述标定杆长度求出空间坐标p1xn；
105.步骤s63:重复前述步骤分别接触屏幕上的其他3个角点位置，得到l2,l3,l4；最后得到4组图片共4xn，进而得到{p2,p3,p4}xn的空间坐标；
106.步骤s64:根据{p1,p2,p3,p4}xn得到显示器的平面方程；
107.步骤s65:最后根据任一个直线和标定平面的交点，求出四个角点的位置{p1,p2,p3,p4}。
108.在提取标定杆时，包括如下步骤：
109.步骤s71:深度图像中提取第一通道数据，提取标定杆的roi,形态学方法去除噪声；其中，第一通道可以提取第一颜色；
110.步骤s72:利用ransanc方法拟合直线，排除外点，输出内点points_2d；
111.步骤s73:转换points_2d到points_3d/相机坐标系和世界坐标系重合，拟合line_3d；
112.步骤s74:深度图像提取第二通道数据，提取标定杆startpointroi，带入2d/3d直线方程，滤除，最后得到一个最理想的startpoint；其中，第二通道可以提取第二颜色。
113.本实施例通过通道配合，可以有效提高对于标定杆的识别与获取。
114.图8为本发明实施例中一种非接触式标定系统示意图。如图8所示，本发明实施例中一种非接触式标定方法包括：
115.步骤s81:将标定杆指向p1,变换位置，再次指向p1,重复上述步骤n次得到n张深度
图像；
116.步骤s82:提取所述标定杆的空间直线方程l1_0...l1_3...,n条直线；
117.步骤s83:获取不同直线交的同一点p,或者距离小于一定阈值的两个点,求得位置p1；
118.步骤s84:重复前述步骤，求得p2,p3,p4，并最后求解显示器平面方程。
119.图9为本发明实施例中另一种非接触式标定系统示意图。如图9所示，相比于前述实施例，本实施例不需要标定杆。在标定时包括如下步骤：
120.步骤s91:利用图像算法提取人眼位置point_eye；
121.步骤s91:利用图像算法提取手指末端的位置point_finger；
122.步骤s91:计算手眼指向方程line_p1_0；
123.步骤s91:p1,p2,p3,p4每个位置采集n张得到共4xnline_p；
124.步骤s91:获取不同直线交的同一点p,或者距离小于一定阈值的两个点,求得位置p1；
125.步骤s91:重复前述步骤，求得p2,p3,p4，并最后求解显示器平面方程
126.图10为本发明实施例中一种双手位置识别系统的结构示意图。如图10所示，本发明实施例中一种双手位置识别系统包括：
127.获取模块，用于利用深度相机获得左手、右手和眼部的三维信息；
128.确定模块，用于确定眼球位置、脸部中心点和手部锚点；其中，所述手部锚点由左手手势、右手手势和左手右手的相对位置确定；
129.连线模块，用于计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a；计算所述脸部中心点与所述手部锚点的连线，并与所述显示器相交于位置b；
130.计算模块，用于根据所述手部锚点和所述眼部距离所述显示器的距离，分别对所述位置a和所述位置b给予权重值α和β，并计算位置a与位置b的加权中心点c；其中，α+β＝1。
131.具体地说，获取模块获得左手、右手和眼部的三维信息。确定模块利用这些信息进行三维重建，并确定眼球位置、脸部中心点和手部锚点。连线模块计算眼球位置、脸部中心点与手部锚点的连线及与显示器的交点。计算模块对不同的交点给予不同的权重值，并计算得到最终的加权中心点。
132.本实施例利用深度相机获得左手、右手和眼部的三维信息，计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a，并通过不同的权重值确定最终的加权中心点c，具有可操作范围大、精度高、成本低、操作简便、设置灵活的优点。
133.本发明实施例中还提供一种双手位置识别设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的一种双手位置识别方法的步骤。
134.如上，本实施例利用深度相机获得左手、右手和眼部的三维信息，计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a，并通过不同的权重值确定最终的加权中心点c，具有可操作范围大、精度高、成本低、操作简便、设置灵活的优点。
135.所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统
称为“电路”、“模块”或“平台”。
136.图11是本发明实施例中的一种双手位置识别设备的结构示意图。下面参照图11来描述根据本发明的这种实施方式的电子设备600。图11显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
137.如图11所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
138.其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述一种双手位置识别方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
139.存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。
140.存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
141.总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
142.电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图11中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
143.本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的一种双手位置识别方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述一种双手位置识别方法部分中描述的根据本发明各种示例性实施方式的步骤。
144.如上所示，本实施例利用深度相机获得左手、右手和眼部的三维信息，计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a，并通过不同的权重值确定最终的加权中心点c，具有可操作范围大、精度高、成本低、操作简便、设置灵活的优点。
145.图12是本发明实施例中的计算机可读存储介质的结构示意图。参考图12所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有
形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
146.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
147.计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
148.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
149.本实施例利用深度相机获得左手、右手和眼部的三维信息，计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a，并通过不同的权重值确定最终的加权中心点c，具有可操作范围大、精度高、成本低、操作简便、设置灵活的优点。
150.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
151.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

技术特征：
1.一种双手位置识别方法，其特征在于，包括如下步骤：步骤s1：利用深度相机获得左手、右手和眼部的三维信息；步骤s2：确定眼球位置、脸部中心点和手部锚点；其中，所述手部锚点由左手手势、右手手势和左手右手的相对位置确定；步骤s3：计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a；计算所述脸部中心点与所述手部锚点的连线，并与所述显示器相交于位置b；步骤s4：根据所述手部锚点和所述眼部距离所述显示器的距离，分别对所述位置a和所述位置b给予权重值α和β，并计算位置a与位置b的加权中心点c；其中，α+β＝1。2.根据权利要求1所述的一种双手位置识别方法，其特征在于，在步骤s2中，分别确定左眼瞳孔位置和右眼瞳孔位置，作为眼球位置。3.根据权利要求2所述的一种双手位置识别方法，其特征在于，在步骤s3中，用所述左眼瞳孔位置与所述手部锚点连线，并与显示器相交于位置a1，给予权重值μ；用所述右眼瞳孔位置与所述手部锚点连线，并与显示器相交于位置a1，给予权重值ν,并计算所述位置a1和所述位置a2的加权中心点a；其中，μ+ν＝1，μ和ν的值与所述左眼瞳孔与所述右眼瞳孔距离所述显示器的距离差相关。4.根据权利要求1所述的一种双手位置识别方法，其特征在于，在确定所述手部锚点时包括：步骤s21：根据左手、右手与脸的对应关系、位置关系确定有效手；步骤s22：识别出所述有效手的关键点，并根据所述关键点分布确定手部状态；步骤s23：若所述手部状态为第一状态，则取所述有效手的部分关键点作为左手锚点或右手锚点；若所述手部状态为第二状态，则对所述有效手的至少部分关键点求取中心点作为所述左手锚点或所述右手锚点；求取所述左手锚点或所述右手锚点的中点，作为所述手部锚点。5.根据权利要求4所述的一种双手位置识别方法，其特征在于，步骤s21包括：步骤s211：根据手是否位于脸的前方，确定出第一人脸与第一手；步骤s212：去除掉脸部法向量与所述显示器夹角小于第一夹角的人脸与手部，得到第二人脸与第二手；步骤s213：将所述第二手与预设手部姿态对比，确定相似度最高的手作为有效手。6.根据权利要求4所述的一种双手位置识别方法，其特征在于，步骤s23包括：步骤s231：若所述手部状态为第一状态，且突出的手指数量为1，则取所述突出的手指的指尖关键点作为左手锚点或右手锚点；步骤s232：若所述手部状态为第一状态，且突出的手指数量大于1，则取所述突出的手指的指尖关键点的中心点作为所述左手锚点或所述右手锚点；步骤s233：若所述手部状态为第二状态，则对所述有效手的至少部分关键点求取中心点作为所述左手锚点或所述右手锚点；步骤s234：求取所述左手锚点或所述右手锚点的中点，作为所述手部锚点。7.根据权利要求1所述的一种双手位置识别方法，其特征在于，所述加权中心点c与所述显示器上鼠标的实际位置存在校正参数ε；其中，校正参数ε与所述加权中心点c位于所述显示器的位置相关。
8.一种双手位置识别系统，用于实现权利要求1至7中任一项所述的双手位置识别方法，其特征在于，包括：获取模块，用于利用深度相机获得左手、右手和眼部的三维信息；确定模块，用于确定眼球位置、脸部中心点和手部锚点；其中，所述手部锚点由左手手势、右手手势和左手右手的相对位置确定；连线模块，用于计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a；计算所述脸部中心点与所述手部锚点的连线，并与所述显示器相交于位置b；计算模块，用于根据所述手部锚点和所述眼部距离所述显示器的距离，分别对所述位置a和所述位置b给予权重值α和β，并计算位置a与位置b的加权中心点c；其中，α+β＝1。9.一种双手位置识别设备，其特征在于，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述双手位置识别方法的步骤。10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述双手位置识别方法的步骤。

技术总结
一种双手位置识别方法，包括：步骤S1：利用深度相机获得左手、右手和眼部的三维信息；步骤S2：确定眼球位置、脸部中心点和手部锚点；其中，所述手部锚点由左手手势、右手手势和左手右手的相对位置确定；步骤S3：计算所述眼球位置与所述手部锚点的连线，并与显示器相交于位置a；计算所述脸部中心点与所述手部锚点的连线，并与所述显示器相交于位置b；步骤S4：根据所述手部锚点和所述眼部距离所述显示器的距离，分别对所述位置a和所述位置b给予权重值α和β，并计算位置a与位置b的加权中心点c；其中，α+β＝1。本发明具有可操作范围大、精度高、成本低、操作简便、设置灵活的优点。设置灵活的优点。设置灵活的优点。


技术研发人员：郭虎威 黄龙祥 黄佳雯 汪博 朱力 吕方璐
受保护的技术使用者：上海光鉴傲深科技有限公司 珠海横琴光鉴科技有限公司
技术研发日：2023.06.29
技术公布日：2023/10/6