一种声像结合的信息推送方法、装置、设备及存储介质与流程

1.本技术实施例涉及智能识别技术领域，尤其涉及一种声像结合的信息推送方法、装置、设备及存储介质。


背景技术：

2.如今是个信息爆炸的互联网时代，大量的资讯信息无处不见，充斥着人民的生活。人们越来越厌烦无用的资讯信息。众所周知，精准营销是当下各大营销手段的重要方向，但是随着人们生活水平的进一步提高，消费者们对产品的个性化需求不断凸显，精确营销的难度也不断提高。随着近几年随着ar/vr(增强现实/虚拟现实)产业的高速发展，通过智能眼镜(例如ar眼镜或vr眼镜)进行资讯信息推送，大大提高了用户的使用体验。
3.现有智能眼镜在进行资讯信息推送时，仅通过眼动追踪的方式收集图片信息，并根据收集到的图片信息进行资讯信息的推送。例如，当用户佩戴对应的智能眼镜逛商场时，目之所及的产品图片都会被识别和记录，并进行对应产品类型的资讯信息的推送。
4.现有仅通过眼动追踪收集到的图片信息进行资讯信息推送的方式，仅通过眼动行为或注视时长的方式标定用户的兴趣点而进行资讯信息推送，推送的准确率较低，甚至会出现适得其反的效果。例如，某用户的视线虽然长时间停留在一款球鞋上，但与此同时用户正在与身边的人诉说这款球鞋的各种缺点，自己并不喜欢这双球鞋，这时，现有仅通过眼动追踪收集到的图片信息进行资讯信息推送的方式，就会推送这款球鞋对应的资讯信息，影响用户使用体验。


技术实现要素：

5.本技术实施例提供一种声像结合的信息推送方法、装置、设备及存储介质，能够解决信息推送准确率低的问题，提升信息推送的准确率，提升用户使用体验。
6.在第一方面，本技术实施例提供了一种声像结合的信息推送方法，用于智能眼镜，包括：
7.获取人眼注视点坐标，计算所述人眼注视点坐标与对应的环境中落点坐标的映射关系，确定所述环境中的落点坐标；
8.获取所述环境中所述落点坐标的预设范围内的目标图像；
9.将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体；
10.获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息；
11.当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，所述第一预设条件为所述语义信息为正面评价信息。
12.进一步的，所述获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息，包括：
13.获取语音信息，对获取到的语音信息进行声纹识别处理，筛选出目标语音信息，所述目标语音信息为用户的语音信息；
14.对所述目标语音信息进行语义分析处理，得到对应的语义信息。
15.进一步的，所述当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，包括：
16.当所述语义信息中存在预设关键词时，推送所述目标物体相关联的资讯信息。
17.进一步的，所述获取所述环境中所述落点坐标的预设范围内的目标图像，包括：
18.当识别到佩戴者的人体信息满足第二预设条件时，获取所述环境中的所述落点坐标对应的预设范围内的目标图像，所述第二预设条件为人眼动作满足第一条件或人体生物信号满足第二条件。
19.进一步的，所述当识别到佩戴者的人体信息满足第二预设条件时，获取所述环境中的所述落点坐标对应的预设范围内的目标图像，包括：
20.当识别到佩戴者的人眼注视感兴趣区域的时间超过预设阈值、人眼对感兴趣区域的回视次数超过预设阈值、人眼对感兴趣区域出现瞳孔放大或缩小现象以及人眼对感兴趣区域的眨眼次数超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像；
21.或，当识别到佩戴者的心率或血压超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像。
22.进一步的，所述当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，包括：
23.当所述语义信息满足第一预设条件时，在所述智能眼镜的显示画面中弹出所述目标物体相关联的资讯信息。
24.进一步的，所述获取人眼注视点坐标之前，包括：
25.对佩戴者的眼部特征进行识别，以验证用户的身份；
26.当用户身份验证通过后，在所述智能眼镜中显示对应的显示画面，所述显示画面为增强现实画面。
27.进一步的，所述将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体，包括：
28.将所述目标图像进行图像识别处理，获取所述目标图像中的至少一个物体图像；
29.在所述智能眼镜的显示画面中显示至少一个虚拟框，每一虚拟框内显示对应的所述物体图像；
30.根据对所述虚拟框的选择操作，确认被选择的虚拟框内的物体图像对应的物体为所述目标物体。
31.在第二方面，本技术实施例提供了一种声像结合的信息推送装置，用于智能眼镜，包括：
32.坐标计算模块，用于获取人眼注视点坐标，计算所述人眼注视点坐标与对应的环境中落点坐标的映射关系，确定所述环境中的落点坐标；
33.图像获取模块，用于获取所述环境中所述落点坐标的预设范围内的目标图像；
34.图像识别模块，用于将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体；
35.语音识别模块，用于获取语音信息，并对所述语音信息进行语义分析，得到对应的
语义信息；
36.信息推送模块，用于当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，所述第一预设条件为所述语义信息为正面评价信息。
37.进一步的，所述语音识别模块包括声纹识别单元和语义分析单元；
38.声纹识别单元，用于获取语音信息，对获取到的语音信息进行声纹识别处理，筛选出目标语音信息，所述目标语音信息为用户的语音信息；
39.语义分析单元，用于对所述目标语音信息进行语义分析处理，得到对应的语义信息。
40.进一步的，所述信息推送模块，还用于当所述语义信息中存在预设关键词时，推送所述目标物体相关联的资讯信息。
41.进一步的，所述图像获取模块还用于当识别到佩戴者的人体信息满足第二预设条件时，获取所述环境中的所述落点坐标对应的预设范围内的目标图像，所述第二预设条件为人眼动作满足第一条件或人体生物信号满足第二条件。
42.进一步的，所述图像获取模块包括第一获取单元和第二单元；
43.所述第一获取单元，用于当识别到佩戴者的人眼注视感兴趣区域的时间超过预设阈值、人眼对感兴趣区域的回视次数超过预设阈值、人眼对感兴趣区域出现瞳孔放大或缩小现象以及人眼对感兴趣区域的眨眼次数超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像；
44.所述第二获取单元，用于当识别到佩戴者的心率或血压超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像。
45.进一步的，所述信息推送模块还用于当所述语义信息满足第一预设条件时，在所述智能眼镜的显示画面中弹出所述目标物体相关联的资讯信息。
46.进一步的，所述装置还包括身份验证模块和显示模块；
47.所述身份验证模块，用于对佩戴者的眼部特征进行识别，以验证用户的身份；
48.所述显示模块，用于当用户身份验证通过后，在所述智能眼镜中显示对应的显示画面，所述显示画面为增强现实画面。
49.进一步的，所述图像识别模块包括识别单元、显示单元和选择确认单元；
50.所述识别单元，用于将所述目标图像进行图像识别处理，获取所述目标图像中的至少一个物体图像；
51.所述显示单元，用于在所述智能眼镜的显示画面中显示至少一个虚拟框，每一虚拟框内显示对应的所述物体图像；
52.所述选择确认单元，用于根据对所述虚拟框的选择操作，确认被选择的虚拟框内的物体图像对应的物体为所述目标物体
53.在第三方面，本技术实施例提供了一种声像结合的信息推送设备，包括：
54.存储器以及一个或多个处理器；
55.所述存储器，用于存储一个或多个程序；
56.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的声像结合的信息推送方法。
57.在第四方面，本技术实施例提供了一种存储计算机可执行指令的存储介质，所述
计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的声像结合的信息推送方法。
58.本技术实施例通过对人眼注视点坐标对应的落点坐标的目标图像进行识别处理，得到对应的目标物体，之后对获取到的语音信息进行语义分析处理得到语义信息，当语义信息为正面评价信息时，推送目标物体相关的资讯信息。采用上述技术手段，可以通过图像识别获取目标物体，并通过结合语义信息判断用户对目标物体是否感兴趣，当语义信息为正面评价信息时，才推送目标物体相关的资讯信息，使得推送的资讯信息更符合用户的意愿，从而提升信息推送的准确率，并提升用户的使用体验。
附图说明
59.图1是本技术实施例提供的一种声像结合的信息推送方法的流程图；
60.图2是本技术实施例提供的一种虚拟框显示示意图；
61.图3是本技术实施例提供的一种声像结合的信息推送装置的结构示意图；
62.图4是本技术实施例提供的一种声像结合的信息推送设备的结构示意图。
具体实施方式
63.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图对本技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
64.本技术提供的声像结合的信息推送方法、装置、设备及存储介质，旨在信息推送时，通过图像识别获取目标物体，并通过结合语义信息判断用户对目标物体是否感兴趣，当语义信息为正面评价信息时，才推送目标物体相关的资讯信息，使得推送的资讯信息更符合用户的意愿，以此提升信息推送的准确率，提升用户的使用体验。相对于传统的资讯信息推送的方式，其通常仅通过眼动行为或注视时长的方式标定用户的兴趣点而进行资讯信息推送，推送的准确率较低，甚至会出现适得其反的效果。例如，某用户的视线虽然长时间停留在一款球鞋上，但与此同时用户正在与身边的人诉说这款球鞋的各种缺点，自己并不喜欢这双球鞋，这时，现有仅通过眼动追踪收集到的图片信息进行资讯信息推送的方式，就会推送这款球鞋对应的资讯信息，影响用户使用体验。基于此，提供本技术实施例的声像结合的信息推送方法，以解决现有信息推送准确率低的问题。
65.图1给出了本技术实施例提供的一种声像结合的信息推送方法的流程图，本实施例中提供的声像结合的信息推送方法可以由声像结合的信息推送设备执行，该声像结合的信息推送设备可以通过软件和/或硬件的方式实现，该声像结合的信息推送设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该声像结合的信息推送设备可以是智能穿戴设备，如智能眼镜等。
66.下述以智能眼镜为执行声像结合的信息推送方法的主体为例，进行描述。
67.参照图1，该声像结合的信息推送方法，用于智能眼镜，具体包括：
68.s101、获取人眼注视点坐标，计算所述人眼注视点坐标与对应的环境中落点坐标的映射关系，确定所述环境中的落点坐标。
69.智能眼镜包括增强现实眼镜(ar眼镜)和虚拟现实眼镜(vr眼镜)，本实施例以ar眼镜为执行主体进行说明。智能眼镜启动或被唤醒后，在显示画面中展示系统登录界面。智能眼镜对佩戴者的眼部特征进行识别，以验证佩戴者的身份。示例性的，可以通过对佩戴者眼部虹膜特征进行身份识别，确认是否为合法用户，即是否是注册用户本人。在用户身份验证通过后，即验证佩戴者是合法用户后，在智能眼镜中显示对应的显示画面，显示画面为增强现实画面，即能够看到现实真实环境画面的显示画面。
70.示例性的，用户佩戴智能眼镜后，通过对佩戴者眼部虹膜特征进行身份识别，判断佩戴者为合法用户后，展示增强现实画面。例如，用户佩戴智能眼镜逛商场，能够通过智能眼镜的显示画面看到对应商场中真实存在的商品。或者，用户佩戴智能眼镜在对应的景区游玩，能够通过智能眼镜的显示画面看到对应景区中真实存在的景物。
71.用户身份验证通过之后，接收开启推送指令，根据开启推送指令进入信息推送模式。示例性的，可以通过在智能眼镜的显示画面中显示对应的模式选择虚拟框，通过识别用户手指的三维空间位置点，确定用户手指选择模式选择虚拟框。当用户选择了“信息推送”的模式选择虚拟框时，即接收开启推送指令，根据该开启推送指令进入信息推送模式。
72.在一实施例中，用户身份验证通过后，通过调用gps模块、wifi模块、移动网络(3g/4g/5g)通信模块进行定位，以获取位置信息。若位置信息为满足资讯信息推送的场所，即触发开启推送指令，根据开启推送指令进入信息推送模式。例如，通过定位获取当前位置信息在购物商场、商业街和景区等具有消费和资讯需求的场所时，则触发开启推送指令，进入信息推送模式。
73.进入信息推送模式后，人佩戴着智能眼镜时，目光会环绕四周，智能眼镜获取人眼注视点坐标，计算人眼注视点坐标对应的环境中的落点坐标的映射关系，确认环境中的落点坐标。示例性的，通过智能眼镜中对应的朝向佩戴者的眼动追踪模块获取佩戴者眼球运动的坐标向量，根据眼球运动的坐标向量进行映射算法计算，获取人眼的视线焦点在佩戴者视觉前方位置，即佩戴者视觉前方环境中的落点坐标。调用智能眼镜的前置摄像头获取佩戴者视觉前方画面，使得智能眼镜确认佩戴者的视线注视位置。通过根据人眼注视点坐标计算人眼注视点坐标对应的环境中的落点坐标的映射关系，确定环境中的落点坐标，从而可以获取人眼注视的环境中的落点，进而可以确认注视的环境中具体位置，为后续获取感兴趣区域图像提供数据基础。
74.s102、获取所述环境中所述落点坐标的预设范围内的目标图像。
75.进入信息推送模式后，人佩戴着智能眼镜时，目光会环绕四周，智能眼镜实时获取人员注视点坐标。当识别到佩戴者的人体信息满足第二预设条件时，获取环境中的落点坐标对应的预设范围内的目标图像，其中，第二预设条件为人眼动作满足第一条件或人体生物信号满足第二条件。其中，人眼动作满足第一条件可以是人眼注视感兴趣区域的时间超过预设阈值、人眼对感兴趣区域的回视次数超过预设阈值、人眼对感兴趣区域出现瞳孔放大或缩小现象以及人眼对感兴趣区域的眨眼次数超过预设阈值等等。人体生物信号满足第
二条件可以是心率或血压超过阈值、脑电波信号有明显波动等。获取目标图像时，可以获取以落点坐标为圆心进行预设范围内的圆形区域图像作为目标图像，或以落点坐标为中心的预设范围内的方形区域图像作为目标图像，或以眼动对应的落点坐标的轨迹所形成的图形区域图像作为目标图像。
76.示例性的，进入信息推送模式后，当识别到佩戴者的人眼注视感兴趣区域的时间超过预设阈值、人眼对感兴趣区域的回视次数超过预设阈值、人眼对感兴趣区域出现瞳孔放大或缩小现象以及人眼对感兴趣区域的眨眼次数超过预设阈值时，获取环境中的落点坐标的预设范围内的目标图像。
77.示例性的，进入信息推送模式后，当识别到佩戴者的心率或血压超过预设阈值、人脸情绪波动超过阈值或脑电波波动超过阈值时，获取环境中的落点坐标的预设范围内的目标图像。需要说明的是，智能眼镜可以通过对应的脑机接口(脑电波检测模块)的大脑信号进行监测，以获取对应的脑电波信号。
78.上述，通过智能眼镜进入信息推送模式后，当识别到佩戴者的人体信息满足第二预设条件时，获取环境中的落点坐标对应的预设范围内的目标图像，以获取对应的感兴趣区域的目标图像，便于后续获取用户的感兴趣的目标物体。根据佩戴者的人体信息满足第二预设条件时才获取目标图像，避免需要人工手动去搜索目标物体，提高了目标物体图像获取的智能化程度，进而提高了信息推送的自动化。
79.s103、将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体。
80.获取得到目标图像后，通过调用图像处理器或人工智能处理器对对目标图像进行图像识别处理，得到至少一个物体图像。基于在获取目标图像时，对应的环境中落点坐标的预设范围区域内可能存在多个物体，使得获取到的目标图像中可能存在多个物体，因而在对目标图像进行图像识别处理后，可以得到至少一个物体图像。当识别处理后得到的物体图像的个数为一个，则该物体图像对应的物体为目标物体。
81.需要说明的是，图像识别处理可以通过智能眼镜自身的处理器进行，也可以通过智能眼镜发送对应的目标图像至云端服务器，在云端服务器中进行图像识别处理。
82.在一实施例中，将目标图像进行图像识别处理，获取目标图像中的至少一个物体图像。当目标图像中存在多个物体图像时，为了进一步提高信息推送的准确度，则在智能眼镜的显示画面中显示至少一个虚拟框，每一虚拟框显示对应的物体图像，根据对虚拟框的选择操作，确认被选择的虚拟框内的物体图像对应的物体为目标物体。需要说明的是，目标图像中存在多少个物体图像就显示多少个虚拟框，每一虚拟框与每一物体图像相对应。示例性的，可以通过对人眼注视点的识别，确认人眼注视对应的虚拟框的时间超过预设阈值时，确认该行为是对该虚拟框的选择操作。或者，可以通过获取手指的空间三维位置，计算手指的空间三维位置与虚拟框位置的映射关系，确定手指对虚拟框的选择操作。通过虚拟框的形式供用户选择目标物体，提高了目标物体确认的准确性，从而提高后续信息推送的准确性。
83.图2是本技术实施例提供的一种虚拟框显示示意图，参照图2，以目标图像中存在两个物体图像为例进行说明。将目标图像进行识别处理，得到第一物体图像和第二物体图像。在智能眼镜的显示画面中显示第一虚拟框10和第二虚拟框20，第一虚拟框10内显示第一物体图像，例如第一物体(鞋子)的图像，第二虚拟框20内显示第二物体图像，例如第二物
体(上衣)的图像。根据对第一虚拟框10或第二虚拟框20的选择操作，确定被选择的虚拟框内的物体图像对应的物体为目标物体。例如，选择了第一虚拟框10，则确认第一虚拟框10内的第一物体图像对应的第一物体(鞋子)为目标物体。若选择了第二虚拟框20，则确认第二虚拟框20内的第二物体图像对应的第二物体(上衣)为目标物体。
84.需要说明的是，当识别到目标图像中存在的物体图像的数量超过预设阈值时，例如超过3种物体图像出现在目标图像中，则重新获取范围更小的目标图像，或者将距离目标图像中心点最近的一个物体图像对应的物体确认为目标物体。
85.需要说明的是，当在对应的商场、超市或者步行街等场景下，对应的目标物体可以为对应的商品，例如鞋子、服饰、家具和食品等等。当在对应的景区的场景下，对应的目标物体为植物、动物和景点标志等等。
86.上述，通过对目标图像进行图像识别处理，得到目标图像中的目标物体，从而为信息推送提供物体基础，以便后续根据目标物体进行对应的资讯信息的推送。
87.s104、获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息。
88.基于用户注视某物体时，可能是喜欢该物体，也可能是在讨厌该物体，因而，为了进一步提高信息推送的准确性，在获取到目标图像和目标物体之后，引入语音识别功能，以根据语音判断用户的喜好。由于在公共场合中，可能存在很多人的声音信息，因而，在获取到语音信息后，对获取到的语音信息先进行声纹识别处理，筛选出目标语音信息。其中，目标语音信息为用户的语音信息，这里的用户指的是上述身份验证通过的合法用户。需要说明的是，预先录入对应的合法用户的声音，得到参考声纹信息。后续进行声纹识别时，将识别到的声纹信息与参考声纹信息进行对比处理，即可筛选出与参考声纹信息相匹配的目标语音信息。
89.筛选得到目标语音信息后，对获取到的目标语音信息进行语义分析处理，得到对应的语义信息。通过获取到合法用户的目标语音信息后，进行语义分析处理，以获取用户的语义信息，便于后续根据语义信息确认是否推送目标物体的资讯信息，以提高信息推送的准确性。
90.需要说明的是，语义分析处理可以通过智能眼镜自身的处理器进行，也可以通过智能眼镜发送对应的语音信息至云端服务器，在云端服务器中进行语义分析处理。
91.需要说明的是，可以通过预设的语义分析模型进行语义分析处理。将目标语音信息输入预设的语义分析模型中进行数据处理，输出对应的语义信息。语义信息包括正面评价信息或负面评价信息。
92.s105、当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，所述第一预设条件为所述语义信息为正面评价信息。
93.通过上述可以得到目标语音信息对应的语义信息，可以确认目标语音信息是属于正面评价信息还是属于负面评价信息。当语义信息满足第一预设条件时，第一预设条件为语义信息为正面评价信息，则推送目标物体相关联的资讯信息。
94.在一实施例中，当在对应的商场、超市或者步行街等场景下，对应的目标物体可以为对应的商品，例如鞋子、服饰、家具和食品等等。当获取到的目标语音信息对应的语义信息为正面评价信息时，则根据目标物体确认对应的商品品类，例如鞋子、箱包、首饰、美妆、数码、玩具、上装、下装、裙装、内衣、饮料、零食和其他等等。获取对应的商品品类的中与该
目标物体相类似商品的资讯信息，并推送该资讯信息。需要说明的是，当是目标物体是商品时，则推送的为商品广告信息。示例性的，假设通过智能眼镜获取到的目标物体为一双篮球鞋，并且通过对目标语音信息进行语义分析得到为正面评价信息的语义信息，则确定目标物体的商品品类为篮球鞋，则将对应篮球鞋品类中与目标物体相类似的资讯信息进行推送。
95.在一实施例中，当在对应的景区的场景下，对应的目标物体为植物、动物和景点标记等等。当获取到的目标语音信息对应的语义信息为正面评价信息时，则根据目标物体的图像进行互联网搜索，以获取对应目标物体对应的资讯信息。示例性的，假设通过智能眼镜获取到的目标物体为一棵松树，则根据目标物体图像进行资讯搜索，以获取松树对应的资讯信息，例如松树的科普信息，并将获取到的资讯信息进行推送。
96.在一实施例中，当语义信息中存在预设关键词时，例如“好喜欢”、“网上不知道有没有”、“网上会不会便宜点”或“这是什么植物”等等，则认为用户对目标物体感兴趣，推送目标物体相关联的资讯信息。
97.需要说明的是，获取目标物体的资讯信息时，可以通过以图搜图的方式进行图像检索，通过提取的目标图像或目标物体的物体图像的图像特征点，得到图像特征信息，将图像特征信息上传至云端服务器进行图像的检索。云端服务器根据图像特征信息在自身数据库或互联网中检索对应资讯信息，并将对应的资讯信息反馈至对应的智能眼镜。
98.在推送时，在智能眼镜的显示画面中弹出对应的目标物体相关联的资讯信息。示例性的，可以在智能眼镜的增强现实显示画面中，在目标物体的周围呈现对应的资讯信息，或者在以视觉中心为中心以矩形的或圆形的显示区域呈现对应的资讯信息，或者在智能眼镜的显示画面中的固定区域呈现对应的资讯信息。
99.在一实施例中，在推送时，可以将目标物体对应的资讯信息推送至与智能眼镜相关联的终端设备中，例如计算机设备、平板设备或手机设备等。
100.上述，通过佩戴智能眼镜既可以自动推送对应的感兴趣物(目标物体)的资讯信息，并且结合语音进行综合判断，提高了信息推送的准确性，提升了用户的使用体验。此外，通过智能眼镜直接进行信息推送，避免人工搜索导致步骤繁琐，提高了信息推送的自动化和信息推送的速度，进一步提升用户的使用体验。
101.上述，通过结合图像信息及语音信息进行综合判断，可以避免推荐用户不喜欢的产品，当识别到的语义信息为正面评价信息时，认为当前的目标物体是用户感兴趣或有好感的物体，则推送目标物体相关联的资讯信息，使得推送的资讯信息更加符合用户的喜爱，从而提高信息推送的准确率，进而提升用户的使用体验。
102.上述，通过对人眼注视点坐标对应的落点坐标的目标图像进行识别处理，得到对应的目标物体，之后对获取到的语音信息进行语义分析处理得到语义信息，当语义信息为正面评价信息时，推送目标物体相关的资讯信息。采用上述技术手段，可以通过图像识别获取目标物体，并通过结合语义信息判断用户对目标物体是否感兴趣，当语义信息为正面评价信息时，才推送目标物体相关的资讯信息，实现了声像结合判断用户是否对目标物体感兴趣，提升用户感兴趣物判断的准确性，从而使得推送的资讯信息更符合用户的意愿，进而提升信息推送的准确率，并提升用户的使用体验。
103.在上述实施例的基础上，图3为本技术实施例提供的一种声像结合的信息推送装
置的结构示意图。参考图3，本实施例提供的声像结合的信息推送装置，用于智能眼镜，具体包括：坐标计算模块21、图像获取模块22、图像识别模块23、语音识别模块24和信息推送模块25。
104.其中，坐标计算模块21，用于获取人眼注视点坐标，计算人眼注视点坐标与对应的环境中落点坐标的映射关系，确定环境中的落点坐标；
105.图像获取模块22，用于获取环境中落点坐标的预设范围内的目标图像；
106.图像识别模块23，用于将目标图像进行图像识别处理，得到目标图像中的目标物体；
107.语音识别模块24，用于获取语音信息，并对语音信息进行语义分析，得到对应的语义信息；
108.信息推送模块25，用于当语义信息满足第一预设条件时，推送目标物体相关联的资讯信息，第一预设条件为语义信息为正面评价信息。
109.进一步的，语音识别模块24包括声纹识别单元和语义分析单元；
110.声纹识别单元，用于获取语音信息，对获取到的语音信息进行声纹识别处理，筛选出目标语音信息，目标语音信息为用户的语音信息；
111.语义分析单元，用于对目标语音信息进行语义分析处理，得到对应的语义信息。
112.进一步的，信息推送模块25，还用于当语义信息中存在预设关键词时，推送目标物体相关联的资讯信息。
113.进一步的，图像获取模块22还用于当识别到佩戴者的人体信息满足第二预设条件时，获取环境中的落点坐标对应的预设范围内的目标图像，第二预设条件为人眼动作满足第一条件或人体生物信号满足第二条件。
114.进一步的，图像获取模块22包括第一获取单元和第二单元；
115.第一获取单元，用于当识别到佩戴者的人眼注视感兴趣区域的时间超过预设阈值、人眼对感兴趣区域的回视次数超过预设阈值、人眼对感兴趣区域出现瞳孔放大或缩小现象以及人眼对感兴趣区域的眨眼次数超过预设阈值时，获取环境中的落点坐标的预设范围内的目标图像；
116.第二获取单元，用于当识别到佩戴者的心率或血压超过预设阈值时，获取环境中的落点坐标的预设范围内的目标图像。
117.进一步的，信息推送模块25还用于当语义信息满足第一预设条件时，在智能眼镜的显示画面中弹出目标物体相关联的资讯信息。
118.进一步的，装置还包括身份验证模块和显示模块；
119.身份验证模块，用于对佩戴者的眼部特征进行识别，以验证用户的身份；
120.显示模块，用于当用户身份验证通过后，在智能眼镜中显示对应的显示画面，显示画面为增强现实画面。
121.进一步的，图像识别模块23包括识别单元、显示单元和选择确认单元；
122.识别单元，用于将目标图像进行图像识别处理，获取目标图像中的至少一个物体图像；
123.显示单元，用于在智能眼镜的显示画面中显示至少一个虚拟框，每一虚拟框内显示对应的物体图像；
124.选择确认单元，用于根据对虚拟框的选择操作，确认被选择的虚拟框内的物体图像对应的物体为目标物体。
125.上述，通过对人眼注视点坐标对应的落点坐标的目标图像进行识别处理，得到对应的目标物体，之后对获取到的语音信息进行语义分析处理得到语义信息，当语义信息为正面评价信息时，推送目标物体相关的资讯信息。采用上述技术手段，可以通过图像识别获取目标物体，并通过结合语义信息判断用户对目标物体是否感兴趣，当语义信息为正面评价信息时，才推送目标物体相关的资讯信息，实现了声像结合判断用户是否对目标物体感兴趣，提升用户感兴趣物判断的准确性，从而使得推送的资讯信息更符合用户的意愿，进而提升信息推送的准确率，并提升用户的使用体验。
126.本技术实施例提供的声像结合的信息推送装置可以用于执行上述实施例提供的声像结合的信息推送方法，具备相应的功能和有益效果。
127.本技术实施例提供了一种声像结合的信息推送设备，参照图4，该声像结合的信息推送设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该声像结合的信息推送设备中处理器的数量可以是一个或者多个，该声像结合的信息推送设备中的存储器的数量可以是一个或者多个。该声像结合的信息推送设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
128.存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本技术任意实施例所述的声像结合的信息推送方法对应的程序指令/模块(例如，声像结合的信息推送装置中的坐标计算模块、图像获取模块、图像识别模块、语音识别模块和信息推送模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
129.通信模块33用于进行数据传输。
130.处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的声像结合的信息推送方法。
131.输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
132.上述提供的声像结合的信息推送设备可用于执行上述实施例提供的声像结合的信息推送方法，具备相应的功能和有益效果。
133.本技术实施例还提供一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种声像结合的信息推送方法，该声像结合的信息推送方法包括：获取人眼注视点坐标，计算所述人眼注视点坐标与对应的环境中落点坐标的映射关系，确定所述环境中的落点坐标；获取所述环境中所述落点坐标的预设范围内的目标图像；将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体；获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息；当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，所述第一预设条件为所述语义信息为正
面评价信息。
134.存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
135.当然，本技术实施例所提供的一种存储计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的声像结合的信息推送方法，还可以执行本技术任意实施例所提供的声像结合的信息推送方法中的相关操作。
136.上述实施例中提供的声像结合的信息推送装置、存储介质及声像结合的信息推送设备可执行本技术任意实施例所提供的声像结合的信息推送方法，未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的声像结合的信息推送方法。
137.上述仅为本技术的较佳实施例及所运用的技术原理。本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由权利要求的范围决定。

技术特征：
1.一种声像结合的信息推送方法，其特征在于，用于智能眼镜，包括：获取人眼注视点坐标，计算所述人眼注视点坐标与对应的环境中落点坐标的映射关系，确定所述环境中的落点坐标；获取所述环境中所述落点坐标的预设范围内的目标图像；将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体；获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息；当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，所述第一预设条件为所述语义信息为正面评价信息。2.根据权利要求1所述的方法，其特征在于，所述获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息，包括：获取语音信息，对获取到的语音信息进行声纹识别处理，筛选出目标语音信息，所述目标语音信息为用户的语音信息；对所述目标语音信息进行语义分析处理，得到对应的语义信息。3.根据权利要求1或2所述的方法，其特征在于，所述当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，包括：当所述语义信息中存在预设关键词时，推送所述目标物体相关联的资讯信息。4.根据权利要求1所述的方法，其特征在于，所述获取所述环境中所述落点坐标的预设范围内的目标图像，包括：当识别到佩戴者的人体信息满足第二预设条件时，获取所述环境中的所述落点坐标对应的预设范围内的目标图像，所述第二预设条件为人眼动作满足第一条件或人体生物信号满足第二条件。5.根据权利要求4所述的方法，其特征在于，所述当识别到佩戴者的人体信息满足第二预设条件时，获取所述环境中的所述落点坐标对应的预设范围内的目标图像，包括：当识别到佩戴者的人眼注视感兴趣区域的时间超过预设阈值、人眼对感兴趣区域的回视次数超过预设阈值、人眼对感兴趣区域出现瞳孔放大或缩小现象以及人眼对感兴趣区域的眨眼次数超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像；或，当识别到佩戴者的心率或血压超过预设阈值时，获取所述环境中的所述落点坐标的预设范围内的目标图像。6.根据权利要求1所述的方法，其特征在于，所述当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，包括：当所述语义信息满足第一预设条件时，在所述智能眼镜的显示画面中弹出所述目标物体相关联的资讯信息。7.根据权利要求1所述的方法，其特征在于，所述获取人眼注视点坐标之前，包括：对佩戴者的眼部特征进行识别，以验证用户的身份；当用户身份验证通过后，在所述智能眼镜中显示对应的显示画面，所述显示画面为增强现实画面。8.根据权利要求1所述的方法，其特征在于，所述将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体，包括：将所述目标图像进行图像识别处理，获取所述目标图像中的至少一个物体图像；
在所述智能眼镜的显示画面中显示至少一个虚拟框，每一虚拟框内显示对应的所述物体图像；根据对所述虚拟框的选择操作，确认被选择的虚拟框内的物体图像对应的物体为所述目标物体。9.一种声像结合的信息推送装置，其特征在于，用于智能眼镜，包括：坐标计算模块，用于获取人眼注视点坐标，计算所述人眼注视点坐标与对应的环境中落点坐标的映射关系，确定所述环境中的落点坐标；图像获取模块，用于获取所述环境中所述落点坐标的预设范围内的目标图像；图像识别模块，用于将所述目标图像进行图像识别处理，得到所述目标图像中的目标物体；语音识别模块，用于获取语音信息，并对所述语音信息进行语义分析，得到对应的语义信息；信息推送模块，用于当所述语义信息满足第一预设条件时，推送所述目标物体相关联的资讯信息，所述第一预设条件为所述语义信息为正面评价信息。10.一种声像结合的信息推送设备，其特征在于，包括：存储器以及一个或多个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的方法。11.一种存储计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由处理器执行时用于执行如权利要求1-7任一所述的方法。

技术总结
本申请实施例公开了一种声像结合的信息推送方法、装置、设备及存储介质。本申请实施例提供的技术方案，用于智能眼镜，通过获取人眼注视点坐标，计算人眼注视点坐标与对应的环境中落点坐标的映射关系，确定环境中的落点坐标；获取环境中落点坐标的预设范围内的目标图像；将目标图像进行图像识别处理，得到目标图像中的目标物体；获取语音信息，并对语音信息进行语义分析，得到对应的语义信息；当语义信息满足第一预设条件时，推送目标物体相关联的资讯信息，第一预设条件为语义信息为正面评价信息。本申请实施例提供的技术方案，能够解决信息推送准确率低的问题，提升信息推送的准确率，提升用户使用体验。提升用户使用体验。提升用户使用体验。


技术研发人员：李全 王卫强
受保护的技术使用者：广州瀚信通信科技股份有限公司
技术研发日：2023.07.13
技术公布日：2023/10/5