通过多模态信息智能控制设备的方法及装置与流程

1.本发明涉及空调控制技术领域，尤其涉及通过多模态信息智能控制设备的方法及装置。


背景技术：

2.随着智能家居技术和人工智能技术的快速发展，智能家居的控制方式越来越智能化，空调的控制方法由传统的遥控控制演变成语音控制和手势控制。由于传统的采用语音控制方式和手势控制方式进行空调器的控制时，其通常均采用单一的控制方式，使得传统的语音控制或手势控制方式容易出现控制指令识别不精准的问题。因此，提供通过多模态信息智能控制设备的方法及装置，以提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感显得尤为重要。


技术实现要素：

3.本发明所要解决的技术问题在于，提供通过多模态信息智能控制设备的方法及装置，能够通过对多模态信息的分析处理，以及对分析结果信息的冲突判断等综合处理得到用于控制智能空调工作的空调控制参数信息，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
4.为了解决上述技术问题，本发明实施例第一方面公开了通过多模态信息智能控制设备的方法，所述方法包括：
5.采集当前区域中用户的多模态信息；所述多模态信息包括手势信息，和/或，语音信息；
6.对所述模态信息进行分析处理，得到分析结果信息；所述分析结果信息包括第一分析结果，和/或，第二分析结果；所述第一分析结果表征所述手势信息对应的控制指示信息；所述第二分析结果表征所述语音信息的控制指示信息；
7.判断所述分析结果信息中是否存在信息冲突，得到分析判断结果；
8.当所述分析判断结果为否时，根据所述分析结果信息，确定出空调控制参数信息；所述空调控制参数信息用于控制智能空调工作。
9.作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述模态信息进行分析处理，得到分析结果信息，包括：
10.利用预设的手势识别策略对所述手势信息进行分析处理，得到第一分析结果；
11.对所述语音信息进行分析处理，得到第二分析结果。
12.作为一种可选的实施方式，在本发明实施例第一方面中，所述利用预设的手势识别策略对所述手势信息进行分析处理，得到第一分析结果，包括：
13.确定跟踪目标；
14.利用预设的第一图像识别模型对所述跟踪目标进行识别处理，得到目标识别信息；
15.判断所述目标识别信息是否满足手势控制条件，得到手势判断结果；
16.当所述手势判断结果为否时，触发执行所述利用预设的第一图像识别模型对所述跟踪目标进行识别处理，得到目标识别信息；
17.当所述手势判断结果为是时，对所述目标识别信息进行图像处理，得到第一分析结果。
18.作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述目标识别信息进行图像处理，得到第一分析结果，包括：
19.对所述目标识别信息进行前处理，得到第一色块信息；
20.利用预设的第二图像识别模型对所述第一色块信息进行处理，得到手势识别信息；
21.判断所述手势识别信息是否满足手势输出条件，得到输出判断结果；所述手势输出条件与手势识别失败次数相关；
22.当所述输出判断结果为否时，触发执行所述利用预设的第一图像识别模型对所述跟踪目标进行识别处理，得到目标识别信息；
23.当所述输出判断结果为是时，根据所述手势识别信息，确定出第一分析结果。
24.作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述语音信息进行分析处理，得到第二分析结果，包括：
25.对所述语音信息进行解析处理，得到待用控制参数信息；
26.根据所述待用控制参数信息，确定出第二分析结果。
27.作为一种可选的实施方式，在本发明实施例第一方面中，所述根据所述分析结果信息，确定出空调控制参数信息，包括：
28.获取智能空调运行状态信息；
29.对所述智能空调运行状态信息和所述分析结果信息进行分析处理，得到空调控制参数信息。
30.作为一种可选的实施方式，在本发明实施例第一方面中，在所述根据所述分析结果信息，确定出空调控制参数信息之后，所述方法还包括：
31.获取所述当前区域对应的环境参数信息；
32.利用所述环境参数信息对所述空调控制参数信息进行更新。
33.本发明实施例第二方面公开了通过多模态信息智能控制设备的装置，装置包括：
34.采集模块，用于采集当前区域中用户的多模态信息；所述多模态信息包括手势信息，和/或，语音信息；
35.第一处理模块，用于对所述模态信息进行分析处理，得到分析结果信息；所述分析结果信息包括第一分析结果，和/或，第二分析结果；所述第一分析结果表征所述手势信息对应的控制指示信息；所述第二分析结果表征所述语音信息的控制指示信息；
36.判断模块，用于判断所述分析结果信息中是否存在信息冲突，得到分析判断结果；
37.确定模块，用于当所述分析判断结果为否时，根据所述分析结果信息，确定出空调控制参数信息；所述空调控制参数信息用于控制智能空调工作。
38.作为一种该可选的实施方式，在本发明实施例第二方面中，所述第一处理模块对所述模态信息进行分析处理，得到分析结果信息的具体方式为：
39.利用预设的手势识别策略对所述手势信息进行分析处理，得到第一分析结果；
40.对所述语音信息进行分析处理，得到第二分析结果。
41.作为一种该可选的实施方式，在本发明实施例第二方面中，所述第一处理模块利用预设的手势识别策略对所述手势信息进行分析处理，得到第一分析结果的具体方式为：
42.确定跟踪目标；
43.利用预设的第一图像识别模型对所述跟踪目标进行识别处理，得到目标识别信息；
44.判断所述目标识别信息是否满足手势控制条件，得到手势判断结果；
45.当所述手势判断结果为否时，触发执行所述利用预设的第一图像识别模型对所述跟踪目标进行识别处理，得到目标识别信息；
46.当所述手势判断结果为是时，对所述目标识别信息进行图像处理，得到第一分析结果。
47.作为一种该可选的实施方式，在本发明实施例第二方面中，所述第一处理模块对所述目标识别信息进行图像处理，得到第一分析结果的具体方式为：
48.对所述目标识别信息进行前处理，得到第一色块信息；
49.利用预设的第二图像识别模型对所述第一色块信息进行处理，得到手势识别信息；
50.判断所述手势识别信息是否满足手势输出条件，得到输出判断结果；所述手势输出条件与手势识别失败次数相关；
51.当所述输出判断结果为否时，触发执行所述利用预设的第一图像识别模型对所述跟踪目标进行识别处理，得到目标识别信息；
52.当所述输出判断结果为是时，根据所述手势识别信息，确定出第一分析结果。
53.作为一种该可选的实施方式，在本发明实施例第二方面中，所述第一处理模块对所述语音信息进行分析处理，得到第二分析结果的具体方式为：
54.对所述语音信息进行解析处理，得到待用控制参数信息；
55.根据所述待用控制参数信息，确定出第二分析结果。
56.作为一种该可选的实施方式，在本发明实施例第二方面中，所述确定模块根据所述分析结果信息，确定出空调控制参数信息的具体方式为：
57.获取智能空调运行状态信息；
58.对所述智能空调运行状态信息和所述分析结果信息进行分析处理，得到空调控制参数信息。
59.作为一种该可选的实施方式，在本发明实施例第二方面中，在所述确定模块根据所述分析结果信息，确定出空调控制参数信息之后，所述装置还包括：
60.获取模块，还用于获取所述当前区域对应的环境参数信息；
61.更新模块，用于利用所述环境参数信息对所述空调控制参数信息进行更新。
62.本发明第三方面公开了另通过多模态信息智能控制设备的装置，所述装置包括：
63.存储有可执行程序代码的存储器；
64.与所述存储器耦合的处理器；
65.所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第
一方面公开的通过多模态信息智能控制设备的方法中的部分或全部步骤。
66.本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明实施例第一方面公开的通过多模态信息智能控制设备的方法中的部分或全部步骤。
67.与现有技术相比，本发明实施例具有以下有益效果：
68.本发明实施例中，采集当前区域中用户的多模态信息；多模态信息包括手势信息，和/或，语音信息；对模态信息进行分析处理，得到分析结果信息；分析结果信息包括第一分析结果，和/或，第二分析结果；第一分析结果表征手势信息对应的控制指示信息；第二分析结果表征语音信息的控制指示信息；判断分析结果信息中是否存在信息冲突，得到分析判断结果；当分析判断结果为否时，根据分析结果信息，确定出空调控制参数信息；空调控制参数信息用于控制智能空调工作。可见，本发明能够通过对多模态信息的分析处理，以及对分析结果信息的冲突判断等综合处理得到用于控制智能空调工作的空调控制参数信息，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
附图说明
69.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
70.图1是本发明实施例公开的通过多模态信息智能控制设备的方法的流程示意图；
71.图2是本发明实施例公开的另通过多模态信息智能控制设备的方法的流程示意图；
72.图3是本发明实施例公开的通过多模态信息智能控制设备的装置的结构示意图；
73.图4是本发明实施例公开的另通过多模态信息智能控制设备的装置的结构示意图；
74.图5本发明实施例公开的又通过多模态信息智能控制设备的装置的结构示意图；
75.图6为本发明实施例的一种场景示意图。
具体实施方式
76.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
77.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
78.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
79.本发明公开了通过多模态信息智能控制设备的方法及装置，能够通过对多模态信息的分析处理，以及对分析结果信息的冲突判断等综合处理得到用于控制智能空调工作的空调控制参数信息，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。需要说明的是，图6所示的场景示意图只是为了表示用于智能空调自动关闭所适用的场景，涉及到的空调、用户、用户终端、服务器也只是示意性展现，图6所示的场景示意对此不作限定，且以上对用于控制空调所适用的应用场景做了描述，以下分别进行详细说明。
80.实施例一
81.请参阅图1，图1是本发明实施例公开的通过多模态信息智能控制设备的方法的流程示意图。其中，图1所描述的通过多模态信息智能控制设备的方法应用于空调控制系统中，如用于通过多模态信息智能控制设备的管理的本地服务器或云端服务器等，本发明实施例不做限定。如图1所示，该通过多模态信息智能控制设备的方法可以包括以下操作：
82.101、采集当前区域中用户的多模态信息。
83.本发明实施例中，上述多模态信息包括手势信息，和/或，语音信息，本发明实施例不做限定。
84.102、对模态信息进行分析处理，得到分析结果信息。
85.本发明实施例中，上述分析结果信息包括第一分析结果，和/或，第二分析结果，本发明实施例不做限定。
86.本发明实施例中，上述第一分析结果表征手势信息对应的控制指示信息。
87.本发明实施例中，上述第二分析结果表征语音信息的控制指示信息。
88.103、判断分析结果信息中是否存在信息冲突，得到分析判断结果。
89.104、当分析判断结果为否时，根据分析结果信息，确定出空调控制参数信息。
90.本发明实施例中，上述空调控制参数信息用于控制智能空调工作。
91.可见，实施本发明实施例所描述的通过多模态信息智能控制设备的方法能够通过对多模态信息的分析处理，以及对分析结果信息的冲突判断等综合处理得到用于控制智能空调工作的空调控制参数信息，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
92.在一个可选的实施例中，上述步骤102中对模态信息进行分析处理，得到分析结果信息，包括：
93.利用预设的手势识别策略对手势信息进行分析处理，得到第一分析结果；
94.对语音信息进行分析处理，得到第二分析结果。
95.可见，实施本发明实施例所描述的通过多模态信息智能控制设备的方法能够通过对手势信息和语音信息的分析处理得到分析结果信息，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
96.在另一个可选的实施例中，上述利用预设的手势识别策略对手势信息进行分析处
理，得到第一分析结果，包括：
97.确定跟踪目标；
98.利用预设的第一图像识别模型对跟踪目标进行识别处理，得到目标识别信息；
99.判断目标识别信息是否满足手势控制条件，得到手势判断结果；
100.当手势判断结果为否时，触发执行利用预设的第一图像识别模型对跟踪目标进行识别处理，得到目标识别信息；
101.当手势判断结果为是时，对目标识别信息进行图像处理，得到第一分析结果。
102.可选的，上述目标识别信息包括第一手势区域，和/或，空调控制手势的次数，本发明实施例不做限定。
103.可选的，上述手势控制条件为目标识别信息中空调控制手势的次数超过手势阈值。
104.在该可选的实施例中，作为一种可选的实施方式，上述确定跟踪目标的具体方式为：
105.获取当前区域的区域图像信息；上述区域图像信息包括若干个张区域图像；
106.对上述区域图像信息进行灰度差计算，得到灰度差值信息；
107.判断上述灰度差值信息是否满足运动目标条件，得到运动判断结果；
108.当上述运动判断结果为是时，根据上述灰度差值信息，确定出第一运动区域信息；
109.对上述第一运动区域信息进行噪声点消除，得到第二运动区域信息；
110.对上述第二运动区域信息进行区域扩充处理，得到第三运动区域信息；
111.对上述第三运动区域信息进行肤色标记处理，得到跟踪目标。
112.可选的，上述对上述第二运动区域信息进行区域扩充处理包括对第二运动区域信息中的第二区域的高度扩大m倍，和/或，对第二运动区域信息中的第二区域的宽度扩大n倍，本发明实施例不做限定。
113.可选的，上述m为大于0的正数。
114.可选的，上述n为大于0的正数。
115.可选的，上述n为m的整数倍。
116.优选的，上述m为0.2。
117.优选的，上述n为0.4。
118.可选，上述运动目标条件包括灰度差值信息中的灰度差值大于灰度阈值，且灰度差值信息中肤色点占比连续超过肤色阈值的次数大于等于l。
119.可选的，上述l为大于等于3的正整数。
120.在该可选的实施例中，作为另一种可选的实施方式，上述对上述第三运动区域信息进行肤色标记处理，得到跟踪目标的具体方式为：
121.对上述第三运动区域信息进行颜色空间转换，得到第一子运动区域信息；
122.对上述第一子运动区域信息进行肤色特征选取，得到肤色特征信息；
123.利用预设的肤色标记模型对上述肤色特征信息进行处理，得到肤色色块信息；
124.对上述肤色色块信息进行定位标记，得到跟踪目标。
125.可选的，上述肤色标记模型包括高斯模型。
126.在该可选的实施例中，作为又一种可选的实施方式，上述利用预设的第一图像识
别模型对跟踪目标进行识别处理，得到目标识别信息的具体方式为：
127.对上述跟踪目标进行重心坐标计算，得到重心坐标信息；
128.对上述重心坐标信息进行差值计算，得到重心变化差值；
129.判断上述重心变化差值是否小于等于中心阈值，得到重心判断结果；
130.当上述重心判断结果为否时，触发执行对上述跟踪目标进行重心坐标计算，得到重心坐标信息；
131.当上述重心判断结果为是时，将上述跟踪目标对应的跟踪图像信息输入预设的第一图像识别模型，得到目标识别信息。
132.可选的，上述第一图像识别模型是基于神经网路的模型。
133.可选的，上述重心坐标信息包括第一重心坐标和第二重心坐标。
134.在该可选的实施例中，作为又一种可选的实施方式，上述对上述跟踪目标进行重心坐标计算，得到重心坐标信息的具体方式为：
135.获取跟踪图像信息；上述跟踪图像信息包括第一跟踪图像和第二跟踪图像；
136.对上述第一跟踪图像进行颜色空间转换，得到第一跟踪子图像；上述第一跟踪子图像保留了第一跟踪图像的h分量；
137.对搜索窗口进行初始化处理，并根据上述搜索窗口内的第一跟踪子图像对应的颜色直方图，确定出概率密度值；
138.根据上述概率密度值和第二跟踪图像，确定出上述第二跟踪图像对应的概率分布图；
139.对上述概率分布图进行计算处理，得到像素矩阵信息；上述像素矩阵信息包括第一像素矩阵、第二像素矩阵和第三像素矩阵；
140.对上述第一像素矩阵和第三像素矩阵进行计算处理，得到第一重心坐标；
141.对上述第一像素矩阵和第二像素矩阵进行计算处理，得到第二重心坐标。
142.可选的，上述第二像素矩阵和第三像素矩阵为一阶矩阵。
143.可选的，上述第一像素矩阵为零阶矩阵。
144.可见，实施本发明实施例所描述的通过多模态信息智能控制设备的方法能够通过对手势的跟踪识别，以及判断处理、图像处理等综合处理得到第一分析结果，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
145.在又一个可选的实施例中，上述对目标识别信息进行图像处理，得到第一分析结果，包括：
146.对目标识别信息进行前处理，得到第一色块信息；
147.利用预设的第二图像识别模型对第一色块信息进行处理，得到手势识别信息；
148.判断手势识别信息是否满足手势输出条件，得到输出判断结果；手势输出条件与手势识别失败次数相关；
149.当输出判断结果为否时，触发执行利用预设的第一图像识别模型对跟踪目标进行识别处理，得到目标识别信息；
150.当输出判断结果为是时，根据手势识别信息，确定出第一分析结果。
151.在该可选的实施例中，作为一种可选的实施方式，上述对目标识别信息进行前处理，得到第一色块信息的具体方式为：
152.对上述目标识别信息中的第一手势区域进行区域扩充处理，得到第二手势区域；
153.对上述第二手势区域进行帧差处理，得到帧间差值；
154.判断上述帧间差值是否小于等于帧差阈值，得到帧差判断结果；
155.当上述帧差判断结果为是时，对上述第二手势区域进行肤色标记处理，得到第一色块信息。
156.可选的，上述对上述目标识别信息中的第一手势区域进行区域扩充处理包括对第一手势区域的高度扩大p倍，和/或，对第一手势区域的宽度扩大q倍，本发明实施例不做限定。
157.可选的，上述p为大于0的正数。
158.可选的，上述q为大于0的正数。
159.优选的，上述p为1。
160.优选的，上述q为1.4。
161.可选的，上述第二图像识别模型为基于神经网络的模型。
162.可选的，上述手势输出条件为手势识别信息中的非手势控制的次数小于等于非手势阈值。
163.可见，实施本发明实施例所描述的通过多模态信息智能控制设备的方法能够通过对目标识别信息的前处理、判断分析以及识别处理等综合处理得到第一分析结果，更有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
164.在又一个可选的实施例中，上述对语音信息进行分析处理，得到第二分析结果，包括：
165.对语音信息进行解析处理，得到待用控制参数信息；
166.根据待用控制参数信息，确定出第二分析结果。
167.在该可选的实施例中，作为一种可选的实施方式，上述对语音信息进行解析处理，得到待用控制参数信息的具体方式为：
168.对语音信息进行滤波处理；
169.对滤波后的语音信息和预设的语音词库进行对比分析，生成待用控制参数信息。
170.在该可选的实施例中，作为另一种可选的实施方式，上述滤波处理的具体方式为：
171.利用预设的滤波器对语音信息中的纹波干扰信号、噪声干扰信号、谐波干扰信号进行滤除；
172.利用自适应滤波器对上述语音信息进行滤波去噪处理。
173.可见，实施本发明实施例所描述的通过多模态信息智能控制设备的方法能够通过对语音信息的识别处理得到第二分析结果，更有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
174.实施例二
175.请参阅图2，图2是本发明实施例公开的另通过多模态信息智能控制设备的方法的流程示意图。其中，图2所描述的通过多模态信息智能控制设备的方法应用于空调控制系统中，如用于通过多模态信息智能控制设备的管理的本地服务器或云端服务器等，本发明实施例不做限定。如图2所示，该通过多模态信息智能控制设备的方法可以包括以下操作：
176.201、采集当前区域中用户的多模态信息。
177.202、对模态信息进行分析处理，得到分析结果信息。
178.203、判断分析结果信息中是否存在信息冲突，得到分析判断结果。
179.204、获取智能空调运行状态信息。
180.205、对智能空调运行状态信息和分析结果信息进行分析处理，得到空调控制参数信息。
181.本发明实施例中，针对步骤201-步骤203的具体技术细节和技术名词解释，可以参照实施例一中针对步骤101-步骤103的详细描述，本发明实施例不再赘述。
182.可选的，上述信息冲突为控制逻辑相矛盾。
183.在该可选的实施例中，作为一种该可选的实施方式，上述对智能空调运行状态信息和分析结果信息进行分析处理，得到空调控制参数信息的具体方式为：
184.对上述分析结果信息进行分析处理，得到空调运行逻辑信息；
185.对上述空调运行逻辑信息和智能空调运行状态信息进行匹配处理，得到空调控制参数信息。
186.可见，实施本发明实施例所描述的通过多模态信息智能控制设备的方法能够通过对多模态信息的分析处理，以及对分析结果信息的冲突判断等综合处理，并结合智能空调运行状态信息，得到用于控制智能空调工作的空调控制参数信息，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
187.在一个可选的实施例中，在根据分析结果信息，确定出空调控制参数信息之后，方法还包括：
188.获取当前区域对应的环境参数信息；
189.利用环境参数信息对空调控制参数信息进行更新。
190.可选的，上述环境参数信息包括温度信息，和/或，湿度信息，和/或，时间信息，本发明实施例不做限定。
191.在该可选的实施例中，作为一种该可选的实施方式，上述利用环境参数信息对空调控制参数信息进行更新的具体方式为：
192.根据上述时间信息调取用户偏好数据信息；
193.利用上述用户偏好数据信息、上述温度信息和湿度信息对上述空调控制参数信息进行更新。
194.可见，实施本发明实施例所描述的通过多模态信息智能控制设备的方法能够利用环境参数信息对空调控制参数信息进行更新，更有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
195.实施例三
196.请参阅图3，图3是本发明实施例公开的通过多模态信息智能控制设备的装置的结构示意图。其中，图3所描述的装置能够应用于空调控制系统中，如用于通过多模态信息智能控制设备的管理的本地服务器或云端服务器等，本发明实施例不做限定。如图3所示，该装置可以包括：
197.采集模块301，用于采集当前区域中用户的多模态信息；多模态信息包括手势信息，和/或，语音信息；
198.第一处理模块302，用于对模态信息进行分析处理，得到分析结果信息；分析结果信息包括第一分析结果，和/或，第二分析结果；第一分析结果表征手势信息对应的控制指示信息；第二分析结果表征语音信息的控制指示信息；
199.判断模块303，用于判断分析结果信息中是否存在信息冲突，得到分析判断结果；
200.确定模块304，用于当分析判断结果为否时，根据分析结果信息，确定出空调控制参数信息；空调控制参数信息用于控制智能空调工作。
201.可见，实施图3所描述的通过多模态信息智能控制设备的装置，能够通过对多模态信息的分析处理，以及对分析结果信息的冲突判断等综合处理得到用于控制智能空调工作的空调控制参数信息，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
202.在另一个可选的实施例中，如图4所示，第一处理模块302对模态信息进行分析处理，得到分析结果信息的具体方式为：
203.利用预设的手势识别策略对手势信息进行分析处理，得到第一分析结果；
204.对语音信息进行分析处理，得到第二分析结果。
205.可见，实施图4所描述的通过多模态信息智能控制设备的装置，能够通过对手势信息和语音信息的分析处理得到分析结果信息，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
206.在又一个可选的实施例中，如图4所示，第一处理模块302利用预设的手势识别策略对手势信息进行分析处理，得到第一分析结果的具体方式为：
207.确定跟踪目标；
208.利用预设的第一图像识别模型对跟踪目标进行识别处理，得到目标识别信息；
209.判断目标识别信息是否满足手势控制条件，得到手势判断结果；
210.当手势判断结果为否时，触发执行利用预设的第一图像识别模型对跟踪目标进行识别处理，得到目标识别信息；
211.当手势判断结果为是时，对目标识别信息进行图像处理，得到第一分析结果。
212.可见，实施图4所描述的通过多模态信息智能控制设备的装置，能够通过对手势的跟踪识别，以及判断处理、图像处理等综合处理得到第一分析结果，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
213.在又一个可选的实施例中，如图4所示，第一处理模块302对目标识别信息进行图像处理，得到第一分析结果的具体方式为：
214.对目标识别信息进行前处理，得到第一色块信息；
215.利用预设的第二图像识别模型对第一色块信息进行处理，得到手势识别信息；
216.判断手势识别信息是否满足手势输出条件，得到输出判断结果；手势输出条件与手势识别失败次数相关；
217.当输出判断结果为否时，触发执行利用预设的第一图像识别模型对跟踪目标进行识别处理，得到目标识别信息；
218.当输出判断结果为是时，根据手势识别信息，确定出第一分析结果。
219.可见，实施图4所描述的通过多模态信息智能控制设备的装置，能够通过对目标识别信息的前处理、判断分析以及识别处理等综合处理得到第一分析结果，更有利于提高对
智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
220.在又一个可选的实施例中，如图4所示，第一处理模块302对语音信息进行分析处理，得到第二分析结果的具体方式为：
221.对语音信息进行解析处理，得到待用控制参数信息；
222.根据待用控制参数信息，确定出第二分析结果。
223.可见，实施图4所描述的通过多模态信息智能控制设备的装置，能够通过对语音信息的识别处理得到第二分析结果，更有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
224.在又一个可选的实施例中，如图4所示，确定模块304根据分析结果信息，确定出空调控制参数信息的具体方式为：
225.获取智能空调运行状态信息；
226.对智能空调运行状态信息和分析结果信息进行分析处理，得到空调控制参数信息。
227.可见，实施图4所描述的通过多模态信息智能控制设备的装置，能够通过对多模态信息的分析处理，以及对分析结果信息的冲突判断等综合处理，并结合智能空调运行状态信息，得到用于控制智能空调工作的空调控制参数信息，有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
228.在又一个可选的实施例中，如图4所示，在确定模块304根据分析结果信息，确定出空调控制参数信息之后，该装置还包括：
229.获取模块305，还用于获取当前区域对应的环境参数信息；
230.更新模块306，用于利用环境参数信息对空调控制参数信息进行更新。
231.可见，实施图4所描述的通过多模态信息智能控制设备的装置，能够利用环境参数信息对空调控制参数信息进行更新，更有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。
232.实施例四
233.请参阅图5，图5是本发明实施例公开的又通过多模态信息智能控制设备的装置的结构示意图。其中，图5所描述的装置能够应用于空调控制系统中，如用于通过多模态信息智能控制设备的管理的本地服务器或云端服务器等，本发明实施例不做限定。如图5所示，该装置可以包括：
234.存储有可执行程序代码的存储器401；
235.与存储器401耦合的处理器402；
236.处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一或实施例二所描述的通过多模态信息智能控制设备的方法中的步骤。
237.实施例五
238.本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一或实施例二所描述的通过多模态信息智能控制设备的方法中的步骤。
239.实施例六
240.本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机
程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的通过多模态信息智能控制设备的方法中的步骤。
241.以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
242.通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(read-only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
243.最后应说明的是：本发明实施例公开的通过多模态信息智能控制设备的方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

技术特征：
1.通过多模态信息智能控制设备的方法，其特征在于，所述方法包括：采集当前区域中用户的多模态信息；所述多模态信息包括手势信息，和/或，语音信息；对所述模态信息进行分析处理，得到分析结果信息；所述分析结果信息包括第一分析结果，和/或，第二分析结果；所述第一分析结果表征所述手势信息对应的控制指示信息；所述第二分析结果表征所述语音信息的控制指示信息；判断所述分析结果信息中是否存在信息冲突，得到分析判断结果；当所述分析判断结果为否时，根据所述分析结果信息，确定出空调控制参数信息；所述空调控制参数信息用于控制智能空调工作。2.根据权利要求1所述的通过多模态信息智能控制设备的方法，其特征在于，所述对所述模态信息进行分析处理，得到分析结果信息，包括：利用预设的手势识别策略对所述手势信息进行分析处理，得到第一分析结果；对所述语音信息进行分析处理，得到第二分析结果。3.根据权利要求2所述的通过多模态信息智能控制设备的方法，其特征在于，所述利用预设的手势识别策略对所述手势信息进行分析处理，得到第一分析结果，包括：确定跟踪目标；利用预设的第一图像识别模型对所述跟踪目标进行识别处理，得到目标识别信息；判断所述目标识别信息是否满足手势控制条件，得到手势判断结果；当所述手势判断结果为否时，触发执行所述利用预设的第一图像识别模型对所述跟踪目标进行识别处理，得到目标识别信息；当所述手势判断结果为是时，对所述目标识别信息进行图像处理，得到第一分析结果。4.根据权利要求3所述的通过多模态信息智能控制设备的方法，其特征在于，所述对所述目标识别信息进行图像处理，得到第一分析结果，包括：对所述目标识别信息进行前处理，得到第一色块信息；利用预设的第二图像识别模型对所述第一色块信息进行处理，得到手势识别信息；判断所述手势识别信息是否满足手势输出条件，得到输出判断结果；所述手势输出条件与手势识别失败次数相关；当所述输出判断结果为否时，触发执行所述利用预设的第一图像识别模型对所述跟踪目标进行识别处理，得到目标识别信息；当所述输出判断结果为是时，根据所述手势识别信息，确定出第一分析结果。5.根据权利要求2所述的通过多模态信息智能控制设备的方法，其特征在于，所述对所述语音信息进行分析处理，得到第二分析结果，包括：对所述语音信息进行解析处理，得到待用控制参数信息；根据所述待用控制参数信息，确定出第二分析结果。6.根据权利要求1所述的通过多模态信息智能控制设备的方法，其特征在于，所述根据所述分析结果信息，确定出空调控制参数信息，包括：获取智能空调运行状态信息；对所述智能空调运行状态信息和所述分析结果信息进行分析处理，得到空调控制参数信息。7.根据权利要求1所述的通过多模态信息智能控制设备的方法，其特征在于，在所述根
据所述分析结果信息，确定出空调控制参数信息之后，所述方法还包括：获取所述当前区域对应的环境参数信息；利用所述环境参数信息对所述空调控制参数信息进行更新。8.通过多模态信息智能控制设备的装置，其特征在于，所述装置包括：采集模块，用于采集当前区域中用户的多模态信息；所述多模态信息包括手势信息，和/或，语音信息；第一处理模块，用于对所述模态信息进行分析处理，得到分析结果信息；所述分析结果信息包括第一分析结果，和/或，第二分析结果；所述第一分析结果表征所述手势信息对应的控制指示信息；所述第二分析结果表征所述语音信息的控制指示信息；判断模块，用于判断所述分析结果信息中是否存在信息冲突，得到分析判断结果；确定模块，用于当所述分析判断结果为否时，根据所述分析结果信息，确定出空调控制参数信息；所述空调控制参数信息用于控制智能空调工作。9.通过多模态信息智能控制设备的装置，其特征在于，所述装置包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的通过多模态信息智能控制设备的方法。10.计算机可存储介质，其特征在于，所述计算机可存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的通过多模态信息智能控制设备的方法。

技术总结
本发明公开了通过多模态信息智能控制设备的方法及装置，该方法包括：采集当前区域中用户的多模态信息；多模态信息包括手势信息，和/或，语音信息；对模态信息进行分析处理，得到分析结果信息；分析结果信息包括第一分析结果，和/或，第二分析结果；第一分析结果表征手势信息对应的控制指示信息；第二分析结果表征语音信息的控制指示信息；判断分析结果信息中是否存在信息冲突，得到分析判断结果；当分析判断结果为否时，根据分析结果信息，确定出空调控制参数信息；空调控制参数信息用于控制智能空调工作。可见，本发明有利于提高对智能空调的精准控制能力，破解传统空调控制方式的局限性，进而提升用户体验感。进而提升用户体验感。进而提升用户体验感。


技术研发人员：陈小平 林勇进
受保护的技术使用者：广州联动万物科技有限公司
技术研发日：2022.03.16
技术公布日：2023/9/23