一种基于情绪识别的智能家居控制方法及系统

1.本发明涉及智能家居管理技术领域，具体是一种基于情绪识别的智能家居控制方法及系统。


背景技术：

2.智能家居是以住宅为平台，利用综合布线技术、网络通信技术、安全防范技术、自动控制技术、音视频技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。
3.现有的智能家居大都由用户发出控制指令，比如通过遥控器或者通过声音控制设备，随着识别技术的提高，设备的反应速度会越来越快，但是，由于识别过程及设备预启动过程，用户发出指令到设备回应阶段，总会出现一些迟滞，这些迟滞会使得用户误以为控制指令未发出，进而重复的发出指令，这极大地影响了智能化水平，如何缓解这一迟滞是本发明技术方案想要解决的技术问题。


技术实现要素：

4.本发明的目的在于提供一种基于情绪识别的智能家居控制方法及系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于情绪识别的智能家居控制方法，所述方法包括：根据预设的传感器实时构建含有用户体态的家庭模型，根据所述用户体态调节家居设备中图像采集设备的采样频率；所述家庭模型含有时间信息；基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域；对所述人脸区域进行微表情识别，实时生成情绪评分；当所述情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令；当某一家居设备接收到预热指令时，根据历史使用记录执行激活动作。
6.作为本发明进一步的方案：所述根据预设的传感器实时构建含有用户体态的家庭模型，根据所述用户体态调节家居设备中图像采集设备的采样频率的步骤包括：获取传感器的备案信息；所述备案信息包括传感器类型及其监测区域；搭建含有预设比例尺的空白模型，确定所述监测区域与空白模型的标定关系；实时接收传感器获取到的数据，基于所述标定关系建立用户体态；所述用户体态至少包括用户位置；根据所述用户体态调节家居设备中图像采集设备的采样频率。
7.作为本发明进一步的方案：所述根据所述用户体态调节家居设备中图像采集设备的采样频率的步骤包括：
读取所述用户体态中的用户位置，以用户位置为中心确定检测圆；根据预设图像采集要求确定各检测圆的最低配置条件；根据半径增序依次在检测圆中选取符合所述最低配置条件的图像采集设备；将所述用户体态与预设的标准体态进行比对，计算差异度，根据所述差异度确定采样频率。
8.作为本发明进一步的方案：所述基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域的步骤包括：基于所述采样频率获取用户的图像信息，输入预设的缓存队列；读取图像信息的获取时间，根据所述获取时间查询用户体态；将所述用户体态输入预设的识别模型，确定用户朝向；根据所述用户朝向在各个缓存队列中提取图像信息；对所述图像信息进行人脸定位，得到人脸区域。
9.作为本发明进一步的方案：所述对所述人脸区域进行微表情识别，实时生成情绪评分的步骤包括：提取所述人脸区域中的局部纹理特征和深度特征；将所述局部纹理特征以及所述深度特征进行级联融合得到融合特征，并将所述融合特征输入训练好的分类器中进行分类得到所述融合特征对应的微表情；根据预设的评分规则确定所述微表情的情绪评分。
10.作为本发明进一步的方案：所述当所述情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令的步骤包括：当所述情绪评分达到预设的条件时，定位人脸区域中的眼部区域；对所述眼部区域进行识别，确定注视序列；所述注视序列由持续时间达到预设的时长阈值的视线组成；查询注视序列中各视线对应的家居设备，发送含有时长的预热指令。
11.本发明技术方案还提供了一种基于情绪识别的智能家居控制系统，所述系统包括：采样频率确定模块，用于根据预设的传感器实时构建含有用户体态的家庭模型，根据所述用户体态调节家居设备中图像采集设备的采样频率；所述家庭模型含有时间信息；图像采集模块，用于基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域；表情评分模块，用于对所述人脸区域进行微表情识别，实时生成情绪评分；注视识别模块，用于当所述情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令；当某一家居设备接收到预热指令时，根据历史使用记录执行激活动作。
12.作为本发明进一步的方案：所述采样频率确定模块包括：备案信息获取单元，用于获取传感器的备案信息；所述备案信息包括传感器类型及其监测区域；区域标定单元，用于搭建含有预设比例尺的空白模型，确定所述监测区域与空白
模型的标定关系；体态建立单元，用于实时接收传感器获取到的数据，基于所述标定关系建立用户体态；所述用户体态至少包括用户位置；频率调节单元，用于根据所述用户体态调节家居设备中图像采集设备的采样频率。
13.作为本发明进一步的方案：所述图像采集模块包括：图像缓存单元，用于基于所述采样频率获取用户的图像信息，输入预设的缓存队列；体态查询单元，用于读取图像信息的获取时间，根据所述获取时间查询用户体态；朝向确定单元，用于将所述用户体态输入预设的识别模型，确定用户朝向；图像提取单元，用于根据所述用户朝向在各个缓存队列中提取图像信息；人脸定位单元，用于对所述图像信息进行人脸定位，得到人脸区域。
14.作为本发明进一步的方案：所述表情评分模块包括：特征提取单元，用于提取所述人脸区域中的局部纹理特征和深度特征；表情确定单元，用于将所述局部纹理特征以及所述深度特征进行级联融合得到融合特征，并将所述融合特征输入训练好的分类器中进行分类得到所述融合特征对应的微表情；评分执行单元，用于根据预设的评分规则确定所述微表情的情绪评分。
15.与现有技术相比，本发明的有益效果是：本发明在现有的家居系统中，根据用户表情实时对各个家居设备进行预热，当用户处于情绪低落状态时，可以处于一种“善解人意”的状态，起到宽慰作用，极大地降低了反应迟滞时间。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
17.图1为基于情绪识别的智能家居控制方法的流程框图。
18.图2为基于情绪识别的智能家居控制方法的第一子流程框图。
19.图3为基于情绪识别的智能家居控制方法的第二子流程框图。
20.图4为基于情绪识别的智能家居控制方法的第三子流程框图。
21.图5为基于情绪识别的智能家居控制方法的第四子流程框图。
22.图6为基于情绪识别的智能家居控制系统的组成结构框图。
实施方式
23.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
24.图1为基于情绪识别的智能家居控制方法的流程框图，本发明实施例中，一种基于情绪识别的智能家居控制方法，所述方法包括：步骤s100：根据预设的传感器实时构建含有用户体态的家庭模型，根据所述用户体态调节家居设备中图像采集设备的采样频率；所述家庭模型含有时间信息；所述传感器可以安装在家庭环境中的固定架构上，比如房梁，也可以安装在家居设备上；所述传感器的类型可以是测距传感器、测速传感器和视觉传感器等等，能够获取到用户位置即可；根据传感器采集到的数据可以实时判断用户的位置及体态，由用户的位置及体态选取图像采集设备，进而采集图像。
25.步骤s200：基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域；基于所述采样频率获取用户的图像信息，对图像进行识别，可以定位人脸区域；这一过程中，重点在于对不同图像采集设备获取到的图像信息的筛选过程。
26.步骤s300：对所述人脸区域进行微表情识别，实时生成情绪评分；对所述人脸区域进行微表情识别，可以确定用户的情绪状态，通过一个数值（情绪评分）反映情绪状态。
27.步骤s400：当所述情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令；当情绪评分达到预设的条件时，对人脸区域进行识别，可以实时的判断出用户在注视哪些位置；在情绪评分满足预设的条件的前提下，用户注视的区域就是大概率想要开启的家居设备；需要说明的是，所述预设的条件并不是一个简单的值，而是多个区间，不同情绪状态对应不同的情绪评分，不同情绪评分处于不同的区间。
28.当某一家居设备接收到预热指令时，根据历史使用记录执行激活动作。
29.可以想到，当家居设备接收到预热指令时，家居设备根据自身的运行记录对设备进行预激活。
30.图2为基于情绪识别的智能家居控制方法的第一子流程框图，所述根据预设的传感器实时构建含有用户体态的家庭模型，根据所述用户体态调节家居设备中图像采集设备的采样频率的步骤包括：步骤s101：获取传感器的备案信息；所述备案信息包括传感器类型及其监测区域；传感器的安装过程会同步进行备案；备案内容包括传感器的类型及其监测区域，所述监测区域与其安装位置有关。
31.步骤s102：搭建含有预设比例尺的空白模型，确定所述监测区域与空白模型的标定关系；搭建含有预设比例尺的空白模型，在所述空白模型中表示各个传感器的监测区域，就是标定过程。
32.步骤s103：实时接收传感器获取到的数据，基于所述标定关系建立用户体态；所述用户体态至少包括用户位置；实时接收传感器获取到的数据，在空白模型中传感器对应的监测区域中表示传感器获取到的数据，即可得到用户体态；所述用户体态就是几个点位拟合出的虚拟点位形状。
33.步骤s104：根据所述用户体态调节家居设备中图像采集设备的采样频率。
34.根据用户体态对图像采集设备的采样频率进行调整；频率越高，采集的图像信息越多，识别结果越准确。
35.进一步的，所述根据所述用户体态调节家居设备中图像采集设备的采样频率的步骤包括：读取所述用户体态中的用户位置，以用户位置为中心确定检测圆；根据预设图像采集要求确定各检测圆的最低配置条件；根据半径增序依次在检测圆中选取符合所述最低配置条件的图像采集设备；将所述用户体态与预设的标准体态进行比对，计算差异度，根据所述差异度确定采样频率。
36.在本发明技术方案的一个实例中，读取用户位置，建立多个检测圆，不同检测圆与用户位置之间的距离（半径）不同，随着半径的增大，图像采集要求不同，需要的图像采集设备的性能要求不同；依次获取各个检测圆中能够满足性能要求的图像采集设备，然后判断用户体态与标准体态的差距，根据差距确定图像采集设备的运行参数（采样频率）。
37.图3为基于情绪识别的智能家居控制方法的第二子流程框图，所述基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域的步骤包括：步骤s201：基于所述采样频率获取用户的图像信息，输入预设的缓存队列；获取用户的图像信息并进行缓存。
38.步骤s202：读取图像信息的获取时间，根据所述获取时间查询用户体态；图像信息在获取时，具有一个获取时间，根据所述获取时间查询对应的家庭模型，然后获取用户体态。
39.步骤s203：将所述用户体态输入预设的识别模型，确定用户朝向；对用户体态进行简单的识别，确定用户朝向；确定准确度不做要求，这一确定过程只是其中一个简化步骤。
40.步骤s204：根据所述用户朝向在各个缓存队列中提取图像信息；根据用户朝向选取能够获取到脸部的图像采集设备，查询对应的缓存队列，在所述缓存队列中即可提取图像信息；需要说明的是，由于用户朝向的识别过程不一定是准确的，提取到的图像信息中很有可能不存在人脸。
41.步骤s205：对所述图像信息进行人脸定位，得到人脸区域；对所述图像信息进行人脸定位，判断是否存在人脸，可以得到人脸区域；值得一提的是，在上述判断过程中，不能忽略时间参数，提取到的人脸区域属于缓存队列的子集，同一缓存队列的人脸区域归为一类；通俗地说，上述内容是在多个缓存队列中选取多个人脸区域队列。
42.图4为基于情绪识别的智能家居控制方法的第三子流程框图，所述对所述人脸区域进行微表情识别，实时生成情绪评分的步骤包括：步骤s301：提取所述人脸区域中的局部纹理特征和深度特征；步骤s302：将所述局部纹理特征以及所述深度特征进行级联融合得到融合特征，并将所述融合特征输入训练好的分类器中进行分类得到所述融合特征对应的微表情；
步骤s303：根据预设的评分规则确定所述微表情的情绪评分。
43.微表情识别过程可以借鉴现有的识别技术，微表情识别完成后，对微表情进行评分；其中，所述评分过程可以理解为分类过程，即，将不同类型的表情分为不同类，分类结果采用分数作为索引。
44.图5为基于情绪识别的智能家居控制方法的第四子流程框图，所述当所述情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令的步骤包括：步骤s401：当所述情绪评分达到预设的条件时，定位人脸区域中的眼部区域；步骤s402：对所述眼部区域进行识别，确定注视序列；所述注视序列由持续时间达到预设的时长阈值的视线组成；对眼部区域进行识别，可以获取用户在不同时刻的视线；需要说明的是，当视线过短时，系统认定其为无效视线，不进行统计。
45.步骤s403：查询注视序列中各视线对应的家居设备，发送含有时长的预热指令；查询视线对应的家居设备，发送预热指令即可。
实施例
46.图6为基于情绪识别的智能家居控制系统的组成结构框图，本发明实施例中，一种基于情绪识别的智能家居控制系统，所述系统10包括：采样频率确定模块11，用于根据预设的传感器实时构建含有用户体态的家庭模型，根据所述用户体态调节家居设备中图像采集设备的采样频率；所述家庭模型含有时间信息；图像采集模块12，用于基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域；表情评分模块13，用于对所述人脸区域进行微表情识别，实时生成情绪评分；注视识别模块14，用于当所述情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令；当某一家居设备接收到预热指令时，根据历史使用记录执行激活动作。
47.所述采样频率确定模块11包括：备案信息获取单元，用于获取传感器的备案信息；所述备案信息包括传感器类型及其监测区域；区域标定单元，用于搭建含有预设比例尺的空白模型，确定所述监测区域与空白模型的标定关系；体态建立单元，用于实时接收传感器获取到的数据，基于所述标定关系建立用户体态；所述用户体态至少包括用户位置；频率调节单元，用于根据所述用户体态调节家居设备中图像采集设备的采样频率。
48.所述图像采集模块12包括：图像缓存单元，用于基于所述采样频率获取用户的图像信息，输入预设的缓存队列；
体态查询单元，用于读取图像信息的获取时间，根据所述获取时间查询用户体态；朝向确定单元，用于将所述用户体态输入预设的识别模型，确定用户朝向；图像提取单元，用于根据所述用户朝向在各个缓存队列中提取图像信息；人脸定位单元，用于对所述图像信息进行人脸定位，得到人脸区域。
49.所述表情评分模块13包括：特征提取单元，用于提取所述人脸区域中的局部纹理特征和深度特征；表情确定单元，用于将所述局部纹理特征以及所述深度特征进行级联融合得到融合特征，并将所述融合特征输入训练好的分类器中进行分类得到所述融合特征对应的微表情；评分执行单元，用于根据预设的评分规则确定所述微表情的情绪评分。
50.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于情绪识别的智能家居控制方法，其特征在于，所述方法包括：根据预设的传感器实时构建含有用户体态的家庭模型，根据所述用户体态调节家居设备中图像采集设备的采样频率；所述家庭模型含有时间信息；基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域；对所述人脸区域进行微表情识别，实时生成情绪评分；当所述情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令；当某一家居设备接收到预热指令时，根据历史使用记录执行激活动作。2.根据权利要求1所述的基于情绪识别的智能家居控制方法，其特征在于，所述根据预设的传感器实时构建含有用户体态的家庭模型，根据所述用户体态调节家居设备中图像采集设备的采样频率的步骤包括：获取传感器的备案信息；所述备案信息包括传感器类型及其监测区域；搭建含有预设比例尺的空白模型，确定所述监测区域与空白模型的标定关系；实时接收传感器获取到的数据，基于所述标定关系建立用户体态；所述用户体态至少包括用户位置；根据所述用户体态调节家居设备中图像采集设备的采样频率。3.根据权利要求2所述的基于情绪识别的智能家居控制方法，其特征在于，所述根据所述用户体态调节家居设备中图像采集设备的采样频率的步骤包括：读取所述用户体态中的用户位置，以用户位置为中心确定检测圆；根据预设图像采集要求确定各检测圆的最低配置条件；根据半径增序依次在检测圆中选取符合所述最低配置条件的图像采集设备；将所述用户体态与预设的标准体态进行比对，计算差异度，根据所述差异度确定采样频率。4.根据权利要求1所述的基于情绪识别的智能家居控制方法，其特征在于，所述基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域的步骤包括：基于所述采样频率获取用户的图像信息，输入预设的缓存队列；读取图像信息的获取时间，根据所述获取时间查询用户体态；将所述用户体态输入预设的识别模型，确定用户朝向；根据所述用户朝向在各个缓存队列中提取图像信息；对所述图像信息进行人脸定位，得到人脸区域。5.根据权利要求1所述的基于情绪识别的智能家居控制方法，其特征在于，所述对所述人脸区域进行微表情识别，实时生成情绪评分的步骤包括：提取所述人脸区域中的局部纹理特征和深度特征；将所述局部纹理特征以及所述深度特征进行级联融合得到融合特征，并将所述融合特征输入训练好的分类器中进行分类得到所述融合特征对应的微表情；根据预设的评分规则确定所述微表情的情绪评分。6.根据权利要求1所述的基于情绪识别的智能家居控制方法，其特征在于，所述当所述
情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令的步骤包括：当所述情绪评分达到预设的条件时，定位人脸区域中的眼部区域；对所述眼部区域进行识别，确定注视序列；所述注视序列由持续时间达到预设的时长阈值的视线组成；查询注视序列中各视线对应的家居设备，发送含有时长的预热指令。7.一种基于情绪识别的智能家居控制系统，其特征在于，所述系统包括：采样频率确定模块，用于根据预设的传感器实时构建含有用户体态的家庭模型，根据所述用户体态调节家居设备中图像采集设备的采样频率；所述家庭模型含有时间信息；图像采集模块，用于基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域；表情评分模块，用于对所述人脸区域进行微表情识别，实时生成情绪评分；注视识别模块，用于当所述情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令；当某一家居设备接收到预热指令时，根据历史使用记录执行激活动作。8.根据权利要求7所述的基于情绪识别的智能家居控制系统，其特征在于，所述采样频率确定模块包括：备案信息获取单元，用于获取传感器的备案信息；所述备案信息包括传感器类型及其监测区域；区域标定单元，用于搭建含有预设比例尺的空白模型，确定所述监测区域与空白模型的标定关系；体态建立单元，用于实时接收传感器获取到的数据，基于所述标定关系建立用户体态；所述用户体态至少包括用户位置；频率调节单元，用于根据所述用户体态调节家居设备中图像采集设备的采样频率。9.根据权利要求7所述的基于情绪识别的智能家居控制系统，其特征在于，所述图像采集模块包括：图像缓存单元，用于基于所述采样频率获取用户的图像信息，输入预设的缓存队列；体态查询单元，用于读取图像信息的获取时间，根据所述获取时间查询用户体态；朝向确定单元，用于将所述用户体态输入预设的识别模型，确定用户朝向；图像提取单元，用于根据所述用户朝向在各个缓存队列中提取图像信息；人脸定位单元，用于对所述图像信息进行人脸定位，得到人脸区域。10.根据权利要求7所述的基于情绪识别的智能家居控制系统，其特征在于，所述表情评分模块包括：特征提取单元，用于提取所述人脸区域中的局部纹理特征和深度特征；表情确定单元，用于将所述局部纹理特征以及所述深度特征进行级联融合得到融合特征，并将所述融合特征输入训练好的分类器中进行分类得到所述融合特征对应的微表情；评分执行单元，用于根据预设的评分规则确定所述微表情的情绪评分。

技术总结
本发明涉及智能家居管理技术领域，具体公开了一种基于情绪识别的智能家居控制方法及系统，所述方法包括根据预设的传感器实时构建含有用户体态的家庭模型，调节家居设备中图像采集设备的采样频率；基于所述采样频率获取用户的图像信息，基于含有用户体态的家庭模型对图像信息进行识别，定位人脸区域；对所述人脸区域进行微表情识别，实时生成情绪评分；当所述情绪评分达到预设的条件时，在人脸区域中提取注视序列，根据所述注视序列向其他家居设备发送预热指令。本发明在现有的家居系统中，根据用户表情实时对各个家居设备进行预热，当用户处于情绪低落状态时，可以处于一种“善解人意”的状态，起到宽慰作用。起到宽慰作用。起到宽慰作用。


技术研发人员：童炼 林羽杰 孟志刚 杨兰 赵昕 黄鉴琳 税典坤
受保护的技术使用者：长沙学院
技术研发日：2023.06.27
技术公布日：2023/9/23