家电设备及其控制方法与流程

1.本发明涉及一种家电设备及其控制方法。


背景技术：

2.空调机(air conditioner)是为了营造舒适的室内环境而通过向室内吐出冷热的空气来调节室内温度并净化室内空气的装置。通过设置空调机，为人们提供更舒适的室内环境。
3.空调机包括：室内机，设置于室内且包括热交换器；以及室外机，设置于室外且包括压缩机和热交换器，向室内机供应制冷剂。空调机分为室内机和室外机来进行控制。空调机中至少一个室内机可以连接到一个室外机，根据要求的运转状态，运转为制冷模式或制热模式。
4.另一方面，为了能够调节向室内吐出的风向，在空调机的吐出口设置有风向调节装置。用户可以通过操作设置于遥控器等的风向设定按钮来改变风向。
5.现有的空调机通过如上所述的手动操作来调节风向，但用户在室内经常移动的情况下，需要每次改变风向，因此可能会给用户带来不便。
6.因此，近年来，正在开发根据位于室内空间的用户(即，室内人员)的位置来控制风速或气流(air current)的技术。
7.现有技术1(kr 10-2018-0071031，空调机及其控制方法)中，通过相机获取图像，基于获取到的图像识别室内人员位于区分为复数个区域的室内空间内的区域，将室内人员的位置识别结果用作利用机器学习(machine learning)已学习的数据的输入并在复数个区域中区分生活区域，并基于区分的生活区域控制气流。
8.现有技术2(kr 10-2019-0118337，基于人工智能区域选择性地动作的空调机、云服务器及其动作方法)中，以与空调机的送风区域中感测到的室内人员的距离和方向对应的方式来判断集中送风区域，对于除此之外的区域判断区分为非集中送风区域，对于集中送风区域，指示空调机以集中运转模式运转，若以集中运转模式完成动作，则控制为，对于集中送风区域和非集中送风区域，以与集中运转模式不同的运转模式动作。
9.然而，由于上述的现有技术中室内人员(人体)的位置感测的准确度差，因此存在无法有效地控制气流的问题。尤其，在室内空间可能存在相框、显示装置(作为一例，tv)等，存在包括在相框的照片或显示在显示装置的人体形状被误认为用户而导致人体感测的准确度下降的问题。因此，需要一种更准确地感测人体的技术。


技术实现要素：

10.发明所要解决的问题
11.本发明的目的在于，提供一种能够通过更准确地感测存在于空间的用户(室内人员)来执行基于用户位置的家电动作的家电设备及其控制方法。
12.本发明的目的在于，提供一种能够清楚地区分存在于空间的用户和显示在相框或
显示装置的人体的家电设备及其控制方法。
13.本发明的目的在于，提供一种能够消除用户使用家电设备的不便的家电设备及其控制方法。
14.本发明的目的不限于以上提及到的目的，能够通过以下的说明来理解未被提及到的本发明的其他目的和优点，并通过本发明的实施例会进一步清楚理解。
15.解决问题的技术方案
16.在本发明一实施例的家电设备及其控制方法中，以空间内的与人体的形状对应的客体为对象执行第一家电动作，所述客体中去除不是用户的客体，并仅以用户为对象执行与第一家电动作不同的第二家电动作。此时，第一家电动作和第二家电动作不同时执行并且是彼此不同的家电动作。
17.具体而言，在本发明一实施例的家电设备及其控制方法中，在第一时间区间，检测包括与人体的形状对应的客体的一个以上的第一关心区域，并基于第一关心区域来执行第一家电动作，在第二时间区间，在一个以上的第一关心区域中去除用户相似客体，检测一个以上的第二关心区域，并基于第二关心区域来执行第二家电动作。
18.另外，在本发明一实施例的家电设备及其控制方法中，基于累积差图像来区分存在于空间的用户和显示在相框或者显示装置的人体，从而能够简单且有效地将用户与用户相似客体进行区分。
19.本发明一实施例的家电设备包括：存储器，存储至少一个指令；处理器，执行所述至少一个指令；以及动作部，由所述处理器控制，执行家电动作，所述处理器控制所述动作部执行第一家电动作，所述第一家电动作是基于所述图像中的第一图像，并以所述空间内的与人体的形状对应的客体为对象执行的，所述处理器控制所述动作部执行与所述第一家电动作不同的第二家电动作，所述第二家电动作是基于所述图像中所述第一图像之后的第二图像，并仅以所述客体中的所述空间内的用户为对象执行的。
20.此时，所述处理器可以控制所述动作部，以基于所述第一图像来检测构成所述空间的复数个区域中包括所述客体的一个以上的第一关心区域，并基于一个以上的所述第一关心区域来执行所述第一家电动作，所述处理器可以控制所述动作部，以基于所述第二图像来检测一个以上的所述第一关心区域中所述客体为所述用户的一个以上的第二关心区域，并基于一个以上的所述第二关心区域来执行所述第二家电动作。
21.另外，所述客体包括所述用户和用户相似客体，所述用户相似客体可以为包括在相框的人体的照片或图片以及显示在显示装置的人体的照片或图片。
22.另外，所述处理器可以基于通过所述相机在预设定的时间期间依次获取的所述第二图像来生成累积差图像，并可以基于所述累积差图像来检测一个以上的所述第二关心区域。
23.另外，所述累积差图像可以与所述复数个差图像的平均图像对应，所述差图像可以是与第一时间点的图像和作为所述第一时间点之前的时间点的第二时间点的图像的差异对应的图像。
24.另外，所述差图像可以是与所述第一时间点的图像的灰度(grayscale)图像和所述第二时间点的图像的灰度图像的差异对应的图像。
25.另外，所述处理器可以通过比较所述第一关心区域的像素值和所述预设定的临界
像素值来检测一个以上的所述第二关心区域。
26.另外，所述临界像素值包括第一临界像素值和第二临界像素值，在一个以上的所述第一关心区域中某一个第一关心区域的像素值大于所述第一临界像素值且小于所述第二临界像素值的情况下，所述处理器可以将所述某一个第一关心区域检测为所述第二关心区域。
27.另外，在一个以上的所述第一关心区域中某一个第一关心区域的像素值小于所述第一临界像素值或者大于所述第二临界像素值的情况下，所述处理器可以不将所述某一个第一关心区域检测为所述第二关心区域。
28.另外，在所述某一个第一关心区域的像素值小于所述第一临界像素值的情况下，所述处理器可以将包括在所述某一个第一关心区域的所述客体判断为包括在相框的人体的照片或图片，在所述某一个第一关心区域的像素值大于所述第二临界像素值的情况下，所述处理器可以将包括在所述某一个第一关心区域的所述客体判断为显示在显示装置的照片或图片。
29.另外，所述处理器在所述累积差图像中检测四边形形状，并可以进一步基于检测出的所述四边形形状来检测所述第二关心区域。在这种情况下，所述临界像素值包括第二临界像素值和第三临界像素值，在一个以上的所述第一关心区域中某一个第一关心区域为四边形形状且所述四边形形状的第一关心区域的内部的像素值大于所述第二临界像素值且所述四边形形状的第一关心区域的内部的像素值和所述四边形形状的第一关心区域的外部的像素值之差大于所述第三临界像素值的情况下，所述处理器可以不将所述某一个第一关心区域检测为所述第二关心区域。
30.另外，所述处理器可以将所述第一图像用作利用机器学习已学习的数据的输入，并检测一个以上的所述第一关心区域。
31.本发明的另一实施例的家电设备的控制方法包括：接收相机获取的空间的图像的步骤；基于所述图像中的第一图像，以所述空间内的与人体的形状对应的客体为对象执行第一家电动作的步骤；以及基于所述图像中所述第一图像之后的第二图像，仅以所述客体中的所述空间内的用户为对象执行与所述第一家电动作不同的第二家电动作的步骤。
32.发明效果
33.根据本发明，能够通过图像的像素值分析来区分存在于图像内的人体是用户(室内人员)还是显示在相框或显示装置的人体，由此能够更准确地感测用户。
34.另外，根据本发明，通过更准确地感测图像内的用户，从而能够为用户提供家电设备的使用便利性。
35.另外，根据本发明，通过准确地感测存在于空间的用户，从而能够防止提供基于用户位置的家电动作时发生的错误。
36.在以下说明具体实施方式时，与上述效果一起描述本发明的具体效果。
附图说明
37.图1是示出本发明一实施例的空调机的简要的概念图的图。
38.图2是示出本发明一实施例的空调机的主要构成之间的控制关系的框图。
39.图3至图7是示出本发明一实施例的空调机的控制方法的流程图的图。
40.图8是示出本发明一实施例的室内空间的图像的图。
41.图9和图10是用于说明人工神经网络(ann)的概念的图。
42.图11是示出本发明的差图像的一例的图。
43.图12是示出本发明一实施例的累积差图像的一例的图。
44.图13是用于说明根据本发明的一实施例检测第二关心区域的概念的图。
具体实施方式
45.下面，参照附图详细说明前述目的、特征以及优点，由此本领域普通技术人员能够容易实施本发明的技术思想。在说明本发明的过程中，当判断为对本发明的相关公知技术的具体说明可能使本发明的要旨不清楚时，将省略对其的详细说明。以下，参照附图详细说明本发明的优选实施例。在附图中相同的附图标记表示相同或相似的构成要素。
46.虽然第一、第二等用于描述多种构成要素，但这些构成要素显然不受这些术语的限制。这些术语仅是用于将一个构成要素与其他构成要素进行区分，除非另有特别说明，否则第一构成要素也可以是第二构成要素。
47.另外，当记载为某一构成要素与其他构成要素“连接”、“结合”或“连结”时，应当理解为，所述构成要素可以彼此直接连接或者连结，也可以在各个构成要素之间“设置”有其他构成要素，或者各个构成要素可以通过其他构成要素“连接”、“结合”或“连结”。
48.在整个说明书中，除非有特别相反的记载，否则各个构成要素可以是单数，也可以是复数。除非在上下文中另有明确说明，否则本说明书中使用的单数的表达包括复数的表达。在本技术中，“构成”或“包括”等术语不应解释为必须包括说明书中记载的所有的各种构成要素或各种步骤，应解释为，可以不包括其中一部分构成要素或一部分步骤，另外，还可以包括额外的构成要素或步骤。
49.另一方面，本发明可以适用于调节室内温度并净化室内空气的空调机(air conditioner)。但是，本发明不限于此，本发明可以适用于家庭机器人(作为一例，扫地机器人)、烤箱、冰箱、净水器、洗碗机、洗衣机、空气净化器等基于由相机获取的图像来执行特定的家电动作的所有家电设备。
50.在此，本发明中说明的基于图像的家电动作的控制可以包括家电设备的开/关控制、门的开闭控制、设置于家电设备的显示装置或照明装置的控制、家电设备的运转范围、强度、次数的控制等。
51.以下，为了便于说明，将家电设备限定为空调机来说明本发明的复数个实施例。
52.图1是示出本发明一实施例的空调机的简要的概念图的图，图2是示出本发明一实施例的空调机的主要构成之间的控制关系的框图。
53.根据本发明的一实施例，空调机100例示了立式空调机。但是，本发明不限于此，除了立式空调机以外，本发明也可以适用于壁挂式空调机、天花板式空调机等空调机。
54.参照图1和图2，本发明一实施例的空调机100包括相机110、存储器120、处理器130、通信部140以及动作部150。
55.相机110获取空间的图像。相机110可以附着于空调机100的室内机的外部面(作为一例，正面)。空间可以是室内空间，但本发明不限于此。
56.另一方面，在空间的内部可以设置有外部相机。在这种情况下，通过通信部140从
data association；irda)、uwb(ultra wideband：超宽带)、zigbee(紫峰)、nfc(near field communication：近场通信)、wi-fi(wireless-fidelity：无线保真)、wi-fi direct(wi-fi直连)、wireless usb(wireless universal serial bus：无线通用串行总线)技术中的至少一种。
71.动作部150是执行空气调节动作及与其相关的附加动作的装置。作为一例，动作部150可以包括风扇马达、风向调节装置、显示装置以及照明装置等。
72.如前所述，动作部150可以由处理器130控制，由动作部150执行的家电动作的控制可以包括空调机100的开启和关闭控制、设置于空调机100的显示装置或照明装置的动作控制、空调机100的运转范围(作为一例，风向角度和方向)、运转强度以及运转次数等控制。
73.参照图1，以下简单地说明空调机100的动作。
74.在空调机100可以形成有吸入室内空气的吸入口(未图示)和将通过吸入口吸入的空气重新吐出到室内的吐出口190。
75.在吐出口190可以配置有开闭吐出口190且调节吐出的空气的风向的百叶(未图示)和叶片(未图示)等风向调节装置。根据处理器130的控制，马达等被驱动，从而可以切换风向调节装置的角度和方向。由此，可以调节通过吐出口190吐出的空气的风向。另外，可以通过控制百叶和叶片等风向调节装置的动作来调节气流的送风方向、送风范围等。
76.例如，叶片被固定为朝向某一方向，由此可以朝向某一方向进行送风。另外，控制为叶片的方向在设定的范围内持续变化(即，摇摆动作)，从而送风方向可以持续变化。并且，可以通过调节实现叶片的摇摆动作的角度范围来调节进行送风的范围。
77.另一方面，在空调机100的室内机的内部设置有用于控制通过吸入口吸入的室内的空气经由吐出口190排出到室内空间的流动的风扇(未图示)，风扇由风扇马达调节旋转，风扇马达的动作由处理器130控制。
78.因此，处理器130可以通过控制百叶、叶片等风向调节装置和风扇马达来控制从空调机100吐出的空气的流动(气流)的方向。处理器130可以通过控制风扇马达的速度来控制气流的量和速度，可以通过控制百叶、叶片等风向调节装置来控制气流的方向。另外，处理器130可以控制气流的方向和速度以便对特定区域进行快速制冷制热。
79.另一方面，本发明一实施例的空调机100是基于用户的位置来执行空气调节动作的装置。作为一例，空调机100可以执行向空间内用户多的区域集中传递气流或者向所述区域间接传递气流等空气调节动作。
80.为了执行这种基于用户位置的空气调节动作，需要准确地感测空间内的用户的位置。然而，空间内可能存在挂有照片的相框、显示人形状的tv等，这种照片、人的形状等可能被误感测为存在于空间内的用户。由于误感测，无法准确地执行基于用户的气流控制，可能给用户带来不便。
81.因此，本发明一实施例的空调机100的一目的在于，通过准确地感测存在于空间的人体形状的客体中的用户来准确地执行基于用户的气流控制。
82.以下，参照附图，详细说明本发明一实施例的空调机100的控制方法。
83.图3至图7是示出本发明一实施例的空调机100的控制方法的流程图的图。
84.此时，假设空调机100的控制方法以处理器130为中心执行，相机110实时或依次获取空间的图像。
85.以下，详细说明按各个步骤执行的过程。
86.首先，参照图3，在步骤s10中，处理器130基于相机110中获取的第一图像来检测空间中的客体的位置。
87.在此，第一图像的数量可以是一个以上。并且，客体的识别是包括识别图像内是否存在客体的概念。另外，客体可以具有与人体的形状对应的形状。即，客体可以是存在于室内空间的用户(室内人员)，也可以是存在于室内空间但不是用户的人体形状的客体。以下，将不是用户但具有人体的形状的客体定义为“用户相似客体”。
88.根据本发明的一实施例，用户相似客体可以是包括在相框的内部的人体的照片或图片，可以是显示在显示装置(作为一例，tv、显示器、智能手机、平板pc等)的人体的照片或图片。
89.接下来，在步骤s20中，处理器130基于客体的位置检测结果来检测构成空间的复数个区域中的一个以上的第一关心区域。
90.在此，第一关心区域是构成空间的复数个区域中成为空调机100执行的家电动作(作为一例，空气调节动作)的对象的区域，是包括与人体的形状对应的客体的图像的区域。即，在每一个第一关心区域中可以包括一个客体。
91.图8是示出本发明一实施例的室内空间的图像的图。
92.参照图8，室内空间是客厅，空调机100设置于室内空间的内部，室内空间的图像可以由设置于空调机100的相机110获取。
93.此时，图8的(a)示出了一个用户和一个tv位于客厅的图像。在这种情况下，处理器130可以将用户所在的图像的区域和tv所在的图像的区域检测为第一关心区域。
94.图8的(b)示出了一个相框位于客厅的图像。在这种情况下，处理器130可以将相框所在的图像的区域检测为第一关心区域。
95.根据本发明的一实施例，步骤s10和步骤s20利用基于人工神经网络的算法模型来检测客体的位置，可以检测一个以上的第一关心区域。
96.人工智能(ai：artificial intelligence)是一种研究能够使计算机进行以人类的智能能够进行的思考、学习、自我启发等的方法的计算机工程及信息技术的一个领域，是指计算机能够模仿人类的智能行为。
97.人工智能不是以其本身存在，而是直接或间接地与计算机科学的其他领域有很多联系。尤其在现代，在信息技术的多个领域中引入人工智能要素，试图将其用于解决该领域的问题的尝试正在非常活跃地进行。
98.机器学习(machine learning)是人工智能的一个领域，是一种赋予计算机在没有明确的程序的情况下能够学习的能力的研究领域。
99.作为机器学习的一种的深度学习(deep learning)技术是基于数据以多阶段深入学习的技术。深度学习可以表示机器学习算法的集合，阶段越高，越能从复数个数据提取核心数据。
100.图9和图10是用于说明人工神经网络(ann)的概念的图。
101.参照图9，人工神经网络可以包括输入层(input layer)、隐藏层(hidden layer)以及输出层(output layer)。各个层包括复数个节点，各个层与下一层连接。相邻的层之间的复数个节点可以以权重(weight)彼此连接。
102.参照图10，计算机(机器)从加载的输入数据1010中发现规定的图案(pattern)并形成特征图(feature map)。计算机从下位等级特征1020提取到中间等级特征1030、上位等级特征1040，从而可以识别对象并输出其结果1050。
103.人工神经网络越靠近下一顺序的层，可以抽象化为更上位等级的特征。
104.参照图8和图9，各个节点可以基于激活模型来动作，可以根据激活模型来确定与输入值对应的输出值。
105.任意节点，例如，下位等级特征1020的输出值可以输入到与该节点连接的下一层，例如，中间等级特征1030的节点。下一层的节点，例如，中间等级特征1030的节点可以接收从下位等级特征1020的复数个节点输出的复数个值。
106.此时，各个节点的输入值可以是在之前层的节点的输出值中适用权重的值。权重可以指节点之间的连接强度。另外，深度学习过程也可以看作寻找适当的权重的过程。
107.另一方面，任意节点，例如，中间等级特征1030的输出值可以输入到与该节点连接的下一层，例如，上位等级特征1040的节点。下一层的节点，例如，上位等级特征1040的节点可以接收从中间等级特征1030的复数个节点输出的复数个值。
108.人工神经网络可以利用与各个等级对应的已学习的层来提取与各个等级对应的特征信息。人工神经网络依次抽象化，可以利用最上位等级的特征信息来识别规定对象。
109.例如，若观察基于深度学习的人脸识别过程，则计算机从输入图像根据像素的亮度区分亮像素和暗像素，在区分边框、边缘等简单的形态之后，可以区分更复杂的形态和事物。最终，计算机可以掌握规定人类的脸的形态。
110.本发明的深度学习结构可以利用公知的各种结构。例如，本发明的深度学习结构可以是cnn(convolutional neural network：卷积神经网络)、rnn(recurrent neural network：循环神经网络)、dbn(deep belief network：深度信念网络)等。
111.rnn多用于自然语言处理等，是一种有效处理随着时间推移而变化的时间系列数据(time-series data)的结构，可以通过实时堆叠层来构成人工神经网络结构。
112.dbn是将作为深度学习技术的rbm(restricted boltzman machine：受限波尔兹曼机)以多层堆叠而构成的深度学习结构。若通过反复rbm学习而形成规定数量的层，则可以构成具有相应数量的层的dbn。
113.cnn是尤其在客体识别领域中使用较多的结构，其是模仿人的大脑功能的模型，该模型是根据人识别物体时提取物体的基本特征之后在大脑中经过复杂的计算，并基于该结果来识别物体的假设而建立的。
114.另一方面，人工神经网络的学习可以通过调节节点之间连接线的权重，以使对给定的输入产出期望的输出来实现。另外，人工神经网络可以利用学习持续更新权重值。另外，在人工神经网络的学习中可以使用反向传播(back propagation)等方法。
115.总之，本发明一实施例的处理器130可以利用上述的各种深度学习结构来检测一个以上的客体的位置，可以检测一个以上的关心区域。即，本发明一实施例的处理器130将通过相机110获取的第一图像用作利用机器学习预先学习的人工神经网络的输入数据，从而可以检测空间内的一个以上的客体的位置以及一个以上的第一关心区域。例如，本发明并不限于此，可以利用图像内客体识别中使用较多的cnn结构。
116.图4是示出步骤s20的详细步骤的流程图。
117.在步骤s21中，处理器130接收包括客体的位置识别结果的人体感测数据。
118.在步骤s22中，处理器130累积接收到的人体感测数据。
119.在步骤s23中，处理器130通过对累积的人体感测数据进行计数来判断是否累积到规定数量m以上的数据。
120.在累积到规定数量m以上的数据的情况下，在步骤s24中，处理器130生成直方图。
121.在步骤s25中，处理器130将所生成的直方图作为基于机器学习的人工神经网络算法的输入数据输入，从而将复数个区域区分为生活区域和未生活区域。
122.在此，生活区域与第一关心区域对应，步骤s25与检测一个以上的第一关心区域的步骤对应。机器学习可以利用诸如svm(support vector machine：支持向量机)、adaboost(迭代算法)的技术，更优选地，可以利用深度学习技术。
123.即，处理器130按复数个区域生成直方图，将所生成的直方图用作利用机器学习已学习的人工神经网络的输入数据，从而可以区分为生活区域和未生活区域。另一方面，处理器130可以进一步细分生活区域，可以区分为常住生活区域和移动生活区域。
124.更详细而言，本发明一实施例的空调机100可以将空间的复数个区域根据识别出客体(包括用户)的频率即单位时间内感测到客体的次数或感测到人的时间而区分为生活区域和未生活区域。
125.例如，处理器130可以将复数个区域中至少感测到一次客体的分隔区间和完全没有感测到客体的分隔区间彼此区分并分类，可以将感测到客体的区域区分为生活区域，将未感测到客体的区域区分为未生活区域。
126.此时，生活区域和未生活区域的区分基准并不限于在该区域中是否感测到室内人员，显然，人体感测次数或时间少到难以认定为客体生活的区域，也可以成为生活区域和未生活区域的基准。
127.根据实施例，可以将区分为生活区域的各个区域根据连续感测到客体的次数或时间而区分为常住生活区域和移动生活区域。
128.例如，处理器130将分类为生活区域的各个区域根据连续感测到客体的次数或时间区分分类为常住生活区域和移动生活区域中的一种，由此，可以将生活区域再次区分为常住生活区域和移动生活区域即两个细分的区域。
129.另一方面，步骤s26和步骤s27是选择性地执行的步骤。
130.为了进一步提高生活区域区分的准确度，在步骤s26中，处理器130反复执行生活/未生活区域的区分，在步骤s27中，处理器130整合复数个区分结果，并基于整合的结果来将构成空间的复数个区域最终分类为生活区域和未生活区域等。即，在生活区域区分结果累积到规定数量以上时，导出最终结果，从而确保生活区域识别结果的可靠性，可以消除由于人体感测错误而产生的未生活区域的短暂错误。
131.再次参照图3，在步骤s30中，处理器130控制动作部150，以基于一个以上的第一关心区域来执行第一家电动作。
132.在此，家电动作可以是与空气调节相关的动作，作为一例，空调机100的运转范围、强度、次数、设置于空调机100的显示装置或照明装置的控制等。
133.即，步骤s20和步骤s30是基于第一图像来检测与空间内的人体的形状对应的客体，并控制动作部150以检测出的客体为对象执行第一家电动作的步骤。
134.此时，与人体的形状对应的客体可能是用户，也可能是用户相似客体，在执行以下说明的步骤s40之前，处理器130无法区分用户和用户相似客体。因此，处理器130可以对所有第一关心区域执行第一家电动作。
135.接着，在步骤s40中，处理器130基于在第一图像之后接收到的第二图像来检测一个以上的第一关心区域中客体为用户的一个以上的第二关心区域。在此，第二图像的数量可以是复数。
136.即，步骤s40可以是在步骤s30中检测到的一个以上的第一关心区域中去除包括用户相似客体的第一关心区域，并仅检测包括用户的第一关心区域的步骤。换言之，步骤s40是在一个以上的第一关心区域中确定作为包括用户的第一关心区域的一个以上的第二关心区域的步骤。
137.根据本发明的一实施例，在步骤s40中，处理器130可以基于依次获取到的复数个第二图像的累积差图像，从一个以上的第一关心区域中检测一个以上的第二关心区域。
138.并且，在步骤s50中，处理器130控制动作部150，以基于一个以上的第二关心区域来执行第二家电动作。
139.步骤s40和步骤s50是基于第二图像来在存在于空间的客体中仅特定用户，并控制动作部150以特定的用户为对象来执行第二家电动作的步骤。
140.在此，第一家电动作和第二家电动作是彼此不同的家电动作。即，本发明的空调机100是基于用户的位置来执行空气调节动作的装置，因此以所有第一关心区域为对象执行的家电动作(第一家电动作)和以部分的第一关心区域(即，第二关心区域)为对象执行的家电动作(第二家电动作)彼此不同。
141.综上所述，在与步骤s20和步骤s30对应的第一时间区间，尚未区分用户和用户相似客体，因此控制动作部150以对与人体的形状对应的所有客体执行第一家电动作。然后，在与步骤s40和步骤s50对应的第二时间区间，通过分析第二图像区分了用户和用户相似客体，因此控制动作部150，以仅对用户执行第二家电动作。
142.以下，参照图5至图7，进一步详细说明步骤s40的过程。
143.图5是示出步骤s40的详细步骤的流程图。此时，步骤s40基于依次获取的第二图像来执行。在步骤s41中，处理器130生成差图像(difference image)。
144.在此，差图像是与第一时间点的图像和第一时间点之前的第二时间点的图像的差异对应的图像。此时，第一时间点可以是当前时间点，第二时间点可以是之前时间点。即，步骤s41是生成当前时间点的图像(当前图像帧)和之前时间点的图像(之前图像帧)之间的差图像的步骤。
145.根据本发明的一实施例，差图像可以是与第一时间点的图像的灰度(grayscale)图像和第二时间点的图像的灰度图像的差异对应的图像。在此，灰度图像是将r、g、b中的每一个颜色值的平均值作为像素值的图像。在这种情况下，差图像可以以如下的数学式1表示。
146.[数学式1]
[0147]
d(x，y)＝|i(x，y)-t(x，y)|
[0148]
在此，d(x，y)表示差图像，i(x，y)表示第一时间点的图像的灰度图像，t(x，y)表示第二时间点的图像的灰度图像，(x，y)表示图像内的特定坐标。
[0149]
图11是示出本发明的差图像的一例的图。
[0150]
参照图11，差图像中，越是以白色显示的像素，第一时间点的图像和第二时间点的图像的差异就越大。因此，与以白色显示的两个区域对应的客体是移动的客体，因此两个区域与第一关心区域对应。
[0151]
再次参照图5，在步骤s42中，处理器130通过对差图像进行累积来生成累积差图像。
[0152]
在此，累积差图像可以与两个以上的差图像的平均图像对应。作为一例，可以通过对之前生成的累积差图像和当前生成的差图像进行平均来生成当前的累积差图像。累积差图像可以存储到存储器120。
[0153]
在步骤s43中，处理器130判断构成累积差图像的两个以上的差图像是否为n个以上。在此，n与两个以上的正数对应。
[0154]
如果两个以上的差图像小于n个，则再次执行步骤s41和步骤s42。相反，如果两个以上的差图像为n个以上，则累积差图像被确定。
[0155]
即，步骤s41至步骤s43与基于预设定的时间期间依次在相机110中获取的复数个第二图像来生成累积差图像的步骤对应。在此，第二图像与第一图像之后获取的图像对应。利用大量的图像来生成累积差图像，从而能够提高用户感测的准确度。
[0156]
图12是示出本发明一实施例的累积差图像的一例的图。
[0157]
图12的(a)的累积差图像是相对于图8的(a)的图像的累积差图像，图12的(b)的累积差图像是相对于图8的(b)的图像的累积差图像。
[0158]
再次参照图5，在步骤s44中，处理器130通过比较累积差图像中的一个以上的第一关心区域的像素值和预设定的临界像素值来检测一个以上的第一关心区域中的一个以上的第二关心区域。
[0159]
在此，临界像素值包括第一临界像素值、第二临界像素值以及第三临界像素值。在此，第一临界像素值可以是低像素值，第二临界像素值和第三临界像素值可以是高像素值。第一临界像素值至第三临界像素值可以由实验确定。并且，像素值的比较可以对每一个像素执行，也可以基于存在于区域的像素值的平均来执行。
[0160]
图6是示出步骤s44的详细步骤的一例的流程图。
[0161]
在步骤s61中，处理器130判断某一个第一关心区域的像素值是否为第一临界像素值以上。
[0162]
如果某一个第一关心区域的像素值小于第一临界像素值，则在步骤s62中，处理器130将某一个第一关心区域判断为包括相框的第一关心区域。
[0163]
相反，如果某一个第一关心区域的像素值为第一临界像素值以上，则在步骤s63中，处理器130判断某一个第一关心区域的像素值是否为第二临界像素值以上。
[0164]
此时，如果某一个第一关心区域的像素值小于第二临界像素值，则在步骤s64中，处理器130将某一个第一关心区域判断为包括用户的第一关心区域即第二关心区域。
[0165]
相反，如果某一个第一关心区域的像素值为第二临界像素值以上，则处理器130将某一个第一关心区域判断为包括显示装置的第一关心区域。
[0166]
综上所述内容，在一个以上的第一关心区域中某一个第一关心区域的像素值大于第一临界像素值且小于第二临界像素值的情况下，处理器130可以将某一个第一关心区域
检测为第二关心区域。对此更详细的说明如下。
[0167]
参照图11和图12，在差图像中，越是以白色显示的区域，区域内的客体移动越多，越是以黑色显示的区域，区域内的客体移动越少。
[0168]
具有小于第一临界像素值的像素值的第一关心区域中包括的客体几乎没有移动。此时，包括在相框的照片或图片是静止的，因此没有移动。因此，具有低像素值的第一关心区域可以与相框或包括在相框的图片或照片对应。
[0169]
具有大于第一临界像素值的像素值的第一关心区域中包括的客体存在大量移动。因此，具有高像素值的第一关心区域可以是包括用户的第一关心区域(即，第二关心区域)或包括显示装置的第一关心区域。
[0170]
另一方面，包括显示装置的第一关心区域的客体的移动可以比包括用户的第一关心区域的客体的移动更多。即，由于画面切换等，显示在显示装置的人体持续移动的情况较多，因此比存在于室内空间的用户移动得更多。因此，具有大于第二临界像素值的像素值的第一关心区域可以与显示在显示装置的图片或照片对应。
[0171]
因此，在某一个第一关心区域的像素值小于第一临界像素值的情况下，处理器130将某一个第一关心区域判断为包括在相框的人体的照片或图片，可以从关心区域组中去除与相框对应的某一个第一关心区域。并且，在某一个第一关心区域的像素值大于第二临界像素值的情况下，处理器130将某一个第一关心区域判断为显示在显示装置的照片或图片，可以从关心区域组中去除与显示装置对应的某一个第一关心区域。此时，“从关心区域组中去除某一个第一关心区域”是与“将某一个第一关心区域判断为不是第二关心区域”对应的含义。
[0172]
图13中整理了确定第一关心区域的概念。
[0173]
另一方面，根据本发明的另一实施例，在步骤s44中，处理器130可以在累积差图像中检测四边形形状，并可以基于检测出的四边形形状来检测第二关心区域。
[0174]
图7是示出步骤s44的详细步骤的另一例的流程图。
[0175]
在步骤s71中，处理器130判断某一个第一关心区域是否为四边形形状。
[0176]
如果某一个第一关心区域不是四边形形状，则执行步骤s72至步骤s75。相反，如果某一个第一关心区域是四边形形状，则执行步骤s76和步骤s77。
[0177]
具体而言，在某一个第一关心区域不是四边形形状的情况下，在步骤s72中，处理器130判断某一个第一关心区域的像素值是否为第一临界像素值以上。
[0178]
此时，在某一个第一关心区域的像素值小于第一临界像素值的情况下，在步骤s73中，处理器130将某一个第一关心区域判断为包括相框的第一关心区域。
[0179]
另外，在某一个第一关心区域的像素值为第一临界像素值以上的情况下，在步骤s74中，处理器130判断某一个第一关心区域的像素值是否为第二临界像素值以上。
[0180]
如果某一个第一关心区域的像素值小于第二临界像素值，则在步骤s75中，处理器130将某一个第一关心区域判断为包括用户的第一关心区域即第二关心区域。
[0181]
相反，在某一个第一关心区域的像素值为第二临界像素值以上的情况下，处理器130返回到步骤s71。在这种情况下，基于更新的累积差差图像来再次判断某一个第一关心区域是否为第二关心区域。
[0182]
另一方面，在某一个第一关心区域为四边形形状的情况下，在步骤s76中，处理器
130判断某一个第一关心区域的内外部的像素值的差值是否为第三临界像素值以上。
[0183]
如果某一个第一关心区域的内外部的像素值的差值为第三临界像素值以上，则在步骤s77中，处理器130将某一个第一关心区域判断为包括显示装置的第一关心区域。
[0184]
相反，如果某一个第一关心区域的内外部的像素值的差值小于第三临界像素值，则处理器130返回到步骤s71。在这种情况下，基于更新的累积差差图像来再次判断某一个第一关心区域是否为第二关心区域。
[0185]
以下，进一步详细说明上述内容。
[0186]
参照图12，用户和相框在累积差图像中以非定型存在，显示装置在累积差图像中以定型的四边形形状存在。
[0187]
另外，参照图12，用户和显示装置在累积差图像中存在移动和形态(即，在累积差图像中显示为亮颜色)，相框在累积差图像中不存在移动和形态(即，累积差图像中显示为暗颜色)。
[0188]
另外，参照图12的(a)，在累积差图像中，因用户的移动较少而累积差图像逐渐模糊，显示在显示装置的客体因画面切换等而移动逐渐清晰。
[0189]
因此，在累积差图像中的某一个第一关心区域为四边形形态且某一个第一关心区域的像素值为第二临界像素值以上的情况下，处理器130可以将某一个第一关心区域判断为显示在显示装置的照片或图片。
[0190]
另外，在累积差图像中，四边形形状的内部的像素值和四边形形状的外部的像素值之间的差异呈现出较大差异。因此，在累积差图像中的某一个第一关心区域为四边形形状且四边形形状的第一关心区域的内部的像素值大于第二临界像素值且四边形形状的第一关心区域的内部的像素值和四边形形状的第一关心区域的外部的像素值之差大于第三临界像素值的情况下，处理器130可以将某一个第一关心区域判断为显示在显示装置的照片或图片。此时，四边形形状的第一关心区域的外部的像素可以是与四边形形状的边框(edge)相邻的像素。
[0191]
总之，步骤s40是基于图像内的一个以上的第一关心区域的移动类型来判断存在于一个以上的第一关心区域中的每一个第一关心区域的客体是否为用户的过程。即，步骤s40是在累积差图像所包含的第一关心区域中保持用户存在的第一关心区域，且去除用户相似客体存在的第一关心区域的步骤。此时，移动类型可以基于累积差图像的关心区域的像素值和临界像素值来确定，可以进一步基于四边形形状检测结果来确定。
[0192]
在这种情况下，在第一关心区域的移动类型为“几乎没有移动的第一移动类型”的情况下，处理器130可以将第一关心区域判断为包括在相框的人体的照片或图片，可以去除与相框对应的第一关心区域。另外，在第一关心区域的移动类型为“移动很多的第二移动类型”的情况下，处理器130可以将第一关心区域判断为显示在显示装置的照片或图片，可以去除与显示装置对应的第一关心区域。并且，在关心区域的移动类型为“移动适当存在的第三移动类型”的情况下，处理器130将第一关心区域判断为用户存在的第一关心区域即第二关心区域，可以保持用户存在的第一关心区域。
[0193]
另一方面，根据本发明的一实施例，在步骤s50中，处理器130可以控制动作部150，以通过区分生活区域(即，第二关心区域)和未生活区域来生成气流。此时，处理器130可以通过控制风扇马达来控制气流的强度，可以通过控制设置于吐出口190的叶片、百叶等风向
调节装置来控制气流的方向和范围。
[0194]
例如，空调机100可以以用于集中向生活区域中常住生活区域传递气流的集中制冷制热模式、用于向作为对象的生活区域中常住生活区域和移动生活区域传递气流的直接制冷制热模式以及用于防止直接向生活区域中常住生活区域传递气流的间接制冷制热模式动作。
[0195]
综上所述，本发明一实施例的空调机100可以基于关心区域的移动类型来检测包括用户的第一关心区域即第二关心区域。具体而言，本发明一实施例的空调机100检测包括与人体的形状对应的客体的一个以上的第一关心区域，基于一个以上的第一关心区域的移动类型来去除包括用户相似客体的第一关心区域，并检测仅包括用户的第一关心区域(即，第二关心区域)。此时，可以基于包括用户的关心区域来控制空调机100，从而可以实现基于用户的家电动作。
[0196]
另外，本发明一实施例的空调机100可以通过分析依次获取的图像的累积差图像来区分图像内存在的人体是用户(室内人员)还是显示在相框或显示装置的人体，由此可以更准确地感测用户。
[0197]
另外，本发明一实施例的空调机100通过更准确地感测图像内的用户，从而能够为用户提供家电设备的使用便利性。另外，本发明一实施例的空调机100通过准确地感测存在于空间的用户，从而能够防止提供基于用户位置的家电动作时发生的错误。
[0198]
另外，本发明的实施例可以以能够通过各种计算机手段来执行的程序命令的形式实现，并记录在计算机可读介质中。所述计算机可读介质可以单独或组合包括程序命令、数据文件、数据结构等。记录在所述介质的程序命令可以是为本发明而特别设计的构成或者也可以是计算机软件从业者已知的可使用的程序命令。计算机可读记录介质的例子包括：磁介质(magnetic media)诸如硬盘、软盘以及磁带；光记录介质(optical media)诸如cd-rom、dvd；磁-光介质(magneto-optical)诸如光磁软盘(floptical disk)；以及特别构成以存储并执行程序命令的硬件装置，诸如只读存储器(rom)、随机存取存储器(ram)、闪存。作为程序命令的例子包括：诸如由编译器创建的机器语言代码以及使用解释器等能够由计算机执行的高级语言代码。为了执行本发明的一实施例的动作，上述的硬件装置可以构成为作为一个以上的软件模块动作，反之亦然。
[0199]
如上所述，本发明通过诸如具体构成要素的特定内容、限定的实施例以及附图进行了说明，但这仅是为了帮助全面理解本发明而提供的，本发明不限于上述实施例，本发明所属领域的普通技术人员可以根据上述记载进行各种修改和变形。因此，本发明的思想不限于上述的实施例，后述的权利要求书以及与该权利要求书等同或等效变形均属于本发明思想的范畴。

技术特征：
1.一种家电设备，其中，包括：存储器，存储至少一个指令；处理器，执行所述至少一个指令；以及动作部，由所述处理器控制，执行家电动作，所述处理器接收相机获取的空间的图像，所述处理器控制所述动作部执行第一家电动作，所述第一家电动作是基于所述图像中的第一图像，并以所述空间内的与人体的形状对应的客体为对象执行的，所述处理器控制所述动作部执行与所述第一家电动作不同的第二家电动作，所述第二家电动作是基于所述图像中所述第一图像之后的第二图像，并仅以所述客体中的所述空间内的用户为对象执行的。2.根据权利要求1所述的家电设备，其中，所述处理器控制所述动作部，以基于所述第一图像来检测构成所述空间的复数个区域中包括所述客体的一个以上的第一关心区域，并基于一个以上的所述第一关心区域来执行所述第一家电动作，所述处理器控制所述动作部，以基于所述第二图像来检测一个以上的所述第一关心区域中所述客体为所述用户的一个以上的第二关心区域，并基于一个以上的所述第二关心区域来执行所述第二家电动作。3.根据权利要求2所述的家电设备，其中，所述客体包括所述用户和用户相似客体，所述用户相似客体为包括在相框的人体的照片或图片以及显示在显示装置的人体的照片或图片。4.根据权利要求2所述的家电设备，其中，所述处理器基于通过所述相机在预设定的时间期间依次获取的所述第二图像来生成累积差图像，并基于所述累积差图像来检测一个以上的所述第二关心区域。5.根据权利要求4所述的家电设备，其中，所述累积差图像与所述复数个差图像的平均图像对应，所述差图像是与第一时间点的图像和作为所述第一时间点之前的时间点的第二时间点的图像的差异对应的图像。6.根据权利要求5所述的家电设备，其中，所述差图像是与所述第一时间点的图像的灰度图像和所述第二时间点的图像的灰度图像的差异对应的图像。7.根据权利要求4所述的家电设备，其中，所述处理器通过比较所述第一关心区域的像素值和预设定的临界像素值来检测一个以上的所述第二关心区域。8.根据权利要求7所述的家电设备，其中，所述临界像素值包括第一临界像素值和第二临界像素值，在一个以上的所述第一关心区域中某一个第一关心区域的像素值大于所述第一临界像素值且小于所述第二临界像素值的情况下，所述处理器将所述某一个第一关心区域检测为所述第二关心区域。
9.根据权利要求7所述的家电设备，其中，所述临界像素值包括第一临界像素值和第二临界像素值，在一个以上的所述第一关心区域中某一个第一关心区域的像素值小于所述第一临界像素值或者大于所述第二临界像素值的情况下，所述处理器不将所述某一个第一关心区域检测为所述第二关心区域。10.根据权利要求9所述的家电设备，其中，在所述某一个第一关心区域的像素值小于所述第一临界像素值的情况下，所述处理器将包括在所述某一个第一关心区域的所述客体判断为包括在相框的人体的照片或图片，在所述某一个第一关心区域的像素值大于所述第二临界像素值的情况下，所述处理器将包括在所述某一个第一关心区域的所述客体判断为显示在显示装置的照片或图片。11.根据权利要求7所述的家电设备，其中，所述处理器在所述累积差图像中检测四边形形状，并进一步基于检测出的所述四边形形状来检测所述第二关心区域。12.根据权利要求11所述的家电设备，其中，所述临界像素值包括第二临界像素值和第三临界像素值，在一个以上的所述第一关心区域中某一个第一关心区域为四边形形状且所述四边形形状的第一关心区域的内部的像素值大于所述第二临界像素值且所述四边形形状的第一关心区域的内部的像素值和所述四边形形状的第一关心区域的外部的像素值之差大于所述第三临界像素值的情况下，所述处理器不将所述某一个第一关心区域检测为所述第二关心区域。13.根据权利要求1所述的家电设备，其中，所述处理器将所述第一图像用作利用机器学习已学习的数据的输入，并检测一个以上的所述第一关心区域。14.根据权利要求1所述的家电设备，其中，还包括所述相机；所述相机设置在所述家电设备的外部面。15.一种家电设备的控制方法，所述家电设备包括处理器，其中，所述控制方法包括：接收相机获取的空间的图像的步骤；基于所述图像中的第一图像，以所述空间内的与人体的形状对应的客体为对象执行第一家电动作的步骤；以及基于所述图像中所述第一图像之后的第二图像，仅以所述客体中的所述空间内的用户为对象执行与所述第一家电动作不同的第二家电动作的步骤。

技术总结
公开了一种家电设备及其控制方法。公开的家电设备以空间内的与人体的形状对应的客体为对象执行第一家电动作，然后，所述客体中去除不是用户的客体，并仅以用户为对象执行第二家电动作。此时，第一家电动作和第二家电动作不同时执行并且是彼此不同的家电动作。不同时执行并且是彼此不同的家电动作。不同时执行并且是彼此不同的家电动作。


技术研发人员：崔埈溟 权培根
受保护的技术使用者：LG电子株式会社
技术研发日：2021.05.17
技术公布日：2023/9/23