烹饪设备及其控制方法与流程

1.本公开涉及一种烹饪设备及其控制方法。更具体地，本公开涉及一种烹饪设备及其控制方法，该烹饪设备能够向用户提供通过安装在烹饪设备内部的相机拍摄的食物的图像，并且通过接收关于烹饪食物的拍摄图像的用户反馈来控制烹饪操作或改善用户的烹饪环境。


背景技术：

2.烹饪设备是被配置为烹饪食物的设备。例如，烹饪设备可与烤箱、电磁炉、电炉、燃气灶等相应。
3.最近，已经开发了在烹饪设备中设置相机以提供要烹饪的食物的图像的服务。
4.然而，现有烹饪设备仅通过在显示器上显示食物的拍摄图像来帮助用户监视烹饪过程。存在的问题在于，不能执行用户通过将用户的反馈反映在食物的拍摄图像上来更主动地控制烹饪设备的需要。


技术实现要素：

5.技术问题
6.本公开是为了解决上述问题，并且本公开的目的是向用户提供食物的图像，并通过用户对食物的拍摄图像的反馈或对拍摄图像的分析来控制烹饪设备，从而提供能够改善用户的烹饪环境的烹饪设备及其控制方法。
7.技术方案
8.根据本公开的实施例，一种烹饪设备包括：烹饪室，被配置为容纳食物；相机，被配置为拍摄所述烹饪室内部；通信接口；存储器，被配置为存储每种食物的烹饪方法；以及处理器，被配置为基于所选择的食物，基于与所选择的食物相应的烹饪方法驱动所述烹饪室，控制所述相机拍摄所述烹饪室内部的食物，并控制所述通信接口将食物的拍摄图像发送到用户终端装置。处理器被配置为基于接收到与所述拍摄图像相关的第一反馈，向所述用户终端装置提供用于选择食物的附加烹饪状态的多个图像，以及基于接收到所述拍摄图像的第二反馈，向所述用户终端装置提供用于分析食物的烹饪状态的原因的多个菜单。
9.所述处理器可基于接收到所述第一反馈，控制驱动所述烹饪室以根据所述附加烹饪状态中被选择的烹饪状态执行附加烹饪，所述附加烹饪状态中被选择的烹饪状态与提供给用户终端装置的所述多个图像中的被选择的图像相应。
10.所述处理器可基于接收到第二反馈，基于提供给所述用户终端装置的所述多个菜单中的菜单被选择来更新存储在所述存储器中的信息。
11.所述更新可包括用于校正包括在所述烹饪方法中的烹饪时间、烹饪温度和烹饪模式中的至少一个的更新和用于生成要在下一次烹饪时提供的通知消息的更新中的至少一个。
12.所述处理器可基于接收到与所述拍摄图像相关的第三反馈，控制停止驱动所述烹
饪室。
13.所述装置还可包括：显示器；以及输入装置，被配置为接收用户反馈，其中，所述处理器被配置为：控制所述显示器显示所述拍摄图像，并且控制所述显示器基于通过所述输入装置输入的第一反馈来显示用于在食物的附加烹饪状态中进行选择的所述多个图像，并且基于通过所述输入装置输入的第二反馈来显示用于分析食物的烹饪状态的原因的所述多个菜单。
14.所述处理器可基于第一反馈被输入，控制驱动所述烹饪室来基于显示在所述显示器上的多个图像中的一个图像被选择，根据附加烹饪状态中的与被选择的图像相应的一个附加烹饪状态来执行附加烹饪。
15.所述处理器可基于接收到第二反馈，基于显示在所述显示器上的所述多个菜单中的菜单被选择来更新存储在所述存储器中的信息。
16.所述存储器可存储指示不同烹饪水平的多个参考图像和针对每种食物的与所述多个参考图像中的每一个参考图像匹配的烹饪方法，并且其中，所述处理器被配置为将多个参考图像提供给用户终端装置，基于多个参考图像中的一个参考图像被选择，根据与所选择的参考图像相应的烹饪水平来更新存储在所述存储器中的烹饪方法，并且基于与被选择的参考图像相应的烹饪方法来控制所述烹饪室。
17.所述烹饪设备还可包括激光装置，被配置为朝向食物照射激光，其中，所述处理器被配置为：使用所述相机和所述激光装置获取食物的三维图像，基于食物的三维图像，从食物的所述拍摄图像中识别食物区域和非食物区域，并且通过对所述拍摄图像的食物区域执行颜色校正来生成用于接收关于食物的附加烹饪状态的选择的多个图像。
18.所述处理器可基于由所述相机通过所述激光装置朝向食物照射的线性激光而拍摄的图像，获取关于拍摄的线性激光上的多个区域中的每一个区域的三维空间坐标，并将所述多个区域中三维空间坐标的高度值为0的区域识别为非食物区域，并将具有非零高度值的区域识别为食物区域。
19.所述处理器可基于由所述相机拍摄的图像获取与拍摄的线性激光上的多个区域中的每一个区域相应的食物的颜色值，并与三维空间坐标的高度值为0的区域中具有非零高度值的区域进行比较，并将颜色值在预定范围内的区域识别为食物区域。
20.所述处理器可将食物的三维图像和食物的所述拍摄图像进行匹配，并将从所述拍摄图像中识别的食物的外部区域的内部识别为食物区域。
21.根据本公开的实施例，一种用户终端装置包括：存储器，被配置为存储用于控制烹饪设备的应用，所述烹饪设备包括：相机，用于拍摄烹饪室内部；显示器；通信接口；以及处理器。处理器可被配置为：基于所述应用正被执行，控制所述显示器显示用于接收与要在所述烹饪设备中烹饪的食物相关的输入的食物选择ui，并且控制所述通信接口将与和食物相关的输入相应的控制信号从所述食物选择ui发送到烹饪设备，基于从所述烹饪设备接收到食物的拍摄图像，控制所述显示器显示用于接收与所述拍摄图像相关的输入和与所述拍摄图像相关的反馈的多个菜单，并且基于所述多个菜单中的至少一个菜单被选择，将与所选择的菜单相应的反馈发送到所述烹饪设备。
22.所述被选择多个菜单可包括用于请求食物的附加烹饪的第一菜单、用于通知食物的烹饪失败的第二菜单、以及用于通知食物的烹饪成功的第三菜单。
23.所述处理器可控制所述显示器显示用于基于第一菜单被选择来选择附加烹饪状态的多个图像，并且显示用于基于第二菜单被选择来接收烹饪失败因素的失败分析ui。
24.所述处理器可基于食物在食物选择ui中被输入来控制所述显示器显示指示输入食物的不同烹饪水平的多个参考图像，并且基于所述多个参考图像中的一个参考图像被选择，控制所述通信接口将与所选择的参考图像相应的控制信号发送到所述烹饪设备。
25.根据本公开的实施例，一种控制烹饪设备的方法，所述烹饪设备包括用于拍摄烹饪室内部的相机，所述方法包括：基于与食物相关的选择，根据烹饪方法驱动所述烹饪室，其中，所述烹饪方法相应于与食物相关的选择；使用所述相机拍摄所述烹饪室内部的食物；将烹饪食物的拍摄图像发送到所述用户终端装置；基于接收到与所述拍摄图像相关的第一反馈，将用于接收关于食物的附加烹饪状态的选择的多个图像提供给所述用户终端装置；基于接收到与所述拍摄图像相关的第二反馈，将用于分析食物的烹饪状态的原因的多个菜单提供给所述用户终端装置。
26.所述控制方法可包括：基于接收到第一反馈，控制驱动所述烹饪室以根据所述附加烹饪状态中被选择的附加烹饪状态执行附加烹饪，所述附加烹饪状态中被选择的附加烹饪状态与基于提供给所述用户终端装置的所述多个图像中的一个图像的被选择的图像相应。
27.所述控制方法可包括：基于接收到第二反馈，基于提供给所述用户终端装置的所述多个菜单中的所选择的菜单被选择来更新存储在所述存储器中的信息。
28.所述控制方法可包括：基于接收到针对拍摄图像的第三反馈，控制停止驱动所述烹饪室。
29.所述控制方法可包括：通过设置在所述烹饪设备中的显示器显示所述拍摄图像，显示所述拍摄图像，以及控制所述显示器基于通过所述输入装置输入的第一反馈来显示用于在食物的附加烹饪状态中进行选择的所述多个图像，并且基于通过所述输入装置输入的第二反馈来显示用于分析食物的烹饪状态的原因的所述多个菜单。
30.所述控制方法还可包括：基于第一反馈被输入，控制驱动所述烹饪室来基于显示在所述显示器上的所述多个图像中的一个图像被选择，根据附加烹饪状态中的与被选择的图像相应的一个附加烹饪状态来执行附加烹饪。
31.所述控制方法还可包括：基于接收到第二反馈，基于显示在所述显示器上的所述多个菜单中的菜单被选择来更新存储在所述存储器中的信息。
32.所述控制方法还可包括：使用所述相机和所述激光装置获取食物的三维图像，基于食物的三维图像，从食物的所述拍摄图像中识别食物区域和非食物区域，并且通过对所述拍摄图像的食物区域执行颜色校正来生成用于接收关于食物的附加烹饪状态的选择的多个图像。
33.所述识别食物区域和非食物区域的步骤可包括：基于由所述相机通过所述激光装置朝向食物照射的线性激光而拍摄的图像，获取关于拍摄的线性激光上的多个区域中的每一个区域的三维空间坐标，并且将所述多个区域中三维空间坐标的高度值为0的区域识别为非食物区域，并且将具有非零高度值的区域识别为食物区域。
34.所述识别食物区域和非食物区域的步骤可包括：基于由所述相机拍摄的图像获取与拍摄的线性激光上的多个区域中的每一个区域相应的食物的颜色值，并与三维空间坐标
的高度值为0的区域中具有非零高度值的区域进行比较，并将颜色值在预定范围内的区域识别为食物区域。
35.所述识别食物区域和非食物区域的步骤可包括：将食物的三维图像与食物的所述拍摄图像进行匹配，并将从所述拍摄图像识别的食物的外部区域的内部识别为食物区域。
附图说明
36.图1是示意性地示出根据实施例的烹饪系统的视图；
37.图2是示出根据实施例的烹饪设备的配置的框图；
38.图3是示出根据实施例的烹饪设备的详细配置的框图；
39.图4是示出根据实施例的用户终端装置的配置的框图；
40.图5是示出根据实施例的通过用户终端装置提供用于显示指示不同烹饪水平的多个参考图像的ui的视图；
41.图6是示出根据实施例的提供食物选择ui并且通过用户终端装置将用于根据选择的食物驱动烹饪室的信号发送到烹饪设备的视图；
42.图7是示出提供用于显示烹饪食物的拍摄图像和从用户接收的关于食物的烹饪状态的多个菜单的ui，以及提供用于在用于请求食物的附加烹饪的第一菜单被选择时显示用于选择附加烹饪状态的多个图像的ui的视图；
43.图8是示出用于在执行与图7中选择的图像相应的烹饪之后显示烹饪食物的图像的ui的视图；
44.图9是示出当用于通知食物的烹饪失败的第二菜单被选择时，提供用于显示用于分析与食物的烹饪状态有关的原因的多个菜单的ui的视图；
45.图10是示出当具有烹饪失败历史的食物被选择时用于显示通知消息的ui的视图；
46.图11是示出根据实施例的通过设置在烹饪设备中的显示器提供用于显示指示不同烹饪水平的多个参考图像的ui的视图；
47.图12是示出通过设置在烹饪设备中的显示器提供食物选择ui的视图；
48.图13是示出通过设置在烹饪设备中的显示器提供用于显示烹饪食物的拍摄图像和从用户接收的关于食物的烹饪状态的多个菜单的ui，并且提供当用于请求食物的附加烹饪的第一菜单被选择时用于显示用于选择附加烹饪状态的多个图像的ui的视图；
49.图14是示出当用于通知食物的烹饪失败的第二菜单被选择时，提供用于向用户终端装置发送用于分析与食物的烹饪状态相关的原因的信息的ui的视图；
50.图15是示出根据本公开的实施例的控制烹饪设备的方法的流程图；
51.图16是用于示出根据实施例的获取烹饪设备中的食物的3d图像的实施例的流程图；
52.图17是示出使用相机和激光装置获取食物的三维图像的实施例的视图；以及
53.图18是示出从食物的拍摄图像中识别食物区域和非食物区域并且仅对食物区域执行颜色校正的实施例的视图。
具体实施方式
54.在下面的描述中，即使在不同的附图中，相同的附图标记也用于相同的元件。在下
面的描述中，如果公知的功能或结构会以不必要的细节模糊本发明，则可能不会详细描述这些公知的功能或结构。此外，可任意选择附图中的各种元件的尺寸以帮助全面理解。
55.本公开和权利要求中使用的术语可以是考虑到本公开的各种示例实施例的功能而选择的一般术语。然而，这些术语可根据本领域技术人员的意图、法律或技术解释、新技术的出现等而变化。此外，可存在由申请人任意选择的一些术语。除非没有具体定义这些术语，否则这些术语可根据本公开中定义的含义来解释，并且还可基于本公开的一般内容和本领域中的典型技术概念来解释。
56.在本公开的描述中，除非在后续步骤之前逻辑地和时间地执行前一步骤，否则每一个步骤的顺序应被理解为非限制性的。换句话说，除了上述例外情况之外，即使在被描述为前一步骤的过程之前执行被描述为后续步骤的过程，本公开的本质也不受影响，并且无论步骤的顺序如何，本公开的范围也应该被定义。
57.在本公开的示例性实施例中使用的术语“具有”、“可具有”、“包括”和“可包括”指示相应特征(例如，诸如数值、功能、操作或部分的元件)的存在，并且不排除附加特征的存在。
58.诸如“第一”、“第二”等的术语可用于描述各种元件，但是元件不应受这些术语的限制。这些术语仅用于区分一个组件与其他组件。例如，在不脱离本公开的范围的情况下，“第一”组件可被命名为“第二”组件，反之亦然。
59.在本公开中，描述了描述本公开的每一个实施例所需的组件，因此本公开不一定限于此。因此，可改变或省略一些组件，并且可添加其他组件。此外，它们可分布和布置在不同的独立装置中。
60.下面将参照附图中描述的附图和内容更详细地描述本公开的各种示例实施例，但是本公开不受实施例的约束或限制。
61.在下文中，现在将参照附图详细解释各种示例实施例。
62.图1是示意性地示出根据实施例的烹饪系统的视图。
63.参照图1，烹饪系统可包括烹饪设备100、用户终端装置200和服务器300。
64.烹饪设备100、用户终端装置200和服务器300可通过一个装置控制另一装置，或者通过经由通信发送和接收各种类型的信息来与另一装置共享和更新信息。
65.烹饪设备100是通过将使用电或气体生成的高温热量施加到食物来执行各种烹饪操作的设备，并且可与烤箱、电磁炉、电炉、燃气灶等相应。
66.用户终端装置200是能够执行各种功能(诸如向用户提供信息或接收用户命令)的装置，并且可以是各种电子装置，诸如智能电话、平板电脑、可穿戴装置、pc等。
67.服务器300可指收集和处理外部装置的数据的电子装置。例如，服务器300不仅是执行专用于服务器(诸如云服务器)的功能的装置，而且服务器可被实现为可执行服务器的功能以及其他功能的各种电子装置，诸如智能电话、平板电脑、可穿戴装置、pc等。然而，这仅是示例，并且服务器300也可用其中未列出的各种类型的电子装置来实现。此外，服务器300可被实现为单个装置或包括多个装置的集合体。例如，服务器300可以是提供smartthings服务的服务器。
68.关于根据本公开的实施例的烹饪系统，烹饪设备100可包括用于拍摄要烹饪的食物的相机，并且将包括通过相机拍摄图像的信息发送到用户终端装置200。在该配置中，烹
饪设备100可将信息直接发送到用户终端装置200或者通过服务器300发送信息。
69.用户终端装置200可通过显示器将接收到的拍摄图像提供给用户，并且可接收关于拍摄图像的用户输入。用户终端装置200可根据用户输入向烹饪设备100发送反馈。在该配置中，用户终端装置200可将信息直接发送到烹饪设备100，或者可通过服务器300发送信息。
70.烹饪设备100可基于从用户终端装置200接收的反馈来控制烹饪设备100的各种组件。作为示例，烹饪设备100可接收关于食物的拍摄图像的请求附加烹饪的反馈、指示烹饪失败的反馈、指示烹饪成功的反馈等，根据每一个反馈控制烹饪室对食物执行附加烹饪，或者当此后执行相同的烹饪时生成要提供给用户的通知消息。
71.因此，可通过经由用户终端装置200(诸如用户熟悉的移动装置)提供关于烹饪设备100的信息并接收用于烹饪设备100的用户命令来控制烹饪设备100，从而改善用户对烹饪环境的可访问性和便利性。
72.下面将参照附图描述与烹饪设备100和用户终端装置200的各个操作相关的详细描述。
73.图2是示出根据实施例的烹饪设备的配置的框图。
74.参照图2，烹饪设备100包括烹饪室110、相机120、通信接口130和存储器140。
75.烹饪室110可包括用于容纳食物的空间，并且被配置为对食物执行烹饪操作。烹饪室110可包括用于生成热量的加热构件、能够旋转和移动食物的驱动装置等。
76.相机120可设置在烹饪室110内部，并且可在烹饪室110内部拍摄。具体地，相机120可拍摄容纳在烹饪室110中的食物。
77.通信接口130可通过执行与外部装置的通信来发送/接收各种信息。烹饪设备100可通过通信接口130与各种外部装置(诸如用户终端装置200和服务器300)通信。
78.通信接口130可通过局域网(lan)、互联网网络和移动通信网络与外部装置通信，并且还可通过各种通信方法(诸如蓝牙(bt)、蓝牙低功耗(ble)、无线保真直连(wi-fi直连)、zigbee、nfc等)与外部装置通信。对于该操作，通信接口130可包括用于执行网络通信的各种通信模块。例如，通信接口130可包括蓝牙芯片、wi-fi芯片、无线通信芯片等。
79.可将烹饪设备100或处理器150的操作所需的各种指令、程序或数据存储在存储器140中。
80.可将关于可由烹饪设备100烹饪的各种食物的信息存储在存储器140中，并且可存储关于每种食物的烹饪方法的信息。例如，存储在存储器140中的烹饪方法可包括诸如烹饪时间、烹饪温度、烹饪模式等的信息。
81.处理器150可电连接到烹饪室110、相机120、通信接口130和存储器140，以控制烹饪设备100的全部操作。
82.当在通过通信接口130连接的用户终端装置200中选择食物时，处理器150可基于与所选择的食物相应的烹饪方法来驱动烹饪室110。可从存储器140获取关于与每种食物相应的烹饪方法的信息。处理器150不仅可通过用户终端装置200接收烹饪选择命令，而且还可通过诸如设置在烹饪设备100中的操作面板的输入装置(或输入接口160)接收烹饪选择命令。
83.处理器150可控制相机120拍摄烹饪室内的食物。当食物的烹饪完成时，即，当根据
与所选择的食物相应的烹饪方法的烹饪操作完成时，处理器150可控制相机120拍摄食物。
84.处理器150可控制通信接口130将通过相机120获取的食物的拍摄图像发送到用户终端装置200。例如，处理器150可将烹饪食物的拍摄图像发送到用户终端装置200。因此，用户终端装置200可通过显示器向用户提供接收到的拍摄图像。此外，处理器150可控制通过设置在烹饪设备100中的显示器171显示拍摄图像。
85.图3是示出根据实施例的烹饪设备的详细配置的框图。
86.参照图3，烹饪设备100可包括烹饪室110、相机120、通信接口130、存储器140、输入接口160、输出接口170和激光装置180。省略了图3中所示的与图2中的构成元件冗余的构成元件的详细描述。
87.输入接口160可接收各种用户命令。例如，输入接口160可接收用于控制烹饪设备100执行可执行烹饪操作的用户命令。另外，输入接口160可接收用户对食物的拍摄图像的反馈。
88.输入接口160可被实现为通过烹饪设备100的按钮(或键)接收用户命令的操作面板、通过触摸屏接收用户命令的显示器、接收用户发出的语音的麦克风等。输入接口160可表示为输入装置。
89.输出接口170可包括显示器171和扬声器172中的至少一个。显示器171是用于以视觉形式(例如，文本、图像等)输出信息的装置。显示器171可在显示区域的全部或部分上显示图像帧。显示区域可指视觉地显示信息或数据的像素单元的整个区域。扬声器172是以听觉形式(例如，语音)输出信息的装置。扬声器不仅可直接输出各种通知声音或语音消息，而且可直接输出已经由音频处理单元对其执行了各种处理任务(诸如解码、放大和噪声滤波)的各种音频数据作为声音。
90.激光装置180可设置在烹饪室110内部，并且可朝向设置在烹饪室110内部的食物照射激光。处理器150可使用相机120和激光装置180获取食物的3d图像。例如，处理器150可基于由相机120利用通过激光装置180朝向食物照射的线性激光拍摄的图像来获取食物的三维图像。
91.处理器150可使用食物的三维图像将食物的拍摄图像识别为食物区域和非食物区域。
92.下面将参照图16至图18描述用于使用激光装置180获取食物的三维图像的本公开的实施例。
93.图4是示出根据实施例的用户终端装置的配置的框图。
94.参照图4，用户终端装置200可包括通信接口210、存储器220、处理器230、显示器240和扬声器250。
95.通信接口210可通过与外部装置(诸如烹饪设备100和服务器300)通信来发送/接收各种信息。通信接口210可发送用于控制烹饪设备100的信号，诸如烹饪选择命令、反馈命令等，并且从烹饪设备100接收包括食物的拍摄图像的各种烹饪信息。
96.可将用于控制包括用于拍摄烹饪室内部的相机的烹饪设备100的应用存储在存储器220中。用户终端装置200可通过执行存储在存储器220中的应用来向烹饪设备100或服务器300发送信息/从烹饪设备100或服务器300接收信息。例如，用户终端装置200可通过服务器300将通过应用程序执行屏幕输入的用户命令发送到烹饪设备100。
97.当应用被首次执行时，通过显示器240向用户提供表示不同烹饪水平的多个参考图像，并且当多个参考图像中的一个参考图像被选择时，处理器可根据所选择的参考图像存储用户的烹饪偏好。因此，处理器230可根据用户的烹饪偏好更新烹饪方法，并基于更新的烹饪方法控制驱动烹饪室。下面将参照图5描述与其相关的详细描述。
98.另外，当应用被执行时，处理器230可控制显示器240显示用于接收要在烹饪设备100中烹饪的食物的输入的食物选择ui，并且控制通信接口210将与在食物选择ui中输入的食物相应的控制信号发送到烹饪设备100。下面将参照图6描述其详细描述。
99.另外，当处理器230从烹饪设备100接收到食物的拍摄图像时，处理器230可控制显示器240显示用于接收针对拍摄图像和食物的烹饪状态的输入的多个菜单，并且当多个菜单中的一个菜单被选择时，处理器230可将与所选择的菜单相应的反馈发送到烹饪设备100。在该配置中，多个菜单可包括用于请求食物的附加烹饪的第一菜单、用于通知食物的烹饪失败的第二菜单、以及用于通知食物的烹饪成功的第三菜单。下面将参照图7描述与其相关的详细描述。
100.图5是示出根据实施例的通过用户终端装置提供用于显示指示不同烹饪水平的多个参考图像的ui的视图。
101.用户终端装置200可显示指示不同烹饪水平的多个参考图像511、512和513。作为示例，指示不同烹饪水平的多个参考图像511、512和513可以是对相同食物应用不同烘焙步骤(或烘焙程度)的图像。用户可从多个参考图像511、512和513中选择适合于他/她的偏好的参考图像。
102.当多个参考图像中的一个参考图像被选择时，用户终端装置200可根据所选择的参考图像存储用户的烹饪偏好。因此，处理器230可根据用户的烹饪偏好更新烹饪方法，并基于更新的烹饪方法控制驱动烹饪室。
103.例如，用户终端装置200可将与所选择的参考图像相应的控制信号发送到烹饪设备100。烹饪设备100可控制烹饪室执行与所选择的参考图像相应的烹饪操作，即，用于实现所选择的烘焙程度的烹饪操作。
104.此外，烹饪设备100可根据与所选择的参考图像相应的烹饪水平来更新存储在存储器中的烹饪方法。在该配置中，可根据所选择的烹饪水平来更新用于存储在烹饪设备100的存储器中的多种食物中的每一种食物的烹饪方法。例如，当与第二烹饪水平相应的参考图像512被选择时，可将用于多个储存的食物中的每一个食物的烹饪方法设置为第二烹饪水平。
105.可将多个参考图像和与多个参考图像中的每一个参考图像相应的烹饪方法存储在用户终端装置200或烹饪设备100的存储器中。
106.图6是示出根据实施例的提供食物选择ui并且通过用户终端装置将用于根据所选择的食物驱动烹饪室的信号发送到烹饪设备的视图。
107.用户终端装置200可显示用于接收对要通过烹饪设备100烹饪的食物的选择的ui。可通过存储在用户终端装置200中的应用的执行屏幕来提供食物选择ui。参照图6，可显示可由烹饪设备100烹饪的各种烹饪食谱610、611、612、620和630。
108.当通过食物选择ui选择食物时，用户终端装置200可基于与所选择的食物相应的烹饪方法将用于驱动烹饪室的控制信号发送到烹饪设备100。
109.图7是示出提供用于显示烹饪食物的拍摄图像和从用户接收的关于食物的烹饪状态的多个菜单的ui，以及提供用于在用于请求食物的附加烹饪的第一菜单被选择时显示用于选择附加烹饪状态的多个图像的ui的视图。
110.参照图7，在烹饪设备100完成烹饪之后，用户终端装置200可显示用于接收拍摄的食物的拍摄图像710和食物的烹饪状态的多个菜单721、722和723。多个菜单可包括用于请求食物的附加烹饪的第一菜单721、用于通知食物的烹饪失败的第二菜单722和用于通知食物的烹饪成功的第三菜单723。
111.用户可通过查看拍摄图像710来识别食物是否烹饪不足、烹饪过度或完成良好。用户可根据拍摄图像710的烹饪状态的识别来选择多个菜单721、722和723中的任何一个。
112.例如，当识别出食物未烹饪时，用户可选择用于请求食物的附加烹饪的第一菜单721。另外，当识别出食物被过度烹饪时，用户可选择用于通知烹饪失败的第二菜单722，并且如果识别出食物被正确烹饪，则用户可选择用于通知烹饪成功的第三菜单723。
113.当第一菜单721被选择时，用户终端装置200可将关于拍摄图像的第一反馈发送到烹饪设备100。当接收到第一反馈时，烹饪设备100可向用户终端装置200提供用于选择食物的附加烹饪状态的多个图像731、732和733，并且当多个图像中的一个图像被选择时，烹饪设备100可控制驱动烹饪室110以根据与所选择的图像相应的附加烹饪状态执行附加烹饪。
114.当从用户终端装置200接收到第一反馈时，烹饪设备100可向用户终端装置200提供用于选择食物的附加烹饪状态的多个图像731、732和733。当烹饪设备100从用户终端装置200接收到用于选择多个图像731、732和733中的一个的选择命令时，烹饪设备100可控制根据与所选择的图像相应的附加烹饪状态来执行附加烹饪。
115.在该配置中，多个图像731、732和733可与通过校正由烹饪设备100的相机120拍摄的拍摄图像(被识别为未烹饪的食物的拍摄图像，诸如710)而生成的图像相应。换句话说，在如图7所示的烘焙食物的情况下，可通过对食物的拍摄图像进行颜色校正来显示根据额外烹饪的褐变程度，从而逐步向用户提供根据执行额外烹饪时预期结果的食物图像。因此，用户可直观地识别期望的附加烹饪程度，并且可将用于执行与所选择的图像相应的附加烹饪的控制命令发送到烹饪设备100。
116.可由烹饪设备100、用户终端装置200或服务器300执行通过使用食物的拍摄图像以根据附加烹饪生成预期结果的图像的操作。在该配置中，可通过将合成另一图像(例如，应用更强烘焙程度的食物的参考图像)的风格的风格迁移方法应用于拍摄图像来生成预期结果图像。
117.当第二菜单722被选择时，用户终端装置200可将关于拍摄图像的第二反馈发送到烹饪设备100。当接收到第二反馈时，烹饪设备100可向用户终端装置200提供用于分析食物的烹饪状态的原因的多个菜单，并且当多个菜单中的至少一个被选择时，烹饪设备100可基于所选择的菜单更新存储在存储器140中的信息。
118.此外，用户终端装置200可显示用于接收作为输入的烹饪失败因素的失败分析ui。下面将参照图9描述与其相关的详细描述。
119.此外，当第三菜单623被选择时，用户终端装置200可发送用于控制停止驱动烹饪设备100的烹饪室的第三反馈，使得烹饪设备100的烹饪操作终止。
120.此外，根据本公开的另一实施例，烹饪设备100可在没有用户反馈输入的情况下通
过将食物的拍摄图像与预先存储的烹饪过的食物的图像进行比较来识别烹饪状态。在该配置中，烹饪设备100可基于拍摄图像与烹饪过的食物的图像之间的比较结果来识别是否需要额外的烹饪、烹饪是否不成功或者烹饪是否成功，从而执行与每一个烹饪状态相应的操作。
121.图8是示出用于在执行与图7中选择的图像相应的烹饪之后显示烹饪食物的图像的ui的视图。
122.在完成附加烹饪之后，烹饪设备100可向用户终端装置200提供通过拍摄食物而获取的拍摄图像810。
123.此外，可通过设置在烹饪设备100以及用户终端装置200中的显示器171来提供用于显示用于接收关于食物的拍摄图像和食物的烹饪状态的输入的多个菜单的ui。下面将参照图11至图14描述与其相关的详细描述。
124.图9是示出当用于通知食物的烹饪失败的第二菜单被选择时，提供用于显示用于分析与食物的烹饪状态有关的原因的多个菜单的ui的视图。
125.参照图9，在烹饪设备100完成烹饪之后，用户终端装置200可显示用于接收拍摄的食物的拍摄图像910和食物的烹饪状态的多个菜单921、922和923。
126.当用于通知食物的烹饪失败的第二菜单922被选择时，用户终端装置200可提供用于分析食物的烹饪状态的原因的多个菜单930，并且当多个菜单中的至少一个被选择时，用户终端装置200可基于所选择的菜单更新存储在烹饪设备100的存储器140中的信息。在该配置中，更新可包括用于校正包括在烹饪方法中的烹饪时间、烹饪温度和烹饪模式中的至少一个的更新，或者用于生成要提供用于下一次烹饪的通知消息的更新。
127.用户终端装置200可提供可从其中选择各种烹饪失败因素的菜单930，从用户接收烹饪失败因素并将它们存储在存储器140中，从而在下次执行相同烹饪时向用户提供关于烹饪失败历史的通知消息。
128.图10是示出当具有烹饪失败历史的食物被选择时用于显示通知消息的ui 1010的视图。
129.参照图10，当存在关于由用户选择的食物的烹饪失败历史时，可在执行烹饪操作之前提供在先前烹饪中拍摄的食物的拍摄图像1011(烹饪失败图像)和由用户选择的烹饪失败因素1012。
130.图11是示出根据实施例的通过设置在烹饪设备中的显示器提供用于显示指示不同烹饪水平的多个参考图像的ui的视图，并且图12是示出通过设置在烹饪设备中的显示器提供食物选择ui的视图。
131.关于通过烹饪设备100的显示器171显示的ui，由于上面参照图6至图8描述的用户终端装置200的ui的描述可等同地应用，因此将省略重叠的描述。
132.图13是示出通过设置在烹饪设备中的显示器提供用于显示烹饪食物的拍摄图像和从用户接收的关于食物的烹饪状态的多个菜单的ui，并且提供当用于请求食物的附加烹饪的第一菜单被选择时用于显示用于选择附加烹饪状态的多个图像的ui的视图。
133.参照图13，烹饪设备100可通过显示器171显示所烹饪的食物的拍摄图像1310和用于接收关于食物的烹饪状态的输入的多个菜单1321、1322和1323。多个菜单可包括用于请求食物的附加烹饪的第一菜单1321、用于通知食物的烹饪失败的第二菜单1322和用于通知
食物的烹饪成功的第三菜单1323。
134.在该配置中，烹饪设备100可通过设置在烹饪设备100中的输入装置(或输入接口160)(诸如操作面板)接收用户命令。此外，当显示器171被实现为触摸屏时，可通过显示器171上的触摸输入来输入用户命令。
135.当对第一菜单1321的选择被输入时，烹饪设备100可通过显示器171显示用于选择食物的附加烹饪状态的多个图像1331、1332和1333。当多个图像中的一个被选择并且附加烹饪开始命令通过附加烹饪开始ui 1340被输入时，烹饪设备100可控制驱动烹饪室110以根据与所选择的图像相应的附加烹饪状态执行附加烹饪。
136.此外，当附加烹饪完成时，烹饪设备100可通过显示器171显示拍摄的食物的拍摄图像1350。
137.图14是示出当用于通知食物的烹饪失败的第二菜单被选择时，提供用于向用户终端装置发送用于分析与食物的烹饪状态相关的原因的信息的ui的视图。
138.参照图14，烹饪设备100可显示在烹饪完成之后拍摄的食物的拍摄图像1410和用于接收关于食物的烹饪状态的输入的多个菜单1421、1422和1423。
139.当关于用于通知食物的烹饪失败的第二菜单922的选择被输入时，烹饪设备100可显示ui 1430，该ui 1430向用户终端装置发送用于分析食物的烹饪状态的原因的信息。在该配置中，当信息从烹饪设备100发送到用户终端装置200时，用户终端装置200可向用户提供失败分析ui(参照图9的930)。
140.图15是示出根据本公开的实施例的控制烹饪设备的方法的流程图。
141.参照图15，根据本公开的实施例的烹饪设备的控制方法可包括：当食物被选择时基于与所选择的食物相应的烹饪方法来驱动烹饪室(s1510)，使用相机拍摄烹饪室中的食物(s1520)，将烹饪食物的拍摄图像发送到用户终端装置(s1530)，当接收到关于拍摄图像的第一反馈时，向用户终端装置提供用于接收对关于食物的附加烹饪状态的选择的多个图像(s1540)，以及当接收到针对拍摄图像的第二反馈时，向用户终端装置提供用于分析食物的烹饪状态的原因的多个菜单(s1550)。
142.当食物被选择时，烹饪设备可基于与所选择的食物相应的烹饪方法来驱动烹饪室(s1510)。
143.烹饪设备可使用相机拍摄食物(s1520)。
144.烹饪设备可将烹饪食物的拍摄图像发送到用户终端装置(s1530)。
145.当接收到关于拍摄图像的第一反馈时，烹饪设备可向用户终端装置提供用于接收关于食物的附加烹饪状态的选择的多个图像(s1540)。
146.另外，当接收到针对拍摄图像的第二反馈时，烹饪设备可向用户终端装置提供用于分析食物的烹饪状态的原因的多个菜单(s1550)。
147.在下文中，将参照图16至图18描述根据本公开的实施例的使用激光装置获取食物的三维图像的实施例。
148.图16是用于示出根据实施例的获取烹饪设备中的食物的3d图像的实施例的流程图，图17是示出使用相机和激光装置获取食物的三维图像的实施例的视图，并且图18是示出从食物的拍摄图像中识别食物区域和非食物区域并且仅对食物区域执行颜色校正的实施例的视图。
149.参照图16，烹饪设备可包括获取食物的三维图像(s1610)，基于食物的三维图像从食物的拍摄图像中识别食物区域和非食物区域(s1620)，以及通过对拍摄图像的食物区域执行颜色校正来生成用于接收针对食物的附加烹饪状态的选择的多个图像(s1630)。
150.烹饪设备可获取食物的3d图像(s1610)。在该配置中，烹饪设备可基于由相机120利用通过激光装置180朝向食物照射的线性激光拍摄的图像来获取食物的三维图像。
151.参照图17，当激光装置180朝向食物照射线性激光时，照射到食物上的线性激光可根据食物表面的曲率形成为弯曲形状。烹饪设备可通过驱动烹饪室来旋转食物，因此食物可旋转360度并且通过相机120拍摄照射的激光的形状来获取食物的三维图像。
152.具体地，处理器150可获取三维空间坐标，例如，关于拍摄的线性激光上的多个区域的x轴、y轴和z轴的坐标。
153.在该配置中，处理器150可将拍摄的线性激光上的多个区域中具有3d空间坐标的高度值(例如，z轴坐标值为0)的区域识别为非食物区域。这里，相对于烹饪室的底表面的高度值可被设定为0。此外，处理器150可将拍摄的线性激光上的多个区域中具有非零高度值的区域识别为食物区域。
154.此外，处理器150可通过另外考虑食物的拍摄图像来提高区分食物区域与非食物区域的准确性。具体地，处理器150可通过将拍摄的线性激光上的多个区域中的每一个区域的位置与食物的拍摄图像处的位置进行匹配来获取与多个区域中的每一个区域相应的食物的颜色值。换句话说，可获取线性激光照射到的食物表面的颜色值(例如，rgb值)。处理器150可通过将所拍摄的线性激光上的多个区域中的高度值为0的区域中的颜色值在预定范围内的区域与具有非零高度值的区域进行比较来将该区域识别为食物区域。因此，鉴于食物表面的颜色值，甚至具有与食物颜色相似的颜色的区域也可被识别为食物区域。
155.激光装置180的激光照射方向和相机120的拍摄方向可被布置为形成预定角度。
156.此外，烹饪设备可包括基于食物的三维图像从食物的拍摄图像中识别食物区域和非食物区域(s1620)，并且通过对拍摄图像的食物区域执行颜色校正来生成用于接收对食物的附加烹饪状态的选择的多个图像(s1630)。
157.在该配置中，烹饪设备可将食物的三维图像和食物的拍摄图像进行匹配，以将从拍摄图像识别的食物的外部区域的内部识别为食物区域。
158.参考图18，处理器150可将通过拍摄食物获取的拍摄图像1810与食物的三维图像进行匹配，并从拍摄图像1810中识别食物的外部区域，并将外部区域的内部识别为食物区域1820。处理器150可生成对所识别的食物区域执行颜色校正的图像1830。换句话说，在如图7所示的烘焙食物的情况下，可通过对食物的拍摄图像进行颜色校正以根据附加烹饪不同地校正褐变程度，来逐步向用户提供根据执行附加烹饪时预期的结果的食物图像。换句话说，可生成用于接收对食物的附加烹饪状态的选择的图像1840。因此，用户可直观地识别期望的附加烹饪程度。尽管在图18中示出了一个图像的生成，但是可如图5所示提供根据烹饪步骤的多个图像。
159.虽然已经参照各种示例实施例示出和描述了本公开，但是应当理解，各种示例实施例旨在是说明性的而非限制性的。本领域技术人员将进一步理解，在不脱离本公开的真实精神和全部范围(包括所附权利要求及其等同物)的情况下，可在形式和细节上进行各种改变。

技术特征：
1.一种烹饪设备，包括：烹饪室，被配置为容纳食物；相机，被配置为拍摄所述烹饪室内部；通信接口；存储器，被配置为存储用于每种食物的烹饪方法；以及处理器，被配置为：基于食物被选择，基于与所选择的食物相应的烹饪方法驱动所述烹饪室，控制所述相机拍摄所述烹饪室内的食物，并控制所述通信接口将食物的拍摄图像发送到用户终端装置，基于接收到与所述拍摄图像相关的第一反馈，向所述用户终端装置提供用于选择食物的附加烹饪状态的多个图像，以及基于接收到与所述拍摄图像相关的第二反馈，向所述用户终端装置提供用于分析食物的烹饪状态的原因的多个菜单。2.根据权利要求1所述的烹饪设备，其中，所述处理器被配置为：基于接收到第一反馈，控制驱动所述烹饪室以根据所述附加烹饪状态中被选择的烹饪状态执行附加烹饪，所述附加烹饪状态中被选择的烹饪状态与提供给所述用户终端装置的所述多个图像中的被选择的图像相应。3.根据权利要求1所述的烹饪设备，其中，所述处理器被配置为：基于接收到第二反馈，基于提供给所述用户终端装置的所述多个菜单中的菜单被选择来更新存储在所述存储器中的信息。4.根据权利要求3所述的烹饪设备，其中，所述更新包括用于校正包括在所述烹饪方法中的烹饪时间、烹饪温度和烹饪模式中的至少一个的更新和用于生成要在下一次烹饪时提供的通知消息的更新中的至少一个。5.根据权利要求1所述的烹饪设备，其中，所述处理器被配置为：基于接收到与所述拍摄图像相关的第三反馈，控制停止驱动所述烹饪室。6.根据权利要求1所述的烹饪设备，还包括：显示器；以及输入装置，被配置为接收用户反馈，其中，所述处理器被配置为：控制所述显示器显示所述拍摄图像，并且控制所述显示器基于通过所述输入装置输入的第一反馈来显示用于在食物的附加烹饪状态中进行选择的所述多个图像，并且基于通过所述输入装置输入的第二反馈来显示用于分析食物的烹饪状态的原因的所述多个菜单。7.根据权利要求6所述的烹饪设备，其中，所述处理器被配置为：基于第一反馈被输入，控制驱动所述烹饪室来基于显示在所述显示器上的所述多个图像中的一个图像被选择，根据附加烹饪状态中的与被选择的图像相应的一个附加烹饪状态来执行附加烹饪。8.根据权利要求6所述的烹饪设备，其中，所述处理器被配置为：基于接收到第二反馈，基于显示在所述显示器上的所述多
个菜单中的菜单被选择来更新存储在所述存储器中的信息。9.根据权利要求1所述的烹饪设备，其中，所述存储器被配置为存储指示不同烹饪水平的多个参考图像和针对每种食物的与所述多个参考图像中的每一个参考图像匹配的烹饪方法，并且其中，所述处理器被配置为将所述多个参考图像提供给所述用户终端装置，基于所述多个参考图像中的一个参考图像被选择，根据与被选择的参考图像相应的烹饪水平来更新存储在所述存储器中的烹饪方法，并且基于与被选择的参考图像相应的烹饪方法来控制所述烹饪室。10.根据权利要求1所述的烹饪设备，还包括：激光装置，被配置为朝向食物照射激光，其中，所述处理器被配置为：使用所述相机和所述激光装置获取食物的三维图像，基于食物的三维图像，从食物的所述拍摄图像中识别食物区域和非食物区域，以及通过对所述拍摄图像的食物区域执行颜色校正，生成用于接收关于食物的附加烹饪状态的选择的多个图像。11.根据权利要求10所述的烹饪设备，其中，所述处理器被配置为：基于由所述相机通过所述激光装置朝向食物照射的线性激光而拍摄的图像，获取关于拍摄的线性激光上的多个区域中的每一个区域的三维空间坐标，并将所述多个区域中三维空间坐标的高度值为0的区域识别为非食物区域，并将具有非零高度值的区域识别为食物区域。12.根据权利要求11所述的烹饪设备，其中，所述处理器被配置为：基于由所述相机拍摄的图像获取与拍摄的线性激光上的多个区域中的每一个区域相应的食物的颜色值，并与三维空间坐标的高度值为0的区域中具有非零高度值的区域进行比较，并将颜色值在预定范围内的区域识别为食物区域。13.根据权利要求10所述的烹饪设备，其中，所述处理器被配置为：将食物的三维图像与食物的所述拍摄图像进行匹配，并将从所述拍摄图像中识别的食物的外部区域的内部识别为食物区域。14.一种用户终端装置，包括：存储器，被配置为存储用于控制烹饪设备的应用，所述烹饪设备包括：相机，用于拍摄烹饪室内部；显示器；通信接口；以及处理器，被配置为：基于所述应用正被执行，控制所述显示器显示用于接收与要在所述烹饪设备中烹饪的食物相关的输入的食物选择用户界面(ui)，并且控制所述通信接口将与和食物相关的输入相应的控制信号从所述食物选择ui发送到所述烹饪设备，基于从所述烹饪设备接收到食物的拍摄图像，控制所述显示器显示用于接收与所述拍摄图像相关的输入和与所述拍摄图像相关的反馈的多个菜单，并且基于所述多个菜单中的至少一个菜单被选择，将与所选择的所述至少一个菜单相应的反馈发送到所述烹饪设备。
15.一种控制烹饪设备的方法，所述烹饪设备包括用于拍摄烹饪室内部的相机，所述方法包括：基于与食物相关的选择，根据烹饪方法驱动所述烹饪室，其中，所述烹饪方法相应于与食物相关的选择；使用所述相机拍摄所述烹饪室内的食物；将食物的拍摄图像发送到用户终端装置；基于接收到与所述拍摄图像相关的第一反馈，将用于接收关于食物的附加烹饪状态的选择的多个图像提供给所述用户终端装置；以及基于接收到与所述拍摄图像相关的第二反馈，将用于分析食物的烹饪状态的原因的多个菜单提供给所述用户终端装置。

技术总结
公开了一种烹饪设备。该烹饪设备包括：烹饪室，用于接收食物；相机，用于对烹饪室内部进行成像；通信接口；存储器，用于存储每种菜肴的烹饪方法；以及处理器，该处理器：当选择出菜肴时，基于与所选择的菜肴相应的烹饪方法来驱动烹饪室；控制相机捕获烹饪室中的食物的图像；控制通信接口将食物的捕获图像发送到用户终端装置；当接收到与捕获图像相关的第一反馈时，向用户终端装置提供用于选择食物的附加烹饪状态的多个图像；并且当接收到与捕获图像相关的第二反馈时，向用户终端装置提供用于分析食物的烹饪状态的原因的多个菜单。食物的烹饪状态的原因的多个菜单。食物的烹饪状态的原因的多个菜单。


技术研发人员：郑珍镐 金宇宙 李东明 李周炫 权纯澈
受保护的技术使用者：三星电子株式会社
技术研发日：2022.04.11
技术公布日：2023/10/20