瓶子分析系统的制作方法

1.本发明涉及瓶子的分析，并且特别是用于给婴儿喂乳汁或在使用吸乳器时收集乳汁的瓶子。


背景技术：

2.奶瓶有许多不同类型、形状和尺寸。
3.已知地，当从瓶子喂食时，对于母亲来说感兴趣的是：监测其婴儿正在饮用的乳汁的量，以及监测在吸乳器的使用期间收集的乳汁的量是。乳汁摄入的体积和使用的瓶子类型对于初生的婴儿和幼儿是重要的。乳汁过量摄入或摄入不足是护理人员和父母等面临的常见问题。研究表明，过量喂食导致呕吐、腹泻、体重减轻，以及一些情况下的死亡。喂食不足导致过度黄疸、严重脱水和可能导致脑损伤的低血糖。
4.随着持续使用和洗涤，奶瓶上的体积标记趋于逐渐消失，使得难以人工评估体积。人们还经常发现难以在不同的瓶子类型之间区分。
5.申请人已经提出了一种用于自动乳汁管理的使用套筒的系统，该套筒安装在瓶子周围并包含有称重秤，以在婴儿喂食前后对瓶子进行称重，从而确定实际的喂食量。系统被公开在wo2019/030029中。
6.这就需要用户必须使用附加的部件。该部件还需要被设计成适合于多种瓶子尺寸和形状。
7.us2010/097451公开了一种基于图像分析来感测注射器中的内含物(气泡或异物)的传感器。图像分析还可以检测注射器类型。
8.wo2020/117780公开了一种用于基于图像分析来确定容器中的液位的系统。本发明涉及确定用于测试患者样本的容器中的试剂液位。
9.us2011/093109公开了生产线上物品的控制，并且使用图像分析来确定生产线上产品和包装的体积。
10.需要一种更为简单的系统，该更为简单的系统用于能够监测摄入量或在吸乳泵使用期间所产生的量。


技术实现要素：

11.本发明由权利要求限定。
12.根据本发明的一个方面的实例，提供了一种瓶子分析系统，包括：
13.用于接收要被分析的瓶子的图像数据的输入；以及
14.处理器，其中该处理器适于：
15.使用图像分析来至少标识瓶子的形状特性，并且由此确定瓶子类型；
16.从将不同瓶子类型与另外的形状特性相关联的数据库中获取该瓶子的另外的形状特性；以及
17.使用图像分析来确定瓶子中的液位，并且由此基于瓶子类型和另外的形状特性来
确定瓶子中的液体体积。
18.图像数据例如是图像、多个图像或视频流，系统使用图像分析来标识瓶子类型。以这种方式，系统不需要适配于特定的瓶子，但是它可以至少从瓶子的形状来标识瓶子。该形状例如基于长宽比和其它形状特性来获取，并且优选地不依赖于绝对尺寸。
19.瓶子类型例如通过访问预先存储瓶子类型的数据库来确定。对于这些预先存储的瓶子，瓶子的体积可以存储为数据以及针对从瓶子底部开始的不同液位的体积，或者实际上是将液位与相应体积相关联的函数。该信息可以被认为包括另外的形状特性。例如，最初标识的形状特性可以是独立于缩放的，而另外的形状特性与瓶子的具体缩放有关。这样，一旦瓶子类型被标识出，由图像分析而观察到的液位则可以简单地被转换成基于瓶子的已知3d形状的体积。液位的检测也是独立于缩放的，即它是瓶子的底部和顶部之间的相对高度，因此可以从与缩放无关的图像分析中获取。
20.处理器还可以适于使用图像分析来标识是否存在预定义的标识标记集中的任一标识标记。在某些瓶子上存在已知的预定义标记，例如品牌名称或瓶子类型标识符。因此，图像分析寻找这些标识符以及总体的瓶子形状。然而，为了系统的目的，这些标识符不需要被应用于瓶子。相反，它们例如是现有的表面标记特征，表面标记特征形成为标准瓶子设计的一部分以通过图像分析来识别。
21.如果不能标识预先识别的瓶子类型，则可以基于3d形状的分析来标识瓶子形状特性。
22.通过在多个时间点确定液体体积，可以跟踪液体特别是乳汁的体积。处理器例如使用计算机视觉技术，该计算机视觉技术被模式识别和神经网络(其可以被认为包括人工智能的实现)以及数学和统计公式和技术辅助。
23.因此，本发明提供了与现有应用的简单集成，并且能够实现无障碍的婴儿喂食监测体验。在多个用户(例如多个护理者)之间共享历史数据是简单的，使得他们可以跟踪婴儿所摄入的乳汁。
24.通过使用图像分析确定瓶子的至少一个形状，不需要特殊的标识标记，并且不需要相对于图像捕获系统以任何特定的取向来定位瓶子。形状信息不随老化(例如表面划痕、或颜色变化(由于磨损))而变化。即使使用不同的盖，也可以识别相同的瓶子类型。图像识别能够在单个步骤中识别瓶子类型和液位。
25.如果视频流作为图像数据的输入被接收，则它例如被转换为单独的图像以用于后续的图像分析。
26.处理器例如适于使用神经网络来确定瓶子类型。神经网络可以用现有的瓶子来训练，并且可以包括多个制造商的瓶子。训练还基于标识标记。
27.处理器可以适于使用图像分析来：
28.标识液体表面；以及可选地
29.标识瓶子表面上的液位标记。
30.液体表面可以用于确定体积，或者基于针对特定瓶子的已知体积对液位的函数(如上所述)，或者通过标识与液位标记的对准(或基于上述两者)。
31.处理器可以适于处理第一图像数据和第二图像数据并且确定液体体积的变化。这使得摄入能够随着时间而被监测，或者实际上允许在使用吸乳器的情况下测量挤出的乳汁
的量。
32.在一个优选实施例中，系统用于监测婴儿的瓶子喂食，使得液体体积的变化对应于乳汁摄入量。
33.系统还可以包括用于存储历史乳汁摄入量的存储器。这使得母亲或其它护理者能够记录婴儿的随着时间变化的喂食性能。
34.处理器可以适于基于历史乳汁摄入量来确定要喂给婴儿的乳汁的量，并输出所确定的量。这为进行喂食的母亲或护理者提供了给婴儿喂食合适的量的指导。
35.处理器可以适于通过如下方式来输出所确定的量：生成瓶子的表示乳汁的经确定的量的增强现实图像。这为母亲或护理者提供了易于遵循的指导。特别地，它们可以将瓶子填充到增强现实所表示的水平。
36.系统可以包括用于捕获图像或视频流的相机。在一个示例中，系统被实现为移动电话或平板电脑，因此使用现有的相机功能以及现有的处理能力。
37.本发明还提供了一种分析瓶子的方法，包括：
38.接收要被分析的瓶子的图像数据；
39.使用图像分析来至少标识该瓶子的形状特性，并且由此确定瓶子类型；
40.通过访问将不同瓶子类型与所述另外的形状特性相关联的数据库来获取该瓶子的另外的形状特性；以及
41.使用图像分析来确定瓶子中的液位，并且由此基于瓶子类型和所述另外的形状特性来确定瓶子中的液体体积。
42.该方法可应用于各种瓶子类型和尺寸。对于用户来说是简单的，因为如果要确定液体体积的变化，可选地他们只需要在不同的时间点捕获瓶子的图像或视频。
43.该方法可以包括使用图像分析来标识是否存在预定义的标识标记集中的任一标识标记。
44.该方法可以包括：
45.使用神经网络确定瓶子类型；以及
46.使用图像分析来标识液体表面，并且可选地还标识瓶子表面上的液位标记。
47.该方法可以包括处理第一图像数据和第二图像数据并确定液体体积的变化。该方法例如用于监测婴儿的瓶子喂食，其中液体体积的变化对应于乳汁摄入量，其中该方法还包括基于历史乳汁摄入量来确定要被喂食给婴儿的乳汁的量，并输出所确定的量。
48.所确定的量通过生成瓶子的表示该所确定的乳汁的量的增强现实图像来输出。。
49.本发明还提供了实现上述方法的计算机程序。
50.参考下面描述的实施例，本发明的这些和其它方面将变得显而易见。
附图说明
51.为了更好地理解本发明，并且为了更清楚地示出如何实现本发明，现在将仅通过示例的方式参考附图，其中：
52.图1示出了哺乳瓶以及智能电话屏幕上的哺乳瓶的捕获图像；
53.图2示出了分析瓶子的第一方法；以及
54.图3示出了图2的方法的发展，其中系统基于婴儿的过去的喂食数据来确定在瓶子
中提供多少乳汁。
具体实施方式
55.将参照附图描述本发明。
56.应当理解，详细描述和特定示例虽然指示了装置、系统和方法的示例性实施例，但是仅用于说明的目的，而并非旨在限制本发明的范围。本发明的装置、系统和方法的这些和其它特征、方面和优点将从以下描述、所附权利要求和附图中变得更好理解。应当理解，附图仅仅是示意性的并且没有按比例绘制。还应当理解，在所有附图中使用相同的附图标记来表示相同或相似的部件。
57.本发明提供了一种瓶子分析系统，其中要被分析的瓶子的图像数据(一个或多个图像或视频流)被接收，并且它们被处理以标识瓶子的形状和任何标识标记。然后瓶子类型被确定，并且其特性被从数据库中获取。图像分析用于确定瓶子中的液位，从而确定瓶子中的液体体积。
58.为了使用系统，例如在由用户喂食前后，对诸如婴儿奶瓶的瓶子拍照或拍摄。也可以对空瓶子拍照。系统例如可以通过在智能电话上提供的软件来实现。
59.图1示出了哺乳瓶10以及智能电话11的屏幕上的哺乳瓶的捕获图像。使用神经网络、计算机视觉和数学技术的任意组合，可以确定瓶子类型和其中液体的实际体积。这用于简化婴儿喂食的配给和跟踪，同时避免需要单独的专用物理设备或持续的人工监测。
60.图1示出了基于图像处理而标识的各种感兴趣区域，包括区域12中的瓶子的总体形状、区域14中的瓶子的底部部分的形状、区域16中的诸如品牌名称和/或型号的标记以及区域18中的液位标记。
61.通过从所有这些来源获取信息(当可用时-在许多情况下可能没有可见的标记)，可以从先前分析的瓶子的数据库确定瓶子类型。该步骤可以例如使用空的瓶子或使用任何量的液体来进行。该数据库给出不从图像处理获取的另外的信息，特别是使得不需要对初始图像处理进行缩放。在这个阶段，瓶子类型、瓶子的总体积和品牌已经利用数据库而被建立。
62.然后可以将该信息提供给用户，例如使得他们知道他们在填充乳汁之前正在使用正确的瓶子类型。
63.还可以通过标识液体边界来建立液位，或者可以确定瓶子在该阶段是空的。在静态图像中、或者在实况视频中、或者在从视频流中提取的一组图像中，感兴趣的区域可以被标识。
64.该确定是基于使用包括图像的预处理的计算机视觉和模式识别的对象检测技术。基于使用内部创建和标记的数据和图像处理的神经网络的训练来执行对象检测。
65.体积计算涉及发现瓶子中的液体边界，随后是后处理技术。基于已知的瓶子类型，瓶子高度的被测量片段对应于已知的体积。
66.如果预先存储的瓶子类型是不可用的，则图像处理可以确定瓶子的3d形状(例如，假定给定的壁厚)，并且然后在数学上推导出内部体积对液体高度的函数。这样，可以通过使用图像算法和/或数学公式的后处理技术来确定体积。
67.这可能需要额外的图像来标识预先存储的瓶子类型。因此，如果系统不能标识已
知的瓶子类型，则可以指示用户从一组视角拍摄多个图像，以使得能够执行3d形状确定。
68.然而，对于体积计算，则需要缩放的信息(scaled information)，即绝对尺寸。这可以例如通过要求用户将缩放应用于瓶子以由图像处理捕获来实现。
69.然而，优选的方法是用任何新的瓶子类型来训练和更新算法。在这种情况下，系统总是依赖于标识瓶子类型，然后从数据库导出体积信息。
70.因此，液体体积可以通过如下方式而被确定：基于瓶子中液体高度与实际瓶子高度的比率的测量结果，使用数学技术，例如使用边界技术和/或线检测算法来计算体积。液体高度与瓶子高度的比率对缩放不敏感，因此一旦已知瓶子类型，就不需要液位的绝对测量结果。
71.备选地，模板覆盖可以用于通过将检测到的体积与哺乳瓶的框架或图像上的匹配模板相匹配来确定哺乳瓶的体积。
72.由于瓶子的透明度以及不断变化和动态背景，可以使用后处理步骤来增加检测过程所需的精度。如果瓶子以倾斜的方式被保持，则仍然可以容易地检测瓶子类型，但是在内部存在液体的情况下对体积的确定并不准确。
73.因此，可以指示用户在瓶子站立在诸如桌子的水平表面上的情况下执行分析。
74.一旦知道了体积，可以为用户和/或为了进一步研究的目的而呈现和存储体积信息。
75.图2示出了分析瓶子的方法。该方法在步骤20开始。在此期间，接收要被分析的瓶子的图像或视频流。
76.在步骤22中，确定所接收的输入是否包括图像，如果是，则该方法进行到预处理步骤24。
77.如果输入不包括单独的图像，则在步骤23确定是否已经接收到视频流。如果是，则在进行到预处理步骤24之前，在步骤26中提取各个帧。如果输入也不是视频，则没有接收到合适的输入，并且方法返回到开始。
78.预处理例如涉及应用灰度、去除过量的噪声和提取瓶子相对于包括奶嘴和底部的图像的位置。
79.在预处理之后，在步骤28中使用图像分析来确定瓶子类型。这至少涉及标识瓶子的形状，以及存在的任何标识标记。例如，瓶子类型具有特定形状的底部以及特定形状的封闭边缘，奶嘴通过该封闭边缘伸出。参考瓶子类型数据库25来确定瓶子类型。
80.瓶子类型还被补充有来自数据库的附加信息，并且该附加信息可以被认为是另外的形状特性，并且该另外的形状特性考虑了所标识的特定瓶子类型的绝对尺寸。
81.在步骤30中，使用图像分析来确定瓶子中的液位，从而确定瓶子中的液体体积。这涉及标识由抵靠瓶子内壁的液体表面而引起的线。如果瓶子固定在平坦表面上，则该线优选是平的和直的。然而，可以检测倾斜角，并且基于来自类型数据库的已知3d形状，仍然可以确定液体体积。在方法在步骤34结束之前，在步骤32将体积信息输出给用户。
82.系统和方法例如被实现为瓶子喂食跟踪应用程序的特征。在用户没有正确地这样做的能力的情况下，该系统和方法可以用于帮助喂食监测和瓶子检测。随着时间对体积的跟踪可用作婴儿发育监测的一部分。这可以在医院环境中用于自动化和减少跟踪喂食数据的工作量。
83.图3示出了图2的方法的发展，其中系统基于婴儿的过去的喂食数据确定用户应该在瓶子中提供多少乳汁。
84.在所示的特定示例中，使用增强现实将乳汁的量呈现给用户。这使得能够针对单个婴儿使进食监测应用程序个性化。当婴儿成长时，用户改变瓶子，但是上述瓶子标识方法足够自适应以包括所有瓶子和成长阶段。这不仅有助于记录婴儿已经摄入和应该摄入多少乳汁，而且可以用作辅助手段以记录为了将来使用已经抽取多少母乳以及何时应该给婴儿喂食这些母乳。
85.图3示出了如在上述示例中使用的相机40，并且还示出了也可以在处理方法中使用的典型移动电话的其它传感器，包括陀螺仪42、加速度计44和磁力计46。
86.所有这些传感器信息被提供给处理器，处理器执行步骤48，该步骤48使用类型数据库25以与上述相同的方式来执行确定瓶子类型和体积。
87.传感器用于确定瓶子相对于移动电话(或其它摄像装置)的位置，例如基于瓶子竖直定位的假设。然而，如果瓶子是非竖直定向的，这也可以基于标识瓶子轴线而被检测到。通过知道相机的方位和在相机图像中观察到的瓶子轴线，也可以确定非竖直的瓶子方位。
88.磁力计46用于确定移动电话的真磁北(true magnetic north)。
89.然后使用加速度计44来获知移动电话相对于重力向量的方位，例如相对于重力矢量的纵向或横向。这使得能够为真实世界和相对于真实世界的虚拟世界(对于增强现实)建立基础。
90.陀螺仪42用于减少相机传感器中的抖动和噪声，从而使现实世界视图和虚拟世界之间的定位更准确。
91.在处理步骤48中使用的附加传感器数据可以用于补偿相机的角度。例如，由于透明度显示了前乳汁液位和后乳汁液位，透明的瓶子和其中乳汁体积的液位可以导致检测到多个体积液位。知道拍摄图像的角度能够帮助确定在液位检测期间选择哪一个液位。
92.此外，传感器可用作算法的附加输入，用以改进正确的瓶子分类。因此，如上所述，传感器的使用可以改善精确地检测瓶子类型和体积的能力，以及在增强现实系统的情况下实现图像覆盖的能力。
93.在步骤50中，访问乳汁历史数据库52，其存储关于个体婴儿的历史喂食信息。这用于确定喂给婴儿的期望的乳汁的量。
94.增强现实的使用例如涉及瓶子的视频序列的捕获。然后，在步骤54中，可以将所确定的期望的乳汁的量处理为增强现实覆盖(augmented reality overlay)。然后将瓶子的活动图像应用于3d渲染软件，其中瓶子上叠加有根据历史数据确定的期望的量的乳汁。
95.所渲染的图形然后被发送用于后处理，其中图像算法例如针对捕获图像所使用的分辨率提供分辨率自适应，并且提供适当的图像处理以用真实世界图像或帧而被增强。
96.然后使用组合器向图形渲染提供真实世界的帧或图像。
97.移动设备的传感器的校准数据以这种方式被用于增强现实的渲染。通过向图像提供附加的上下文信息，传感器的使用降低了所需图像处理的复杂性。
98.然后，最终呈现的图像58实时地显示在视觉上应该在瓶子中填充多少乳汁。
99.如果没有使用自动体积监测，用户可以人工地将饮用信息输入到乳汁历史数据库。
100.相机可以例如固定在诸如桌子的实心底座上，其中显示器面向用户，并且相机面向哺乳瓶。作为备选，可以存在通过标准通信装置而连接的分开的相机和显示器，例如移动电话的相机和一个分开的显示器。
101.视觉反馈可以包括除最适合的乳汁的量之外的信息，例如在喂食婴儿时保持瓶子的正确角度的指示等。
102.系统可以在医院环境中使用，其中替代年轻父母临时进行的护理，系统可以用于记录和给出关于瓶子体积和其它喂食特征的指导。此外，可以由医生或其它医务人员随后分析记录。
103.可以通过向瓶子添加标签来增强该系统。这样，系统可以用于识别各个瓶子，然后通过提供时间戳功能，系统能够被增强以基于瓶子被填充的日期来跟踪瓶子。因此，系统可以具有乳汁管理功能。
104.通过研究附图、公开内容和所附权利要求，本领域技术人员在实现所要求保护的本发明时可以理解和实现所公开实施例的变型。在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”或“一个”不排除多个。
105.如上所述，系统利用处理器来执行数据处理。处理器可以用软件和/或硬件以多种方式实现，以执行所需的各种功能。处理器通常采用可使用软件(例如，微码)编程以执行期望的功能的一个或一个以上的微处理器。处理器可以实现为执行某些功能的专用硬件和执行其它功能的一个或多个编程微处理器和相关电路的组合。本领域技术人员能够容易地开发用于执行这里描述的任何方法的处理器。
106.可在本发明的各种实施例中采用的电路的实例包含(但不限于)常规微处理器、专用集成电路(asic)和现场可编程门阵列(fpga)。
107.在各种实现中，处理器可以与诸如易失性和非易失性计算机存储器(诸如ram、prom、eprom和eeprom)之类的一个或多个存储介质相关联。存储介质可以编码有一个或多个程序，当该程序在一个或多个处理器和/或控制器上被执行时，执行所需的功能。各种存储介质可以被固定在处理器或控制器内，或者可以是可传输的，使得其上存储的一个或多个程序可以被加载到处理器中。
108.单个处理器或其它单元可以实现权利要求中所述的若干项的功能。
109.计算机程序可以被存储/分布在适当的介质上，例如与其它硬件一起提供或作为其它硬件的一部分提供的光存储介质或固态介质，但是也可以以其它形式分布，例如经由因特网或其它有线或无线电信系统。(可选)
110.如果在权利要求或说明书中使用术语“适于”，则应注意，术语“适于”旨在等同于术语“被配置成”。在相互不同的从属权利要求中叙述某些措施的事实并不表示不能有利地使用这些措施的组合。
111.权利要求中的任何附图标记不应解释为限制范围。

技术特征：
1.一种哺乳瓶分析系统，包括：用于接收要被分析的哺乳瓶的图像数据的输入；以及处理器，其中所述处理器适于：(28)使用图像分析来至少标识所述哺乳瓶的形状特性，并且由此从预先存储的不同的哺乳瓶类型的数据库(25)中确定瓶类型；从所述数据库中获取所述哺乳瓶的另外的形状特性，所述数据库将所述不同的哺乳瓶类型与所述另外的形状特性关联，其中所述另外的形状特性标识针对从所述哺乳瓶的底部开始的不同液位的体积；以及(30)使用图像分析来确定所述哺乳瓶中的液位，并由此基于所述哺乳瓶类型和所述另外的形状特性来确定所述哺乳瓶中的液体体积。2.根据权利要求1所述的系统，其中所述处理器还适于使用所述图像分析来标识是否存在预定义的标识标记集中的任一标识标记。3.根据权利要求1或2所述的系统，其中所述处理器适于使用神经网络来确定哺乳瓶类型。4.根据权利要求1至3中任一项所述的系统，其中所述处理器适于使用图像分析来标识液体表面。5.根据权利要求1至4中任一项所述的系统，其中所述处理器适于处理第一图像数据和第二图像数据以及确定液体体积的变化。6.根据权利要求5所述的系统，所述系统用于监测婴儿的哺乳瓶喂食，其中液体体积的所述变化对应于乳汁摄入量。7.根据权利要求6所述的系统，还包括用于存储历史乳汁摄入量的存储器(52)。8.根据权利要求6或7所述的系统，其中所述处理器适于基于所述历史乳汁摄入量来确定(50)要被喂食给婴儿的乳汁的量，并且输出所确定的量。9.根据权利要求8所述的系统，其中所述处理器适于通过如下方式来输出(54)所确定的量：生成所述哺乳瓶的表示所确定的乳汁的量的增强现实图像。10.根据权利要求1至9中任一项所述的系统，包括用于捕获所述图像数据的相机(40)，所述图像数据被捕获作为一个或多个图像或视频流。11.一种分析哺乳瓶的方法，包括：(26)接收要被分析的所述哺乳瓶的图像数据；使用图像分析来至少标识所述哺乳瓶的形状特征；访问预先存储的不同的哺乳瓶类型的数据库(25)，并且由此根据所述形状特征确定(28)瓶类型；通过访问将不同瓶类型与另外的形状特性关联的数据库来获取所述哺乳瓶的所述另外的形状特性，其中所述另外的形状特性标识针对从所述哺乳瓶的底部开始的不同液位的体积；以及(30)使用图像分析来确定所述哺乳瓶中的液位，并且由此基于所述哺乳瓶类型和所述另外的形状特性来确定所述哺乳瓶中的液体体积。12.根据权利要求11所述的方法，包括：使用神经网络确定哺乳瓶类型；以及
使用图像分析标识液体表面。13.根据权利要求11或12所述的方法，所述方法用于监测婴儿的哺乳瓶喂食，该方法包括处理第一图像数据和第二图像数据并且确定对应于乳汁摄入量的液体体积的变化，其中所述方法还包括基于历史乳汁摄入量来确定要被喂食给婴儿的乳汁的量，并输出所确定的量。14.根据权利要求13所述的方法，包括通过如下方式来输出所确定的量：生成所述哺乳瓶的表示所确定的乳汁的量的增强现实图像。15.一种包括计算机程序代码的计算机程序，当所述程序在处理器上运行时，所述计算机程序代码适于实现根据权利要求11至14中任一项所述的方法。

技术总结
瓶子分析系统接收要被分析的瓶子的图像数据，并且该数据被处理以标识瓶子的形状，并且可选地标识任何标识标记。然后瓶子类型被确定。图像分析被用于确定瓶子中的液位，从而确定瓶子中的液体体积。定瓶子中的液体体积。定瓶子中的液体体积。


技术研发人员：F
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.10.14
技术公布日：2023/8/1