超声图像提供方法及其学习算法与流程

1.本公开涉及一种超声图像提供方法及其学习算法。


背景技术：

2.超声诊断设备可通过将从探头的收发器生成的超声信号照射到对象，并且接收从对象反射的信号并对从对象反射的信号进行图像处理，提供针对与对象的长度、周长等相对应的测量项目的至少一个超声图像。
3.通常，超声图像表示对象的截面，并且用于测量测量项目的截面选择标准对于每个用户可能是不同的。
4.已经提出了用于自动选择适合于测量项目的超声图像的算法，但存在的问题在于，因为仅呈现了标准化的截面选择标准，所以没有反映用户的各种截面选择标准。


技术实现要素：

5.技术问题
6.将要实现的技术目的是提供一种超声图像提供方法及其学习算法，该超声图像提供方法能够通过反映用户的各种截面选择标准来自动提供针对测量项目的超声图像。
7.技术方案
8.根据本公开的一方面的超声图像提供方法包括：针对超声图像，测量至少一个或更多个测量项目的多个相似性；将所述多个相似性分别与多个对应的默认阈值进行比较；当所述多个相似性中不存在大于所述对应的默认阈值的相似性时，选择在参考时间内保持所述多个相似性中的最大相似性的测量项目；以及提供针对选择的测量项目的超声图像作为输出的超声图像。
9.所述超声图像提供方法还可包括：基于保持最大相似性的扫描时间来更新选择的测量项目的参考时间。
10.针对所述测量项目中的每个的参考时间可彼此不同。
11.所述超声图像提供方法还可包括：针对选择的测量项目，当添加具有比所述最大相似性更高的相似性的超声图像时，以添加的超声图像来更新所述输出的超声图像。
12.所述超声图像提供方法还可包括：针对提供的输出的超声图像，提供指示选择的测量项目的相似性低于默认阈值的指示符。
13.根据本公开的一方面的超声图像提供方法包括：针对超声图像，测量至少一个或更多个测量项目的多个相似性；将所述多个相似性分别与多个对应的默认阈值进行比较；提供针对第一测量项目的具有大于第一默认阈值的第一相似性的第一超声图像作为第一输出超声图像；以及在提供所述第一输出超声图像之后，提供在参考时间内针对第二测量项目保持小于所述默认阈值的相似性中最大的第二相似性的第二超声图像作为第二输出超声图像。
14.所述超声图像提供方法还可包括：基于保持所述第二相似性的扫描时间来更新针
对所述第二测量项目的参考时间。
15.针对所述测量项目中的每个的参考时间可彼此不同。
16.所述超声图像提供方法还可包括：针对所述第一测量项目，当添加具有比所述第一相似性更高的相似性的超声图像时，以添加的超声图像来更新所述第一输出超声图像。
17.所述超声图像提供方法还可包括：针对所述第二测量项目，当添加具有比所述第二相似性更高的相似性的超声图像时，以添加的超声图像来更新所述第二输出超声图像。
18.所述超声图像提供方法还可包括：针对所述第一输出超声图像，提供指示所述第一相似性高于所述第一默认阈值的第一指示符。
19.所述超声图像提供方法还可包括：针对所述第二输出超声图像，提供指示所述第二相似性低于所述第二默认阈值的第二指示符。
20.根据本公开的一方面的超声图像提供方法包括：针对超声图像，测量至少一个或更多个测量项目的多个相似性；将所述多个相似性分别与多个对应的默认阈值进行比较；当所述多个相似性中不存在大于所述对应的默认阈值的相似性时，选择在参考时间内保持相似性大于参考阈值的测量项目；以及提供针对选择的测量项目的超声图像作为输出的超声图像。
21.所述超声图像提供方法还可包括：基于保持选择的测量项目的相似性的扫描时间来更新针对选择的测量项目的参考时间。
22.所述超声图像提供方法还可包括：基于选择的测量项目的所述相似性来更新针对选择的测量项目的参考阈值。
23.所述参考阈值在更新之前的时间点和更新之后的时间点两者均可小于所述默认阈值。
24.针对所述测量项目中的每个的参考时间和参考阈值可彼此不同。
25.所述超声图像提供方法还可包括：针对选择的测量项目，当添加具有比所述相似性更高的相似性的超声图像时，以添加的超声图像来更新所述输出的超声图像。
26.所述超声图像提供方法还可包括：针对提供的输出的超声图像，提供指示选择的测量项目的相似性低于默认阈值的指示符。
27.根据本公开的一方面的超声图像提供方法包括：针对超声图像，测量至少一个或更多个测量项目的多个相似性；将所述多个相似性分别与多个对应的默认阈值进行比较；提供针对第一测量项目的具有大于第一默认阈值的第一相似性的第一超声图像作为第一输出超声图像；以及在提供所述第一超声图像之后，提供在参考时间内针对第二测量项目保持大于参考阈值且小于第二默认阈值的第二相似性的第二超声图像作为第二输出超声图像。
28.所述超声图像提供方法还可包括：基于保持所述第二相似性的扫描时间来更新针对所述第二测量项目的所述参考时间。
29.所述超声图像提供方法还可包括：基于所述第二相似性来更新针对所述第二测量项目的所述参考阈值。
30.所述参考阈值在更新之前的时间点和更新之后的时间点两者均可小于所述默认阈值。
31.针对所述测量项目中的每个的参考时间和参考阈值可彼此不同。
32.所述超声图像提供方法还可包括：针对所述第一测量项目，当添加具有比所述第一相似性更高的相似性的超声图像时，以添加的超声图像来更新所述第一输出超声图像。
33.所述超声图像提供方法还可包括：针对所述第二测量项目，当添加具有比所述第二相似性更高的相似性的超声图像时，以添加的超声图像来更新所述第二输出超声图像。
34.所述超声图像提供方法还可包括：针对所述第一超声图像，提供指示所述第一相似性高于所述第一默认阈值的第一指示符。
35.所述超声图像提供方法还可包括：针对所述第二超声图像，提供指示所述第二相似性低于所述第二默认阈值的第二指示符。
36.根据本公开的一方面的其上记录有学习算法的非暂时性记录介质，是其上记录有包括在输入层和输出层之间的至少一个隐藏层的所述学习算法的非暂时性记录介质，其中，所述学习算法包括：接收超声图像作为所述输入层的第一输入；接收关于超声图像中保持相似性持续第一参考时间的超声图像的信息作为所述输入层的第二输入；以及基于所述第一输入和所述第二输入，提供超声图像是否包括至少一个或更多个测量项目作为所述输出层的第一输出。
37.所述第一参考时间可以是关于多个用户中的第一用户的信息，并且所述学习算法还可包括：通过接收所述第一用户的第一奖励信息作为针对所述第一输出的反馈来修改所述隐藏层。
38.所述学习算法还可包括：接收关于超声图像中保持相似性持续第二参考时间的超声图像的信息作为所述输入层的第三输入；以及基于所述第一输入和所述第三输入，提供所述超声图像是否包括至少一个或更多个测量项作为所述输出层的第二输出。
39.所述第二参考时间可以是关于所述多个用户中的第二用户的信息，并且所述学习算法还可包括：通过接收所述第二用户的第二奖励信息作为对所述第二输出的反馈来修改所述隐藏层。
40.所述学习算法还可包括：基于保持所述相似性的扫描时间来更新所述第一参考时间。
41.所述学习算法还可包括：基于在保持所述相似性的超声图像中输入最后一个图像的时间点与输入第一个图像的时间点之间的差来更新所述第一参考时间。
42.有益效果
43.根据本公开的超声图像提供方法及其学习算法能够通过反映用户的各种截面选择标准来自动提供针对测量项目的超声图像。
附图说明
44.图1是示出根据实施例的超声诊断设备的配置的框图。
45.图2中的(a)至(c)是示出根据实施例的超声诊断设备的示图。
46.图3和图4是示出根据本公开的实施例的超声图像提供方法的示图。
47.图5和图6是示出根据本公开的另一实施例的超声图像提供方法的示图。
48.图7是示出根据本公开的实施例的显示单元的显示屏的示图。
49.图8和图9是示出根据本公开的另一实施例的超声图像提供方法的示图。
50.图10和图11是示出根据本公开的另一实施例的超声图像提供方法的示图。
51.图12和图13是示出根据本公开的实施例的学习算法的示图。
具体实施方式
52.在下文中，将参照附图详细描述本公开的各种实施例，使得本领域技术人员能够容易地实施本公开。本公开可以以各种不同的形式实现，并且不限于在此描述的实施例。
53.为了清楚地描述本公开，省略了与描述无关的部件，并且在整个说明书中将相同的附图标记分配给相同或相似的组件。因此，上述附图标记也可用于其它附图中。
54.另外，由于为了便于说明而任意地示出了附图中所示的每个组件的尺寸和厚度，因此本公开不一定局限于所示的那些尺寸和厚度。在附图中，厚度可能被夸大以清楚地表示各种层和区域。
55.另外，说明书中的表述“相同”可意指“基本上相同”。换言之，在本领域技术人员可理解为相同的程度上，可以是相同的。其它表达也可以是省略“基本上”的表达。
56.本说明书阐明了本公开的范围，解释了本公开的原理，并且公开了实施例，使得本领域技术人员能够实施本公开。所公开的实施例可以以各种形式实现。
57.在整个说明书中，当部件被称为“连接”到另一部件时，这不仅包括直接连接的情况，而且还包括间接连接的情况，并且间接连接包括通过无线通信网络连接。
58.另外，在此使用的术语用于描述实施例，并且不旨在约束和/或限制所公开的公开内容。除非上下文另有明确规定，否则单数表达包括复数表达。在本说明书中，诸如“包括”或“具有”的术语旨在表示存在说明书中描述的特征、数字、步骤、操作、组件、部件或它们的组合，并且不排除存在或添加一个或更多个其它特征、数字、步骤、操作、组件、部件或它们的组合的可能性。
59.另外，在此使用的包括诸如“第一”和“第二”的序数的术语可用于描述各种组件，但这些组件不受这些术语的限制，并且这些术语仅用于将一个组件与另一组件区分开的目的。例如，在不脱离本公开的范围的情况下，第一组件可被称为第二组件，并且类似地，第二组件可被称为第一组件。
60.另外，诸如“～单元”、“～组”、“～块”、“～构件”和“～模块”的术语可表示处理至少一个功能或操作的单元。例如，这些术语可表示诸如现场可编程门阵列(fpga)/专用集成电路(asic)的至少一个硬件、存储在存储器中的至少一个软件或者由处理器处理的至少一个程序。
61.附加到每个步骤的符号用于标识该步骤，并且这些符号不表明每个步骤的顺序，并且除非在上下文中清楚地描述了特定顺序，否则每个步骤可以以与指明的顺序不同的顺序执行。
62.另外，在本说明书中，图像可包括由诸如磁共振成像(mri)装置、计算机断层扫描(ct)装置、超声成像装置或x射线成像装置的医学成像装置获取的医学图像。
63.另外，在本说明书中，“对象”是将要拍摄的目标，并且可包括人、动物或其一部分。例如，对象可包括身体部位(器官等)或体模。
64.在整个说明书中，“超声图像”是指基于发送到对象和从对象反射的超声信号处理的对象的图像。
65.在下文中，将参照附图详细描述实施例。
66.图1是示出根据实施例的超声诊断设备100的配置的框图。超声诊断设备100可包括探头20、超声收发器110、控制器120、图像处理单元130、显示单元140、存储单元150、通信单元160和输入单元170。
67.超声诊断设备100可被实现为便携式类型以及推车类型。便携式超声诊断设备的示例可包括含有探头和应用的智能电话、膝上型计算机、个人数字助理(pda)、平板个人计算机(pc)等，但本发明不限于此。
68.探头20可包括多个收发器。多个收发器可根据从发送单元113施加的发送信号向对象10发送超声信号。多个收发器可接收从对象10反射的超声信号以形成接收信号。此外，探头20可与超声诊断设备100一体化实现，或者可被实现为探头20以有线或无线方式连接到超声诊断设备100的分离型。此外，根据实施形式，超声诊断设备100可包括一个或更多个探头20。
69.考虑到探头20中包括的多个收发器的位置和焦点，控制器120控制发送单元113形成将要施加到多个收发器中的每个的发送信号。
70.控制器120控制接收单元115以模数转换方式转换从探头20接收的接收信号，并考虑到多个收发器的位置和焦点对数字转换的接收信号求和，从而生成超声数据。
71.图像处理单元130使用由超声波的接收单元115生成的超声数据来生成超声图像。
72.显示单元140可显示所生成的超声图像和由超声诊断设备100处理的各条信息。根据实现形式，超声诊断设备100可包括一个或更多个显示单元140。此外，显示单元140可被实现为与触摸面板组合的触摸屏。
73.控制器120可控制超声诊断设备100的整体操作和超声诊断设备100的内部组件之间的信号流。控制器120可包括存储用于执行超声诊断设备100的功能的程序或数据的存储器和处理程序或数据的处理器。此外，控制器120可通过从输入单元170或外部装置接收控制信号来控制超声诊断设备100的操作。
74.超声诊断设备100可包括通信单元160，并且可通过通信单元160连接到外部装置(例如，服务器、医疗装置、便携式装置(智能电话、平板pc、可穿戴装置等))。
75.通信单元160可包括能够与外部装置通信的一个或更多个组件，并且可包括例如短距离通信模块、有线通信模块和无线通信模块中的至少一个。
76.通信单元160可从外部装置接收控制信号和数据，并将接收到的控制信号发送到控制器120，使得控制器120可响应于接收到的控制信号来控制超声诊断设备100。
77.可选地，控制器120可通过通信单元160向外部装置发送控制信号，使得可响应于控制器120的控制信号来控制外部装置。
78.例如，外部装置可响应于通过通信单元接收的控制器的控制信号来处理外部装置的数据。
79.能够控制超声诊断设备100的程序可安装在外部装置中，并且程序可包括用于执行控制器120的一些或全部操作的指令。
80.程序可预先安装在外部装置中，或者可由外部装置的用户通过从提供应用的服务器下载程序来安装。提供应用的服务器可包括其中存储相应程序的记录介质。
81.另外，在包括服务器和客户端装置的系统中，程序可包括服务器的存储介质或客户端装置的存储介质。可选地，如果存在通信连接到服务器或客户端装置的第三装置(智能
电话、平板pc、可穿戴装置等)，则程序产品可包括第三装置的存储介质。可选地，程序可包括从服务器发送到客户端装置或第三装置或者从第三装置发送到客户端装置的软件(s/w)程序本身。
82.在这种情况下，服务器、客户端装置和第三装置中的一个可执行程序以执行根据所公开的实施例的方法。可选地，服务器、客户端装置和第三装置中的两个或更多个可执行程序，从而以分布式方式实现根据所公开的实施例的方法。
83.例如，服务器(例如，云服务器或人工智能服务器)可执行存储在服务器中的程序并控制通信连接到服务器的客户端装置以执行根据所公开的实施例的方法。
84.存储单元150可存储用于驱动和控制超声诊断设备100、输入/输出、获取的超声图像等的各种类型的数据或程序。
85.输入单元170可接收用户的输入以控制超声诊断设备100。例如，用户的输入可包括用于操纵按钮、键盘、鼠标、轨迹球、微动开关、旋钮等的输入、用于触摸触摸板或触摸屏的输入、语音输入、运动输入和生物信息输入(例如，虹膜识别或指纹识别)，但本公开不限于此。
86.稍后将通过图2中的(a)至(c)描述根据实施例的超声诊断设备100的示例。
87.图2中的(a)至(c)是示出根据实施例的超声诊断设备的示图。
88.参照图2中的(a)和图2中的(b)，超声诊断设备100a和100b可各自包括主显示单元121和子显示单元122。主显示单元121和子显示单元122中的一个可被实现为触摸屏。主显示单元121和子显示单元122可显示由超声诊断设备100a和100b处理的超声图像或各条信息。此外，主显示单元121和子显示单元122可被实现为触摸屏，并且提供图形用户界面(gui)以从用户接收用于控制超声诊断设备100a和100b的数据。例如，主显示单元121可显示超声图像，并且子显示单元122可以以gui的形式显示用于控制超声图像的控制面板。子显示单元122可通过以gui的形式显示的控制面板来接收用于控制图像的显示的数据。超声诊断设备100a和100b可使用输入的控制数据来控制在主显示单元121上显示的超声图像的显示。
89.参照图2中的(b)，除了主显示单元121和子显示单元122之外，超声诊断设备100b还可包括控制面板165。控制面板165可包括按钮、轨迹球、微动开关、旋钮等，并且可从用户接收用于控制超声诊断设备100b的数据。例如，控制面板165可包括时间增益补偿(tgc)按钮171、冻结按钮172等。tgc按钮171是用于为超声图像的每个深度设置tgc值的按钮。此外，当在扫描超声图像的同时检测到冻结按钮172的输入时，超声诊断设备100b可保持显示相应时间点的帧图像的状态。
90.此外，可将控制面板165中包括的按钮、轨迹球、微动开关、旋钮等的输入提供给主显示单元121或子显示单元122中的gui。
91.参照图2中的(c)，超声诊断设备100c可被实现为便携式类型。便携式超声诊断设备100c的示例可包括含有探头和应用的智能电话、膝上型计算机、pda、平板pc等，但本发明不限于此。
92.超声诊断设备100c可包括探头20和主体40，并且探头20可以以有线或无线方式连接到主体40的一侧。主体40可包括触摸屏145。触摸屏145可显示超声图像、由超声诊断设备处理的各条信息、gui等。
93.图3和图4是示出根据本公开的实施例的超声图像提供方法的示图。
94.如上所述，一般而言，图像处理单元130可使用由超声波的接收单元115生成的超声数据生成超声图像，并且显示单元140可按时间顺序显示超声图像。因此，用户可查看显示单元140并从超声图像中手动选择满足截面选择标准的超声图像。
95.然而，在下文中，将描述图像处理单元130自动选择满足用户的截面选择标准的超声图像的实施例。在这种实施例中，图像处理单元130可首先使用超声数据生成超声图像且提供超声图像中满足条件的超声图像作为输出的超声图像。显示单元140可将接收到的超声图像显示为显示屏的一部分上的静止图像。
96.首先，图像处理单元130可测量针对超声图像的针对至少一个或更多个测量项目的多个相似性(s101)。
97.超声图像可以是当用户使用探头20扫描对象10时按时间顺序生成的图像。在另一示例中，超声图像可预先存储在存储单元150中，或者可通过通信单元160从外部装置接收。
98.多个测量项目可以是对象10中的一些或全部的尺寸或指数。例如，多个测量项目可对应于对象10中的一些或全部的长度、周长、厚度、面积、体积和指数中的至少一个。例如，当对象10是子宫或胎儿的全部或部分时，测量项目可以是头围hc、4室视图4cv、羊水指数afi、腹部、股骨长度fl等。
99.超声图像的测量项目的相似性可意指当使用对应超声图像测量对应测量项目时的置信水平。相似性可由机器训练的分类器确定，或者可使用考虑特定区域的亮度值或梯度幅度的总和的算法、图像相似性比较算法等来确定。用于确定相似性的算法可使用深度学习和机器学习的已知算法。
100.接下来，图像处理单元130可分别将多个相似性与多个对应的默认阈值进行比较(s102)。
101.高于默认阈值的相似性可指示对应超声图像适合于测量对应测量项目。低于默认阈值的相似性可指示对应超声图像不适合于测量对应测量项目。然而，如上所述，由于用户具有各种截面选择标准，因此很难预先设置适合于所有用户的默认阈值。在本实施例中，默认阈值可以是以经验确定以满足各种用户的阈值。默认阈值可预先存储在存储单元150中。根据实施例，可更新默认阈值。
102.根据实施例，可针对每个测量项目独立地设置默认阈值。例如，可针对每个测量项目不同地设置默认阈值。例如，针对头围，默认阈值可被设置为0.8，并且针对4室视图，默认阈值可被设置为0.7。在一些情况下，可将一些默认阈值设置为彼此相等。
103.接下来，当多个相似性中不存在大于对应的默认阈值的相似性时，图像处理单元130可选择在参考时间内保持多个相似性中的最大相似性的测量项目(s103)。
104.例如，可能存在向用户提供针对测量项目具有低相似性的超声图像的情况，诸如由于胎儿的位置而在超声图像上出现阴影。这里，用户确定胎儿的位置不能容易地改变，并且即使相似性低，也可以以获取对应的超声图像(或稍微更好的超声图像)的意愿来增加探头20的扫描时间。
105.换言之，在参考时间内保持多个相似性中的最大相似性的测量项目可以是用户有意愿测量的测量项目。例如，当在参考时间内针对超声图像确定头围的相似性为0.55、4室视图的相似性为0.5、并且股骨长度的相似性为0.4时，图像处理单元130可选择头围作为测
量项目。
106.根据实施例，可针对每个用户独立地设置参考时间。例如，可针对每个用户不同地设置参考时间。根据实施例，针对多个测量项目中的每个的参考时间可彼此独立地设置。例如，针对多个测量项目中的每个的参考时间可彼此不同。
107.接下来，图像处理单元130可提供针对选择的测量项目的超声图像作为输出的超声图像。在一个实施例中，图像处理单元130可提供在参考时间内拍摄(生成)的超声图像中的至少一个作为针对选择的测量项目的输出的超声图像。
108.在一个实施例中，图像处理单元130可提供在参考时间内拍摄(生成)的超声图像中，针对选择的测量项目具有最高相似性的超声图像作为输出的超声图像。在另一实施例中，图像处理单元130可提供在参考时间内拍摄(生成)的超声图像中，通过使用针对选择的测量项目的统计(诸如，最大值(max)、平均值(mean)和中值(median))而选择的超声图像作为输出的超声图像。在另一实施例中，图像处理单元130可提供针对选择的测量项目具有特定水平或更高的相似性的超声图像中，通过使用针对选择的测量项目的统计(诸如，最大值、平均值和中值)而选择的超声图像作为输出的超声图像。
109.根据图3的实施例，图像处理单元130可通过针对每个用户设置独立的参考时间来反映每个用户的截面选择标准，并且自动提供针对测量项目的超声图像。
110.参照图4，图像处理单元130可基于保持最大相似性的扫描时间来更新选择的测量项目的参考时间(s105)。在一个实施例中，参考时间可随着扫描时间增加而更新为更长，并且参考时间可随着扫描时间减少而更新为更短。
111.例如，用户在过去使用平均20秒来用探头20扫描头围，但用户现在可使用平均15秒来扫描头围。另外，虽然第一用户使用平均17秒来用探头20扫描头围，但第二用户可使用平均12秒来扫描头围。
112.根据本实施例，通过设置用户定制的参考时间，可通过反映每个用户的截面选择标准来自动提供针对测量项目的超声图像。
113.默认阈值和参考时间可存储在存储单元150中，或者通过通信单元160从外部装置接收。
114.在一个实施例中，针对选择的测量项目，当添加具有比最大相似性更高的相似性的超声图像时，图像处理单元130可以以添加的超声图像来更新输出的超声图像。因此，可帮助用户更容易地测量测量项目。
115.在一个实施例中，图像处理单元130可提供指示选择的测量项目的相似性低于针对提供的超声图像的默认阈值的指示符。因此，可向用户给出是搜索具有更高相似性的更多超声图像还是使用所提供的输出的超声图像来执行诊断的选择。
116.图5和图6是示出根据本公开的另一实施例的超声图像提供方法的示图。图7是示出根据本公开的实施例的显示单元140的显示屏的示图。
117.首先，图像处理单元130可测量针对超声图像的针对至少一个或更多个测量项目的多个相似性(s201)。由于步骤s201与参照图3描述的步骤s101相同，因此将省略重复的描述。
118.接下来，图像处理单元130可分别比较多个相似性和多个对应的默认阈值。在该步骤的描述中，将省略与参照图3描述的步骤s102相同部分的重复描述。具体地，图像处理单
元130可选择尚未确定的测量项目(s202)，并且确定选择的测量项目的相似性是否大于默认阈值(s203)。
119.如果选择的测量项目(例如，第一测量项目)的相似性(例如，第一相似性)大于默认阈值(例如，第一默认阈值)(s203)，则图像处理单元130可提供针对选择的测量项目的超声图像作为第一输出超声图像(s204)。例如，图像处理单元130可提供针对第一测量项目具有大于第一默认阈值的第一相似性的第一超声图像作为第一输出超声图像。例如，第一测量项目tb1可以是羊水指数afi，并且显示单元140可在显示屏的一部分上显示针对羊水指数afi的第一超声图像us12(参见图7)。
120.接下来，图像处理单元130可确认是否已经完成针对所有测量项目的确定(s205)。例如，当确认股骨长度的确定尚未完成时，图像处理单元130可选择股骨长度作为将要确定的测量项目(s202)。
121.接下来，如果选择的测量项目(例如，第二测量项目)的相似性(例如，第二相似性)小于默认阈值(例如，第二默认阈值)(s203)，则图像处理单元130可确定选择的测量项目在参考时间内是否保持在小于默认阈值的相似性中的最大相似性(例如，第二相似性)(s206)。
122.例如，当第六测量项目的默认阈值设定为0.8，第七测量项目的默认阈值设定为0.81，股骨长度的默认阈值设定为0.82，并且针对每个参考时间，第六测量项目的相似性被确定为0.5，第七测量项目的相似性被确定为0.55，并且股骨长度的相似性被确定为0.6时，图像处理单元130可确定股骨长度保持最大相似性。
123.因此，图像处理单元130可提供针对测量项目(例如，股骨长度)的超声图像作为第二输出超声图像(s207)。换言之，在提供第一超声图像之后，图像处理单元130可提供在参考时间内保持小于默认阈值的相似性中的最大第二相似性的第二测量项目的第二超声图像作为第二输出超声图像。例如，第二测量项目tb2可以是股骨长度fl，并且显示单元140可在显示屏的一部分上显示股骨长度fl的第二超声图像us22(参见图7)。
124.图像处理单元130可重复上述步骤，直到其完成针对所有测量项目的确定(s205、s202)。参照图7，作为示例示出了以下情况：由于作为第三测量项目tb3的头围hc的相似性被确定为超过第三默认阈值而提供第三超声图像us32，由于作为第四测量项目tb4的4室视图4cv的相似性被确定为超过第四默认阈值而提供第四超声图像us41，并且由于作为第五测量项目tb5的腹部的相似性被确定为超过第五默认阈值而提供第五超声图像us51。
125.根据图5的实施例，图像处理单元130可通过针对每个用户设置独立的参考时间来反映每个用户的截面选择标准，以自动提供针对测量项目的超声图像。
126.参照图6，图像处理单元130可基于保持第二相似性的扫描时间来更新针对第二测量项目的参考时间(s208)。在一个实施例中，参考时间可随着扫描时间增加而更新为更长，并且参考时间可随着扫描时间减少而更新为更短。
127.针对多个测量项目中的每个的参考时间可彼此不同。针对多个用户中的每个的参考时间可彼此不同。根据本实施例，通过设置用户定制的参考时间，可通过反映每个用户的截面选择标准来自动提供针对测量项目的超声图像。
128.默认阈值和参考时间可存储在存储单元150中，或者通过通信单元160从外部装置接收。
129.在一个实施例中，针对第一测量项目tb1，当添加具有比第一相似性更高的相似性的超声图像us11时，图像处理单元130可以以添加的超声图像us11来更新第一输出超声图像(即，第一超声图像us12)。因此，可帮助用户更容易地测量测量项目。
130.例如，如图7所示，显示单元140可通过同时显示超声图像us11和第一超声图像us12来向用户给出诊断选项。在另一示例中，显示单元140可仅显示超声图像us11而不再显示第一超声图像us12。在图7的示例中，还针对第三测量项目tb3显示添加的超声图像us31。
131.在一个实施例中，针对第二测量项目tb2，当添加具有比第二相似性更高的相似性的超声图像us21时，图像处理单元130可以以添加的超声图像us21来更新第二输出超声图像(即，第二超声图像us22)。因此，可帮助用户更容易地测量测量项目。
132.在一个实施例中，图像处理单元130可针对第一超声图像us12提供指示第一相似性高于第一默认阈值的第一指示符(例如，us12的点划线边界)。在一个实施例中，图像处理单元130可针对第二超声图像us22提供指示第二相似性低于第二默认阈值的第二指示符(例如，us22的虚线边界)。在一个实施例中，针对添加的超声图像us11，图像处理单元130可提供指示相似性(例如，第三相似性)高于第一相似性的第三指示符(例如，us11的实线边界)。因此，可向用户给出是搜索具有更高相似性的更多超声图像还是使用提供的超声图像来执行诊断的选择。
133.图8和图9是示出根据本公开的另一实施例的超声图像提供方法的示图。
134.参照图8的实施例，图像处理单元130可测量针对超声图像的针对至少一个或更多个测量项目的多个相似性(s101)。接下来，图像处理单元130可分别将多个相似性与多个对应的默认阈值进行比较(s102)。接下来，当多个相似性中不存在大于对应的默认阈值的相似性时，图像处理单元130可选择在参考时间内保持相似性大于参考阈值的测量项目(s103')。接下来，图像处理单元130可提供针对选择的测量项目的超声图像作为输出的超声图像(s104)。
135.由于图8的实施例的步骤s101、步骤s102、步骤s104与参照图3描述的步骤相同并且图9的实施例的步骤s101、步骤s102、步骤s104和步骤s105与参照图4描述的步骤相同，因此将省略重复的描述。另外，由于参照图3和图4描述的所有内容都可应用于图8和图9的实施例，因此将省略重复的描述。
136.参照图8的步骤s103'，与图3的步骤s103相比，添加参考阈值的条件。参考阈值可小于默认阈值。可针对每个用户独立地设置参考阈值。例如，可针对每个用户不同地设置参考阈值。可针对每个测量项目独立地设置参考阈值。例如，可针对每个测量项目不同地设置参考阈值。参考阈值可存储在存储单元150中。
137.根据图8的实施例，图像处理单元130可通过针对每个用户设置独立的参考阈值来反映每个用户的截面选择标准，以自动提供针对测量项目的超声图像。
138.参照图9，图像处理单元130可基于选择的测量项目的相似性来更新针对选择的测量项目的参考阈值(s106)。在一个实施例中，可更新参考阈值以随着相似性增大而增大，并且可更新参考阈值以随着相似性减小而减小。
139.参考阈值可在更新之前的时间点和更新之后的时间点两者均小于默认阈值。根据本实施例，通过设置用户定制的参考阈值，可通过反映每个用户的截面选择标准来自动提供针对测量项目的超声图像。
140.图10和图11是示出根据本公开的另一实施例的超声图像提供方法的示图。
141.参照图10的实施例，图像处理单元130可测量针对超声图像的至少一个或更多个测量项目的多个相似性(s201)。图像处理单元130可分别将多个相似性与多个对应的默认阈值进行比较(s202、s203、s205)。图像处理单元130可提供针对具有大于第一默认阈值的第一相似性的第一测量项目的第一超声图像作为第一输出超声图像(s204)。在提供第一超声图像之后，图像处理单元130可提供针对在参考时间内保持大于参考阈值且小于第二默认阈值的第二相似性的第二测量项目的第二超声图像作为第二输出超声图像(s206'、s207)。
142.由于图10的实施例的步骤s201、步骤s202、步骤s203、步骤s204、步骤s205和步骤s207与参照图5描述的步骤相同并且图11的实施例的步骤s201、步骤s202、步骤s203、步骤s204、步骤s205、步骤s207和步骤s208与参照图6和图7描述的步骤相同，因此将省略重复的描述。另外，由于参照图5、图6和图7描述的所有内容可应用于图10和11的实施例，因此将省略重复的描述。
143.参照图10的步骤s206'，与图5的步骤s206相比，添加参考阈值的条件。参考阈值可小于默认阈值。可针对每个用户独立地设置参考阈值。例如，可针对每个用户不同地设置参考阈值。可针对每个测量项目独立地设置参考阈值。例如，可针对每个测量项目不同地设置参考阈值。参考阈值可存储在存储单元150中。
144.根据图10的实施例，图像处理单元130可通过针对每个用户设置独立的参考阈值来反映每个用户的截面选择标准，以自动提供针对测量项目的超声图像。
145.参照图11，图像处理单元130可基于第二相似性更新针对第二测量项目的参考阈值(s209)。在一个实施例中，可更新参考阈值以随着第二相似性增大而增大，并且可更新参考阈值以随着第二相似性减小而减小。参考阈值可在更新之前的时间点和更新之后的时间点两者均小于默认阈值。根据本实施例，通过设置用户定制的参考阈值，可通过反映每个用户的截面选择标准来自动提供针对测量项目的超声图像。
146.图12和图13是示出根据本公开的实施例的学习算法的示图。
147.参照图12，作为示例示出了包括输入层inl和输出层otl之间的至少一个隐藏层hdl的学习算法。
148.学习算法可被记录在记录介质上并且由超声诊断设备100执行。记录介质可对应于超声诊断设备100的存储单元150。此外，记录介质嵌入在超声诊断设备100的外部服务器中，并且超声诊断设备100可通过经由通信单元160与外部服务器通信来执行学习算法。
149.记录介质包括能够存储可由计算机系统读取的数据、算法或程序的所有类型的记录装置。计算机可读记录介质的示例包括rom、ram、cd-rom、磁带、软盘、光学数据存储装置、硬盘、外部硬盘、ssd、usb存储装置、dvd、蓝光盘等。另外，计算机可读记录介质可以是多个装置的组合，或者可分布在通过网络连接的计算机系统中。这样的记录介质可以是非暂时性计算机可读记录介质。非暂时性计算机可读记录介质是半永久地存储数据或程序并且可由计算机读取的介质，而不是短时间存储数据或程序的介质(诸如寄存器、高速缓存或存储器)。
150.输入层inl可包括第一输入in11、in12、
…
、in1n和第二输入in2。隐藏层hdl可包括多个节点nd11、nd12、nd13、nd14、nd15。输出层otl可包括第一输出ot11、ot12、ot13、ot14、
ot15。输入、节点和输出的数量可根据实施例而变化。另外，所有层是完全连接还是以另一种方式连接可根据实施例而变化。本实施例的学习算法可根据隐藏层hdl的数量被称为浅层学习或深度学习。
151.学习算法可包括接收超声图像作为输入层inl的第一输入in11～in1n。另外，学习算法可包括接收关于超声图像中保持相似性持续第一参考时间的超声图像的信息作为输入层inl的第二输入in2。
152.另外，学习算法可包括：基于第一输入in11～in1n和第二输入in2，提供超声图像是否包括至少一个或更多个测量项目作为输出层otl的第一输出。在图11中，假设输出层otl包括针对多个测量项目的第一输出ot11～ot15。
153.第一输入in11～in1n、第二输入in2和第一输出ot11～ot15之间的关系可通过层inl、hdl、otl之间的连接关系、权重、偏置等来确定。
154.例如，假设第一输出ot11～ot15分别对应于头围hc、4室视图4cv、羊水指数afi、腹部和股骨长度fl。这里，如果第一输出ot11为0，第一输出ot12为1，第一输出ot13为0，第一输出ot14为0，并且第一输出ot15为0，则学习算法可确定超声图像对应于4室视图4cv。
155.根据一个实施例，第一参考时间可以是关于多个用户中的第一用户的信息。这里，学习算法还可包括通过接收第一用户的第一奖励(reward)信息作为针对第一输出(例如，第一输出ot11～ot15)的反馈来修改隐藏层hdl。
156.第一奖励信息是由第一用户通过观察第一输出ot11～ot15而提供的信息，并且可以是指示第一输出ot11～ot15是正确结论或是不正确结论的信息。
157.修改隐藏层hdl意味着修改前述层nl、hdl、otl之间的连接关系、权重和偏置中的至少一个。
158.超声诊断设备100可提供超声图像中的至少一个作为由第一输出ot11～ot15指示的测量项目的超声图像。根据本实施例，可通过反映作为第一用户的主观标准的第一参考时间和针对测量项目的相似性来向第一用户提供定制的超声图像。
159.参照图13，示例性地示出了针对第二用户的学习算法。在描述图13时，将省略对与图12的内容重复的内容的描述。
160.输入层inl可包括第一输入in11、in12、
…
、in1n和第三输入in3。隐藏层hdl可包括多个节点nd21、nd22、nd23、nd24、nd25。输出层otl可包括第二输出ot21、ot22、ot23、ot24、ot25。输入、节点和输出的数量可根据实施例而变化。
161.本实施例的学习算法可包括：接收关于超声图像中保持相似性持续第二参考时间的超声图像的信息作为输入层inl的第三输入in3。另外，学习算法还可包括基于第一输入in11～in1n和第三输入in3，提供超声图像是否对应于至少一个或更多个测量项目作为输出层otl的第二输出(例如，第二输出ot21～ot25)。
162.第二参考时间可以是关于多个用户中的第二用户的信息。第二用户是与第一用户不同的人。学习算法还可包括通过接收第二用户的第二奖励信息作为针对第二输出(例如，第二输出ot21～ot25)的反馈来修改隐藏层hdl。
163.根据本实施例，学习算法可针对相同的第一输入in11～in1n根据用户提供不同的输出。根据本实施例，针对多个用户中的每个，可通过反映作为主观标准的针对测量项目的参考时间和相似性来提供定制的超声图像。
164.根据本公开的一个实施例，学习算法还可包括基于保持相似性的扫描时间(例如，第一用户的探头扫描时间)来更新第一参考时间。类似地，学习算法还可包括基于保持相似性的扫描时间(例如，第二用户的探头扫描时间)来更新第二参考时间。
165.根据本公开的一个实施例，学习算法还可包括：基于在保持相似性的超声图像中输入最后一个图像的时间点与输入第一个图像的时间点之间的差来更新第一参考时间。类似地，学习算法还可包括基于在保持相似性的超声图像中输入最后一个图像的时间点与输入第一个图像的时间点之间的差来更新第二参考时间。
166.目前参考的附图和本公开的详细描述仅仅是对本公开的说明，其仅用于解释本公开的目的，并且不用于限制权利要求中描述的本公开的含义或限制其范围。因此，本领域技术人员将理解，根据本公开的各种修改和等同的其它实施例是可行的。因此，本公开的真实技术保护范围应由所附权利要求的技术精神确定。

技术特征：
1.一种超声图像提供方法，包括：针对超声图像，测量至少一个或更多个测量项目的多个相似性；将所述多个相似性分别与多个对应的默认阈值进行比较；当所述多个相似性中不存在大于所述对应的默认阈值的相似性时，选择在参考时间内保持所述多个相似性中的最大相似性的测量项目；以及提供针对选择的测量项目的超声图像作为输出的超声图像。2.根据权利要求1所述的超声图像提供方法，还包括：基于保持最大相似性的扫描时间来更新选择的测量项目的参考时间。3.根据权利要求2所述的超声图像提供方法，其中，针对所述测量项目中的每个的参考时间彼此不同。4.根据权利要求1所述的超声图像提供方法，还包括：针对选择的测量项目，当添加具有比所述最大相似性更高的相似性的超声图像时，以添加的超声图像来更新所述输出的超声图像。5.根据权利要求1所述的超声图像提供方法，还包括：针对提供的输出的超声图像，提供指示选择的测量项目的相似性低于默认阈值的指示符。6.一种超声图像提供方法，包括：针对超声图像，测量至少一个或更多个测量项目的多个相似性；将所述多个相似性分别与多个对应的默认阈值进行比较；提供针对第一测量项目的具有大于第一默认阈值的第一相似性的第一超声图像作为第一输出超声图像；以及在提供所述第一输出超声图像之后，提供在参考时间内针对第二测量项目保持小于所述默认阈值的相似性中最大的第二相似性的第二超声图像作为第二输出超声图像。7.根据权利要求6所述的超声图像提供方法，还包括：基于保持所述第二相似性的扫描时间来更新针对所述第二测量项目的参考时间。8.根据权利要求7所述的超声图像提供方法，其中，针对所述测量项目中的每个的参考时间彼此不同。9.根据权利要求6所述的超声图像提供方法，还包括：针对所述第一测量项目，当添加具有比所述第一相似性更高的相似性的超声图像时，以添加的超声图像来更新所述第一输出超声图像。10.根据权利要求6所述的超声图像提供方法，还包括：针对所述第二测量项目，当添加具有比所述第二相似性更高的相似性的超声图像时，以添加的超声图像来更新所述第二输出超声图像。11.根据权利要求6所述的超声图像提供方法，还包括：针对所述第一输出超声图像，提供指示所述第一相似性高于所述第一默认阈值的第一指示符。12.根据权利要求11所述的超声图像提供方法，还包括：针对所述第二输出超声图像，提供指示所述第二相似性低于所述第二默认阈值的第二指示符。
13.一种超声图像提供方法，包括：针对超声图像，测量至少一个或更多个测量项目的多个相似性；将所述多个相似性分别与多个对应的默认阈值进行比较；当所述多个相似性中不存在大于所述对应的默认阈值的相似性时，选择在参考时间内保持相似性大于参考阈值的测量项目；以及提供针对选择的测量项目的超声图像作为输出的超声图像。14.根据权利要求13所述的超声图像提供方法，还包括：基于保持选择的测量项目的相似性的扫描时间来更新针对选择的测量项目的参考时间。15.根据权利要求14所述的超声图像提供方法，还包括：基于选择的测量项目的所述相似性来更新针对选择的测量项目的参考阈值。16.根据权利要求15所述的超声图像提供方法，其中，所述参考阈值在更新之前的时间点和更新之后的时间点两者均小于默认阈值。17.根据权利要求13所述的超声图像提供方法，其中，针对所述测量项目中的每个的参考时间和参考阈值彼此不同。18.根据权利要求13所述的超声图像提供方法，还包括：针对选择的测量项目，当添加具有比所述相似性更高的相似性的超声图像时，以添加的超声图像来更新所述输出的超声图像。19.根据权利要求13所述的超声图像提供方法，还包括：针对提供的输出的超声图像，提供指示选择的测量项目的相似性低于默认阈值的指示符。20.一种超声图像提供方法，包括：针对超声图像，测量至少一个或更多个测量项目的多个相似性；将所述多个相似性分别与多个对应的默认阈值进行比较；提供针对第一测量项目的具有大于第一默认阈值的第一相似性的第一超声图像作为第一输出超声图像；以及在提供所述第一超声图像之后，提供在参考时间内针对第二测量项目保持大于参考阈值且小于第二默认阈值的第二相似性的第二超声图像作为第二输出超声图像。21.根据权利要求20所述的超声图像提供方法，还包括：基于保持所述第二相似性的扫描时间来更新针对所述第二测量项目的所述参考时间。22.根据权利要求21所述的超声图像提供方法，还包括：基于所述第二相似性来更新针对所述第二测量项目的所述参考阈值。23.根据权利要求22所述的超声图像提供方法，其中，所述参考阈值在更新之前的时间点和更新之后的时间点两者均小于所述默认阈值。24.根据权利要求20所述的超声图像提供方法，其中，针对所述测量项目中的每个的参考时间和参考阈值彼此不同。25.根据权利要求20所述的超声图像提供方法，还包括：针对所述第一测量项目，当添加具有比所述第一相似性更高的相似性的超声图像时，以添加的超声图像来更新所述第一输出超声图像。
26.根据权利要求25所述的超声图像提供方法，还包括：针对所述第二测量项目，当添加具有比所述第二相似性更高的相似性的超声图像时，以添加的超声图像来更新所述第二输出超声图像。27.根据权利要求20所述的超声图像提供方法，还包括：针对所述第一超声图像，提供指示所述第一相似性高于所述第一默认阈值的第一指示符。28.根据权利要求27所述的超声图像提供方法，还包括：针对所述第二超声图像，提供指示所述第二相似性低于所述第二默认阈值的第二指示符。29.一种其上记录有学习算法的非暂时性记录介质，所述学习算法包括在输入层和输出层之间的至少一个隐藏层，其中，所述学习算法包括：接收超声图像作为所述输入层的第一输入；接收关于超声图像中保持相似性持续第一参考时间的超声图像的信息作为所述输入层的第二输入；以及基于所述第一输入和所述第二输入，提供超声图像是否包括至少一个或更多个测量项目作为所述输出层的第一输出。30.根据权利要求29所述的其上记录有学习算法的非暂时性记录介质，其中，所述第一参考时间是关于多个用户中的第一用户的信息，并且所述学习算法还包括：通过接收所述第一用户的第一奖励信息作为针对所述第一输出的反馈来修改所述隐藏层。31.根据权利要求30所述的其上记录有学习算法的非暂时性记录介质，其中，所述学习算法还包括：接收关于超声图像中保持相似性持续第二参考时间的超声图像的信息作为所述输入层的第三输入；以及基于所述第一输入和所述第三输入，提供所述超声图像是否包括至少一个或更多个测量项作为所述输出层的第二输出。32.根据权利要求31所述的其上记录有学习算法的非暂时性记录介质，其中，所述第二参考时间是关于所述多个用户中的第二用户的信息，并且所述学习算法还包括：通过接收所述第二用户的第二奖励信息作为对所述第二输出的反馈来修改所述隐藏层。33.根据权利要求29所述的其上记录有学习算法的非暂时性记录介质，其中，所述学习算法还包括：基于保持所述相似性的扫描时间来更新所述第一参考时间。34.根据权利要求29所述的其上记录有学习算法的非暂时性记录介质，其中，所述学习算法还包括：基于在保持所述相似性的超声图像中输入最后一个图像的时间点与输入第一个图像
的时间点之间的差来更新所述第一参考时间。

技术总结
本公开的超声图像提供方法包括：接收超声图像；针对所述超声图像中的至少一个测量针对多个测量项目的多个相似性；将所述多个相似性分别与对应的默认阈值进行比较；当所述多个相似性中不存在大于所述对应的默认阈值的相似性时，选择在参考时间内保持所述多个相似性中的最大相似性的测量项目；以及提供针对选择的测量项目的超声图像作为超声图像。测量项目的超声图像作为超声图像。测量项目的超声图像作为超声图像。


技术研发人员：权慈伶 朴睿珍 李眞镛 朴成昱 朴秦起 李东垠 李知训 崔光衍
受保护的技术使用者：三星麦迪森株式会社
技术研发日：2021.08.19
技术公布日：2023/9/22