一种眼部B超检查用图像处理方法、系统、设备及介质与流程

一种眼部b超检查用图像处理方法、系统、设备及介质
技术领域
1.本发明属于医疗信息化技术领域，具体涉及一种眼部b超检查用图像处理方法、系统、设备及介质。


背景技术：

2.眼睛的许多疾病，尤其是发生在眼球内部的疾病，难以通过肉眼清晰地观察到，此时可通过眼部b超检查来确诊眼部疾病。具体地，眼部b超检查能够提供有价值的诊断线索，而且对眼睛没有任何伤害，属于无创性辅助检查，基于眼部b超检查可确认眼部肌肉是否肿胀、晶状体是否有脱位、玻璃体是否有浑浊物、视网膜是否脱离等，还可检查眼球壁是否有异物并判定异物的具体位置等。在进行眼部b超检查过程中，通过使用b超探头透过眼睑来观察眼球内部的结构，其中的b超探头可将超声波发送给眼球，并将眼球内部的界面反射回声转为不同亮度的回声光点，由无数回声光点组成的二维声学切片图像，即b超图像。
3.目前进行眼部b超检查时，通常需要医生右手拿着b超检查探头在患者眼部周围来回移动，以便采集b超图像，并通过左手在键盘上输入标记b超图像为左眼的“l(左)”标记或为右眼的“r(右)”标记，以实现眼别标注，此外，通常还需要医生用左手调节b超图像的增益等参数，以使采集的b超图像更清晰。
4.但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：
5.在眼部b超检查的过程中，医生通常要采集大量b超图像，其左手需要频繁地输入键盘的“l”和“r”按键，以实现对b超图像的眼别标注，由此导致医生在进行眼部b超检查过程中的工作量较大；此外，在采集得到b超图像后，现有技术中通常也无法进一步标注b超图像是对应眼睛的哪个位置，由此在后续医生对患者的b超图像进行查看时，无法快速对眼部病变部位进行准确判断。


技术实现要素：

6.本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种眼部b超检查用图像处理方法、系统、设备及介质。
7.为了实现上述目的，本发明采用以下技术方案：
8.第一方面，本发明提供了一种眼部b超检查用图像处理方法，包括：
9.获取用户的面部区域图像，根据面部区域图像得到眼部关键点集合；
10.获取用户进行眼部b超检查时采集的b超图像，同时在采集b超图像时获取与所述b超图像对应的用户的眼部区域图像；其中，所述眼部区域图像的获取时间与所述b超图像的采集时间相同；
11.从所述眼部区域图像中进行b超探头检测，得到b超探头关键点；
12.根据所述b超探头关键点和所述眼部关键点集合，得到所述眼部关键点集合中与所述b超探头关键点距离最近的眼部关键点，并将该距离最近的眼部关键点作为与所述b超图像对应的眼部关键点索引；
13.根据与所述b超图像对应的眼部关键点索引，得到所述b超图像的眼别。
14.在一个可能的设计中，根据面部区域图像得到眼部关键点集合，包括：
15.根据面部区域图像得到面部关键点，并对面部关键点进行标记，得到面部关键点对应的多个标记符号；
16.获取面部关键点中眼部关键点集合对应的标记符号；
17.根据面部关键点中眼部关键点集合对应的标记符号，从所述面部关键点中提取得到眼部关键点集合。
18.在一个可能的设计中，所述眼部关键点集合中任一眼部关键点a与b超探头关键点b的距离为其中，(x1,y1)为当前眼部关键点a对应的坐标，(x2,y2)为b超探头关键点b对应的坐标。
19.在一个可能的设计中，获取用户进行眼部b超检查时采集的b超图像后，所述方法还包括：
20.对所述b超图像进行增益调节，以便提高所述b超图像的清晰度。
21.在一个可能的设计中，获取用户进行眼部b超检查时采集的b超图像后，所述方法还包括：
22.获取所述b超图像的指定区域图像，并根据所述指定区域图像计算其面积。
23.在一个可能的设计中，获取用户进行眼部b超检查时采集的b超图像后，所述方法还包括：
24.根据所述b超图像进行眼轴长度计算。
25.在一个可能的设计中，得到所述b超图像的眼别后，所述方法还包括：
26.将所述b超图像以及与所述b超图像对应的用户的眼部区域图像进行配对存储。
27.第二方面，本发明提供了一种眼部b超检查用图像处理系统，用于实现如上述任一项所述的眼部b超检查用图像处理方法；所述眼部b超检查用图像处理系统包括：
28.眼部关键点检测模块，用于获取用户的面部区域图像，根据面部区域图像得到眼部关键点集合；
29.眼部图像采集模块，用于获取用户进行眼部b超检查时采集的b超图像，同时在采集b超图像时获取与所述b超图像对应的用户的眼部区域图像；其中，所述眼部区域图像的获取时间与所述b超图像的采集时间相同；
30.探头关键点检测模块，与所述眼部图像采集模块通信连接，用于从所述眼部区域图像中进行b超探头检测，得到b超探头关键点；
31.关键点索引模块，分别与所述眼部关键点检测模块和所述探头关键点检测模块通信连接，用于根据所述b超探头关键点和所述眼部关键点集合，得到所述眼部关键点集合中与所述b超探头关键点距离最近的眼部关键点，并将该距离最近的眼部关键点作为与所述b超图像对应的眼部关键点索引；
32.眼别获取模块，与所述关键点索引模块通信连接，用于根据与所述b超图像对应的眼部关键点索引，得到所述b超图像的眼别。
33.第三方面，本发明提供了一种电子设备，包括：
34.存储器，用于存储计算机程序指令；以及，
35.处理器，用于执行所述计算机程序指令从而完成如上述任一项所述的眼部b超检查用图像处理方法的操作。
36.第四方面，本发明提供了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如上述任一项所述的眼部b超检查用图像处理方法的操作。
37.本实施例在实施过程中，以下有益效果如下：
38.1)可使得医生无需输入“l”和“r”按键，就能知道采集的b超图像的所属眼睛，利于减轻医生左手的操作工作量。具体地，医生在进行眼部b超检查时，无需在采集的每张b超图像上都手动输入l或r来标注眼别，而是通过人脸关键点检测技术来获得眼部关键点集合，然后在b超图像采集时获取的眼部图像中检测探头位置，判断探头与各眼部关键点集合之间的距离，以便获得与探头距离最小的眼部关键点索引，此索引对应的眼部关键点集合对应的左右眼位置(l或r)就是当前b超图像的眼别；
39.2)由于采集的b超图像大多为眼睛内部区域，而且b超图像中也未标明病变位于眼睛的哪个位置，所以在采图保存的时候，通过将眼部b超图像与对应的眼部位置配对存储，以便b超图像和对应的眼部位置会配对进行显示，可使医生在查看眼部b超图像时了解眼部b超图像对应的病变具体位置，进而可方便医生快速精准为患者制定治疗方案。
附图说明
40.图1是实施例中一种眼部b超检查用图像处理方法的流程图；
41.图2是实施例中眼部区域图像上分别标注眼部关键点和b超探头关键点的示意图；
42.图3是实施例中一种眼部b超检查用图像处理系统的模块框图；
43.图4是实施例中一种电子设备的模块框图。
具体实施方式
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
45.实施例1：
46.本实施例公开了一种眼部b超检查用图像处理方法，可以但不限于由具有一定计算资源的计算机设备或虚拟机执行，例如由个人计算机、智能手机、个人数字助理或可穿戴设备等电子设备执行，或者由虚拟机执行。
47.如图1所示，一种眼部b超检查用图像处理方法，可以但不限于包括有如下步骤：
48.s1.获取用户的面部区域图像，根据面部区域图像得到眼部关键点集合；具体地，本实施例中的用户通常指待进行眼部b超检查的患者，在此过程中，需要指导患者平卧在检查床上，并通过医护人员协助患者摆放好头位，以让患者面部朝向医生，并告知患者轻闭双眼不要睁开；当患者仰卧准备好之后，可通过患者面朝的摄像头实时采集患者的脸部区域图像，并对采集的脸部区域图像进行人脸关键点检测，以便得到眼部关键点集合。
49.具体地，本实施例中，根据面部区域图像得到眼部关键点集合，包括：
50.s101.根据面部区域图像得到面部关键点，并对面部关键点进行标记，得到面部关键点对应的多个标记符号；需要说明的是，本实施例中，获得的面部关键点包括眉毛、眼睛、鼻子、嘴巴、面部轮廓等部位的关键点，在此过程中，对每个关键点进行编号，因而可便于根据眼部关键点集合的编号提取左右眼关键点。
51.本实施例中，根据面部区域图像得到面部关键点时，采用face mesh(面网格)算法实现，此算法可以实时估计出面部区域图像中的468个面部关键点。具体地，根据面部区域图像得到面部关键点，包括：将所述面部区域图像输入face mesh算法模型中，得到468个面部关键点。
52.s102.获取面部关键点中眼部关键点集合对应的标记符号。
53.s103.根据面部关键点中眼部关键点集合对应的标记符号，从所述面部关键点中提取得到眼部关键点集合。
54.作为举例，本实施例中，图2示出了眼部关键点集合中分别对应左右眼眼部的12个眼部关键点p1～p12。
55.s2.获取用户进行眼部b超检查时采集的b超图像，同时在采集b超图像时获取与所述b超图像对应的用户的眼部区域图像；其中，所述眼部区域图像的获取时间与所述b超图像的采集时间相同；需要说明的是，本实施例中，在进行眼部b超检查时，需要在b超探头上涂抹适量耦合剂，先将b超探头置于眼睑中央，进行垂直及水平轴位扫描，从多个切面、多角度地探查病变，再可以但不仅限于采用现有技术的b超检查中通过脚踏操作冻结病变特征明显区域对应的b超检测图像，进而可采集得到b超图像，此处不予赘述。需要说明的是，本实施例中，在采集b超图像时，患者面朝的摄像头自动进行拍照，进而得到与所述b超图像对应的用户的眼部区域图像。
56.s3.从所述眼部区域图像中进行b超探头检测，得到b超探头关键点；需要说明的是，本实施例中，b超探头关键点的位置是可变的，其位置根据不同眼部区域图像中b超探头的探测位置而定。
57.本实施例中，从所述眼部区域图像中进行b超探头检测，得到b超探头关键点，包括：
58.s301.采集不同场景、不同角度下的眼部区域图像，并对采集的眼部区域图像进行探头关键点数据标注，得到标注后图像；本实施例中，所有眼部区域图像中均包括b超探头图；
59.s302.搭建初始探头检测模型，并对标注后图像进行增强处理，得到预处理后图像，以便通过预处理后图像对初始探头检测模型进行训练，得到准确率较高的训练后探头检测模型；本实施例中，初始探头检测模型采用yolo v5网络模型实现；
60.s303.将待检测的眼部区域图像输入训练后探头检测模型内，得到b超探头关键点。
61.s4.根据所述b超探头关键点和所述眼部关键点集合，得到所述眼部关键点集合中与所述b超探头关键点距离最近的眼部关键点，并将该距离最近的眼部关键点作为与所述b超图像对应的眼部关键点索引；本实施例中，b超探头关键点以及眼部关键点集合中的眼部关键点均以坐标的形式进行存储，当所述眼部关键点集合中任一眼部关键点a对应的坐标
为(x1,y1)，b超探头关键点b对应的坐标为(x2,y2)时，该眼部关键点a与b超探头关键点b的距离为需要说明的是，本实施例中，由于所述面部区域图像和所述眼部区域图像均由同一固定摄像头(即患者面朝的摄像头)采集得到，因而对应的所述b超探头关键点和所述眼部关键点集合在同一坐标系下。
62.s5.根据与所述b超图像对应的眼部关键点索引，得到所述b超图像的眼别。具体地，本实施例中，所述b超图像的眼别为与所述b超图像对应的眼部关键点索引对应的眼部位置，如为指代左眼的l标记或指代右眼的r标记。
63.s6.将所述b超图像以及与所述b超图像对应的用户的眼部区域图像进行配对存储。
64.需要说明的是，由于采集的b超图像大多为眼睛内部区域，而且b超图像中也未标明病变位于眼睛的哪个位置，所以在采图保存的时候，通过将眼部b超图像与对应的眼部位置配对存储，以便b超图像和对应的眼部位置会配对进行显示，可使医生在查看眼部b超图像时了解眼部b超图像对应的病变具体位置，进而可方便医生快速精准为患者制定治疗方案。
65.此外，本实施例中，获取用户进行眼部b超检查时采集的b超图像后，所述方法还包括：
66.对所述b超图像进行增益调节，以便提高所述b超图像的清晰度。需要说明的是，增益既可以在进行b超扫描过程中调节，也可以在图像冻结，即采集到b超图像后调节，此处不予限制。本实施例中，可以但不仅限于通过鼠标垂直移动滚动球的方式调节增益，此处亦不予限制。
67.获取所述b超图像的指定区域图像，并根据所述指定区域图像计算其面积，具体地，该面积即为指定区域图像对应轮廓内像素点的数量。需要说明的是，本实施例中，还可在计算指定区域图像的面积后，对该区域的面积进行标注，以便医生快速确认病变部位的面积。
68.和/或，根据所述b超图像进行眼轴长度计算。具体地，本实施例中，在b超探头与测量眼眼睑垂直进行水平轴位扫描时，当晶状体及视神经同时显示在声像图中央时冻结图像，得到相应的b超图像，随后，可取距视盘下方3mm处，定为黄斑的位置，测量最前端至黄斑距离，减去眼睑厚度15～20mm，测量3次，取平均值，进而得到眼轴长度。
69.本实施例在实施过程中，可使得医生无需输入“l”和“r”按键，就能知道采集的b超图像的所属眼睛，利于减轻医生左手的操作工作量。具体地，医生在进行眼部b超检查时，无需在采集的每张b超图像上都手动输入l或r来标注眼别，而是通过人脸关键点检测技术来获得眼部关键点集合，然后在b超图像采集时获取的眼部图像中检测探头位置，判断探头与各眼部关键点集合之间的距离，以便获得与探头距离最小的眼部关键点索引，此索引对应的眼部关键点集合对应的左右眼位置(l或r)就是当前b超图像的眼别。
70.实施例2：
71.本实施例公开了一种眼部b超检查用图像处理系统，用于实现实施例1中眼部b超检查用图像处理方法；如图3所示，所述眼部b超检查用图像处理系统包括：
72.眼部关键点检测模块，用于获取用户的面部区域图像，根据面部区域图像得到眼
部关键点集合；
73.眼部图像采集模块，用于获取用户进行眼部b超检查时采集的b超图像，同时在采集b超图像时获取与所述b超图像对应的用户的眼部区域图像；其中，所述眼部区域图像的获取时间与所述b超图像的采集时间相同；需要说明的是，本实施例中，眼部图像采集模块包括用于获取用户进行眼部b超检查时采集的b超图像的眼部b超图像采集模块和用于获取与所述b超图像对应的用户的眼部区域图像的眼部区域图像采集模块；
74.探头关键点检测模块，与所述眼部图像采集模块通信连接，用于从所述眼部区域图像中进行b超探头检测，得到b超探头关键点；
75.关键点索引模块，分别与所述眼部关键点检测模块和所述探头关键点检测模块通信连接，用于根据所述b超探头关键点和所述眼部关键点集合，得到所述眼部关键点集合中与所述b超探头关键点距离最近的眼部关键点，并将该距离最近的眼部关键点作为与所述b超图像对应的眼部关键点索引；
76.眼别获取模块，与所述关键点索引模块通信连接，用于根据与所述b超图像对应的眼部关键点索引，得到所述b超图像的眼别。
77.实施例3：
78.在实施例1或2的基础上，本实施例公开了一种电子设备，该设备可以是智能手机、平板电脑、笔记本电脑或者台式电脑等。电子设备可能被称为用于终端、便携式终端、台式终端等，如图4所示，电子设备包括：
79.存储器，用于存储计算机程序指令；以及，
80.处理器，用于执行所述计算机程序指令从而完成如实施例1中任一所述的眼部b超检查用图像处理方法的操作。
81.具体地，处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。
82.存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本技术中实施例1提供的眼部b超检查用图像处理方法。
83.在一些实施例中，终端还可选包括有：通信接口303和至少一个外围设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口303相连。具体地，外围设备包括：射频电路304、显示屏305和电源306中的至少一种。
84.通信接口303可被用于将i/o(input/output，输入/输出)相关的至少一个外围设
备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
85.射频电路304用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。
86.显示屏305用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。
87.电源306用于为电子设备中的各个组件进行供电。
88.实施例4：
89.在实施例1至3任一项实施例的基础上，本实施例公开了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如实施例1所述的眼部b超检查用图像处理方法的操作。
90.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
91.最后应说明的是，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种眼部b超检查用图像处理方法，其特征在于：包括：获取用户的面部区域图像，根据面部区域图像得到眼部关键点集合；获取用户进行眼部b超检查时采集的b超图像，同时在采集b超图像时获取与所述b超图像对应的用户的眼部区域图像；其中，所述眼部区域图像的获取时间与所述b超图像的采集时间相同；从所述眼部区域图像中进行b超探头检测，得到b超探头关键点；根据所述b超探头关键点和所述眼部关键点集合，得到所述眼部关键点集合中与所述b超探头关键点距离最近的眼部关键点，并将该距离最近的眼部关键点作为与所述b超图像对应的眼部关键点索引；根据与所述b超图像对应的眼部关键点索引，得到所述b超图像的眼别。2.根据权利要求1所述的一种眼部b超检查用图像处理方法，其特征在于：根据面部区域图像得到眼部关键点集合，包括：根据面部区域图像得到面部关键点，并对面部关键点进行标记，得到面部关键点对应的多个标记符号；获取面部关键点中眼部关键点集合对应的标记符号；根据面部关键点中眼部关键点集合对应的标记符号，从所述面部关键点中提取得到眼部关键点集合。3.根据权利要求1所述的一种眼部b超检查用图像处理方法，其特征在于：所述眼部关键点集合中任一眼部关键点a与b超探头关键点b的距离为其中，(x1,y1)为当前眼部关键点a对应的坐标，(x2,y2)为b超探头关键点b对应的坐标。4.根据权利要求1所述的一种眼部b超检查用图像处理方法，其特征在于：获取用户进行眼部b超检查时采集的b超图像后，所述方法还包括：对所述b超图像进行增益调节，以便提高所述b超图像的清晰度。5.根据权利要求1所述的一种眼部b超检查用图像处理方法，其特征在于：获取用户进行眼部b超检查时采集的b超图像后，所述方法还包括：获取所述b超图像的指定区域图像，并根据所述指定区域图像计算其面积。6.根据权利要求1所述的一种眼部b超检查用图像处理方法，其特征在于：获取用户进行眼部b超检查时采集的b超图像后，所述方法还包括：根据所述b超图像进行眼轴长度计算。7.根据权利要求1所述的一种眼部b超检查用图像处理方法，其特征在于：得到所述b超图像的眼别后，所述方法还包括：将所述b超图像以及与所述b超图像对应的用户的眼部区域图像进行配对存储。8.一种眼部b超检查用图像处理系统，其特征在于：用于实现如权利要求1至7中任一项所述的眼部b超检查用图像处理方法；所述眼部b超检查用图像处理系统包括眼部关键点检测模块，用于获取用户的面部区域图像，根据面部区域图像得到眼部关键点集合；眼部图像采集模块，用于获取用户进行眼部b超检查时采集的b超图像，同时在采集b超图像时获取与所述b超图像对应的用户的眼部区域图像；其中，所述眼部区域图像的获取时
间与所述b超图像的采集时间相同；探头关键点检测模块，与所述眼部图像采集模块通信连接，用于从所述眼部区域图像中进行b超探头检测，得到b超探头关键点；关键点索引模块，分别与所述眼部关键点检测模块和所述探头关键点检测模块通信连接，用于根据所述b超探头关键点和所述眼部关键点集合，得到所述眼部关键点集合中与所述b超探头关键点距离最近的眼部关键点，并将该距离最近的眼部关键点作为与所述b超图像对应的眼部关键点索引；眼别获取模块，与所述关键点索引模块通信连接，用于根据与所述b超图像对应的眼部关键点索引，得到所述b超图像的眼别。9.一种电子设备，其特征在于：包括：存储器，用于存储计算机程序指令；以及，处理器，用于执行所述计算机程序指令从而完成如权利要求1至7中任一项所述的眼部b超检查用图像处理方法的操作。10.一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，其特征在于：所述计算机程序指令被配置为运行时执行如权利要求1至7中任一项所述的眼部b超检查用图像处理方法的操作。

技术总结
本发明属于医疗信息化技术领域，其目的在于提供一种眼部B超检查用图像处理方法、系统、设备及介质。本发明无需在采集的每张B超图像上都手动输入L或R来标注眼别，而是通过人脸关键点检测技术来获得眼部关键点集合，然后在B超图像采集时获取的眼部图像中检测探头位置，判断探头与各眼部关键点集合之间的距离，以便获得与探头距离最小的眼部关键点索引，此索引对应的眼部关键点集合对应的左右眼位置就是当前B超图像的眼别，利于减轻医生左手的操作工作量。工作量。工作量。


技术研发人员：刘希东 行薇
受保护的技术使用者：北京云柿信息技术有限公司
技术研发日：2023.08.04
技术公布日：2023/10/15