一种口内照物理距离测量方法、设备和可读存储介质与流程

1.本发明涉及测量领域，具体涉及一种口内照物理距离测量方法、设备和可读存储介质。


背景技术：

2.在牙科临床的案例中，医生需要测量一些患者的医学指标，根据测量到的指标，制定适合患者的治疗方案。主要测量指标的量纲有角度，比值，长度等，这其中长度的计算需要医生手动的从图片的像素距离转换到实际的物理距离。在一些专业的设备中，长度转化的比例尺被集成在了硬件中，如拍摄牙科侧位片的x光机集成了一把尺子放在患者拍摄的同平面中，尺子的刻度就可用来计算转换的比例。但是在口内照这个数据类型上我们不能使用相同的方法得到这个转换比例，这是因为牙齿呈弧状分布在牙弓曲线上，在透视相机下不处在一个平面上，没有办法在这个不存在的平面上放置尺子。
3.有鉴于此，提供一种口内照物理距离测量方法、设备和可读存储介质。


技术实现要素：

4.本发明的目的在于针对现有技术的不足，提供一种口内照物理距离测量方法、设备和可读存储介质，无需将尺子塞进患者嘴里就可测量实际距离。
5.为了解决上述技术问题，采用如下技术方案：一种口内照物理距离测量方法，其特征在于包括以下步骤：（1）获取带有开口器内壁的第一口内照，所述开口器内壁上至少有两个标记点，并选取其中两个标记点作为所述第一口内照的两个开口器标记点；（2）将所述第一口内照输入到训练好的目标检测网络中，预测出两个开口器标记点在所述第一口内照的位置和两个所述开口器标记点之间相对于镜头视角方向垂直的平面图像距离；（3）获取带有开口器内壁的第二口内照，将所述第二口内照输入训练好的深度估计网络中，预测出所述第二口内照对应的深度图，得到所述第二口内照的其中两个口内照标记点的深度差；（4）先将步骤（2）中的两个所述开口器标记点之间的平面图像距离根据比例尺转化为实际平面距离，然后通过勾股定理，及上述得到的两个所述第二口内照标记点的深度差、两个开口器标记点在所述第一口内照的位置及其所述两个开口器标记点的实际平面距离，得到两个口内照标记点的实际距离。
6.进一步，对所述目标检测网络进行训练，具体训练过程为：（a）通过开口器拍摄不同用户的带有开口器内壁的第一口内照，所述第一口内照将带有至少两个开口器标记点的第一口内照，并标注出的两个开口器标记点的位置；（b）将上述的带有至少两个开口器标记点的第一口内照及其标注出的两个开口器标记点的位置的数据传入到目标检测网络中，预测出两个开口器标记点的位置；
（c）根据标注出的两个开口器标记点的位置和预测出两个开口器标记点的位置的偏移量作为损失函数；其中，所述损失函数用于引导所述目标检测网络的参数更新，得到准确的目标检测网络。
7.进一步，所述目标检测网络使用yolov5作为网络结构。
8.进一步，对所述深度估计网络进行训练，具体训练过程为：（a）采集训练数据，每个训练数据中含有一张带有开口器内壁的第二口内照和所述第二口内照实际对应的深度图；（b）将带有开口器内壁的第二口内照和所述第二口内照对应的深度图的数据传入到深度估计网络中，预测出对应的深度图片；（c）将预测的所述深度图片和实际对应的所述深度图输入进损失函数计算公式中；其中所述损失函数用于引导深度估计网络的参数更新，得到准确的深度估计网络。
9.进一步，所述深度估计网络采用了一个unet作为网络结构。
10.进一步，在所述步骤（4）中，得到两个开口器标记点的实际距离的计算过程如下：（a）通过步骤（2）的目标检测网络，得到两个开口器标记点在所述第一口内照的位置，使用勾股定理计算出所述两个开口器标记点的平面图像距离，记为l1；已知两个开口器标记点之间的实际距离，记为l2，已知相机内参，用k标识。
11.（b）将口内照输入进深度估计网络得到预测的深度图，已知两个目标点a1,a2，得到图中a1和a2的深度，记为da1和da2，两者相减得到它们的深度差，记为dy；使用勾股定理计算出a1和a2之间的像素距离，记为l3。
12.（c）a1和a2在图片平面的实际距离记为dx，用da1作为内参公式的输入来消除镜头畸变，得到k（da1），dx的计算公式如下：。
13.进一步，所述开口器上设有拍摄装置，所述开口器嵌套在拍摄装置的摄像头外，拍摄装置呈圆筒状，横截面为椭圆；所述开口器的底部设有卡扣，所述开口器的底部和拍摄装置的尺寸和形状保持一致，所述开口器的底部用来卡住拍摄装置。
14.进一步，所述开口器的内壁两侧设有若干个突出的标记点。
15.本发明还提供了一种口内照物理距离测量设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现上述任意一项所述的一种口内照物理距离测量方法。
16.本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现上述任意一项所述的口内照物理距离测量方法。
17.由于采用上述技术方案，具有以下有益效果：本发明为一种口内照物理距离测量方法、设备和可读存储介质，本发明通过在口内照拍摄的外围集成了一个包围镜头的环，环上有两个或两个和环颜色不同的标记点。同时借助神经网络，可以得到口内照的深度图，基于深度图，照相机的内参和拍摄的刻度，通
过计算可以得到口内照中两点的实际距离。由于考虑到牙齿不在同一个图片平面内，深度的计算使深度更为精细，且无需将尺子塞进患者嘴里测量实际距离。
附图说明
18.下面结合附图对本发明作进一步说明：图1是为本发明一种口内照物理距离测量方法的流程示意图。
19.图2是为本发明带有开口器内壁的口内照的示意图一。
20.图3是为本发明带有开口器内壁的口内照的示意图二。
21.图4是为本发明一种口内照的结构示意图。
实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
24.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
25.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
26.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
27.取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
28.实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
29.以下结合附图对本发明的具体实施例做详细说明。
30.本发明公开了一种口内照物理距离测量方法、设备及可读存储介质，无需将尺子塞进患者嘴里就可测量实际距离。
31.请参阅图1-4，本发明第一实施例提供了一种口内照物理距离测量方法，其可由口内照物理距离测量设备（以下简称测量设备）来执行，特别的，由所述测量设备内的一个或
者多个处理器来执行，以至少实现如下步骤：（1）获取带有开口器内壁的第一口内照，所述开口器内壁上至少有两个标记点，并选取其中两个标记点作为所述第一口内照的两个开口器标记点。
32.在本实施例中，所述测量设备可为台式电脑、笔记本电脑、服务器、工作站等具有数据处理分析能力的终端，其中，所述测量设备内可安装有相应的操作系统以及应用软件，并通过操作系统以及应用软件的结合来实现本实施例所需的功能。
33.需要说明的是，所述开口器上设有拍摄装置，所述开口器嵌套在拍摄装置的摄像头外，拍摄装置呈圆筒状，横截面为椭圆。具体的，在口内照拍摄的外围集成了一个包围镜头的环，环上有两个和环颜色不同的标记点。
34.作为对本实施例的进一步说明，所述开口器的底部设有卡扣，所述开口器的底部和拍摄装置的尺寸和形状保持一致，所述开口器的底部用来卡住拍摄装置。开口器的内壁两侧设有若干个突出的标记点。因此口内照可以由上述的特殊设计的开口器拍摄而成。
35.作为对本实施例的进一步说明，参看图2和图3，开口器呈灰色，标记点可以为突出的红点、黄点等不同于开口器的内壁的点。标记点提供和x光机的尺子类似的功能，相同尺寸的开口器标记点之间的距离相同。
36.作为对本实施例的进一步说明，所述开口器设计成一个包围镜头的环，环上有两个和环颜色不同的点。
37.需要说明的是，该拍摄装置可以为摄例如手机、相机、平板电脑等具有图像拍摄功能的终端。
38.需要说明的是，通过开口器的拍摄装置获取带有开口器内壁的第一口内照后，通过手机、相机、平板电脑等具有图像拍摄功能的终端，患者可以将口内照发送给医生之后，医生来输入到系统中。
39.（2）将所述第一口内照输入到训练好的目标检测网络中，预测出两个开口器标记点在所述第一口内照的位置和两个所述开口器标记点之间相对于镜头视角方向垂直的平面图像距离。
40.进一步地，在本实施例中，目标检测网络可以使用yolov5作为网络结构，其可以快速预测出两个开口器标记点在所述第一口内照的位置和所述两个开口器标记点之间相对于镜头视角方向垂直的平面图像距离；当然，在其他实施例中，还可以采用其他的网络结构，例如mask_rcnn这里不做具体限定，但这些方案均在本发明的保护范围内。
41.需要说明的是，在本实施例中，为了训练目标检测网络，具体通过如下过程。
42.（a）通过开口器拍摄n个个患者用户的带有开口器内壁的第一口内照，所述第一口内照将带有至少两个开口器标记点的第一口内照，并标注出的两个开口器标记点的位置。
43.（b）将上述的带有至少两个开口器标记点的第一口内照及其标注出的两个开口器标记点的位置的数据传入到目标检测网络中，预测出两个开口器标记点的位置。
44.（c）根据标注出的两个开口器标记点的位置和预测出两个开口器标记点的位置的偏移量作为损失函数；其中，所述损失函数用于引导所述目标检测网络的参数更新，得到准确的目标检测网络。
45.（3）获取带有开口器内壁的第二口内照，将所述第二口内照输入训练好的深度估计网络中，预测出所述第二口内照对应的深度图，得到所述第二口内照的其中两个口内照
标记点的深度差。
46.进一步地，在本实施例中，深度估计网络采用了一个unet作为网络结构。其可以快速预测出所述第二口内照对应的深度图，得到其中两个口内照标记点的深度差。当然，在其他实施例中，还可以采用其他的网络结构，例如transformer这里不做具体限定，但这些方案均在本发明的保护范围内。
47.需要说明的是，在本实施例中，为了训练深度估计网络，具体通过如下过程：（a）采集训练数据，每个训练数据中含有一张带有开口器内壁的第二口内照和所述第二口内照实际对应的深度图；（b）将带有开口器内壁的第二口内照和所述第二口内照对应的深度图的数据传入到深度估计网络中，预测出对应的深度图片；（c）将预测的所述深度图片和实际对应的所述深度图输入进损失函数计算公式中；其中所述损失函数用于引导深度估计网络的参数更新，得到准确的深度估计网络。
48.（4）先将步骤（2）中的两个所述开口器标记点之间的平面图像距离根据比例尺转化为实际平面距离，然后通过勾股定理，及上述得到的两个所述第二口内照标记点的深度差、两个开口器标记点在所述第一口内照的位置及其所述两个开口器标记点的实际平面距离，得到两个口内照标记点的实际距离。
49.在所述步骤（4）中，得到两个开口器标记点的实际距离的计算过程如下：（a）通过步骤（2）的目标检测网络，得到两个开口器标记点在所述第一口内照的位置，使用勾股定理计算出所述两个开口器标记点的平面图像距离，记为l1；已知两个开口器标记点之间的实际距离，记为l2，已知相机内参，用k标识。
50.（b）将口内照输入进深度估计网络得到预测的深度图，已知两个目标点a1,a2，得到图中a1和a2的深度，记为da1和da2，两者相减得到它们的深度差，记为dy；使用勾股定理计算出a1和a2之间的像素距离，记为l3；（c）a1和a2在图片平面的实际距离记为dx，用da1作为内参公式的输入来消除镜头畸变，得到k（da1），dx的计算公式如下：。
51.用da1作为内参公式的输入来消除镜头畸变的原因如下：由于红点和镜头的距离忽略不计，可以直接用da1作为内参公式的输入来消除镜头畸变。通过勾股定理，计算出两点间的实际距离。
52.本发明第二实施例提供了一种口内照物理距离测量设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种口内照物理距离测量方法。
53.本发明第三实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上任意一项所述的一种口内照物理距离测量方法。
54.基于本发明公开的一种口内照物理距离测量方法、设备及可读存储介质，通过在口内照拍摄的外围集成了一个包围镜头的环，环上有两个或两个和环颜色不同的标记点。
同时借助神经网络，可以得到口内照的深度图，基于深度图，照相机的内参和拍摄的刻度，通过计算可以得到口内照中两点的实际距离。由于考虑到牙齿不在同一个图片平面内，深度的计算使深度更为精细，且无需将尺子塞进患者嘴里测量实际距离，解决了现有的口内照中两点的实际距离测量过程繁琐的问题。
55.示例性地，本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现一种口内照物理距离测量设备中的执行过程。
56.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种口内照物理距离测量方法的控制中心，利用各种接口和线路连接整个所述实现对一种口内照物理距离测量方法的各个部分。
57.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现一种口内照物理距离测量方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、文字转换功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、文字消息数据等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡（smart media card, smc）、安全数字（secure digital, sd）卡、闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
58.其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
59.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的
需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
60.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种口内照物理距离测量方法，其特征在于包括以下步骤：（1）获取带有开口器内壁的第一口内照，所述开口器内壁上至少有两个标记点，并选取其中两个标记点作为所述第一口内照的两个开口器标记点；（2）将所述第一口内照输入到训练好的目标检测网络中，预测出两个开口器标记点在所述第一口内照的位置和两个所述开口器标记点之间相对于镜头视角方向垂直的平面图像距离；（3）获取带有开口器内壁的第二口内照，将所述第二口内照输入训练好的深度估计网络中，预测出所述第二口内照对应的深度图，得到所述第二口内照的其中两个口内照标记点的深度差；（4）先将步骤（2）中的两个所述开口器标记点之间的平面图像距离根据比例尺转化为实际平面距离，然后通过勾股定理，及上述得到的两个所述第二口内照标记点的深度差、两个开口器标记点在所述第一口内照的位置及其所述两个开口器标记点的实际平面距离，得到两个口内照标记点的实际距离。2.根据权利要求1所述的一种口内照物理距离测量方法，其特征在于：对所述目标检测网络进行训练，具体训练过程为：（a）通过开口器拍摄不同用户的带有开口器内壁的第一口内照，所述第一口内照将带有至少两个开口器标记点的第一口内照，并标注出的两个开口器标记点的位置；（b）将上述的带有至少两个开口器标记点的第一口内照及其标注出的两个开口器标记点的位置的数据传入到目标检测网络中，预测出两个开口器标记点的位置；（c）根据标注出的两个开口器标记点的位置和预测出两个开口器标记点的位置的偏移量作为损失函数；其中，所述损失函数用于引导所述目标检测网络的参数更新，得到准确的目标检测网络。3.根据权利要求2所述的一种口内照物理距离测量方法，其特征在于：所述目标检测网络使用yolov5作为网络结构。4.根据权利要求1所述的一种口内照物理距离测量方法，其特征在于：对所述深度估计网络进行训练，具体训练过程为：（a）采集训练数据，每个训练数据中含有一张带有开口器内壁的第二口内照和所述第二口内照实际对应的深度图；（b）将带有开口器内壁的第二口内照和所述第二口内照对应的深度图的数据传入到深度估计网络中，预测出对应的深度图片；（c）将预测的所述深度图片和实际对应的所述深度图输入进损失函数计算公式中；其中所述损失函数用于引导深度估计网络的参数更新，得到准确的深度估计网络。5.根据权利要求4所述的一种口内照物理距离测量方法，其特征在于：所述深度估计网络采用了一个unet作为网络结构。6.根据权利要求1所述的一种口内照物理距离测量方法，其特征在于：在所述步骤（4）中，得到两个开口器标记点的实际距离的计算过程如下：（a）通过步骤（2）的目标检测网络，得到两个开口器标记点在所述第一口内照的位置，使用勾股定理计算出所述两个开口器标记点的平面图像距离，记为l1；已知两个开口器标记点之间的实际距离，记为l2，已知相机内参，用k标识；
（b）将口内照输入进深度估计网络得到预测的深度图，已知两个目标点a1,a2，得到图中a1和a2的深度，记为da1和da2，两者相减得到它们的深度差，记为dy；使用勾股定理计算出a1和a2之间的像素距离，记为l3；（c）a1和a2在图片平面的实际距离记为dx，用da1作为内参公式的输入来消除镜头畸变，得到k（da1），dx的计算公式如下：。7.根据权利要求1所述的一种口内照物理距离测量方法，其特征在于：所述开口器上设有拍摄装置，所述开口器嵌套在拍摄装置的摄像头外，拍摄装置呈圆筒状，横截面为椭圆；所述开口器的底部设有卡扣，所述开口器的底部和拍摄装置的尺寸和形状保持一致，所述开口器的底部用来卡住拍摄装置。8.根据权利要求1所述的一种口内照物理距离测量方法，其特征在于：所述开口器的内壁两侧设有若干个突出的标记点。9.一种口内照物理距离测量设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至8任意一项所述的一种口内照物理距离测量方法。10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如权利要求1至8任意一项所述的口内照物理距离测量方法。

技术总结
本发明涉及测量领域，具体涉及一种口内照物理距离测量方法、设备和可读存储介质，本发明通过在口内照拍摄的外围集成了一个包围镜头的环，环上有两个或两个和环颜色不同的标记点。同时借助神经网络，可以得到口内照的深度图，基于深度图，照相机的内参和拍摄的刻度，通过计算可以得到口内照中两点的实际距离。由于考虑到牙齿不在同一个图片平面内，深度的计算使深度更为精细，且无需将尺子塞进患者嘴里测量实际距离。量实际距离。量实际距离。


技术研发人员：沈飞鸿
受保护的技术使用者：杭州朝厚信息科技有限公司
技术研发日：2023.05.05
技术公布日：2023/9/20