用于生成一个或多个全景图像视图的数字图像拼接系统和方法与流程

1.本公开一般涉及数字图像拼接系统和方法，并且更具体地涉及用于生成一个或多个全景图像视图的数字图像拼接系统和方法。


背景技术：

2.常规数码相机技术向用户提供捕获数字图像的能力。在许多情况下，以典型方式捕获数字图像，其中图像具有某一尺寸或分辨率，其可以某个区域中(例如，6
×
3英寸区域中等)的数字图像的像素计数(例如，对于300万像素图像为2048
×
1536，对于1800万像素图像为5184
×
3546等)来表达。然而，此类数字图像通常具有有限的视场(fov)，尤其是当此类图像由常规相机(诸如移动设备上的相机)捕获时。此外，尽管常规数码相机技术向用户提供捕获影片(例如，多个图像帧)并且拍摄可包含大量被捕获图像的“全景照片”的能力，但此类影片或照片通常被捕获以供人类消费，即，供人类用户稍后在移动设备等上观看。此类图像缺少进动或取向数据，以便在相机被定位、转动或以其他方式随着图像被捕获而不同地移动时确定随时间在空间中捕获的多个图像的取向。当在小空间或区域中(诸如在用于口腔成像应用的口腔中)捕获此类图像时，尤其如此。
3.因此，当此类常规数字图像用于数字和机器视觉应用时出现问题，其中空间中的取向和位置对于机器视觉应用或其他数字应用确定和分类此类图像内的对象而言变得重要。
4.出于前述原因，需要用于生成一个或多个全景图像视图以允许增强的成像精度的数字图像拼接系统和方法，如本文进一步描述的。


技术实现要素：

5.如本文所述，公开了用于生成一个或多个全景图像视图的数字图像拼接系统和方法。此类数字图像拼接系统和方法提供了基于数字成像的解决方案，用于克服由于正确识别机器视觉应用或其他数字图像应用的空间中的取向、尺寸和位置而产生的问题。本文所述的数字图像拼接系统和方法可用于准确地确定在用于生成一个或多个全景图像视图目的的给定空间或视场(fov)中捕获的数字图像的取向、旋转和关系。如本文中所提及，全景的或全景可以为任何广角视图、宽范围视图或以其他多面或多部分视图或表示。全景图像视图可将物理空间、环境或其他一个或多个目标特征对象作为全景来描绘或成像。
6.例如，在至少一个应用中并且当使用常规图像捕获设备(诸如单独的口腔内窥镜)来捕获口腔区域或龋洞的数字图像时，由于口腔区域或龋洞中的有限空间以及口腔内窥镜分辨率的限制，fov可能是相当有限的，通常仅保留给几颗牙齿(例如，通常2至3颗)。因此，对于用户或机器视觉应用来说，分析或理解由口腔内窥镜捕获的数字图像或口腔区域或龋洞以例如用于确定或提供口腔健康的反馈是非常困难的。这对于包含口腔特征的数字图像可能尤其成问题，因为在标准图像中描绘的牙齿上通常不存在许多纹理或特征。另外，如在
标准数字图像中所描绘的，一些牙齿可能是有光泽的，包含唾液/流涎，或以其他方式在数字图像内的某些区域或点中具有一些反射光。更进一步，描绘口腔区域的数字图像可仅包含牙齿、齿龈或口腔背景区域，其提供很少的信息用于基于通过常规成像设备捕获的图像来分析或理解口腔应用区域(例如，用户的口腔)。另外，尺寸小的图像可能被错误地重复计数，从而导致错误的图像分析。
7.然而，本文所述的数字图像拼接系统和方法同步或以其它方式使用传感器数据(例如，其可来自多个和/或不同传感器类型)来首先校正旋转角度，且接着重建单独地捕获的2d图像以生成2d全景视图，全部不依赖于从3d相机捕获的3d数据，例如，如3d深度相机或3d扫描仪所需要的。例如，本文所述的数字图像拼接系统和方法通过以下方式改进而优于现有技术方法：使用相机信息(例如，数字图像)和传感器(例如，惯性测量单元(imu))和相关运动数据，每一者均包括可用于机器视觉目的的不同数据类型以正确地将图像定向、旋转和/或拼接在一起以用于在给定应用区域中提供准确的较宽fov。
8.对于口腔应用，通过非限制性示例，与imu传感器相关联的口腔内窥镜可用于捕获有限的fov图像。通过拼接这些有限的图像，利用imu传感器数据的旋转校正，可从原始有限的图像重建2d全景图像视图。另外，可计算并存储口腔内窥镜设备的移动距离，从而向机器视觉应用或观看2d全景图像的用户提供关于3d空间中相机扫描的进展或移动的更精确的反馈。相机和imu以及对每一者的数据的跟踪一起改进位置模型的预测结果，该位置模型可用于检测、确定或跟踪2d全景图像中的对象。位置模型或2d全景图像可用于各种最终用途应用，诸如确定应用区域(例如，口腔)的分区(zone)。更进一步，位置模型或其他2d全景图像还用于聚焦于应用的特定区域，例如，限定从分区水平到牙齿水平的精度，并且还限定与用户的口腔有关的口腔问题的一个或多个位置，包括牙齿水平或以其他方式作为整体的用户口腔。
9.另外，在各个方面，可随时间跟踪多个位置模型或其他2d全景图像以确定在一定时期内在多个图像内检测到的特定位置(共同位置)处的改变。例如，关于口腔应用，可使用多个位置模型或其他2d全景图像来跟踪硬组织(例如，牙齿)和软组织(例如，齿龈、舌头、脸颊)的演变以及相关问题，诸如着色、肿胀、缺失、牙垢、磨损、涎石、错位以及用户的口腔随时间的其他问题。另外，位置模型或其他2d全景图像可用于重建应用区域，诸如整行牙齿图像，并且提取扫描/刷牙路径以便基于牙齿图案或蛀洞等唯一地识别个体。
10.更进一步，所生成或构造的2d全景图像可用于例如在图形用户界面(gui)或其他显示屏幕上提供用户反馈或指导，包括2d全景图像本身或从其确定的或其中相关的数据或信息中的任一者。应当理解，口腔应用区域仅是一种应用区域类型，并且如本文所述的其他应用区域也可被使用。
11.更具体地，如本文所述，公开了一种用于生成一个或多个全景图像视图的数字图像拼接方法。数字图像拼接方法可包括通过扫描仪设备的相机捕获描绘应用区域内的目标特征的多个数字图像。多个数字图像可至少包括第一图像和第二图像。数字图像拼接方法还可包括：当扫描仪设备相对于目标特征移动时，通过耦接到扫描仪设备的传感器捕获运动数据。数字图像拼接方法还可包括：基于运动数据确定相对位置数据。相对位置数据可至少包括对应于第一图像的第一位置数据和对应于第二图像的第二位置数据。数字图像拼接方法还可包括：基于相对位置数据生成第二图像相对于第一图像的角度或位置中的至少一
者。数字图像拼接方法还可包括：基于第二图像的角度或位置基于第二图像与第一图像的图像匹配生成在应用区域的比第一图像或第二图像更宽的视场中描绘目标特征的全景图像视图。
12.此外，如本文所述，公开了一种数字图像拼接系统。数字图像拼接系统被配置为生成一个或多个全景图像视图。数字图像拼接系统可包括扫描仪设备，该扫描仪设备包括被配置为捕获数字图像的相机。数字图像拼接系统还可包括传感器，该传感器耦接到扫描仪设备并且被配置为捕获运动数据。数字图像拼接系统还可包括一个或多个处理器，该一个或多个处理器通信地耦接到扫描仪设备。数字图像拼接系统还可包括存储计算指令的计算机可读介质，该计算指令被配置为在一个或多个处理器上执行。计算指令在由一个或多个处理器执行时可使得一个或多个处理器通过相机捕获描绘应用区域内的目标特征的多个数字图像。多个数字图像可至少包括第一图像和第二图像。计算指令在由一个或多个处理器执行时还可使得一个或多个处理器在扫描仪设备相对于目标特征移动时由传感器捕获运动数据。计算指令在由一个或多个处理器执行时还可使得一个或多个处理器基于运动数据确定相对位置数据。相对位置数据可至少包括对应于第一图像的第一位置数据和对应于第二图像的第二位置数据。计算指令在由一或多个处理器执行时还可使得一个或多个处理器基于相对位置数据生成第二图像相对于第一图像的角度或位置中的至少一者。计算指令在由一或多个处理器执行时还可使得一个或多个处理器：基于第二图像的角度或位置基于第二图像与第一图像的图像匹配生成在应用区域的比第一图像或第二图像更宽的视场中描绘目标特征的全景图像视图。
13.此外，如本文所述，公开了一种有形的非暂态计算机可读介质，其存储用于生成一个或多个全景图像视图的指令。指令在由一或多个处理器执行时还可使得一个或多个处理器通过扫描仪设备的相机捕获描绘应用区域内的目标特征的多个数字图像。多个数字图像可至少包括第一图像和第二图像。指令在由一个或多个处理器执行时还可使得一个或多个处理器在扫描仪设备相对于目标特征移动时通过耦接到扫描仪设备的传感器捕获运动数据。指令在由一个或多个处理器执行时还可使得一个或多个处理器基于运动数据确定相对位置数据。相对位置数据可至少包括对应于第一图像的第一位置数据和对应于第二图像的第二位置数据。指令在由一或多个处理器执行时还可使得一个或多个处理器基于相对位置数据生成第二图像相对于第一图像的角度或位置中的至少一者。指令在由一或多个处理器执行时还可使得一个或多个处理器：基于第二图像的角度或位置基于第二图像与第一图像的图像匹配生成在应用区域的比第一图像或第二图像更宽的视场中描绘目标特征的全景图像视图。
14.本公开涉及对其他技术或技术领域的改进，至少因为本公开描述或介绍了对数字成像领域中的计算设备的改进，由此数字图像拼接系统和方法通过使用扫描仪设备或计算设备来执行，并且通过基于传感器数据经由旋转来生成更准确、校正或以其他方式增强的全景图像视图来改进数字成像操纵领域，以改进在数字图像逐帧基础上的模板匹配的精度。因此，由所公开的系统和方法生成的数字图像(例如，全景图像视图)允许更准确的图像，这些图像可用于各种最终目的，诸如口腔治疗或如本文所述的其他方面。
15.更进一步，本公开涉及对其他技术或技术领域的改进，至少因为本公开描述或介绍了对安全性和/或图像处理领域中计算设备的改进，其中至少在一些方面，可对用户的扫
描仪行为进行确定以唯一地识别用户，而无需描绘给定用户的个人可识别信息(pii)。通过使用本文描述的系统和方法，可从任何详细的pii提取扫描行为。此类特征提供了安全性改进，即，其中pii(例如，私密区域特征)的移除提供了优于现有系统的改进，在于裁剪或编辑的图像，现有技术系统需要用户的图像，尤其是可通过网络(例如，互联网)传输的图像。因此，本文描述的系统和方法在不需要此类基本信息的情况下操作，这提供了优于现有系统的改进，例如，安全性改进。此外，至少在一些方面中，扫描行为图案的使用允许底层系统存储和/或处理更少的(或者在一些情况下没有)数字图像，这导致底层系统作为整体性能提高，因为较少图像需要较少的存储存储器和/或处理资源来存储、处理和/或由底层计算机系统以其他方式操作。
16.更进一步，本公开包括利用或通过使用特定机器(例如扫描仪设备)来应用某些权利要求元素，该特定机器可包括具有用于捕获用户口腔的图像的相机的口内设备以及耦接到扫描仪设备以用于捕获相对于或对应于图像数据的运动数据的传感器。
17.此外，本公开包括除本领域中众所周知的、常规的、常规活动之外的特定特征，并且添加将权利要求限制到特定有用应用的非常规步骤，例如，用于生成一个或多个全景图像视图的数字图像拼接方法。
18.通过以举例说明的方式示出和描述的优选方面的以下描述，优点对于本领域的普通技术人员而言将变得更加显而易见。如将认识到的，本发明的方面可具有其他和不同的方面，并且它们的细节能够在各个方面进行修改。因此，附图和描述应被视为实质上是示例性的而非限制性的。
附图说明
19.下文所述的附图描绘了本文所公开的系统和方法的各个方面。应当理解，每个附图描绘了所公开的系统和方法的特定方面，并且每个附图旨在与其可能的方面保持一致。此外，在可能的情况下，以下描述提及了以下附图中包括的附图标号，其中多个附图中所示的特征部用一致的附图标号进行表示。
20.在当前讨论的附图中示出了布置，然而，应当理解，本方面不限于所示的精确布置和工具，其中：
21.图1示出了根据本文公开的各个方面的示例性数字图像拼接系统。
22.图2示出了根据本文公开的各个方面的图1的数字图像拼接系统的示例性网络图。
23.图3示出了根据本文公开的各个方面的示例性数字图像拼接方法。
24.图4示出了根据本文公开的各个方面的示例性数字图像拼接算法。
25.图5示出了根据本文公开的各个方面的应用于口腔区域的图4的数字图像拼接算法的应用的示例。
26.图6a示出了根据本文公开的各个方面的示例性全景图像视图。
27.图6b示出了展示根据本文公开的各个方面的用于生成图6a的全景图像视图的数字图像的位置的垂直(y)偏移的图。
28.图6c示出了展示根据本文公开的各个方面的用于生成图6a的全景图像视图的数字图像的位置的水平(x)偏移的图。
29.图7示出了根据本文公开的各方面的在口腔区域内预测的分区(zonal)位置。
30.图8示出了根据本文公开的各个方面的口腔区域内的一颗或多颗牙齿的牙齿位置的示例。
31.图9示出了第一用户和第二用户的相应口腔区域的示例性全景图像视图，其中每个全景图像视图均具有对应于相应用户的一个或多个独特口腔特征。
32.图10示出了根据本文公开的各个方面的指示相应用户的独特扫描行为的示例性图。
33.图11示出了根据本文公开的各个方面的示例性全景图像视图，其包括对在全景图像视图内描绘的一颗或多颗牙齿上的牙齿污染物的指示。
34.图12示出了根据本文公开的各个方面的在用户计算设备的显示屏上呈现的示例性用户界面。
35.附图仅出于说明的目的描绘了优选的方面。在不脱离本文所述的本发明的原理的情况下，可以采用本文所示的系统和方法的替代方面。
具体实施方式
36.图1示出了根据本文公开的各个方面的示例性数字图像拼接系统100。如图1所示，数字图像拼接系统100包括扫描仪设备101。在各个方面，扫描仪设备101可包括手持式设备或夹式设备。例如，在一些方面，扫描仪设备可被配置为握持于用户手中。附加地或另选地，扫描仪设备101可夹在或以其他方式附接到设备或装置(诸如牙刷或清洁装置)上，以便由最终用户进行移动或定位。
37.扫描仪设备101包括被配置为捕获数字图像的相机101c。相机可被配置用于各种不同目的，并且因此被配置为基于使用相机101c的应用以各种不同缩放水平、数字分辨率或质量来捕获数字图像。例如，在包括口腔应用的方面中，相机101c可包括口腔内窥镜和/或高光谱相机。在另外的方面，相机可嵌入口腔设备或口腔治疗设备(例如，诸如牙刷或咬嘴)内、至少部分地由口腔设备或口腔治疗设备包含或以其它方式成为口腔设备或口腔治疗设备的一部分或耦接到口腔设备或口腔治疗设备，该口腔设备或口腔治疗设备可包含用于在不同位置处捕获图像以用于如本文所述的图像拼接的一个或多个相机。此外，对于涉及用于清洁表面(诸如地板)的清洁设备的应用，相机101c可包括地面相机，该地面相机被配置为朝向地面成角度且用于在相机沿着表面移动时对表面(例如，地板)成像。更进一步，对于涉及人类皮肤或组织的应用，相机可包括皮肤相机，该皮肤相机能够捕获具有高分辨率或高清晰度的数字图像以用于详细描述人类皮肤的各方面，诸如毛囊、毛孔等。在一些方面，扫描仪设备101可包括物理间隔元件，该物理间隔元件可以为物理耦接到扫描仪设备的附件或护罩。物理间隔元件(例如，护罩)被配置为保持相机(例如，相机101c)与由相机成像的目标特征和/或应用区域之间的恒定距离(例如，1至10毫米)。例如，物理间隔元件可被附接到扫描仪设备，其中当扫描仪相对于用户移动时，用户将扫描仪设备的物理间隔元件部分放置在用户上或用户附近。然而，应当理解，可使用物理间隔元件的其它用途或配置以便保持相机(例如，相机101c)与目标特征和/或由相机成像的应用区域之间的恒定距离。
38.由相机101c捕获的数字图像可包括像素数据(例如，rgb数据)，该像素数据包括特征数据并且对应于相应图像内的一个或多个图像特征。数字图像可包括像素数据。关于如本文所述的数字图像，像素数据可包括图像内的数据的单个点或正方形，其中每个点或正
方形表示图像内的单个像素。每个像素可位于图像内的特定位置处。此外，每个像素可具有特定颜色(或缺乏其)。像素颜色可通过与给定像素相关联的颜色格式和相关通道数据来确定。例如，流行的颜色格式是1976cielab(本文也称为“cie l*-a*-b*”或简称为“l*a*b*”或“lab”颜色格式)颜色格式，其被配置为模拟人类对颜色的感知。即，l*a*b*颜色格式被设计成使得表示l*a*b*颜色格式的三个值中的数值变化的量(例如，l*、a*和b*)大致对应于人类视觉上感知的相同变化量。这种颜色形式是有利的，例如，因为l*a*b*色域(例如，作为颜色格式的一部分包括的颜色的完整子集)包括红色(r)、绿色(g)和蓝色(b)(统称为rgb)以及青色(c)、品红色(m)、黄色(y)和黑色(k)(统称为cmyk)颜色格式的色域。
39.在l*a*b*颜色格式中，颜色被视为三维空间中的点，如由三维坐标系(l*、a*、b*)限定的，其中l*数据、a*数据和b*数据中的每一者可对应于单独的颜色通道，并且因此可被称为通道数据。在该三维坐标系中，l*轴描述了颜色的亮度(辉度)，其中值为0(黑色)至100(白色)。a*轴描述颜色的绿色或红色比率，其中正a*值(+a*)指示红色色调，而负a*值(-a*)指示绿色色调。b*轴描述颜色的蓝色或黄色比率，其中正b*值(+b*)指示黄色色调，而负b*值(-b*)指示蓝色色调。通常，对应于a*轴和b*轴的值可以是无限的，使得a*轴和b*轴可包括任何合适的数值以表达轴边界。然而，a*轴和b*轴通常可包括范围从约150至-150的下边界和上边界。因此，以这种方式，每个像素颜色值可被表示为l*、a*和b*值的三元组，以为给定像素产生最终颜色。
40.作为另一示例，附加或另选的颜色格式包括具有红色、绿色和蓝色通道的红色-绿色-蓝色(rgb)格式。也就是说，在rgb格式中，像素的数据由三个数字rgb分量(红色、绿色、蓝色)表示，其可被称为通道数据，以操纵图像内的像素区域的颜色。在一些实施方案中，三个rgb分量可表示为每个像素的三个8位数字。三个8位字节(针对rgb中的每一者有一个字节)可用于生成24位颜色。每个8位rgb分量可具有256个可能值，范围从0到255(即，在基础2二进制系统中，8位字节可包含在0到255范围内的256个数字值中的一者)。这个通道数据(r、g和b)可被分配可用于设置像素颜色的0到255的值。例如，三个值如(250,165,0)(意味着(红色＝250，绿色＝165，蓝色＝0))可表示一个橙色像素。作为另一示例，(红色＝255，绿色＝255，蓝色＝0)意味着各自完全饱和(255是8位可为的明亮)的红色和绿色，没有蓝色(零)，其中所得颜色为黄色。作为又一示例，颜色黑色具有rgb值(红色＝0，绿色＝0，蓝色＝0)并且白色具有rgb值(红色＝255，绿色＝255，蓝色＝255)。灰色的性质为具有相等或类似rgb值，例如(红色＝220，绿色＝220，蓝色＝220)是浅灰色(近似白色)，并且(红色＝40，绿色＝40，蓝色＝40)深灰色(近似黑色)。
41.以此方式，三个rgb值的复合为给定像素产生最终颜色。关于24位rgb颜色图像，使用3个字节来定义颜色，可能存在256个红色阴影和256个绿色阴影及256个蓝色阴影。这为24位rgb颜色图像提供256
×
256
×
256，即16.7百万个可能的组合或颜色。因此，像素的rgb数据值指示红色、绿色和蓝色像素中的每一者组成的颜色或光的程度。三种颜色和其强度水平在该图像像素处组合，即在显示屏上的该像素位置处，以在该位置处用该颜色照亮显示屏。然而，应理解，具有更少或更多位的其他位大小，例如10位，可用于产生更少或更多的总体颜色和范围。此外，应当理解，像素数据可包含附加或另选的颜色格式和通道数据。例如，像素数据可包括以色调饱和度值(hsv)格式或色调饱和度亮度(hsl)格式表示的颜色数据。
42.作为整体，以网格图案定位在一起的各个像素形成数字图像或其一部分。单个数字图像可包括数千或数百万个像素或通道。图像可以多种格式(诸如jpeg、tiff、png和gif)捕获、生成、存储和/或传输，。这些格式使用像素来存储或表示图像。图像可被存储在扫描仪设备101和/或移动设备111c1的存储器上，或如本文所述的其他电子或数字存储上。例如经由图像拼接来操纵图像和像素数据在本文中关于图2至图4进一步描述，或以其它方式如本文所述。
43.参考图1，扫描仪设备101还包括传感器101s，该传感器耦接到扫描仪设备101并且被配置为捕获运动数据。在各个方面，传感器可包括以下各项中的一项或多项：陀螺仪、加速器、磁性传感器或惯性测量单元(imu)。在图1的示例中，传感器101s包括用于在扫描仪设备在空间中移动时捕获运动数据的imu传感器。
44.扫描仪设备101还包括通信地耦接到扫描仪设备101的一个或多个处理器。一个或多个处理器可启动图像和运动数据或其他传感器数据的捕获。一个或多个处理器还可接收由相机101c捕获的数字图像以及由传感器101s捕获的运动数据。一个或多个处理器可以为扫描仪设备101本身上的处理器。附加地或另选地，一个或多个处理器可以为远离扫描仪设备101的计算设备(诸如移动设备111c1)或者扫描仪设备101通信地耦接到的服务器(例如，见本文的图12)的处理器。以此方式，一个或多个处理器可包括扫描仪设备101本身上的处理器和远离扫描仪设备101的处理器，使得数字图像拼接系统100可具有彼此交互的一个或多个处理器。
45.如图1所示，扫描仪设备101可包括无线组件(未示出)，诸如实现802.11(wi/fi)通信标准或bluetooth通信标准的无线组件(例如，片上系统(soc)或其他电路)。无线组件可连接以便以其它方式与移动设备111c1或被配置为与扫描仪设备通信的集线器(未示出)通信。移动设备111c1或集线器(未示出)可包括基于apple ios的设备或google android设备，诸如apple iphone、基于google android的电话、或被配置用于与扫描仪设备101通信的专有设备(例如，集线器)。例如，集线器可实现单独的bios和/或操作系统以用于与扫描仪设备101通信(例如，有线或无线)。如本文中进一步描述(例如，针对图12)，移动设备111c1或集线器(未示出)可实现或执行全景成像应用程序(app)108，该全景成像应用程序可包括在移动设备111c1或集线器的移动操作系统上操作的本机应用程序。在各个方面，扫描仪设备101可经由无线组件传输数字图像及传感器数据(例如，imu数据)以供分析和/或由移动设备111c1或集线器上的显示屏和/或图形用户界面(gui)显示。在附加方面，如本文中的数字成像拼接系统和方法所述的图像拼接可完全由扫描仪设备101执行，而无需与移动设备或集线器通信。即，应当理解，至少在一些方面，本文所实现的数字成像拼接系统和方法可在以下设备上实现，该设备包含如针对图1和图2所述或本文以其它方式展示或描述的硬件和软件组件(例如，相机101c、传感器101s、处理器、全景成像应用程序108等)中的每种组件。
46.在图1的示例性方面，扫描仪设备可包括口腔扫描仪设备或口内设备以在口腔应用区域中捕获口腔图像，其中当扫描仪设备被移动时捕获的口腔图像和相关运动数据可被无线传输到移动设备111c1。全景成像108可将口腔图像的实时视图显示为如本文所述的一个或多个全景图像视图，其中全景图像视图可指示或以其他方式展示用户牙齿上的牙斑积聚、牙斑位置、剩余牙斑的变化和/或类似的相关特征。
47.然而，应当理解，至少在一些方面，扫描仪设备101可更一般地包括非口腔扫描设备，该非口腔扫描设备捕获用于非口腔目的的图像和数据，例如，如针对本文的某些方面所述。
48.扫描仪设备101和移动设备111c1中的每一者都还可包括存储计算指令的计算机可读介质(例如，计算机存储器)，计算指令被配置为在一个或多个处理器上执行，其中计算指令在由一个或多个处理器执行时使得一个或多个处理器实现数字图像拼接算法，诸如针对图2说明和描述的或如本文以其他方式描述的数字图像拼接方法。在各个方面，计算机可读介质可包括有形的非暂态计算机可读介质，诸如ram、rom或用于存储计算指令的其它形式的电子或数字存储器。计算机介质可以为移动电话、集线器和/或服务器(例如，云系统)或其组合的存储器，并且可用于存储数字图像和运动数据，还用于存储由数字图像拼接系统100的一个或多个处理器实现的计算指令。
49.图2示出了根据本文公开的各个方面的图1的数字图像拼接系统100的示例性网络图200。如网络图200所示，数字图像拼接系统100还可包括经由计算机网络与移动设备111c1通信的远程服务器102。如图2所示，数字图像拼接系统100可包括处理器和/或存储器，诸如服务器或云计算平台的与扫描仪设备101(诸如通过计算机网络(诸如互联网))远程地通信的处理器和/或存储器。在一些方面，与扫描仪设备101的通信可直接与服务器102通信。附加地或另选地，扫描仪设备101可通过移动设备111c1与扫描仪设备101通信。例如，在各个方面，数字图像拼接系统100可包括一个或多个服务器102，该一个或多个服务器可包括作为服务器群的一部分的多个、冗余或复制的服务器。在另外的方面，此类服务器102可被实现为基于云的服务器，诸如基于云的计算平台。例如，服务器102可以是任何一个或多个基于云的平台，诸如microsoft azure、amazon aws等。服务器可包括一个或多个处理器(例如，cpu 104)以及一个或多个计算机存储器(例如，存储器106)。存储器可包括一种或多种形式的易失性和/或非易失性、固定和/或可移动存储器，诸如只读存储器(rom)、电子可编程只读存储器(eprom)、随机存取存储器(ram)、可擦除电子可编程只读存储器(eeprom)和/或其他硬盘驱动器、闪存存储器、microsd卡等。存储器可存储能够促进如本文所讨论的功能、应用程序、方法或其他软件的操作系统(os)(例如，microsoft windows、linux、unix等)。存储器(例如，存储器106)还可存储全景成像应用程序(app)108r，该全景成像应用程序可包括用于生成如本文所述的一个或多个全景图像视图的计算指令。全景成像应用程序108r可包括计算指令的至少一部分诸如远程部分，其中剩余或本地部分(例如，在移动设备111c1上实现的全景成像应用程序108)通过计算机网络120与应用程序108r通信执行。
50.服务器102还可包括通信组件，该通信组件被配置为经由一个或多个外部/网络端口将数据传送(例如，发送和接收)到一个或多个网络或本地终端诸如本文所述的计算机网络120和/或终端109(用于访问数字图像和/或运动数据)。在一些实施方案中，成像服务器102可包括客户端-服务器平台技术，诸如asp.net、java j2ee、ruby on rails、node.js、web服务或在线api，其响应于接收并响应于电子请求。服务器102可实现客户端-服务器平台技术，该技术可经由计算机总线与存储器106(包括存储在其中的应用程序、组件、api、数据等)和/或数据库105进行交互，以实现或执行如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的机器可读指令、方法、过程、元件或限制。
51.服务器102还可通信地耦接到数据库105，该数据库可存储数字图像、运动数据和/或其他数据，包括由扫描仪设备101捕获的数字图像和运动数据，如本文所述。如本文所述的此类数字图像、运动数据和/或其他数据可在应用程序108和应用程序108r之间传输，其中应用程序108r可存储和/或访问来自存储器106和/或数据库105的此类信息。存储器(例如，存储器106)可存储机器可读指令，包括一个或多个应用程序(例如，包括如本文所述的一组计算指令的app 108r)、一个或多个软件组件和/或一个或多个应用程序编程接口(api)中的任一者，其可被实现以促进或执行这些特征、功能或本文所述的其他公开内容，诸如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的任何方法、过程、元件或限制。例如，应用程序、软件组件或api中的至少一些可被配置为促进本文所讨论的其各种功能。应当理解，可设想可由处理器(例如，cpu 104)执行的一个或多个其他应用程序。
52.此外，如本文所述的一个或多个处理器(例如，cpu 104)可经由计算机总线连接到存储器(例如，存储器106)，该计算机总线负责向和从处理器和存储器发射和/或接收电子数据、数据包或其他电子信号，以便实现或执行机器可读指令、方法、过程、元件或限制，如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述。一个或多个处理器(例如，cpu 104)可包括根据ieee标准、3gpp标准或其他标准起作用并且可用于经由连接到计算机网络120的外部/网络端口接收和传输数据的一个或多个收发器(例如，wwan、wlan和/或wpan收发器)，或者与该一个或多个收发器进行交互。在一些方面，计算机网络120可包括专用网络或局域网(lan)。附加地或另选地，计算机网络可包括公共网络，诸如互联网。
53.服务器102还可包括或实现操作者界面，该操作者界面被配置为向管理员或操作者呈现信息以及/或者从管理员或操作者接收输入。如图2所示，操作者界面可提供显示屏(例如，经由终端109)。服务器102还可提供i/o组件(例如，端口、电容式或电阻式触敏输入面板、按键、按钮、灯、led)，该i/o组件可经由服务器102直接访问或附接到该服务器，或者可经由终端109间接访问或附接到该终端。根据一些实施方案，管理员或操作者可经由终端109访问服务器102以查看信息、做出更改、输入数据和/或执行其他功能。
54.如本文所述，在一些实施方案中，服务器102可执行如本文所讨论的作为“云”网络的一部分的功能，或者可以其他方式与云内的其他硬件或软件组件通信以发送、检索或以其他方式分析本文所述的数据或信息，包括app 108和app 108r之间的通信。
55.一般来讲，计算机程序或基于计算机的产品、应用程序(app)或代码(例如，本文所述的数字图像拼接系统和/或方法的扫描仪设备101的计算指令或软件、全景成像应用程序108或其他方面)可存储在计算机可用存储介质或其中体现有此类计算机可读程序代码或计算机指令的有形非暂态计算机可读介质(例如，随机存取存储器(ram)、光盘、通用串行总线(usb)驱动器等)上，其中计算机可读程序代码或计算机指令可被安装或以其他方式适配成由移动设备(例如，移动设备111c1)的一个或多个处理器(例如，与相应操作系统结合工作的处理器)执行以促进、实现或执行如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的机器可读指令、方法、过程、元件或限制。就这一点而言，程序代码可以任何期望的程序语言实施，并且可以被实施为机器代码、汇编代码、字节代码、可解释源代码等(例如，经由golang、python、c、c++、c#、objective-c、java、scala、
actionscript、javascript、html、css、xml等)。
56.如图2所示，服务器102经由计算机网络120经由基站111b通信地连接到移动设备111c1。在一些实施方案中，基站111b包括蜂窝基站诸如蜂窝塔，从而基于各种移动电话标准(包括nmt、gsm、cdma、ummts、lte、5g等)中的任一者或多者经由无线通信122与移动设备111c1进行通信。附加地或另选地，基站111b可包括路由器、无线交换机或基于各种无线标准(作为非限制性示例，包括ieee 802.11a/b/c/g(wifi)、bluetooth标准等)中的任一者或多者经由无线通信121与移动设备111c1进行通信的其他此类无线连接点。
57.移动设备111c1可包括用于访问服务器102和/或与之通信的移动设备和/或客户端设备。此类移动设备可包括一个或多个移动处理器。在各种实施方案中，移动设备111c1包括移动电话(例如，蜂窝电话)、平板设备、个人数据助理(pda)等，作为非限制性示例，包括apple iphone或ipad设备或基于google android的移动电话或平板电脑。移动设备111c1可(例如，经由无线通信422，诸如wifi或bluetooth)与扫描仪设备101直接通信。附加地或另选地，扫描仪设备101可经由无线通信(诸如wifi或bluetooth)与基站111b直接通信。以此方式，移动设备111c1、扫描仪设备101和/或基站111b之间的无线连接性提供扫描仪设备101、移动设备111c1与服务器102之间的通信以用于发送和接收数据，诸如用于生成如本文所述的一个或多个全景图像视图的数字图像和/或运动数据。
58.参考图1和图2，应当理解，数字图像拼接系统100的扫描仪设备101、移动设备111c1、处理器和/或存储器的附加或另选的配置和/或位置在本文中被设想为使得根据本文公开的各个方面，这些组件被配置为和/或定位成相对于彼此电耦接和通信地耦接以进行用于生成一个或多个全景图像视图的数字图像拼接。
59.图3示出了根据本文公开的各个方面的示例性数字图像拼接方法300。在框302，数字图像拼接方法300包括通过扫描仪设备(例如，扫描仪设备101)的相机(例如，相机101c)捕获描绘应用区域内的目标特征的多个数字图像。在一些方面，应用区域可以为口腔区域，诸如包括牙齿、齿龈等的用户的口腔，例如如本文图4至图11中所述。在其它方面，应用区域可以为皮肤区域，例如，关于面部或身体清洁或清洗的面部区域或身体区域。在另外的方面，应用区域可以为地板区域，诸如硬木地板、地毯地板，其中应用可包括用清洁设备清洁。
60.更一般地，多个数字图像可至少包括通过相机(例如，相机101c)捕获的第一图像和第二图像。例如，对于由相机(例如，相机101c)捕获的视频，第一图像和第二图像可以为在序列中捕获的若干数字的帧。第一图像和第二图像在本文中可分别被称为帧t0(例如，在第一时间捕获)和帧t1(例如，在第二时间捕获)。应当理解，帧t0和t1不需要是图像帧集合(例如，作为包括图像帧集合的视频)中的连续帧。即，在一些方面，帧t0和t1可以为由一个或多个中间帧分离的帧，例如，其中t0为图像帧集合或视频中的第一帧，但其中t1为第三帧或第七帧，或相对于图像帧集合或视频中的帧t0为非连续的某个其它帧。在附加方面，如果此类图像降到质量标准以下，可丢弃、删除该图像，或以其它方式在生成全景图像视图时不使用该图像。例如，质量标准可包括图像清晰度或分辨率。更具体地，在此类方面，通过相机捕获的多个图像可包括第三图像。数字图像拼接方法300可包括确定第三图像缺少质量标准(例如，清晰度)，这可能需要阈值以便被满足(例如，使用第三图像可能需要清晰度的阈值水平)。在第三图像低于阈值或其他质量标准的情况下，数字图像拼接方法可丢弃在生成全景图像视图时使用的第三图像。
61.在一些方面，可在捕获多个图像之前在应用区域内检测目标特征(例如，用于口腔应用区域的牙齿)。即，在一些方面，可在使得多个图像被捕获的应用区域内自动检测目标特征。在此类方面，可在应用中检测和/或感测目标特征，借此例如在通过相机捕获数字图像(例如，第一图像和第二图像)之前，通过相机(例如，相机101c)检测包括目标特征的初始数字图像的一个或多个像素。附加地或另选地，传感器101s的运动可启动数字图像和/或运动数据的捕获，该运动可从以独特的方式移动扫描仪设备101来检测。
62.在框304，数字图像拼接方法300包括当扫描仪设备相对于目标特征移动时通过耦接到扫描仪设备的传感器(例如，传感器101s)来捕获运动数据。在各个方面，传感器可以为惯性测量单元(imu)。imu可包括被配置为测量速度和/或加速度的加速器、被配置为测量旋转和/或旋转速率的陀螺仪、和/或被配置为测量或建立基本方向(例如，定向航向)的磁力计等中的一者或多者。
63.在框306，数字图像拼接方法300包括基于运动数据确定相对位置数据。相对位置数据可至少包括对应于第一图像的第一位置数据和对应于第二图像的第二位置数据。相对位置数据可限定从第一位置到第二位置的移动，这可对应于当相机(例如，相机101c)捕获第一图像和第二图像时扫描仪设备(例如，扫描仪设备101)的移动。应当理解，位置数据(例如，相对位置数据、第一位置数据或第二位置数据)可包括传感器数据，诸如加速计数据或例如通过扫描仪设备(例如，扫描仪设备101)的传感器(例如，传感器101s)捕获的其它此类运动数据，其可以为例如由陀螺仪、加速器、磁性传感器或惯性测量单元(imu)或其它此类传感器设备捕获的数据。
64.在框308，数字图像拼接方法300包括基于相对位置数据生成第二图像相对于第一图像的角度或位置中的至少一者。在一些方面，第二图像的角度或位置的生成可包括调整第二图像相对于第一图像的角度或位置。
65.在框310，数字图像拼接方法300包括基于第二图像的角度或位置基于第二图像与第一图像的图像匹配生成在应用区域的比第一图像或第二图像更宽的视场中描绘目标特征的全景图像视图。例如，并且如本文针对图4进一步描述，在利用传感器的运动数据(例如，imu传感器信号数据)旋转和/或定位图像之后，模板匹配算法或其它数字图像拼接算法可应用于在所捕获的数字图像(例如，第一图像和第二图像)中可识别或所捕获的数字图像内描绘的目标特征。在各个方面，全景图像视图可包括数字图像，该数字图像可以为从多个数字图像生成(诸如光栅化或矢量化)的新数字图像。附加地或另选地，全景图像视图可以为包括根据数字图像拼接方法彼此相邻定位的原始数字图像(但是仍然保持为分离的图像)的视图。在此类方面，可保持原始图像的数据或属性(例如，位置、旋转角度等)。附加地或另选地，并且如本文针对图7进一步描述，可基于第二图像的角度或位置基于第二图像与第一图像的图像匹配，确定或生成限定从第一图像到第二图像的距离甚至多个数字图像的距离的距离。
66.在一些方面，数字图像拼接方法300可包括基于全景图像视图、多个图像或位置数据中的至少一者来输出控制信号。控制信号可以为有线或无线控制信号，该有线或无线控制信号控制至少扫描设备(例如，扫描仪设备101)、相机(例如，相机101c)或传感器(例如，传感器101s)的操作，并且可被提供以改变或配置这些设备中的任一个设备以控制数字图像或传感器数据捕获的操作或这些设备的其他操作。
67.图4示出了根据本文公开的各个方面的示例性数字图像拼接算法400。数字图像拼接算法400可被如本文所述示例性数字图像拼接方法300利用。
68.图4的图像(例如，数字图像402和404)中的每个图像可包括多个像素。像素数据及其特征可限定图像中的目标特征(例如，目标特征402f)。例如，像素可限定从数字图像中的一个或多个像素确定或以其他方式基于数字图像中的一个或多个像素的特征。例如，目标特征404f可限定包含较暗像素颜色的像素(例如，具有相对低l*值的像素和/或具有较低rgb值的像素)，这些像素指示图像的给定特征。例如，像素组或类似颜色和位置的组可表示图像的特征。附加地或另选地，表面边缘的集合可用于确定图像中的目标特征的轮廓，并且那些边缘相对于图像的其它部分的位置可用于确定图像内的目标特征的外缘或其它形状。更进一步，可确定相应图像的一个或多个中心像素。数字图像拼接算法可使用中心像素、目标特征、轮廓、外缘或其组合中的任一者来执行模板匹配和/或以其它方式生成全景图像视图。另外，还可基于多个图像的水平距离和垂直距离来生成距离，这在本文中针对图7进一步描述。
69.一般地，生成第二图像(例如，数字图像404)或图像序列(例如，具有图像帧的视频)中的其他下一图像的角度(例如，角度404a)和/或位置(例如，位置406p)可包括实现由数字图像拼接算法400执行的模板匹配。例如，在一些方面，模板匹配可由opencv提供，opencv是提供实时计算机或机器视觉工具的开源软件库。
70.为了实现数字图像拼接算法400的模板匹配，识别第一数字图像(例如，数字图像402，其可以为由相机101c捕获的图像系列中的第一帧frame_t0)的目标特征(例如，目标特征402f)。接着在下一帧(例如，数字图像404a)中识别目标特征，该帧可以为通过相机101c捕获的图像系列中的第二帧frame_t1。在数字图像404中，目标特征404f被展示为相对于第一图像(例如，数字图像402)旋转，其中此类旋转可能由于在图像捕获期间扫描仪设备101相对于目标特征移动时相机101c的移动而发生。一般来说，如本文所使用，特征可被辨识为或可指对应于图像的任一个或多个像素或像素组的一或多个图像特征。此外，图像可以为原始图像、视频帧或任何经处理的图像。更进一步，特征可被辨识为如在图像中选择或确定的感兴趣的目标特征，其中，通过非限制性示例，目标特征可包括口腔特征，诸如牙斑、牙结石、牙垢、牙齿、齿龈或如本文所述的任何其他口腔特征。
71.更具体地，如图4所示，选择第一图像(例如，数字图像402)中的第一区域作为用于目标特征402f的模板402t。模板402t的位置可被确定或基于数字图像402本身的中心像素和/或目标特征402f的一个或多个像素。然后可为第二图像(例如，数字图像404)确定角度404a。例如，生成第二图像的角度404a可包括确定传感器(例如，传感器101s)的一个或多个角速度。例如，这可包括基于当扫描仪设备101相对于包括目标特征(例如，星402f)的对象(例如，如图4所示的星)移动时捕获的传感器的运动数据以及如图所示的第一图像和第二图像(例如，数字图像402和数字图像404)来确定角速度变化。然后可基于从第一图像到第二图像的角速度变化来确定第二图像的倾斜角度404a。然后可将第二图像(例如，数字图像404)旋转(404r)倾斜角度404a，从而使得数字图像404中的目标特征404f(其对应于目标特征402f)同样地相对于第一图像旋转(例如，旋转后的目标特征404fr)。换句话说，可根据运动数据确定在时间t0坐标(x0，y0)处从第一图像到在时间t1坐标(x1，y1)处第二图像的角速度变化。在一些方面，角速度变化可用于生成增量角度(例如，倾斜角度404a)。此增量角度
(例如，倾斜角404a)然后可用于旋转第二图像以相对于第一图像定向。以此方式，基于传感器数据经由旋转来校正第二图像改善了在逐帧基础上的模板匹配的精度。
72.一旦旋转，数字图像拼接算法400可通过基于传感器数据定位第一图像和第二图像而从第一图像和第二图像(旋转后的)生成全景图像视图(例如，全景图像视图406)。例如，生成第二图像404的位置可包括确定第一图像(例如，数字图像402)内的第一图像特征(例如，模板(例如，模板402t)的中心特征，或者对应于第一图像中描绘的项目的其他像素或像素组，诸如目标特征402f)，和确定第二图像内的第二图像特征(例如，旋转后的目标特征404fr)。第一图像特征(例如，目标特征402f)可对应于第二图像特征(例如，旋转后的目标特征404fr)，其中确定第一图像特征(例如，目标特征402f)与第二图像特征(例如，旋转后的目标特征404fr)之间的坐标距离。然后可使用该坐标距离来将第二图像的位置设置为通过将第二图像从第一图像偏移该坐标距离而旋转。在图4的示例中，坐标距离包括水平距离，即δ
x
(406dx)和垂直距离，即δy(406dy)，使得旋转后的(404r)第二图像偏移由水平距离406dx和垂直距离406dy二者形成的坐标距离，从而使模板404t的目标特征404fr被定位并且从模板402t的目标特征402f偏移并且相对于其成角度，使得基于传感器101s的运动数据，旋转后的目标特征404fr在全景图像视图中关于旋转和距离以精确的方式相对于目标特征402fr定位在全景图像视图406内的位置406p处。以此方式，可通过使用frame_t0(例如，数字图像402)的特征(例如，目标特征402f)来执行frame_t1(即，数字图像404)中的模板匹配。可通过坐标差来计算δ
x
和δy：δ
x
＝xt
1-xt0；δy＝yt
1-yt0。因此，在经由利用传感器的运动数据(例如，imu传感器信号数据)旋转和定位来校正第二图像之后，接着可执行图像的拼接及重建来生成如本文所述的全景图像视图。另外，可生成总水平移动距离及总垂直移动距离，这些距离可用于确定或生成多个图像的跟踪轨迹，这在本文中针对图7进一步描述。
73.虽然图4演示了第一图像(例如，数字图像402，诸如frame_t0)与第二图像(例如，数字图像404，诸如frame_t1)之间的图像拼接，但是应当理解，由数字图像拼接算法400实现并且如针对该数字图像拼接算法所述的成像拼接可以针对附加图像执行，其中第一图像(例如，数字图像402，诸如frame_t0)和第二图像(例如，数字图像404，诸如frame_t1)可以仅为附加图像的一部分。例如，第三图像(未示出)可以为使用如针对数字图像拼接算法400所述的模板匹配与第二图像(例如，数字图像404)拼接的图像。更进一步，第四图像(未示出)可以为使用如针对数字图像拼接算法400所述的模板匹配等与第三图像(未示出)拼接的图像，其中利用数字图像拼接算法400拼接在一起的图像中的每个图像包括或生成全景图像视图、水平和垂直移动距离、和/或限定如本文所述的移动的轨迹。在一些方面，全景图像视图、水平和垂直移动距离值和/或限定移动的轨迹值可保存或存储在计算机存储器中，使得数字图像保持分离(例如，作为存储器中的分离图像)，其根据角度(例如，角度404a)、位置信息(例如，位置406p)、水平和垂直移动距离值和/或限定移动的轨迹值而重叠，其每一者也可存储在计算机存储器中。附加地或另选地，全景图像视图可作为单个实体(例如，文件)保存或存储在计算机存储器中，其中全景图像视图已被光栅化或矢量化为单个图像，该单个图像具有表示如先前针对用于生成全景图像视图的一个或多个图像确定的角度(例如，角度404a)和/或位置信息(例如，位置406p)的像素。在各个方面，全景图像视图可存储在计算设备111c1和/或服务器的存储器中，诸如数据库105和/或存储器106中。
74.图5示出了根据本文公开的各个方面的应用于口腔区域的图4的数字图像拼接算法400的应用的示例。因此，图4的公开内容以相同或类似的方式应用于图5。在图5的示例中，作为非限制性示例，应用区域可以为口腔应用区域(例如，描绘口腔、牙齿、齿龈或其他口腔特征)，并且其中相机(例如，相机101c)是捕获口腔应用区域的口腔图像的口腔内窥镜。更一般地，对于口腔应用区域，数字图像(例如，数字图像502，即frame_t0，和数字图像504，即frame_t1)可描绘一颗或多颗牙齿、软人体组织(例如，齿龈、小叶等)、口腔残留物(例如，牙斑)或人造口腔材料(例如，牙齿填充物、牙箍、保持器、人造牙齿等)中的一者或多者。图5的图像(例如，数字图像502和504)中的每个图像可包括多个像素。像素数据及其特征可限定图像中的目标特征(例如，目标特征502f，例如，牙齿)。
75.更具体地，如图5所示，选择第一图像(例如，数字图像502)中的第一区域作为用于目标特征502f(即，牙齿)的模板502t。模板502t的位置可被确定或基于数字图像502本身的中心像素和/或目标特征502f的一个或多个像素。然后可以为第二图像(例如，数字图像504)确定角度504a。例如，生成第二图像的角度504a可包括确定传感器(例如，传感器101s)的一个或多个角速度。例如，这可包括基于当扫描仪设备101相对于包括目标特征(例如，502f，其为牙齿，被示为数字图像502、frame_t0中的像素数据)的对象(例如，如图5所示的牙齿)移动时捕获的传感器的运动数据以及如图所示的第一图像和第二图像(例如，数字图像502和数字图像504)来确定角速度变化。然后可基于从第一图像到第二图像的角速度变化来确定第二图像的倾斜角度504a。然后可将第二图像(例如，数字图像504)旋转(504r)倾斜角度504a，从而使得数字图像504中的目标特征504f(其对应于目标特征502f)同样地相对于第一图像旋转(例如，旋转后的目标特征504fr)。换句话说，可根据运动数据确定在时间t0坐标(x0，y0)处从第一图像到在时间t1坐标(x1，y1)处第二图像的角速度变化。在一些方面中，角速度变化可用于生成增量角度(例如，倾斜角度504a)。此增量角度(例如，倾斜角504a)然后可用于旋转第二图像以相对于第一图像定向。以此方式，基于传感器数据经由旋转来校正第二图像改善了在逐帧基础上用于口腔应用的模板匹配的精度。
76.一旦旋转，数字图像拼接算法400可通过基于传感器数据定位第一图像和第二图像从第一图像和第二图像(旋转后的)来生成口腔应用区域的或对应于口腔应用区域的全景图像视图(例如，全景图像视图506)距离和/或轨迹信息。例如，生成第二图像504的位置可包括确定第一图像(例如，数字图像502)内的第一图像特征(例如，模板(例如，模板502t)的中心特征，或者对应于第一图像中描绘的项目的其他像素或像素组，诸如目标特征502f，牙齿)，和确定第二图像内的第二图像特征(例如，旋转后的目标特征504fr，同一牙齿)。第一图像特征(例如，目标特征502f)可对应于第二图像特征(例如，旋转后的目标特征504fr，牙齿)，其中确定第一图像特征(例如，目标特征502f，牙齿)与第二图像特征(例如，旋转后的目标特征504fr，旋转后的牙齿)之间的坐标距离。然后可使用该坐标距离来将第二图像的位置506p设置为通过将第二图像从第一图像偏移该坐标距离而旋转。在图5的示例中，坐标距离包括水平距离，即δ
x
(506dx)和垂直距离，即δy(506dy)，使得旋转后的(504r)第二图像偏移由水平距离506dx和垂直距离506dy形成的坐标距离，从而使模板504t的目标特征504fr被定位并且从模板502t的目标特征502f偏移并且相对于其成角度，使得基于传感器101s的运动数据，旋转后的目标特征504fr在全景图像视图中关于旋转和距离以精确的方式相对于目标特征502fr定位在全景图像视图406内的位置506p处。以此方式，可通过使用
frame_t0(例如，数字图像4502)的特征(例如，目标特征502f)来执行frame_t1(即，数字图像504)中的模板匹配。通过坐标差计算δ
x
和δy：δ
x
＝xt
1-xt0；δy＝yt
1-yt0。因此，在经由利用传感器的运动数据(例如，imu传感器信号数据)旋转和定位来校正第二图像之后，接着可执行图像的拼接及重建来生成如本文所述的全景图像视图。在图5的示例中，图像504被示为放置在图像502的顶部，并且被正确地旋转以允许图像对齐、重叠或以其他方式被定位成彼此相邻，以准确地描绘口腔应用区域以及口腔应用区域中的相关特征(例如，齿龈牙齿)，作为全景图像视图中被拼接(506s)的图像。
77.图6a示出了根据本文公开的各个方面的示例性全景图像视图600。在图6a的示例中，已使用例如图3的数字图像拼接方法300将各自包括224
×
224像素的像素分辨率的多个数字图像(例如，数字图像602至608)拼接在一起(例如，旋转和/或定位)，该数字图像拼接方法可包括使用如本文针对图4和图5所述的数字图像拼接算法400。用于生成全景图像视图600的数字图像可由口腔应用区域(例如，用户的口腔)中的口腔内窥镜(例如，相机101c)捕获。如图所示，全景图像视图600在应用区域(例如，口腔应用区域)的比单独数字图像602至608中的任一个图像更宽的视场中描绘一个或多个目标特征(例如，一颗或多颗牙齿)。
78.如图6a所示，垂直轴600y是300个像素，从而在垂直维度上拟合224
×
224像素图像(例如，数字图像602至608)。水平轴600x被示为700个像素并且在水平维度上拟合多个拼接的224
×
224像素图像(例如，数字图像602-608)。在一些方面，扫描完成可由图像在垂直维度和/或水平维度中的最大坐标距离限定。附加地或另选地，当已由相机(例如，相机101c)获得最大数目的图像时和/或当此类图像已拼接在一起时，可确定扫描完成。扫描完成可限定何时生成全景图像视图，诸如全景图像视图600。
79.例如，图6b示出了展示根据本文公开的各个方面的用于生成图6a的全景图像视图的数字图像的位置的垂直(y)偏移的图640。具体地，轴640y限定在垂直维度(y)上的累积偏移量或总距离覆盖范围，在图6b的示例中，该累积偏移量或总距离覆盖范围是在全景图像视图600的数字图像(例如，数字图像602至608)间(在负方向上向下)遍历的大约400个像素的距离。此类累积偏移量或其他总距离可以为全景图像视图600的数字图像(例如，数字图像602-608)的δy值的总和。轴640x展示了当前捕获的数字图像的数目，例如，在图6b的示例中为大约60个数字图像(所有数字图像都未示出)。因此，图640示出了针对给定数目或计数的图像所遍历的累积垂直位置。
80.类似地，图6c示出了展示根据本文公开的各个方面的用于生成图6a的全景图像视图的数字图像的位置的水平(x)偏移的图660。具体而言，轴660y限定在水平维度(x)上的累积偏移量或总距离覆盖范围，在图6c的示例中，该累积偏移量或总距离覆盖范围是在全景图像视图600的数字图像(例如，数字图像602-608)之间(在负方向上侧向地)遍历的大约100个像素的距离。此类累积偏移量或总距离可以为全景图像视图600的数字图像(例如，数字图像602至608)的δ
x
值之和。轴660x展示了当前捕获的数字图像的数目，例如，在图6c的示例中为大约60个数字图像(所有数字图像都未示出)。因此，图660示出了针对给定数目或计数的图像所遍历的累积水平位置。
81.在一些方面，可在完成确定多个图像(例如，数字图像602到608)在应用区域(例如，口腔应用区域)中的位置等于或超过最大坐标距离(例如，诸如垂直维度上的400个像素和/或水平维度上的100个像素，如针对图6b及6c所示)之后生成全景图像视图600。这可以
例如通过距离覆盖算法来实现：δ
max_x
》x
threshold
和δ
max_y
》y
threshold
图像距离覆盖算法可包括在本文所述的处理器中的一个或多个处理器上实现的计算指令。
82.附加地或另选地，可在完成确定已获得所述多个图像中的阈值数目的数字图像(例如，针对垂直维度和/或水平维度中的一者或两者获得的60个图像，如针对图6b和6c所示)之后生成全景图像视图600。这可以例如通过图像计数算法来实现：例如，有效帧或获得的高质量帧的数目》n
threshold
。图像计数算法可包括在本文所述的处理器中的一个或多个处理器上实现的计算指令。
83.图7示出了根据本文公开的各方面的在口腔区域700内预测的分区位置(例如，分区位置700z1至700z16)。如针对图7所示，口腔区域700是应用区域的示例，该口腔区域包括口腔的在各个分区位置(例如，分区位置700z1至700z16)处具有牙齿的分区的表示。如图所示，口腔区域700包括表示用户的口腔的上部部分的上部区域。口腔区域的内侧表示用户牙齿的背面。口腔区域的外侧表示用户牙齿的正面。
84.参考图7，口腔区域700的上部区域包括外上部分区位置700z2(“分区2”)和内上部分区位置700z7(“分区7”)。口腔区域700的上部区域还包括左侧分区，包括左侧外上部分区位置700z1(“分区1”)、左侧内上部分区位置700z6(“分区6”)和左上侧上部分区位置700z5(“分区5”，例如，表示用户牙齿的顶部部分，诸如臼齿的顶部)。类似地，口腔区域700的上部区域还包括右侧分区，包括右侧外上部分区位置700z3(“分区3”)、右侧内上部分区位置700z8(“分区8”)和右上侧上部分区位置700z4(“分区4”，例如，表示用户牙齿的顶部部分，诸如臼齿的顶部)。
85.此外，参考图7，口腔区域700包括表示用户口腔的底部的下部区域(例如，向下区域)。口腔区域700的下部区域包括外下部分区位置700z10(“分区10”)和内下部分区位置700z15(“分区15”)。口腔区域700的下部区域还包括左侧分区，包括左侧外下部分区位置700z9(“分区9”)、左侧内下部分区位置700z14(“分区14”)和左上侧下部分区位置700z13(“分区13”，例如，表示用户牙齿的顶部部分，诸如臼齿的顶部)。类似地，口腔区域700的上部区域还包括右侧分区，包括右侧外下部分区位置700z11(“分区11”)、右侧内下部分区位置700z16(“分区16”)和右上侧下部分区位置700z12(“分区12”，例如，表示用户牙齿的顶部部分，诸如臼齿的顶部)。
86.在一个方面，数字图像拼接(例如，诸如本文针对图3至图5中的任一个或多个图所述，或本文以其它方式所述)还可包括基于全景图像视图(例如，全景图像视图600)和/或全景图像视图和位置数据(例如，如本文所述基于传感器(诸如imu传感器数据)的运动数据所确定的相对位置数据)中的一者或多者来预测或以其它方式识别口腔区域700内的分区位置。在此类方面，拼接结果(例如，全景图像视图位置数据、总水平及垂直距离值和/或轨迹值)可用于增强分区预测准确性并且还增强关于确定给定分区区域(即，分区)是否已被完全扫描的确定性。例如，对于口腔区域中的一些分区，尤其是在具有类似imu数据输出或位于用户口腔内的对称位置的分区中，在不正确地识别与另一个分区类似的分区的情况下，可能发生识别分区时的错误。例如，当用户扫描分区1时，标识可能不正确地识别分区16，这将影响总精度以及扫描和识别这些分区所需的扫描时间。然而，通过使用来自全景图像视图(例如，全景图像视图600)的信息或数据和/或位置数据(例如，相对位置数据)，可更准确地预测并且因此识别分区。在一个方面，使用用于分区标识或分区预测的信息，诸如在x位
置和y位置移动的距离，即δ
x
以及δy作为两个附加参数，可以更精确的方式执行分区预测。例如，当δ
x
和/或δy太小而无法跳入另一个分区时(例如，基于δ
x
和/或δy中的一者或多者之间的距离和从分区域16到分区1的已知或实际距离，从分区16到分区1的距离太小)，可更准确地预测对分区结果的预测或标识。例如，对于对分区16的不正确预测，该预测可以被忽略或者从分区16校正回到正确的分区1，因此提高了区域预测的总准确性。
87.在一些方面，将肯定指示确定为数字图像拼接算法的一部分(例如，诸如本文针对图3到图5中的任一个或多个图所述，或本文以其它方式所述)。肯定指示可基于分区位置，并且通常用于增加图像匹配的准确性。例如，在此类方面，口腔区域700可包括一个或多个分区位置(例如，分区位置700z1至700z16)，一个或多个分区位置至少包括第一分区位置(例如，分区位置700z1)和第二分区位置(例如，分区位置700z2)，并且其中第二图像与第一图像的图像匹配(例如，经由如本文所述的图像匹配)还基于第二图像和第一图像中的每个图像均在第一分区位置内的肯定指示。即，肯定指示可通过确定第一图像和第二图像中的每个图像正确地属于第一分区位置(例如，分区位置700z1)来提高图像映射的准确性。
88.附加地或另选地，肯定指示可改善以下情况：忽略或放弃给定分区之外的分区的图像。例如，在一些方面，由相机捕获的多个数字图像还包括第三图像。在此类方面，数字图像拼接方法或算法(例如，诸如本文针对图3到图5中的任一个或多个图所述，或本文以其它方式所述)还可包括确定第三图像描绘第二分区位置。假设第三图像属于第二分区位置(而不是第一位置)，则数字图像拼接方法或算法放弃或忽略第三图像与第二图像或第一图像的图像匹配。即，图像拼接算法基于第三图像位于第二分区位置而放弃或忽略图像拼接，其中第二分区位置不同于第一分区位置。换句话说，不基于对分区信息的分析来拼接第三图像(例如，用户将扫描仪设备从一个分区移动到不同分区)。
89.尽管图7描绘了口腔区域并且根据口腔的区域或位置描述了分区位置(分区)，但是应当理解，分区位置通常可限定在附加的或不同的应用区域内的分区，包括如本文所述的那些分区。在各个方面，除了生成在水平方向和垂直方向上移动的总距离之外，如本文所述的数字图像拼接系统和方法还可生成全景图像视图。在一些方面，此类数据然后可用于描述一个或多个分区(例如，给定应用区域的默认分区)的扫描完成。另外，如本文所述的图像拼接系统和方法还可用于基于δ
x
和δy生成根据多个图像确定的轨迹。
90.在此类方面，如本文所述的数字图像拼接系统和方法可包括确定应用区域内的一个或多个分区位置。数字图像拼接系统和方法还可以包括基于第二图像的角度或位置基于第二图像(例如，数字图像404)与第一图像(例如，数字图像402)的图像匹配，生成在水平方向和垂直方向上移动的距离。所移动的距离可限定相机(例如，相机101c)从捕获第一图像时的第一位置到捕获第二图像时的第二位置的移动。数字图像拼接系统和方法还可包括基于在水平方向和垂直方向上移动的距离来生成限定总移动的总距离。数字图像拼接系统和方法还可包括基于总移动来确定以下各项中的至少一项：(i)在一个或多个分区位置中的至少一个分区位置内出现的覆盖量，或者(ii)限定一个或多个分区位置中的至少一个分区位置内轨迹的轨迹值。数字图像拼接系统和方法还可包括基于覆盖量或轨迹值中的至少一者来生成是否发生成功扫描的指示。在一些方面，该指示可作为图形显示或呈现于gui上，诸如如本文针对图12所述的gui。
91.在附加方面，可确定限定扫描仪设备(例如，扫描仪设备101)或其一部分(例如，相
机101c)的总移动的总距离。在此类方面，通过扫描仪设备(例如，传感器101s)的相机(例如，相机101c)捕获描绘应用区域内的目标特征的多个数字图像来实现数字图像拼接方法。多个数字图像可至少包括第一图像(例如，数字图像402)和第二图像(例如，数字图像404)。数字图像拼接方法还可包括当扫描仪设备相对于目标特征移动时，通过耦接到扫描仪设备(例如，扫描仪设备101)的传感器(例如，传感器101s)捕获运动数据。该数字图像拼接方法还可包括基于运动数据确定相对位置数据，该相对位置数据至少包括对应于第一图像的第一位置数据和对应于第二图像的第二位置数据。数字图像拼接方法还可包括：基于相对位置数据生成第二图像相对于第一图像的角度或位置中的至少一者。数字图像拼接方法还可包括：基于第一图像与第二图像的图像匹配以及在相应的水平方向和垂直方向上移动的一个或多个距离来生成限定总移动的总距离。总距离可包括所捕获的图像(例如，第一图像及第二图像)中的一个或多个图像之间的y轴(垂直)位置及x轴(水平)位置上的增量值的总和。以此方式，增量值(即，δ
x
和δy)可通过相应坐标差(即，δ
x
＝xt
1-xt0；δy＝yt
1-yt0)来计算并求和以便确定限定传感器101s的总移动的总距离。在一些方面，数字成像拼接方法可包括生成全景图像视图(例如，全景图像视图406)，全景图像视图在应用区域的比第一图像或第二图像更宽的视场中描绘目标特征。
92.在附加方面，公开了一种用于确定分区(例如，区位置700z1到700z16中的一者)扫描的成功扫描完成的数字成像方法。在此些方面，数字成像方法包括通过扫描仪设备(例如，扫描仪设备101)的相机(例如，相机101c)捕获描绘应用区域内的目标特征的多个数字图像。多个数字图像可至少包括第一图像(例如，数字图像404)和第二图像(例如，数字图像406)。数字成像方法还可包括当扫描仪设备相对于目标特征移动时，通过耦接到扫描仪设备的传感器(例如，传感器101s)捕获运动数据。数字成像方法还可包括基于运动数据确定相对位置数据。相对位置数据可至少包括对应于第一图像的第一位置数据和对应于第二图像的第二位置数据。数字成像方法还可包括基于相对位置数据生成第二图像相对于第一图像的角度或位置中的至少一者。数字成像方法还可包括基于第二图像的角度或位置基于第二图像与第一图像的图像匹配生成在水平方向上移动的距离或在垂直方向上移动的距离。此类水平方向和垂直方向可通过基于所捕获图像的相应坐标差(即，δ
x
＝xt
1-xt0；δy＝yt
1-yt0)计算的一个或多个增量值(即，δ
x
和δy)来确定。该距离可限定相机在捕获图像(例如，第一图像及第二图像)时的移动。数字成像方法还可包括基于在水平方向上移动的距离或在垂直方向上移动的距离确定分区扫描完成(即，对分区的扫描完成)。分区扫描完成可限定扫描的总移动相对于至少一个预设阈值的总距离。预设阈值可根据数量来限定，其中数量涉及针对给定分区所捕获和扫描的图像的数量或数目。例如，数字成像方法还可包括进一步基于相对于至少一个预设阈值数量在分区内收集的多个图像的所需量(例如，数量)来确定分区扫描完成，该至少一个预设阈值数目限定一个或多个分区的完成。数量的示例可以为115％，这意味着需要检测图像的阈值数目的115％以便实现分区的成功扫描完成。附加地或另选地，可根据覆盖范围来确定分区扫描完成，其中覆盖范围限定分区内的限定移动的像素的数目。覆盖范围的示例可以为125％，这意味着需要检测移动的125％(根据在区域内遍历或以其他方式检测或扫描的像素的数量所确定)，以便实现分区(例如，分区位置700z1至700z16中的一个分区位置)的成功扫描完成。在一些方面，可基于组合的数量和覆盖范围预设阈值来确定分区扫描完成，其中组合值可以为例如值“1”，其中当预设阈值等于
或大于1(例如，100％)时实现分区扫描完成。预设阈值(例如，用于覆盖范围)和/或预设阈值数目(例如，用于数量)可以为在利用扫描仪设备101开始扫描之前预定或预设的。可更新、改变或以其它方式修改这些值以便调整分区扫描完成行为。
93.图8示出了根据本文公开的各个方面的口腔区域内的一颗或多颗牙齿的示例性一个或多个牙齿位置。如图8所示，展示了示例性全景图像视图800。全景图像视图800可与如本文针对图6a所述的全景图像视图600相同或类似，使得图6a的公开内容关于全景图像视图800相同或类似适用。例如，可使用例如图3的数字图像拼接方法300将各自包括224
×
224像素的像素分辨率的多个数字图像(例如，数字图像602至608)拼接在一起(例如，旋转和/或定位)，该方法可包括使用如本文针对图4和图5所述的数字图像拼接算法400。用于生成全景图像视图600的数字图像可由口腔应用区域(例如，用户的口腔)中的口腔内窥镜(例如，相机101c)捕获。如图所示，全景图像视图800在应用区域(例如，口腔应用区域)的比可能已被用于生成全景图像视图800的单独数字图像(例如，数字图像602至608)中的任一个图像更宽的视场中描绘一个或多个目标特征(例如，一颗或多颗牙齿)。
94.如图8所示，垂直轴800y是300个像素，从而在垂直维度上拟合224
×
224像素数字图像(例如，诸如数字图像602至608)。水平轴800x被示为700个像素并且在水平维度上拟合多个拼接的224
×
224像素图像(例如，数字图像602至608)。如图8所示，可确定或预测全景图像视图800的特征的位置(例如，诸如一颗或多颗牙齿的位置)。如图8所示，全景图像视图800包括用户口腔的口腔区域中的各个牙齿的位置，包括牙齿位置834、牙齿位置835、牙齿位置836、牙齿位置837和牙齿位置838。可通过数字成像拼接方法来确定或预测每颗牙齿及其各个位置，以提供牙齿水平位置或预测。例如，在一些方面，数字图像拼接方法或算法(例如，图3的数字图像拼接方法300，该方法可包括使用如本文针对图4和图5所述的数字图像拼接算法400)还可包括预测在口腔区域(例如，全景图像视图800)内描绘的一颗或多颗牙齿的牙齿位置(例如，牙齿位置834到838中的任一个或多个牙齿位置)。在一些方面，可在完成确定已在口腔区域中扫描的牙齿(例如，至少位置834到838处的牙齿)的最小数目之后生成全景图像视图800。以此方式，可使用给定分区区域的最少牙齿来指示扫描完成，使得基于牙齿水平精度来提高全景图像视图的扫描准确性。
95.该预测可基于单独的全景图像视图800或全景图像视图800和位置数据(例如，根据运动/传感器数据确定的位置数据)中的一者或多者。更具体地，通过计算各个牙齿位置的距离(例如δ
x
和/或δy)，牙齿的一系列图像可重叠在一起以形成2d全景图像视图，例如，全景图像视图800，如本文针对图6a至图6c所述。通过牙齿水平预测，可通过分析每个分区中的牙齿位置并且后处理全景图像2d全景图像视图(例如，全景图像视图800)来提高2d全景图像视图的准确性，其中可如图8中所示勾勒(830)并标记给定分区中所包含的牙齿。构成全景图像视图800的各个图像可被调整以适合轮廓，从而提高牙齿水平的位置预测精度，并且因此总体上提高全景图像视图(例如，全景图像视图800)的准确性。
96.图9示出了第一用户(例如，用户1)和第二用户(例如，用户2)的相应口腔区域的示例性全景图像视图(例如，全景图像视图900和全景图像视图950)，其中每个全景图像视图具有对应于相应用户的一个或多个独特口腔特征。全景图像视图900和全景图像视图950中的每个全景图像视图均可使用例如图3的数字图像拼接方法300生成，该数字图像拼接方法可包括使用如针对图4和图5所述的、或如针对图6a至6c、图8中的任一个或多个图所述的
和/或如本文以其他方式所述的数字图像拼接算法400。
97.全景图像视图900和全景图像视图950表示相应用户中的每个用户的不同图像，并且因此全景图像视图900和全景图像视图950中的每个全景图像视图通过使用全景图像视图(例如图9的示例中的牙齿的图像)示出了个人标识(或指纹)。因此，在一些方面，数字图像拼接方法还可包括基于用户的用全景图像视图描绘的一个或多个独特口腔特征来识别用户。图像可被用作匹配给定个人的模板。在一些方面，每个用户可具有个人id。例如，当存在多个用户时，数字拼接方法的此方面可将图像重建为2d模型，或者附加地或另选地重建为3d模型(例如，基于拼接结果和来自传感器的信息)，以用于识别哪个用户正在使用扫描仪设备。扫描仪设备可基于用户被不同地配置或以其他方式使用不同的设置来适应用户的需要和/或使用扫描仪设备的偏好。
98.图10示出了根据本文公开的各个方面的指示相应用户的独特扫描行为(例如，扫描行为图1060和1080的扫描行为)的示例性图。在图10的示例中，扫描行为图1060和1080的扫描行为包括第一用户和第二用户(例如，其可分别对应于用户1和用户2，如针对图9所述)的刷牙行为(例如，由扫描仪设备101的相应扫描确定)。刷牙行为可包括第一用户和第二用户的独特刷洗行为。以此方式，此类刷牙行为可用于基于扫描数据内可识别的图案来唯一地识别用户。更一般地，如本文所述的数字图像拼接方法或算法(例如，图3的数字图像拼接方法300，其可包括使用如本文针对图4和图5所述的数字图像拼接算法400)还可包括基于位置数据的一个或多个独特扫描行为(例如，根据扫描仪设备101的扫描数据确定)来识别一个或多个用户(例如，用户1和用户2)，从而基于用户扫描行为提供个人标识。
99.每个用户通常表现出独特的刷牙行为，该行为可被重建以将用户和服务器识别为一种类型的口腔“指纹”。然而，应当注意，给定用户的刷牙行为(或者更一般地针对非口腔方面的扫描行为)仍然是高度抽象的，并且不一定放弃用户的个人可识别信息(pii)。因此，扫描仪行为标识(例如，刷牙行为)可具有用户标识但不揭示或包括pii的双重益处。
100.如示例图10中所示，示出了口腔区域700的分区位置(例如，分区位置700z1至700z16，对应于分区1至分区16)以供参考。分区位置(例如，分区位置700z1至700z16)中的每个分区位置对应于针对颜色代码图1030所示的颜色代码，其中针对每个分区位置(例如，分区位置700z1至700z16)展示了不同的颜色(或图案)。例如，可针对分区位置700z1(分区1)展示第一颜色或图案(例如，粉红色)，可针对分区位置700z3(分区3)展示第三颜色或图案(例如，橙色)，可针对分区位置700z6(分区6)展示第六颜色或图案(例如，蓝色)，并且可针对分区位置700z10(分区10)展示第十一颜色或图案(例如，红色)。可存在对应于16个分区位置的总共16个颜色或图案。然而，应当理解，可使用更多或更少的颜色和/或更大的分区位置。另外，应当理解，颜色可被掺混或混合，使得两个分区位置之间的颜色可以为这两个分区位置的颜色的掺混或混合。
101.扫描行为图1060包括指示第一用户(例如用户1)的刷牙运动的y轴1060y(例如，由如本文所述的δy确定)。此外，行为图1060包括指示第一用户(例如用户1)的刷牙运动的x轴1060x(例如，由如本文所述的δ
x
确定)。跨-800至800的范围测量y轴1060y和x轴1060x中的每个轴，这可呈现移动的实际距离(例如，毫米)或像素(例如，在给定全景图像视图或如本文所述的其他数字图像集合内移动的像素)。第一用户的扫描行为(例如，刷牙行为)然后可不仅基于移动的距离，而且还基于扫描仪设备在使用扫描仪设备期间(例如，使用口腔扫描
仪、牙刷等)行进到的分区位置来确定。例如，如扫描行为图1060所示，第一用户在他或她的口腔区域(例如，口腔)内在约-200至600的y轴方向上和在约0至400的x轴方向上移动口腔扫描仪(例如，扫描仪设备101)，并且通过分区位置700z1(分区1)、700z3(分区3)、700z6(分区6)和700z11(分区11)。以此方式，第一用户(例如，用户1)具有关于在他或她的口腔区域内操作或以其他方式使用扫描仪设备的独特行为。
102.类似地，扫描行为图1080包括指示第二用户(例如用户2)的运动的y轴1080y(例如，由如本文所述的δy确定)。此外，扫描行为图1080包括指示第二用户(例如用户2)的运动的x轴1080x(例如，由如本文所述的δ
x
确定)。跨-800至800的范围测量y轴1080y和x轴1080x中的每个轴，这可呈现移动的实际距离(例如，毫米)或像素(例如，在给定全景图像视图或如本文所述的其他数字图像集合内移动的像素)。第二用户的扫描行为(例如，刷牙行为)然后可不仅基于移动的距离，而且还基于扫描仪设备在使用扫描仪设备期间(例如，使用口腔扫描仪、牙刷等)行进到的分区位置来确定。例如，如扫描行为图1080所示，第二用户在他或她的口腔区域(例如，口腔)内在约-200至800的y轴方向上和在约-200至100的x轴方向上移动口腔扫描仪(例如，扫描仪设备101)，并且通过分区位置700z1(分区1)和700z3(分区3)。以此方式，第一用户(例如，用户1)具有关于在他或她的口腔区域内操作或以其他方式使用扫描仪设备的独特行为。
103.在一些方面中，可针对给定时间周期(例如，15秒)收集扫描数据，使得一些用户的扫描行为可比其它用户更完整，其中与其它用户(例如，用户1)相比，一些用户(例如，用户2)可花费更长时间来移动扫描仪设备(例如，口腔设备，诸如花费更长时间来刷牙)。这表示在图10的示例性扫描行为图1060和1080中。
104.图11示出了根据本文公开的各个方面的示例性全景图像视图1100，其包括对在全景图像视图1100内描绘的一颗或多颗牙齿上的牙齿污染物1102的指示。全景图像视图1100可与如本文针对图6a所述的全景图像视图1100的全景图像视图相同或类似，使得图6a的公开内容关于全景图像视图1100相同或类似适用。例如，可使用例如图3的数字图像拼接方法300将各自包括224x224像素的像素分辨率的多个数字图像(例如，数字图像602至608)拼接在一起(例如，旋转和/或定位)，该方法可包括使用如本文针对图4和图5所述的数字图像拼接算法400。用于生成全景图像视图1100的数字图像可以由口腔应用区域(例如，用户的口腔)中的口腔内窥镜(例如，相机101c)捕获。如图所示，全景图像视图1100在应用区域(例如，口腔应用区域)的比可能已被用于生成全景图像视图1100的单独数字图像(例如，数字图像602至608)中的任一个图像更宽的视场中描绘一个或多个目标特征(例如，一颗或多颗牙齿)。
105.如针对图11所示，应用区域是口腔区域，其中牙齿污染物1102出现在全景图像视图1100中描绘的两颗牙齿之间。在一些方面，数字图像拼接方法或算法(例如，图3的数字图像拼接方法300，其可包括使用如本文针对图4及图5所述的数字图像拼接算法400)还可包括识别对全景图像视图内所描绘的一颗或多颗牙齿上的牙齿污染物的指示。牙齿污染物可包括牙斑、牙结石、牙垢或其它牙齿污染物或牙齿磨损或损伤。牙齿污染物可在全景图像视图1100中描绘，并且例如可通过其中的像素数据来确定。在一些方面，可在帧水平实现牙齿污染物标识，其中可在生成全景图像视图之前或以其它方式在执行图像拼接之前在一个或多个图像帧中识别牙污染物。附加地或另选地，可在生成全景图像视图之后或以其它方式
在执行图像拼接之后识别牙齿污染物。
106.在一些方面，包括一个或多个全景图像视图的多个数字图像可用于跟踪牙齿污染物随时间的变化或演变。这可包括跟踪一个或多个分区水平的牙齿容纳随时间的变化或演变。例如，在一些方面，数字图像拼接方法或算法(例如，图3的数字图像拼接方法300，其可包括使用如本文针对图4和图5所述的数字图像拼接算法400)包括在第二时间(例如，第二日期、时间或未来的其它时间)生成第二全景图像视图(例如，全景图像视图1100的第二版本，未示出)。在此类方面，数字图像拼接方法或算法还可包括识别对第二全景图像视图内描绘的一颗或多颗牙齿上的牙齿污染物(例如，牙齿污染物1102)的第二指示。数字图像拼接方法或算法还可包括确定对牙齿污染物的第二指示与对牙齿污染物的第一指示之间的牙齿污染物演变(例如，牙齿污染物的量的变化，诸如减少、增加或以其他方式偏离)。
107.图12示出了根据本文公开的各个方面的在用户计算设备(例如，用户计算设备111c1)的显示屏1200上呈现的示例性用户界面。例如，如图12的示例所示，用户界面1202可经由应用程序(在用户计算设备111c1上执行的应用程序)来实现或呈现。例如，如图12的示例所示，用户界面1202可经由在用户计算设备111c1上执行的本机应用程序来实现或呈现。在图12的示例中，用户计算设备111c1是如针对图1或图2所述的用户计算机设备，例如，其中111c1被示出为实现apple ios操作系统并具有显示屏1200的apple iphone。用户计算设备111c1可在其操作系统上执行一个或多个本机应用程序(app)，包括例如本文所述的移动应用程序(例如，全景成像应用程序108)。此类本机应用程序可以以由用户计算设备操作系统(例如，apple ios)通过用户计算设备111c1的处理器执行的计算语言(例如，swift)来实现或编码(例如，作为计算指令)。在各个方面，在移动设备(诸如用户计算设备111c1)上执行的成像应用程序(例如，全景成像应用程序108)可被称为全景成像应用程序，该全景成像应用程序被设计为捕获数字图像及传感器数据并且生成如本文所述的全景图像视图。
108.附加地或另选地，用户界面1202可经由web接口来实现或呈现，诸如经由web浏览器应用程序，例如safari和/或google chrome应用程序，或其他此类web浏览器等。
109.在各个方面，全景图像视图可经由图形用户界面(gui)呈现在显示屏(例如，显示屏1200)上。如图12的示例中所示，全景图像视图(例如，全景图像视图1100)可具有图形注释(例如，识别目标特征(诸如牙齿)的像素数据1100p)，并且牙齿污染物1102可被呈现在显示屏1200上。全景图像视图可针对全景图像视图600、800、1100中的任一者如本文所述生成或在本文以其它方式生成。
110.在一些方面，可基于如本文中所述而确定的全景图像视图、多个图像和/或位置数据中的至少一者生成推荐。例如，推荐可向用户提供指导以供使用扫描设备，或者可包括产品推荐。
111.如针对图12进一步所示，基于在全景图像视图1100内可识别的特征的标识1212可被呈现在显示屏1200上。该标识可引起消息1212m，该消息包括对应于全景图像视图(例如全景图像视图1100)的标识。消息1212m包括在用户的口腔区域中检测到牙斑的标识。在图12的示例中，标识可基于全景图像视图1100的像素数据。
112.在一些方面，可基于标识1212生成推荐。即，数字图像拼接方法还可包括基于以下各项中的至少一项生成推荐：全景图像视图、多个图像和/或位置数据。在图12的示例中，在消息1212m中向用户提供推荐和/或指导以用于消除牙齿污染物1102(例如，牙斑)，其中“推
荐使用龋洞保护牙膏进行牙线清洁和刷牙”。
113.此外，在其它方面，数字图像拼接方法还可包括基于全景图像视图(例如，全景图像视图1100)推荐产品。例如，产品推荐12222可对应于在全景图像视图1100内检测到的标识1212。在图12的示例中，用户界面1202呈现或提供由全景成像应用程序108确定的推荐的产品(例如，所制造的产品1224r，诸如龋洞预防牙膏)以及全景图像视图1100及其像素数据的相关图像分析。在图12的示例中，这在用户界面1202上指示和注释(1224p)。
114.用户界面1202还可包括可选择的用户界面(ui)按钮1224s以允许用户选择购买或运送对应的产品(例如，所制造的产品1224r)。在一些方面，选择可选择ui按钮1224s可以使推荐的产品运送到用户并且/或者可通知第三方个体对产品感兴趣。例如，用户计算设备111c1和/或成像服务器102可基于指示1212或牙齿污染物启动所制造的产品1224r(例如，牙膏)以运送给用户。在此类方面，产品可被包装并运送给用户。
115.在各个方面，在生成全景图像视图(例如，全景图像视图1100)期间或之后，实时或近实时地在显示屏幕上呈现产品推荐1222。即，全景图像视图可在如图1和图12所示的gui上实时(实况)或近实时地示出。
116.在一些方面中，用户可提供新图像。例如，如图12的示例中所示，用户可以选择可选按钮1212i以用于重新分析(例如，在计算设备111c1处本地或在成像服务器102处远程)新数字图像。可选按钮1212i可使用户界面1202提示用户附接或捕获以用于分析一个或多个新图像。用户计算设备111c1可接收新图像以用于生成新全景图像视图，如本文所述。可将新图像与先前图像进行比较以跟踪应用程序区域随时间的信息，例如，诸如本文所述的牙齿污染物1102随时间的演变。
117.本公开的方面
118.以下方面作为根据本文公开内容的示例提供，并且不旨在限制公开内容的范围。
119.1.一种数字图像拼接方法，所述数字图像拼接方法用于生成一个或多个全景图像视图，所述数字图像拼接方法包括：通过扫描仪设备的相机捕获描绘应用区域内的目标特征的多个数字图像，所述多个数字图像至少包括第一图像和第二图像；当所述扫描仪设备相对于所述目标特征移动时，通过耦接到所述扫描仪设备的传感器捕获运动数据；基于所述运动数据确定相对位置数据，所述相对位置数据至少包括对应于所述第一图像的第一位置数据和对应于所述第二图像的第二位置数据；基于所述相对位置数据生成所述第二图像相对于所述第一图像的角度或位置中的至少一者；以及基于所述第二图像的所述角度或所述位置基于所述第二图像与所述第一图像的图像匹配，生成在应用区域的比第一图像或第二图像更宽的视场中描绘目标特征的全景图像视图。
120.2.根据方面1所述的数字图像拼接方法，其中生成所述第二图像的所述角度包括：基于从所述第一图像到所述第二图像的角速度变化确定所述第二图像的倾斜角度；以及将所述第二图像旋转所述倾斜角度。
121.3.根据方面1至2中任一项所述的数字图像拼接方法，其中生成所述第二图像的位置包括：确定所述第一图像内的第一图像特征；确定所述第二图像内的第二图像特征，所述第一图像特征对应于所述第二图像特征；确定所述第一图像特征与所述第二图像特征之间的坐标距离；以及通过将所述第二图像从所述第一图像偏移所述坐标距离设置所述第二图像的所述位置。
122.4.根据方面1至3中任一项所述的数字图像拼接方法，还包括：自动
123.检测所述应用区域内的所述目标特征，使得所述多个图像被捕获。
124.5.根据方面1至4中任一项所述的数字图像拼接方法，其中所述多个数字图像描绘了以下各项中的一项或多项：一颗或多颗牙齿、软人体组织或人造口腔材料。
125.6.根据方面1至5中任一项所述的数字图像拼接方法，其中所述相机包括以下各项中的一项或多项：口腔内窥镜、地面相机、皮肤相机、包括相机的口腔治疗设备、包括相机的牙刷、或包括相机的咬嘴。
126.7.根据方面1至6中任一项所述的数字图像拼接方法，其中所述传感器包括以下各项中的一项或多项：陀螺仪、加速器、磁传感器或惯性测量单元(imu)。
127.8.根据方面1至7中任一项所述的数字图像拼接方法，其中所述应用区域是口腔区域、皮肤区域或地板区域中的一个区域。
128.9.根据方面1至8中任一项所述的数字图像拼接方法，其中在完成以下一项或多项之后生成所述全景图像视图：(a)确定所述多个图像在所述应用区域中的位置等于或超过最大坐标距离；或(b)确定已获得所述多个图像中阈值数目的数字图像。
129.10.根据权利要求9所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中在确定已经在所述口腔区域中扫描了最小数目的牙齿之后生成所述全景图像视图。
130.11.根据方面1至10中任一项所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：基于以下各项中的一项或多项来预测所述口腔区域内的分区位置：
131.全景图像视图；或所述全景图像视图和所述位置数据。
132.12.根据方面1至11中任一项所述的数字图像拼接方法，其中所述应用区域为包括一个或多个分区位置的口腔区域，所述一个或多个分区位置至少包括第一分区位置和第二分区位置，并且其中所述第二图像与所述第一图像的所述图像匹配还基于所述第二图像和
133.所述第一图像中的每个图像都在所述第一分区位置内的肯定指示。
134.13.根据方面12中任一方面所述的数字图像拼接方法，其中由所述相机捕获的所述多个数字图像还包括第三图像，并且其中所述数字图像拼接方法还包括：确定所述第三图像描绘所述第二分区位置；以及基于所述第三图像位于所述第二分区位置，放弃所述第三图像与所述第二图像或第一图像中的任一个图像的图像匹配，所述第二分区位置不同于所述第一分区位置。
135.14.根据方面1至13中任一项所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：基于以下各项中的一项或多项预测在所述口腔区域内描绘的一颗或多颗牙齿的牙齿位置：所述全景图像视图；或所述全景图像视图和所述位置数据。
136.15.根据方面1至14中任一项所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：基于由所述全景图像视图描绘的用户的一个或多个独特口腔特征来识别所述用户。
137.16.根据方面1至15中任一项所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：基于所述位置数据的一个或多个独特扫描行为来识别用户。
138.17.根据方面1至16中任一项所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：识别对在所述全景图像视图内描绘的一颗或多颗牙齿上的牙齿污染物的指示。
139.18.根据方面17所述的数字图像拼接方法，还包括：在第二时间生成第二全景图像视图；识别对在所述第二全景图像视图内描绘的一颗或多颗牙齿上的牙齿污染物的第二指示；以及确定对所述牙齿污染物的所述第二指示与对所述牙齿污染物的所述指示之间的牙齿污染物演变。
140.19.根据方面1至18中任一项所述的数字图像拼接方法，还包括在图形用户界面(gui)上呈现所述全景图像视图。
141.20.根据方面1至19中任一项所述的数字图像拼接方法，还包括基于以下各项中的至少一项生成推荐：所述全景图像视图、所述多个图像或所述位置数据。
142.21.根据方面1至20中任一项所述的数字图像拼接方法，还包括基于以下各项中的至少一项来输出控制信号：所述全景图像视图、所述多个图像或所述位置数据，其中所述控制信号控制至少所述扫描设备、所述相机或所述传感器的操作。
143.22.根据方面1至21中任一项所述的数字图像拼接方法，还包括基于所述全景图像视图来推荐产品。
144.23.根据方面1至22中任一项所述的数字图像拼接方法，其中所述扫描仪设备是手持式设备或夹式设备。
145.24.根据方面1至23中任一项所述的数字图像拼接方法，还包括：确定所述应用区域内的一个或多个分区位置；基于所述第二图像的所述角度或所述位置基于所述第二图像与所述第一图像的所述图像匹配，生成在水平方向和垂直方向上移动的距离，所述移动的距离限定所述相机从捕获所述第一图像时的第一位置到捕获所述第二图像时的第二位置的移动；基于在所述水平方向和所述垂直方向上移动的距离，生成限定总移动的总距离；基于所述总移动确定以下各项中的至少一项：(i)在所述一个或多个分区位置中的至少一个分区位置内发生的覆盖量，或(ii)限定所述一个或多个分区位置中的至少一个分区位置内的轨迹的轨迹值；以及基于所述
146.覆盖量或所述轨迹值中的至少一者生成是否发生成功扫描的指示。
147.25.根据方面1所述的数字图像拼接方法，其中通过所述相机捕获的所述多个图像包括第三图像，并且其中所述数字图像拼接方法还包括：确定所述第三图像缺少质量标准；以及丢弃在生成所述全景图像视图时使用的所述第三图像。
148.26.根据方面1所述的数字图像拼接方法，其中所述扫描仪设备包括物理距离元件，所述物理间隔元件被配置为保持所述相机与所述目标特征或所述应用区域之间的恒定距离。
149.27.一种数字图像拼接系统，所述数字图像拼接系统被配置为生成一个或多个全景图像视图，所述数字图像拼接系统包括：扫描仪设备，所述扫描仪设备包括被配置为捕获数字图像的相机；传感器，所述传感器耦接到所述扫描仪设备且被配置为捕获运动数据；一个或多个处理器，所述一个或多个处理器通信地耦接到所述扫描仪设备；和计算机可读介质，所述计算机可读介质存储计算指令，所述计算指令被配置为在所述一个或多个处理器上执行，其中所述计算指令在由所述一个或多个处理器执行时使得所述一个或多个处理
器：通过所述相机捕获描绘应用区域内的目标特征的多个数字图像，所述多个数字图像至少包括第一图像和第二图像，当所述扫描仪设备相对于所述目标特征移动时，通过所述传感器捕获所述运动数据；基于所述运动数据确定相对位置数据，所述相对位置数据至少包括对应于所述第一图像的第一位置数据和对应于所述第二图像的第二位置数据；基于所述相对位置数据生成所述第二图像相对于所述第一图像的角度或位置中的至少一者；以及基于所述第二图像的所述角度或所述位置基于所述第二图像与所述第一图像的图像匹配，生成在所述应用区域的比所述第一图像或所述第二图像更宽的视场中描绘所述目标特征的全景图像视图。
150.28.一种有形的非暂时性计算机可读介质，所述有形的非暂时性计算机可读介质存储用于生成一个或多个全景图像视图的指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器：
151.通过扫描仪设备的相机捕获描绘应用区域内的目标特征的多个数字图像，所述多个数字图像至少包括第一图像和第二图像；当所述扫描仪设备相对于所述目标特征移动时，通过耦接到所述扫描仪设备的传感器捕获运动数据；基于所述运动数据确定相对位置数据，所述相对位置数据至少包括对应于所述第一图像的第一位置数据和对应于所述第二图像的第二位置数据；基于所述相对位置数据生成所述第二图像相对于所述第一图像的角度或位置中的至少一者；以及基于所述第二图像的所述角度或所述位置基于所述第二图像与所述第一图像的图像匹配，生成在所述应用区域的比所述第一图像或所述第二图像更宽的视场中描绘所述目标特征的全景图像视图。
152.29.一种数字图像拼接方法，包括：通过扫描仪设备的相机捕获描绘应用区域内的目标特征的多个数字图像，所述多个数字图像至少包括第一图像和第二图像；当所述扫描仪设备相对于所述目标特征移动时，通过耦接到所述扫描仪设备的传感器捕获运动数据；基于所述运动数据确定相对位置数据，所述相对位置数据至少包括对应于所述第一图像的第一位置数据和对应于所述第二图像的第二位置数据；基于所述相对位置数据生成所述第二图像相对于所述第一图像的角度或位置中的至少一者；以及基于所述第一图像与所述第二图像的图像匹配以及在相应的水平方向和垂直方向上移动的一个或多个距离生成限定总移动的总距离。
153.30.根据方面29所述的数字图像拼接方法，还包括生成全景图像视图，所述全景图像视图在所述应用区域的比所述第一图像或所述第二图像更宽的视场中描绘所述目标特征。
154.31.一种数字成像方法，所述数字成像方法用于确定分区的扫描的成功扫描完成，所述数字成像方法包括：通过扫描仪设备的相机捕获描绘应用区域内的目标特征的多个数字图像，所述多个数字图像至少包括第一图像和第二图像；当所述扫描仪设备相对于所述目标特征移动时，通过耦接到所述扫描仪设备的传感器捕获运动数据；基于所述运动数据确定相对位置数据，所述相对位置数据至少包括对应于所述第一图像的第一位置数据和对应于所述第二图像的第二位置数据；基于所述相对位置数据生成所述第二图像相对于所述第一图像的角度或位置中的至少一者；基于所述第二图像的所述角度或所述位置基于所述第二图像与所述第一图像的图像匹配，生成在水平方向上移动的距离或在垂直方向上移动的距离，所述距离限定当捕获所述第一图像和所述第二图像时所述相机的移动；以及基于
在所述水平方向上移动的所述距离或在所述垂直方向上移动的所述距离确定区域扫描完成，所述区域扫描完成限定扫描的总移动关于至少一个预设阈值的总距离。
155.32.根据方面31所述的数字成像方法，还包括：进一步基于相对于至少一个预设阈值数目在分区内收集的所述多个图像的所需量确定区域扫描完成，所述至少一个预设阈值数量限定一个或多个分区的完成。
156.附加的考虑
157.虽然本公开陈述了多个不同方面的具体实施方式，但应当理解，本说明书的法律范围由本专利结尾处所陈述的权利要求书及其等同物的内容来限定。具体实施方式被理解为仅是示例性的，而非描述每一种可能的方面，因为描述每一种可能的方面是不切实际的。可使用当前技术或在本专利的申请日期之后开发的技术来实施众多另选的方面，该另选的方面将仍然落入本权利要求书的范围内。
158.以下附加的考虑适用于前述讨论。在本说明书通篇中，多个实例可实现被描述为单个实例的部件、操作或结构。虽然一个或多个方法的各个操作被示出和描述为单独的操作，但各个操作中的一个或多个操作可同时执行，并且不需要按所示顺序来执行这些操作。在示例性配置中作为单独部件展示的结构和功能可被实现为组合的结构或部件。类似地，展示为单个部件的结构和功能可被实现为单独的部件。这些型、修改、添加和改进以及其他变型、修改、添加和改进均属于本文主题范围之内。
159.另外，某些方面在本文中被描述为包括逻辑或多个例程、子例程、应用程序或指令。这些可构成软件(例如，机器可读介质上或传输信号中体现的代码)或硬件。在硬件中，例程等是能够执行某些操作的有形单元并且可按某种方式进行配置或布置。在示例性方面中，一个或多个计算机系统(例如，独立的客户端或服务器计算机系统)或计算机系统的一个或多个硬件模块(例如，处理器或处理器组)可通过软件(例如，应用程序或应用程序部分)配置为用于执行如本文所述的某些操作的硬件模块。
160.本文所述的示例性方法的各种操作可至少部分地由经临时配置(例如，由软件)或永久性配置以执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久性配置，此类处理器都可构成处理器实现型模块，用以执行一个或多个操作或功能。在一些示例性方面中，本文提及的模块可包括处理器实现型模块。
161.类似地，本文所述的方法或例程可至少部分地由处理器实现。例如，方法的至少一些操作可由一个或多个处理器或处理器实现型硬件模块来执行。操作中的某些操作的执行可分配给一个或多个处理器，这些处理器不仅驻留在单个机器内，而且部署于多个机器之间。在一些示例性方面中，一个或多个处理器可位于单个位置，而在其他方面中，处理器可分布于多个位置。
162.操作中的某些操作的执行可分配给一个或多个处理器，这些处理器不仅驻留在单个机器内，而且部署于多个机器之间。在一些示例性方面，一个或多个处理器或处理器实现的模块可位于单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其他方面中，一个或多个处理器或处理器实现型模块可分布于多个地理位置。
163.本具体实施方式被理解为仅是示例性的，而非描述每一种可能的方面，因为描述每一种可能的方面即使可能也是不切实际的。本领域普通技术人员可使用当前技术或在本技术提交日期之后所开发的技术来实现众多另选的方面。
164.本领域的普通技术人员将认识到，在不脱离本发明范围的前提下，可对上述方面进行多种修改、更改和组合，并且这些修改、更改和组合应视为落入本发明构思的范围内。
165.本专利申请末尾的专利权利要求不旨在根据35u.s.c.
§
112(f)来解释，除非明确引用了传统的装置加功能语言，诸如权利要求中明确引用的“用于......的装置”或“用于......的步骤”语言。本文所述的系统和方法涉及对计算机功能的改进，以及改进常规计算机的功能。
166.本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。
167.除非明确排除或以其他方式限制，否则本文中引用的每一篇文献，包括任何交叉引用或相关专利或专利申请以及本技术对其要求优先权或其有益效果的任何专利申请或专利，均据此全文以引用方式并入本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可，或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外，当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。
168.虽然已经举例说明和描述了本发明的具体方面，但是对于本领域的技术人员来说显而易见的是，在不背离本发明的实质和范围的情况下可以做出各种其他改变和变型。因此，本文旨在于所附权利要求书中涵盖属于本发明范围内的所有此类变化和修改。

技术特征：
1.一种数字图像拼接方法，所述数字图像拼接方法用于生成一个或多个全景图像视图，所述数字图像拼接方法包括：通过扫描仪设备的相机捕获描绘应用区域内的目标特征的多个数字图像，所述多个数字图像至少包括第一图像和第二图像；当所述扫描仪设备相对于所述目标特征移动时，通过耦接到所述扫描仪设备的传感器捕获运动数据；基于所述运动数据确定相对位置数据，所述相对位置数据至少包括对应于所述第一图像的第一位置数据和对应于所述第二图像的第二位置数据；基于所述相对位置数据生成所述第二图像相对于所述第一图像的角度或位置中的至少一者；以及基于所述第二图像的所述角度或所述位置基于所述第二图像与所述第一图像的图像匹配，生成在所述应用区域的比所述第一图像或所述第二图像更宽的视场中描绘所述目标特征的全景图像视图。2.根据权利要求1所述的数字图像拼接方法，其中生成所述第二图像的角度包括：基于从所述第一图像到所述第二图像的角速度变化确定所述第二图像的倾斜角度；以及将所述第二图像旋转所述倾斜角度。3.根据权利要求1所述的数字图像拼接方法，其中生成所述第二图像的位置包括：确定所述第一图像内的第一图像特征；确定所述第二图像内的第二图像特征，所述第一图像特征对应于所述第二图像特征；确定所述第一图像特征与所述第二图像特征之间的坐标距离；以及通过将所述第二图像从所述第一图像偏移所述坐标距离来设置所述第二图像的所述位置。4.根据权利要求1所述的数字图像拼接方法，还包括：自动检测所述应用区域内的所述目标特征，使得所述多个图像被捕获，优选地，所述多个数字图像描绘以下各项中的一项或多项：一颗或多颗牙齿、软人体组织或人造口腔材料。5.根据权利要求1所述的数字图像拼接方法，其中所述相机包括以下各项中的一项或多项：口腔内窥镜、地面相机、皮肤相机、包括相机的口腔治疗设备、包括相机的牙刷、或包括相机的咬嘴，优选地，所述传感器包括以下各项中的一项或多项：陀螺仪、加速器、磁传感器、或惯性测量单元(imu)。6.根据权利要求1所述的数字图像拼接方法，其中在完成以下一项或多项之后生成所述全景图像视图：(a)确定所述多个图像在所述应用区域中的位置等于或超过最大坐标距离；或(b)确定已获得所述多个图像中阈值数目的数字图像。7.根据权利要求1所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：基于以下各项中的一项或多项预测所述口腔区域内的分区位置：全景图像视图；或所述全景图像视图和所述位置数据。8.根据权利要求1所述的数字图像拼接方法，其中所述应用区域为包括一个或多个分区位置的口腔区域，所述一个或多个分区位置至少包括第一分区位置和第二分区位置，并
且其中所述第二图像与所述第一图像的所述图像匹配还基于所述第二图像和所述第一图像中的每个图像都在所述第一分区位置内的肯定指示，优选地，通过所述相机捕获的所述多个数字图像还包括第三图像，并且其中所述数字图像拼接方法还包括：确定所述第三图像描绘所述第二分区位置；以及基于所述第三图像位于所述第二分区位置，放弃所述第三图像与所述第二图像或所述第一图像中的任一个图像的图像匹配，所述第二分区位置不同于所述第一分区位置。9.根据权利要求1所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：基于以下各项中的一项或多项来预测在所述口腔区域内描绘的一颗或多颗牙齿的牙齿位置：所述全景图像视图；或所述全景图像视图和所述位置数据。10.根据权利要求1所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：基于由所述全景图像视图描绘的所述用户的一个或多个独特的口腔特征来识别用户，并且优选地，在图形用户界面(gui)上呈现所述全景图像视图。11.根据权利要求1所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：基于所述位置数据的一个或多个独特扫描行为来识别用户。12.根据权利要求1所述的数字图像拼接方法，其中所述应用区域是口腔区域，并且其中所述数字图像拼接方法还包括：识别对在所述全景图像视图内描绘的一颗或多颗牙齿上的牙齿污染物的指示，并且优选地：在第二时间生成第二全景图像视图；识别对在所述第二全景图像视图内描绘的一颗或多颗牙齿上的牙齿污染物的第二指示；以及确定对所述牙齿污染物的所述第二指示与对所述牙齿污染物的所述指示之间的牙齿污染物演变。13.根据权利要求1所述的数字图像拼接方法，还包括基于以下各项中的至少一项生成推荐：所述全景图像视图、所述多个图像或所述位置数据，优选地还包括基于所述全景图像视图推荐产品。14.根据权利要求1所述的数字图像拼接方法，还包括基于以下各项中的至少一项输出控制信号：所述全景图像视图、所述多个图像或所述位置数据，其中所述控制信号控制至少所述扫描设备、所述相机或所述传感器的操作，并且优选地所述扫描仪设备是手持式设备或夹式设备。15.根据权利要求1所述的数字图像拼接方法，还包括：确定所述应用区域内的一个或多个分区位置；基于所述第二图像的所述角度或所述位置基于所述第二图像与所述第一图像的所述图像匹配，生成在水平方向和垂直方向上移动的距离，所述移动的距离限定所述相机从捕获所述第一图像时的第一位置到捕获所述第二图像时的第二位置的移动；基于在所述水平方向和所述垂直方向上移动的距离，生成限定总移动的总距离；
基于所述总移动确定以下各项中的至少一项：(i)在所述一个或多个分区位置中的至少一个分区位置内发生的覆盖量，或(ii)限定所述一个或多个分区位置中的至少一个分区位置内的轨迹的轨迹值；以及至少基于所述覆盖量或所述轨迹值生成对是否发生成功扫描的指示。16.一种数字图像拼接系统，所述数字图像拼接系统被配置为生成一个或多个全景图像视图，所述数字图像拼接系统包括：扫描仪设备，所述扫描仪设备包括被配置为捕获数字图像的相机；传感器，所述传感器耦接到所述扫描仪设备且被配置为捕获运动数据；一个或多个处理器，所述一个或多个处理器通信地耦接到所述扫描仪设备；和计算机可读介质，所述计算机可读介质存储被配置为在所述一个或多个处理器上执行的计算指令，其中所述计算指令在由所述一个或多个处理器执行时使得所述一个或多个处理器：通过所述相机捕获描绘应用区域内的目标特征的多个数字图像，所述多个数字图像至少包括第一图像和第二图像；当所述扫描仪设备相对于所述目标特征移动时，通过所述传感器捕获所述运动数据；基于所述运动数据确定相对位置数据，所述相对位置数据至少包括对应于所述第一图像的第一位置数据和对应于所述第二图像的第二位置数据；基于所述相对位置数据生成所述第二图像相对于所述第一图像的角度或位置中的至少一者，以及基于所述第二图像的所述角度或所述位置基于所述第二图像与所述第一图像的图像匹配，生成在所述应用区域的比所述第一图像或所述第二图像更宽的视场中描绘所述目标特征的全景图像视图。17.一种有形的非暂态计算机可读介质，所述有形的非暂态计算机可读介质存储用于生成一个或多个全景图像视图的指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器：通过扫描仪设备的相机捕获描绘应用区域内的目标特征的多个数字图像，所述多个数字图像至少包括第一图像和第二图像；当所述扫描仪设备相对于所述目标特征移动时，通过耦接到所述扫描仪设备的传感器捕获运动数据；基于所述运动数据确定相对位置数据，所述相对位置数据至少包括对应于所述第一图像的第一位置数据和对应于所述第二图像的第二位置数据；基于所述相对位置数据生成所述第二图像相对于所述第一图像的角度或位置中的至少一者；以及基于所述第二图像的所述角度或所述位置基于所述第二图像与所述第一图像的图像匹配，生成在所述应用区域的比所述第一图像或所述第二图像更宽的视场中描绘所述目标特征的全景图像视图。

技术总结
本文公开了用于生成一个或多个全景图像视图的数字图像拼接系统和方法。通过扫描仪设备的相机捕获描绘应用区域内的目标特征的多个数字图像。当扫描仪设备相对于目标特征移动时，通过耦接到扫描仪设备的传感器捕获运动数据，其中基于运动数据确定对应于多个数字图像的相对位置数据。生成多个图像中的第一图像相对于第二图像的角度或位置，且基于第二图像相对于第一图像的角度或位置的图像匹配，生成在应用区域的比第一图像或第二图像更宽的视场中描绘目标特征的全景图像视图。中描绘目标特征的全景图像视图。中描绘目标特征的全景图像视图。


技术研发人员：李佩 费兹
受保护的技术使用者：宝洁公司
技术研发日：2023.03.14
技术公布日：2023/9/25