生成三维模型的方法和执行该方法的数据处理装置与流程

生成三维模型的方法和执行该方法的数据处理装置
1.相关申请的交叉引用
2.本技术要求于2022年2月23日在韩国知识产权局(kipo)提交的韩国专利申请no.10-2022-0023364以及于2022年6月20日在kipo提交的韩国专利申请no.10-2022-0074844的优先权，以上公开以引用方式全文并入本文中。
技术领域
3.示例实施例整体涉及半导体集成电路，并且更具体地说，涉及生成三维模型的方法和执行该方法的数据处理装置。


背景技术：

4.近来，重建三维真实世界在移动系统领域吸引了许多注意。诸如增强现实(ar)、虚拟现实(vr)等的混合现实系统可将虚拟对象和真实世界组合。数字制图和元宇宙的日益增长的市场将需要更先进的技术。不易从图像传感器拍摄的图像中重建详尽且可靠的三维模型。


技术实现要素：

5.一些示例实施例提供了生成三维模型的方法和能够高效重建详尽的三维模型的数据处理装置。
6.根据一些示例实施例，一种生成三维模型的方法包括：获得多个输入图像，使得所述多个输入图像的每个输入图像包括目标的颜色数据和深度数据；基于所述多个输入图像的颜色数据生成图像图表，使得图像图表包括所述多个输入图像之间的相关值；基于图像图表确定所述多个输入图像的登记次序；基于所述多个输入图像的登记次序和深度数据相对于所述多个输入图像按次序生成每个输入图像的位姿信息；将所述多个输入图像按次序登记为登记图像，使得每个登记图像包括位姿信息；以及基于登记图像重建目标的三维模型。
7.根据一些示例实施例，一种生成三维模型的方法包括：获得多个输入图像使得所述多个输入图像的每个输入图像包括目标的颜色数据和深度数据；基于每个输入图像的颜色数据提取每个输入图像中包括的二维特征点；基于二维特征点的匹配信息生成图像图表使得图像图表包括所述多个输入图像之间的相关值；基于图像图表确定所述多个输入图像的登记次序；基于已登记的输入图像的深度数据生成虚拟深度数据，基于虚拟深度数据和已登记的输入图像的深度数据生成要在已登记的输入图像下一个登记的当前输入图像的位姿信息；将所述多个输入图像按次序登记为登记图像，使得每个登记图像包括位姿信息；以及基于登记图像重建目标的三维模型。
8.根据一些示例实施例，一种数据处理装置包括处理电路，处理电路被配置为：接收多个输入图像，使得所述多个输入图像的每个输入图像包括目标的颜色数据和深度数据；基于所述多个输入图像的所述颜色数据生成图像图表，使得所述图像图表包括所述多个输
入图像之间的相关值；基于所述图像图表确定所述多个输入图像的登记次序；基于所述多个输入图像的所述登记次序和所述深度数据相对于所述多个输入图像按次序生成每个输入图像的位姿信息；按次序登记所述多个输入图像，作为登记图像，使得每个登记图像包括所述位姿信息；以及基于所述登记图像重建所述目标的三维模型。
9.根据一些示例实施例的方法和数据处理装置可通过基于颜色数据确定登记次序和根据登记次序利用登记图像按次序生成输入图像的位姿信息来生成确切或接近确切的位姿信息并且重建详尽的三维模型。
10.另外，根据一些示例实施例的方法和数据处理装置可通过利用颜色数据和深度数据二者相对于大运动和小运动两种情况估计确切或接近确切的位姿信息。
11.此外，根据一些示例实施例的方法和数据处理装置可通过基于表示输入图像之间的相关度的图像图表确定登记次序来方便地补充缺乏的图像和去除噪声图像。
附图说明
12.从下面结合附图的详细描述中，将更清楚地理解本公开的示例实施例。
13.图1是示出根据一些示例实施例的生成三维模型的方法的流程图。
14.图2是示出根据一些示例实施例的执行生成三维模型的方法的数据处理装置的框图。
15.图3是示出根据一些示例实施例的系统的框图。
16.图4a和图4b是示出根据一些示例实施例的提供待合并的输入图像以生成三维模型的示例实施例的图。
17.图5是示出根据一些示例实施例的生成三维模型的方法中的基于跟踪的图像序列和图像集的图。
18.图6是示出根据一些示例实施例的生成三维模型的方法中的生成图像图表的示例实施例的流程图。
19.图7是示出根据一些示例实施例的生成三维模型的方法中的提取特征点的示例的图。
20.图8和图9是示出根据一些示例实施例的生成三维模型的方法中的图像图表的示例实施例的图。
21.图10是示出根据一些示例实施例的生成三维模型的方法中的确定登记次序的示例实施例的流程图。
22.图11、图12和图13是用于描述确定图10的登记次序的示例实施例的图。
23.图14a和图14b是用于描述根据一些示例实施例的生成三维模型的方法中的位姿信息的图。
24.图15是示出根据一些示例实施例的生成三维模型的方法中的生成位姿信息的示例实施例的流程图。
25.图16是示出根据一些示例实施例的生成三维模型的方法中的生成深度数据的示例实施例的流程图。
26.图17和图18是示出根据一些示例实施例的生成三维模型的方法中的生成当前输入图像的位姿信息的示例实施例的流程图。
27.图19是示出根据一些示例实施例的生成三维模型的方法中的重建三维模型的示例实施例的流程图。
28.图20a、图20b、图21和图22是示出根据一些示例实施例的生成三维模型的方法的效果的图。
29.图23是示出根据一些示例实施例的系统装置中包括的图像拍摄装置的示例的框图。
30.图24是示出图23的图像拍摄装置中包括的感测单元的示例实施例的图。
31.图25是示出图24的感测单元中包括的像素阵列的示例实施例的图。
32.图26是示出图23的图像拍摄装置中包括的感测单元的示例实施例的图。
33.图27a和图27b是示出图26的感测单元中包括的像素阵列的一些示例实施例的图。
34.图28a、图28b、图28c和图28d是示出像素阵列中包括的单位像素的一些示例实施例的电路图。
35.图29是示出深度传感器中包括的像素阵列的示例实施例的图。
36.图30是示出图29的像素阵列中包括的深度像素的示例实施例的电路图。
37.图31是示出图30的深度像素的飞行时间(tof)操作的时序图。
38.图32是示出根据一些示例实施例的相机系统的框图。
39.图33是示出根据一些示例实施例的计算机系统的框图。
具体实施方式
40.下文中将参照其中示出了一些示例实施例的附图更完全地描述各个示例实施例。在附图中，相同标号始终指代相同元件。可省略重复描述。
41.图1是示出根据一些示例实施例的生成三维模型的方法的流程图。
42.参照图1，可获得多个输入图像使得所述多个输入图像的每个输入图像包括目标的颜色数据和深度数据(s100)。所述多个输入图像的不同的输入图像可包括目标的至少一部分共同的数据。目标可为单个对象或诸如室内结构的对象的集合。如下面将参照图23至图31描述的，颜色数据可表示目标的二维颜色信息，深度数据可表示目标与相机或图像传感器之间的距离信息。
43.在一些示例实施例中，可通过如下面将参照图4a描述的多个相机拍摄所述多个输入图像，或者可通过如下面将参照图4b描述的单个相机按次序拍摄所述多个输入图像。
44.可基于所述多个输入图像的颜色数据生成图像图表，使得图像图表包括所述多个输入图像之间的相关值(s200)。在一些示例实施例中，可基于每个输入图像的颜色数据提取每个输入图像中包括的二维特征点，并且可基于二维特征点的映射关系确定相关值。可利用各种方案执行二维特征点的提取和指示映射关系的匹配信息的生成。下面将参照图6至图9描述基于二维特征点生成图像图表的一些示例实施例。
45.可基于图像图表确定所述多个输入图像的登记次序(s300)。可确定登记次序使得可更早登记与其它输入图像关联更多的输入图像。下面将参照图10至图13描述确定登记次序的一些示例实施例。
46.可基于所述多个输入图像的登记次序和深度数据相对于所述多个输入图像按次序生成每个输入图像的位姿信息(s400)。可将所述多个输入图像按次序登记为登记图像，
使得每个登记图像包括位姿信息(s500)。
47.如下面将参照图14a和图14b描述的，位姿信息可包括拍摄对应的输入图像的相机的位置和取向。登记图像指具有生成的位姿信息的输入图像，登记图像可包括颜色数据、深度数据和位姿信息。
48.在一些示例实施例中，可基于已登记的输入图像的深度数据生成虚拟深度数据，并且可基于虚拟深度数据和要在该已登记的输入图像下一个登记的当前输入图像的深度数据生成当前输入图像的位姿信息。下面将参照图15至图18描述生成位姿信息的一些示例实施例。
49.可基于登记图像重建目标的三维模型(s600)。如下面参照图19将描述的，三维模型的重建可包括对应于三维点云的稀疏重建和对应于三维模型的表面重建的密集重建。
50.图2是示出根据一些示例实施例的执行生成三维模型的方法的数据处理装置的框图。
51.参照图2，数据处理装置500可包括控制器ctrl 10、输入电路inp 20、图像图表生成器igg 30、位姿估计器pe 40、登记代理reg50、模型生成器mdg 60和存储器装置mem 70。
52.输入电路20可接收多个输入图像(例如，m个输入图像i1～im)，使得所述多个输入图像中的每个输入图像包括目标的颜色数据和深度数据。输入电路可具有被配置为与诸如相机的外部装置通信的各种配置。接收的输入图像i img可存储在存储器装置70中。
53.图像图表生成器30可基于所述多个输入图像的颜色数据生成图像图表，使得图像图表包括所述多个输入图像i img之间的相关值。模型生成器60可访问存储器装置70，以读取输入图像i img和存储生成的图像图表imgr。
54.控制器10可控制数据处理装置500的整体操作。另外，控制器10可基于图像图表imgr确定所述多个输入图像i img的登记次序。在一些示例实施例中，控制器10可将图像图表imgr加载到控制器10内部，并且利用加载的图像图表imgr控制数据处理装置500的操作。根据登记次序，控制器10可向位姿估计器40提供已登记的输入图像和接下来要登记的当前输入图像。
55.位姿估计器40可基于所述多个输入图像i img的登记次序和深度数据相对于所述多个输入图像i img按次序生成每个输入图像的位姿信息pinf。
56.登记代理50可将所述多个输入图像i img按次序登记为登记图像rimg，使得每个登记图像包括位姿信息pinf。在一些示例实施例中，登记代理50可通过将位姿信息pinf加至对应的输入图像生成登记图像rimg。在一些示例实施例中，登记代理50可通过基于位姿信息pinf相对于参考坐标系转换每个输入图像生成每个登记图像。生成的登记图像rimg可按次序存储在存储器装置70中。
57.模型生成器60可基于登记图像rimg重建目标的三维模型3dm，并且生成的三维模型3dm可存储在存储器装置70中。另外，可通过输入电路20中的接口将三维模型3dm提供至外部装置。
58.存储器装置70可存储所述多个输入图像i img、图像图表imgr、登记图像rimg、三维模型3dm等。存储器装置70可为专用于数据处理装置500的存储器装置或者包括数据处理装置500的系统的公共存储器装置。
59.这样，根据一些示例实施例的方法和数据处理装置500可通过基于颜色数据确定
登记次序以及根据登记次序利用登记图像rimg按次序生成输入图像的位姿信息pinf来生成确切的位姿信息pinf和重建详尽的三维模型3dm。
60.图3是示出根据一些示例实施例的系统的框图。
61.参照图3，系统1000可包括相机模块(cam)1114、收发器(trx)1140、控制单元1160和用户接口1150。
62.相机模块1114可包括被配置为拍摄和提供输入图像的至少一个相机或者图像传感器。相机模块1114可包括分别提供一个或多个输入图像的多个相机。作为替代，相机模块1114可包括提供输入图像的单个相机。
63.收发器1140可提供系统1000需求的或者系统1000针对连通性所期望的任何连通性。所述连通性可包括与诸如互联网、蜂窝网络等的其它网络的有线和/或无线连接。
64.用户接口1150可包括诸如键盘、键区等的输入装置(kpd)1152和诸如能够显示相机模块1114拍摄的图像的显示装置的输出装置(dsp)1112。如果适合于特定设计，则可以将虚拟键盘集成到具有触摸屏/传感器技术的显示装置1112中，以省去输入装置1152。
65.控制单元1116可包括通用处理器(prc)1161、硬件装置(hw)1162、固件装置(fw)1163、存储器(mem)1164、图像信号处理器(isp)1166、图形引擎(geng)1167和总线1177。控制单元1160可执行根据一些示例实施例的生成三维模型的方法。也就是说，控制单元1160可被配置为执行例如图2中描述的数据处理装置500的功能。
66.这里，应该注意，一些示例实施例可在硬件、固件和/或软件中不同地实施。
67.在一些示例实施例中，可利用图像信号处理器1166执行根据一些示例实施例的生成三维模型的方法。在一些示例实施例中，可根据通过处理装置执行的程序指令执行生成三维模型的方法。程序指令可存储在存储器1164中，作为软件sw 1165，并且程序指令可被通用处理器1161和/或图像信号处理器1166执行。
68.为了执行程序指令，例如，通用处理器1161可从内部寄存器、内部高速缓存或存储器1164中检索或取回程序指令，并且解码和执行程序指令。在执行程序指令期间或之后，通用处理器1161可将程序指令的一个或多个结果(可为中间结果或最终结果)写至内部寄存器、内部高速缓存或存储器1164。
69.系统1000可为采用许多可能形式之一的计算机系统。例如，系统1000可为嵌入式计算机系统、系统芯片(soc)、单板计算机系统(sbc)(诸如，例如模块上计算机(com)或模块上系统(som))、台式计算机系统、笔记本或笔记本计算机系统、交互式信息亭、大型机、计算机系统网、移动电话、个人数字助理(pda)、服务器、平板计算机系统或者这些的两个或更多个的组合。
70.根据一些示例实施例的用于实施生成三维模型的方法的程序指令可存储在计算机可读的一个或多个非临时存储介质中。计算机可读的非临时存储介质可视情况包括一个或多个基于半导体的或其它的集成电路(ic)，诸如现场可编程门阵列(fpga)或专用集成电路(asic)、硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、安全数位卡或驱动器)、任何其它合适的计算机可读的非临时存储介质或者这些的两个或更多个的任何合适的组合。计算机可读的非临时存储介质可视情况为易失性、非易失性或易失性和非易失性的组合。
71.图4a和图4b是示出根据一些示例实施例的提供待合并的输入图像以生成三维模型的一些示例实施例的图。
72.图4a示出了其中包括第一相机cam1和第二相机cam2的相机的阵列沿着轴线(ax)设置的示例。上述输入图像可包括分别由相机cam1和cam2拍摄的图像i1和i2。为便于示出，图4a中仅示出两个相机cam1和cam2。然而，本领域技术人员应该认识到在其它示例实施例中可使用三个或更多个相机。
73.在一些示例实施例中，相机cam1和cam2中的每一个(或可替换地，它们中的至少一个)可包括被配置为拍摄单独图像或一系列图像(例如，视频)的图像传感器。例如，相机cam1和cam2可包括电荷耦合器件(ccd)图像传感器或者互补金属氧化物半导体(cmos)有源像素图像传感器。
74.相机阵列中的每个相机根据多种因素具有特定视场(fov)，所述因素诸如：相对相机位置、焦距、使用的放大率、相机大小等。如图4a所示，第一相机cam1具有第一视场fov1，第二相机cam2具有与第一视场fov1不同的第二视场fov2。
75.关于此，相机的视场可指相机成像的特定场景的水平、竖直或对角线范围。相机的视场内的对象可以由相机的图像传感器拍摄，并且视场外的对象不会出现在图像传感器上。
76.相机可具有表示其中相机指向的角度或方向的取向。如图4a所示，相机cam1可具有第一取向ort1，并且相机cam2可具有与第一取向ort1不同的第二取向ort2。
77.根据相机间间距ics、视场fov1和fov2以及取向ort1和ort2，分别由相机cam1和cam2拍摄的第一图像i1和第二图像i2的重叠部分可变化。因此，需要通过预先将图像i1和i2与相同二维平面对齐的同步或坐标同步，以高效地合并图像i1和i2。
78.如图4b所示，通过本发明构思的一些示例实施例稍后合并的输入图像可包括通过单个相机(cam)按次序拍摄的第一图像i1和第二图像i2。例如，图像i1和i2可为以串行拍摄模式拍摄的图像，或者是过采样以增强图像质量的图像。在这些情况下，在图像i1和i2之间可出现时间间隔，并且图像i1和i2的重叠部分可由于用户的手移动等而变化。如图4a的情况，需要通过预先将图像i1和i2与相同二维平面对齐的同步(或者坐标同步)，以高效地合并图像i1和i2。
79.图5是示出根据一些示例实施例的生成三维模型的方法中的基于跟踪的图像序列和图像集的图。
80.基于图像序列执行生成三维模型的基于跟踪的方法。在基于跟踪的方法中，通过处理按时间排序的两个图像生成位姿信息。因此，如果存在输入图像的退化或遗漏，则必须恢复获得图像序列，不然生成的三维模型的质量会退化。
81.相反，根据一些示例实施例，如图5所示的任意图像集可用于生成三维模型，这是因为不管拍摄输入图像的时间如何都基于输入图像之间的相关度确定处理次序或登记次序。这样，根据一些示例实施例的方法和数据处理装置可通过基于表示输入图像之间的相关度的图像图表确定登记次序方便地补充缺乏的图像和去除噪声图像。
82.作为常规方案之一，同时定位和制图(slam)集中于从连续图像集进行实时跟踪和重建。slam系统被优化或改进为使用备用点云进行相机跟踪，因此它们只能产生稀疏重建，而密集重建是不可能的。kinectfusion算法通过将大量单独的深度信息组合到单个体积重
建中来提供小尺寸场景的体积密集重建。然而，kinectfusion算法仅使用深度信息通过帧-模型对齐(frame-to-model al ignment)来估计位姿信息，当连续帧之间存在较大移动时，这很容易使位姿估计失败。通过组合颜色数据和迭代最近点(icp)方案的常规方法可估计相对确切的位姿信息，但是位姿信息的精度降低，这是因为当相机运动小时三维点云的精度降低。与其他常规方案一样，运动增量结构(incremental structure to motion,sfm)或视觉sfm可以表现出更好的性能，但是sfm方案在实现诸如手持三维扫描系统等小规模重建系统的能力方面有限，这是因为由于三维点和位姿估计的精度，需要或期望图像对之间的大基线。
83.根据一些示例实施例，基于颜色数据的鲁棒性重建可以与基于颜色数据和深度数据的精确性重建相结合。具体地说，一些示例实施例可以应用于手持式扫描系统。
84.这样，根据一些示例实施例的方法和数据处理装置可通过利用颜色数据和深度数据二者相对于大运动和小运动两种情况估计确切的位姿信息。
85.图6是示出根据一些示例实施例的生成三维模型的方法中的生成图像图表的示例实施例的流程图。
86.参照图2和图6，图像图表生成器30可基于每个输入图像的颜色数据提取每个输入图像中包括的二维特征点(s210)。下面将参照图7描述二维特征点的提取。图像图表生成器30可生成指示所述多个输入图像的不同输入图像中包括的二维特征点的映射关系的匹配信息(s220)，并且基于匹配信息确定相关值(s230)。下面将参照图8和图9描述相关值的确定。
87.图7是示出根据一些示例实施例的生成三维模型的方法中的提取特征点的示例的图。
88.为了跟踪和/或识别对象，可以通过提取要合并的图像中的特征点来实现图像匹配。特征点可以理解为关键点或关注点。
89.为了匹配对应的图像部分，需要提取可以容易地识别(或检测)并与图像背景区分的适当特征点。例如，即使对象的形状和/或位置、相机参数、照明等改变，与适当特征点相关联的条件也可以包括高度辨别力。适当特征点的一个示例是角点，但可以使用许多不同的方法。然而，大多数特征点提取方法基于(一个或多个)角点提取，诸如图7中也示出的哈里斯角和尺度不变特征点(sift)角。
90.在一些示例实施例中，可以对输入图像的灰度版本执行特征点检测和点匹配，并且可以在单独的操作中或通过查找表将特定对比度应用于输入图像。在一些示例实施例中，可以使用局部对比度增强在图像上全局地执行特征点检测。局部对比度增强增加“局部”对比度，而同时防止或阻碍“全局”对比度的增加，从而保护大规模阴影/高光细节。例如，局部对比度梯度可以指示与特征相对应的边缘、角落或“斑点”。可以使用特征检测算法来检测图像的特征，例如，尺度不变特征变换(sift)、加速鲁棒特征(surf)或定向fast和旋转brief(orb)，其中fast代表“来自加速段测试的特征”，brief代表“二进制鲁棒独立基本特征”。在一些示例实施例中，特征点检测处理可以检测一个或多个特征点。例如，可以通过取多个高斯平滑操作的差来检测特征点。此外，可以存储每个搜索区的特征点的位置和每个特征点的对比度值。
91.在一些示例实施例中，可以根据图像的大小来设置用于匹配不同图像中的特征点
的区域的大小。在一些示例实施例中，相机系统的几何结构可以是已知的，并且基于已知的相机系统几何结构，可以预先知道图像的搜索区和重叠区域的近似像素数。例如，相机系统的相机的位置和取向可以相对于彼此固定，相机之间的重叠可以是已知的。
92.在一些示例实施例中，可以使用最近邻搜索算法来执行对分别包括在不同输入图像中的对应的成对特征点的确定。例如，最近邻搜索算法可以识别一个图像的重叠区域的每个搜索区内的特征点的图案，这些图案与另一个图像的重叠区域的每个搜索区内特征点的对应图案相匹配。在一些示例实施例中，最近邻算法可以使用每个特征点周围的搜索半径来确定对应的特征点对。例如，搜索区域可以具有32个像素、64个像素的半径或任何合适的半径，或者搜索区域可以有32个像素
×
32个像素、64个像素
×
64个像素、或者任何合适的大小。在一些示例实施例中，可以使用二次细化来在最终单应性计算之前重新对准对应的特征点对。
93.图8和图9是示出根据一些示例实施例的生成三维模型的方法中的图像图表的一些示例实施例的图。
94.图8示出了第一图像i0至第五图像i4中分别包括的特征点x
ij
的匹配信息minf的示例。这里，同一行中的特征点可对应于拍摄的情景中的相同位置。例如，从匹配信息minf中应该理解，第一图像i0的特征点x
02
、第二图像i1的特征点x
11
、第三图像i2的特征点x
22
和第四图像i3的特征点x
32
彼此对应，第五图像i4没有对应的特征点。可通过匹配信息mifn确定不同输入图像之间的相关值。
95.图9示出了包括针对三维模型待合并的第一输入图像i1至第九输入图像i9之间的相关值的图像图表imgr的示例。
96.图2的图像图表生成器30可基于参照图8描述的匹配信息确定相关值。在一些示例实施例中，图像图表生成器30可确定两个输入图像ii和ij中包括的二维特征点的匹配对的数量作为两个输入图像ii和ij之间的相关值m
i,j
。因为相关值表示两个输入图像ii和ij之间的关系，所以相关值m
i,j
等于相关值m
j,i
。例如，在图9的示例中，m
3,4
＝m
4,3
＝145。
97.在一些示例实施例中，控制器10可基于图像图表imgr确定所述多个输入图像中的噪声输入图像使得噪声输入图像与其它输入图像之间的相关值小于阈值，并且丢弃噪声图像。在图9的示例中，阈值可设为25，可将第一输入图像i1确定为噪声输入图像，这是因为第一输入图像i1与其它输入图像i2～i9之间的相关值2、15、13、11、19、7、11和5小于阈值25。
98.图10是示出根据一些示例实施例的生成三维模型的方法中的确定登记次序的示例实施例的流程图，并且图11、图12和图13是用于描述图10的确定登记次序的示例实施例的图。
99.参照图2和图10，控制器10可确定首先要登记的与相关值中的最大值或最高相关值对应的两个输入图像(s310)(例如，基于相关值确定首先要登记的两个输入图像)。
100.例如，如图11所示，第五输入图像i5和第六输入图像i6的相关值m
5,6
可为所有相关值中的最大值或最高相关值。控制器10可确定需要首先登记第五输入图像i5和第六输入图像i6。
101.控制器10可确定还未登记的每个输入图像与已登记的输入图像之间的相关值的和(s320)并且确定与和的最大值或最高值对应的输入图像，作为要在已登记的输入图像下一个登记的当前输入图像(s330)。
102.例如，图12所示的是当已登记第五输入图像i5和第六输入图像i6时图像i1、i2、i3、i4、i7、i8和i9中的每一个与登记的输入图像i5和i6之间的相关值的和csm。例如，与还未登记的第四输入图像i4对应的和csm可为62+171＝233。与第八输入图像i8对应的和csm289为和csm的最大值或最高值，并且控制器10可确定在已登记的第五输入图像i5和第六输入图像i6之后登记第八输入图像i8。
103.然后，图13所示的是当已登记第五输入图像i5、第六输入图像i6和第八输入图像i8时，图像i1、i2、i3、i4、i7和i9中的每一个与登记的输入图像i5、i6和i8之间的相关值的和csm。例如，与还未登记的第四输入图像i4对应的和csm可为62+171+121＝354。与第七输入图像i7对应的和csm 364是和csm的最大值或最高值，并且控制器10可确定在已登记的第五输入图像i5、第六输入图像i6和第八输入图像i8之后登记第七输入图像i7。
104.用以估计位姿信息pinf的输入图像的次序可极大地影响位姿估计的精度。根据一些示例实施例，可通过基于颜色数据确定登记次序或者位姿估计的次序来防止和/或减小由于位姿估计的不合适的次序导致的位姿估计的误差累积。这样，可通过基于颜色数据确定登记次序以及根据登记次序利用登记图像按次序生成输入图像的位姿信息，来生成确切或接近确切的位姿信息并且可重建详尽的三维模型。
105.图14a和图14b是用于描述根据一些示例实施例的生成三维模型的方法中的位姿信息的图。
106.图14a示出了参考坐标系(或者世界坐标系)wcs和与一个输入图像对应的相机坐标系ccs的示例。点p的位置或坐标值可通过参考坐标系wcs表示为(xw，yw，zw)并且通过相机坐标系ccs表示为(xc，yc，zc)。相对于不同坐标系的坐标值可利用如图14b所示的几何转换矩阵t
cw
进行转换。在图14b中，r
11
、r
12
、r
13
、r
21
、r
22
、r
23
、r
31
、r
32
和r
33
表示相机坐标系ccs相对于参考坐标系wcs的旋转，并且t
x
、ty和tz表示相机坐标系ccs相对于参考坐标系wcs的旋转。旋转和平移对应于当相机拍摄对应的输入图像时相机的取向和位置。上述位姿信息pinf可通过所述几何转换矩阵t
cw
表示。
107.图15是示出根据一些示例实施例的生成三维模型的方法中的生成位姿信息的示例实施例的流程图。
108.参照图2和图15，位姿估计器40可基于已登记的输入图像的深度数据生成虚拟深度数据(s410)。位姿估计器40可基于虚拟深度数据和要在已登记的输入图像下一个登记的当前输入图像的深度数据生成当前输入图像的位姿信息(s420)。
109.在图13的示例中，第五输入图像i5、第六输入图像i6和第八输入图像i8对应于已登记的登记的输入图像，并且第七输入图像i7对应于通过生成位姿信息pinf登记的当前输入图像。在这种情况下，位姿估计器40可基于登记的输入图像i5、i6和i8的深度数据生成用于第七输入图像i7的位姿估计的虚拟深度数据。
110.在一些示例实施例中，位姿估计器40可基于虚拟深度数据和当前输入图像的深度数据执行迭代最近点(icp)算法。icp算法在校正误差的匹配与补偿中扮演重要角色。icp算法可通过重复和交替地执行对应的点搜索和位姿估计匹配两个点云。基本上，icp算法可以通过计算解使得成本函数最小化或减少来执行。示例实施例不限于特定的icp算法，并且各种icp算法可以应用于一些示例实施例。
111.在基于跟踪的位姿估计中，基于具有所估计的位姿并且在时间上与当前输入图像
相邻的一个输入图像的深度数据来估计当前输入图像的位姿。相反，根据一些示例实施例，基于虚拟深度数据来估计当前输入图像的位姿，该虚拟深度数据是基于具有位姿信息pinf的登记图像的深度数据生成的。如上所述，登记的输入图像可以具有根据基于颜色数据的登记次序生成的确切或接近确切的位姿信息pinf。可以使用登记的输入图像的深度数据来增强当前输入图像的位姿估计的精度。基于此类虚拟深度数据的icp可称为“集束icp”。
112.图16是示出根据一些示例实施例的生成三维模型的方法中的生成深度数据的示例实施例的流程图。
113.参照图2和图16，位姿估计器40可相对于相同坐标系将已登记的输入图像转换为三维图像(s411)，并且基于分别与三维图像对应的深度值的平均值生成虚拟深度数据的每像素深度值(s412)。
114.这种虚拟深度数据的生成可由表达式1表示。
115.表达式1
[0116][0117]
在表达式1中、i
reg
指登记的输入图像、ii指第i输入图像，x
wi
指第i输入图像的像素，xw指虚拟深度数据的像素，d(x
wi
)指三维图像的每像素深度值、i
vird
(xw)指虚拟深度数据的每像素深度值，wi指示对应于第i输入图像的加权值。
[0118]
在一些示例实施例中，相同坐标系可为参考坐标系。在一些示例实施例中，相同坐标系可为对应于如下面将参照图17描述的初始位姿信息的坐标系。
[0119]
在一些示例实施例中，可通过算数平均获得深度值的平均值。换句话说，表达式1中的加权值wi可为1/n，其中n是表达式1的计算中包括的登记的输入图像的数量。
[0120]
在一些示例实施例中，可利用与当前输入图像和已登记的输入图像之间的相关值对应的加权值通过加权平均获得深度值的平均值。换句话说，表达式1中的加权值wi可为每个登记的输入图像的相关值相对于当前输入图像与登记的输入图像之间的相关值的和的比率。
[0121]
图17和图18是示出根据一些示例实施例的生成三维模型的方法中的生成当前输入图像的位姿信息的示例实施例的流程图。
[0122]
参照图2和图17，位姿估计器40可基于图像图表确定已登记的输入图像中的最相关的输入图像，使得最相关的输入图像与当前输入图像之间的相关值在已登记的输入图像中为最大的(s421)。位姿估计器40可基于最相关的输入图像的深度数据和当前输入图像的深度数据确定当前输入图像的初始位姿信息(s422)。
[0123]
在图13的示例中，第五输入图像i5、第六输入图像i6和第八输入图像i8对应于已登记的登记的输入图像，并且第七输入图像i7对应于通过生成位姿信息pinf登记的当前输入图像。在这种情况下，当前输入图像i7与登记的输入图像i5、i6和i8之间的相关值为m
7,5
＝160，m
7,6
＝83，m
7,8
＝121，因此位姿估计器40可确定第五输入图像i5为最相关的输入图像。在一些示例实施例中，可基于当前输入图像i7的深度数据和最相关的输入图像i5的深度数据通过执行icp算法生成当前输入图像i7的初始位姿信息pinf。在一些示例实施例中，可基于当前输入图像i7的深度数据和最相关的输入图像i5的深度数据通过执行透视n点(pnp)算法生成当前输入图像i7的初始位姿信息pinf。
[0124]
位姿估计器40可基于虚拟深度数据和当前输入图像的深度数据校正初始位姿信息，以生成当前输入图像的位姿信息(s423)。在一些示例实施例中，位姿估计器40可基于虚拟深度数据、当前输入图像的深度数据和当前输入图像的初始位姿信息通过执行icp算法校正初始位姿信息。
[0125]
这样，通过利用与当前输入图像最相关的登记的输入图像确定初始位姿信息，可以降低icp算法收敛错误位姿信息的概率，并且可以提高位姿估计的精度。
[0126]
参照图2和图18，位姿估计器40可基于图像图表确定已登记的输入图像中的不相关的输入图像，使得不相关的输入图像与当前输入图像之间的相关值小于阈值(s415)，并且在生成虚拟深度数据的过程中排除不相关的输入图像(s416)。这里，排除不相关的输入图像可指示在表达式1的计算中排除不相关的输入图像的每像素深度值。初始位姿信息的精度可通过排除与当前输入图像相对较不相关的登记的输入图像来提高。
[0127]
图19是示出根据一些示例实施例的生成三维模型的方法中的重建三维模型的示例实施例的流程图。
[0128]
参照图2和图19，模型生成器60可基于登记图像生成三维点云(s610)，并且基于三维点云重建与目标对应的三维模型(s620)。
[0129]
在一些示例实施例中，可通过相对于登记图像执行三维集束调整来优化或改进三维点云。三维集束调整可通过本领域技术人员已知的各种方法执行。
[0130]
在一些示例实施例中，可利用截断符号距离函数(tsdf)重建三维模型的表面。
[0131]
图20a、图20b、图21和图22是示出根据一些示例实施例的生成三维模型的方法的效果的图。
[0132]
图20a示出了位姿信息的以米为单位的平移误差terr，图20b示出了位姿信息的以弧度为单位的旋转误差rerr，根据各种方法，相对于多个图像样本估计平移误差terr和旋转误差rerr。在图20a和图20b中，scc指常规方法的结果，scp指一些示例实施例的结果。图21示出了根据常规方法sc1～sc3和根据一些示例实施例的方法的相对于若干图像样本iset1～iset5的平移误差tran和旋转误差rot的详细数值结果。如图20a和图20b所示，与常规方法相比，根据一些示例实施例的方法可提供更规则的结果和减少的误差，而不管图像的类型如何。
[0133]
图22示出了两个相邻图像的重叠示图。如图22所示，与常规方法sc1和sc2相比，通过根据一些示例实施例的方法scp可提高重叠程度和位姿信息的精度。
[0134]
图23是示出根据一些示例实施例的系统装置中包括的图像拍摄装置的示例的框图。
[0135]
参照图23，图像拍摄装置100可包括光源(ls)110、感测单元130和时序控制单元150(或者时序控制器)。光源110生成调制透射光tx，以用调制透射光tx照明对象。时序控制单元150生成控制信号sync和ctrl，以控制光源110和感测单元130的操作。感测单元130可包括将接收光rx转换为电信号的深度像素。另外，感测单元130可包括将可见光vl转换为电信号的彩色像素。
[0136]
光源110可发射具有给定、期望或预定波长的调制透射光tx。例如，光源110可发射红外光或近红外光。光源110生成的透射光tx可通过透镜81聚焦于对象90上。通过对象90反射的接收光rx可通过透镜83聚焦于感测单元130上。
[0137]
光源110可受控制信号sync控制，以输出调制透射光tx，使得调制透射光tx的强度周期性改变。例如，光源110可通过发光二极管(led)、激光二极管等来实施。
[0138]
来自时序控制单元150的控制信号sync可包括如将参照图28a至图28d描述的复位信号rs和转移控制信号tg以及如将参照图30和图31描述的解调信号tg1至tg4。提供至光源110的控制信号sync可包括用于使调制透射光tx和解调信号tg1至tg4同步的信号。
[0139]
感测单元130可包括其中布置有深度像素和/或彩色像素的像素阵列px。感测单元130还可包括模数转换单元adc和用于选择像素阵列px中的特定像素的选择电路row和col。
[0140]
在一些示例实施例中，图像拍摄装置100可为包括用于提供距离信息的深度像素和用于提供图像信息的彩色像素的三维图像传感器。在这种情况下，感测单元130可包括其中多个深度像素和多个彩色像素交替地排列的像素阵列px_cz，如将参照图25的描述。
[0141]
在一些示例实施例中，图像拍摄装置100可包括彼此不同的深度传感器和二维图像传感器。在这种情况下，感测单元130可包括其中布置有多个彩色像素的像素阵列px_c和其中布置有多个深度像素的像素阵列px_z，如将参照图27a和图27b的描述。
[0142]
在一些示例实施例中，模数转换单元adc可执行利用分别连接至多条列线的多个模数转换器并行转换模拟信号的列模数转换，或者可执行利用单个模数转换器串行转换模拟信号的单模数转换。
[0143]
在一些示例实施例中，模数转换单元adc可包括用于基于通过像素采样的电压提取有效信号分量(有效电压)的相关双采样(cds)单元。
[0144]
在一些示例实施例中，cds单元可基于表示复位分量的模拟复位信号和表示信号分量的模拟数据信号执行提取有效信号分量的模拟双采样(ads)。
[0145]
在一些示例实施例中，cds单元可执行将模拟复位信号和模拟数据信号转换为两个数字信号以提取这两个数字信号之间的差作为有效信号分量的数字双采样(dds)。
[0146]
在一些示例实施例中，cds单元可执行用于执行模拟双采样和数字双采样二者的双相关双采样。
[0147]
图24是示出图23的图像拍摄装置中包括的感测单元的示例实施例的图。图24示出了在图23的图像拍摄装置100是三维图像传感器的情况下的感测单元130a的示例实施例。
[0148]
参照图24，感测单元130a可包括其中布置有多个彩色像素和多个深度像素的像素阵列px_cz、彩色像素选择电路crow和ccol、深度像素选择电路zrow和zcol、彩色像素转换器cadc和深度像素转换器zadc。彩色像素选择电路crow和ccol以及彩色像素转换器cadc可通过控制像素阵列px_cz中包括的彩色像素提供颜色信息rcdata，并且深度像素选择电路zrow和zcol以及深度像素转换器zadc可通过控制像素阵列px_cz中包括的深度像素提供深度信息rzdata。
[0149]
这样，在如图24所示的三维图像传感器中，用于控制彩色像素的组件和用于控制深度像素的组件可独立操作，以提供拍摄的图像的颜色信息rcdata和深度信息rzdata。
[0150]
图25是示出图24的感测单元中包括的像素阵列的示例实施例的图。
[0151]
参照图25，像素阵列px_cz可包括用于提供图像信息的彩色像素r、g和b和用于提供深度信息的深度像素z。例如，包括红色像素r、绿色像素g和蓝色像素b的像素图案101和深度像素z可在像素阵列px_cz中重复排列。
[0152]
彩色像素r、g和b中的每一个(或者可替换地，中的至少一个)可包括用于收集通过
入射的可见光生成的光电子的光电检测区，并且深度像素z可包括用于收集通过接收光rx(也就是说，入射的红外光或近红外光)生成的光电子的光电检测区。例如，因为红外光的波长比可见光的波长更长，所以为提高量子效率，深度像素z可包括比彩色像素r、g和b形成得更深的光电二极管。
[0153]
滤色器可形成在彩色像素r、g和b上方，并且红外光通滤波器可形成在深度像素z上方。例如，红色像素r可由红色滤光片限定，绿色像素g可由绿色滤光片限定，蓝色像素b可由蓝色滤光片限定，并且深度像素z可由红外光通滤波器限定。另外，可在彩色像素r、g和b上方进一步形成红外光截止滤光片。
[0154]
图25示出了像素图案101的非限制性示例，像素图案101可多样地改变。例如，一个彩色像素与一个深度像素的面积比可多样地改变和/或像素阵列px_cz中的彩色像素与深度像素的数量比可多样地改变。
[0155]
图26是示出图23的图像拍摄装置中包括的感测单元的示例实施例的图。图26示出在图23的图像拍摄装置100包括彼此不同的深度传感器和二维图像传感器的情况下的感测单元130b的示例实施例。
[0156]
参照图26，感测单元130b可包括其中布置有多个彩色像素的像素阵列px_c和其中布置有多个深度像素的像素阵列px_z。用于颜色信息的可见光vl和用于深度信息的接收光rx可通过分束器55分离，并且接着照射至相应的像素阵列px_c和px_z。
[0157]
彩色像素选择电路crow和ccol、深度像素选择电路zrow和zcol、彩色像素转换器cadc和深度像素转换器zadc可邻近于相应的像素阵列px_c和px_z设置。彩色像素选择电路crow和ccol和彩色像素转换器cadc可通过控制像素阵列px_c中包括的彩色像素提供颜色信息rcdata，并且深度像素选择电路zrow和zcol和深度像素转换器zadc可通过控制像素阵列px_z中包括的深度像素提供深度信息rzdata。
[0158]
这样，感测单元130b可包括彼此不同的深度传感器和二维图像传感器，使得用于控制彩色像素的组件和用于控制深度像素的组件可实施为分别提供颜色信息rcdata和深度信息rzdata。
[0159]
图27a和图27b是示出图26的感测单元中包括的像素阵列的一些示例实施例的图。
[0160]
参照图27a，第一像素阵列px_c包括用于提供图像信息的彩色像素r、g和b。例如，包括绿色像素g、红色像素r、蓝色像素b和绿色像素g的像素图案102可在第一像素阵列px_c中重复排列。彩色像素r、g和b中的每一个(或者可替换地，中的至少一个)可包括用于收集通过入射的可见光生成的光电子的光电检测区。滤色器可形成在彩色像素r、g和b上方。例如，红色像素r可由红色滤光片限定，绿色像素g可由绿色滤光片限定和/或蓝色像素b可由蓝色滤光片限定。
[0161]
参照图27b，第二像素阵列px_z包括用于提供深度信息的深度像素z。例如，相同的深度像素z可在第二像素阵列px_z中重复排列。深度像素z中的每一个(或者可替换地，中的至少一个)可包括用于收集接收光rx(即，入射的红外光或近红外光)生成的光电子的光电检测区。红外光通滤波器可形成在每个深度像素z上方。
[0162]
图28a、图28b、图28c和图28d是示出像素阵列中包括的单位像素的一些示例实施例的电路图。
[0163]
图28a、图28b、图28c和图28d所示的单位像素200a、200b、200c和200d可为包括彩
色光电二极管的彩色像素或者包括深度光电二极管的深度像素。
[0164]
参照图28a，单位像素200a可包括诸如光电二极管pd的光敏元件以及包括转移晶体管tx、复位晶体管rx、驱动晶体管dx和选择晶体管sx的读出电路。
[0165]
例如，光电二极管pd可包括p型衬底中的n型区，使得n型区和p型衬底形成p-n结二极管。光电二极管pd接收入射光并且基于入射光生成光电荷。在一些示例实施例中，作为光电二极管pd的替代，单位像素200a可包括光电晶体管、光电门、钉扎光电二极管等或除光电二极管pd之外，单位像素200a还可包括光电晶体管、光电门、钉扎光电二极管等。
[0166]
光电二极管pd中生成的光电荷可通过响应于转移控制信号tg导通的转移晶体管tx转移至浮动扩散节点fd。驱动晶体管dx用作放大与浮动扩散节点fd上的电荷对应的信号的源极跟随器放大器。选择晶体管sx可响应于选择信号sel将放大的信号转移至列线col。浮动扩散节点fd可通过复位晶体管rx复位。例如，复位晶体管rx可响应于用于相关双采样(cds)的复位信号rs对浮动扩散节点fd放电。
[0167]
图28a示出了包括四个晶体管tx、rx、dx和sx的四晶体管配置的单位像素200a。单位像素的配置可多样地改变，如图28b、图28c和图28d所示。经电压供应端子vdd和地供应电力。
[0168]
参照图28b，单位像素200b可具有包括诸如光电二极管pd的光敏元件以及包括复位晶体管rx、驱动晶体管dx和选择晶体管sx的读出电路的三晶体管配置。与图28a的单位像素200a相比，在图28b的单位像素200b中省略了转移晶体管tx。
[0169]
参照图28c，单位像素200c可具有包括诸如光电二极管pd的光敏元件以及包括转移晶体管tx、栅极晶体管gx、复位晶体管rx、驱动晶体管dx和选择晶体管sx的读出电路的五晶体管配置。栅极晶体管gx可响应于选择信号sel选择性地将转移控制信号tg施加至转移晶体管tx。与图28a的单位像素200a相比，图28c的单位像素200c中还包括栅极晶体管gx。
[0170]
参照图28d，单位像素200d可具有包括诸如光电二极管pd的光敏元件以及包括光电晶体管px、转移晶体管tx、复位晶体管rx、驱动晶体管dx和选择晶体管sx的读出电路的五晶体管配置。光电晶体管px可响应于光电门信号pg导通或截止。单位像素200d可在光电晶体管px导通时启用并且在光电晶体管px截止时禁用。与图28a的单位像素200a相比，在图28d的单位像素200d中还包括光电晶体管px。另外，单位像素可具有六晶体管配置，其除图28d的配置之外，还包括图28c的栅极晶体管gx(或者偏置晶体管)。
[0171]
图29是示出深度传感器中包括的像素阵列的示例实施例的图。
[0172]
参照图29，像素阵列px_z包括多个深度像素z1、z2、z3和z4。深度像素z1、z2、z3和z4可为响应于具有彼此不同相位的多个解调信号操作的飞行时间(tof)深度像素。例如，深度像素z1可响应于相对于从图4的图像拍摄装置100辐射的透射光tx的相位差为0度的解调信号操作。换句话说，深度像素z1可响应于与透射光tx具有相同相位的解调信号操作。深度像素z2可响应于相对于透射光tx的相位差为90度的解调信号操作，深度像素z3可响应于相对于透射光tx的相位差为180度的解调信号操作，并且深度像素z4可响应于相对于透射光tx的相位差为270度的解调信号操作。例如，包括分别响应于不同相位的解调信号操作的深度像素z1、z2、z3和z4的像素图案103可在像素阵列px_z中重复布置。
[0173]
图30是示出在图29的像素阵列中包括的深度像素的示例实施例的电路图。图30示出了图29的像素阵列px_z中的一个像素图案103。
[0174]
与图28a、图28b、图28c和图28d中的单抽头结构的单位像素相比，图30中的第一像素至第四像素z1、z2、z3和z4具有用于根据tof方案测量距离的二抽头结构。
[0175]
参照图30，第一像素z1和第三像素z3可共享诸如光电二极管pd的光敏元件。第一像素z1可包括第一读出电路，其包括第一转移晶体管tx1、第一复位晶体管rx1、第一驱动晶体管dx1和第一选择晶体管sx1。第三像素z3可包括第三读出电路，其包括第三转移晶体管tx3、第三复位晶体管rx3、第三驱动晶体管dx3和第三选择晶体管sx3。按照相同方式，第二像素z2和第四像素z4可共享诸如光电二极管pd的光敏元件。第二像素z2可包括第二读出电路，其包括第二转移晶体管tx2、第二复位晶体管rx2、第二驱动晶体管dx2和第二选择晶体管sx2。第四像素z4可包括第四读出电路，其包括第四转移晶体管tx4、第四复位晶体管rx4、第四驱动晶体管dx4和第四选择晶体管sx4。
[0176]
例如，光电二极管pd可包括在p型衬底中的n型区，使得n型区和p型衬底形成p-n结二极管。光电二极管pd接收入射光并且基于入射光生成光电荷。在一些示例实施例中，作为光电二极管pd的替代，图30所示的单位像素200e可包括光电晶体管、光电门、钉扎光电二极管等，或除光电二极管pd之外，图30所示的单位像素200e还可包括光电晶体管、光电门、钉扎光电二极管等。
[0177]
光电二极管pd中生成的光电荷可分别通过转移晶体管tx1、tx2、tx3和tx4转移至浮动扩散节点fd1、fd2、fd3和fd4。转移控制信号tg1、tg2、tg3和tg4可为上述相对于透射光tx的相位差分别为0度、90度、180度和270度的解调信号。这样，在光电二极管pd中生成的光电荷可响应于解调信号tg1、tg2、tg3和tg4被分束，以确定光的往返行程tof，并且可基于往返行程tof计算距对象的距离。
[0178]
驱动晶体管dx1、dx2、dx3和dx4用作源极跟随器放大器，其放大与浮动扩散节点fd1、fd2、fd3和fd4上的相应电荷对应的信号。选择晶体管sx1、sx2、sx3和sx4可分别响应于选择信号sel1、sel2、sel3和sel4将放大的信号转移至列线col1和col2。浮动扩散节点fd1、fd2、fd3和fd4可分别通过复位晶体管rx1、rx2、rx3和rx4复位。例如，针对相关双采样(cds)，复位晶体管rx1、rx2、rx3和rx4可分别响应于复位信号rs 1、rs2、rs3和rs4对浮动扩散节点fd1、fd2、fd3和fd4放电。
[0179]
图30示出了二抽头配置的深度像素的非限制性示例，深度像素可具有诸如单抽头配置、四抽头配置等的各种配置。控制信号的时序可根据深度像素的配置合适地确定。
[0180]
图31是示出图30的深度像素的飞行时间(tof)操作的时序图。
[0181]
参照图31，在积分时间间隔tint期间，通过调制透射光tx照明对象。如参照图23所述，图像拍摄装置100可包括光源110或发光装置，以生成具有周期性变化的强度的调制透射光tx。例如，图像拍摄装置100可在从约10mhz至约200mhz的频率范围内通过导通或关断发光装置来重复调制透射光tx的透射和非透射。即使图31示出了脉冲序列的调制透射光tx，但是可以使用诸如正弦信号的任意周期性光信号作为调制透射光tx和解调信号tg1、tg2、tg3和tg4。
[0182]
调制透射光tx被对象反射，并且作为接收光rx返回至图像拍摄装置100。接收光rx相对于调制透射光tx延迟了飞行时间(tof)。通过接收光rx在深度像素的光电检测区中生成光电荷。
[0183]
解调信号tg1、tg2、tg3和tg4可相对于调制透射光tx具有给定、期望或预定相位。
如果获得在解调信号tg1、tg2、tg3和tg4的激活间隔中积分的光电荷q1、q2、q3和q4，则可基于光电荷q1、q2、q3和q4计算tof。
[0184]
当从光电感测装置至对象的距离为
‘
d’并且光速为
‘
c’时，可利用关系d＝(tof
×
c)/2来计算距离。即使图31示出了不同相位的四个解调信号tg1、tg2、tg3和tg4，也可使用解调信号的不同组合来获得tof。例如，图像拍摄装置100可仅使用相位等于调制透射光tx的相位的第一解调信号tg1和相位与调制透射光tx的相位相反的第三解调信号tg3。即使图31中未示出，也可在积分时间间隔tint之前通过激活复位信号rs等初始化光电检测区pd和浮动扩散区fd。
[0185]
在读出时间间隔trd期间，通过列线col1和col2提供与积分的光电荷q1、q2、q3和q4对应的数据位d1、d2、d3和d4。
[0186]
图32是示出根据一些示例实施例的相机系统的框图。
[0187]
参照图32，相机800包括光接收透镜810、三维图像传感器900和引擎单元840。三维图像传感器900可包括三维图像传感器芯片820和光源模块830。根据一些示例实施例，三维图像传感器芯片820和光源模块830可通过分离的装置实施，或者光源模块830的至少一部分可被包括在三维图像传感器芯片820中。在一些示例实施例中，光接收透镜810可被包括在三维图像传感器芯片820中。
[0188]
光接收透镜810可将入射光聚焦于三维图像传感器芯片820的光接收区(例如，像素阵列中包括的深度像素和/或彩色像素)上。三维图像传感器芯片820可基于经过光接收透镜810的入射光生成包括深度信息和/或彩色图像信息的数据data1。例如，三维图像传感器芯片820生成的数据data1可包括利用从光源模块830发射的红外光或近红外光生成的深度数据以及利用外部可见光生成的拜尔图案的红、绿、蓝(rgb)数据。三维图像传感器芯片820可基于时钟信号clk将数据data1提供至引擎单元840。在一些示例实施例中，三维图像传感器芯片820可以经由移动工业处理器接口和/或相机串行接口(csi)与引擎单元840相接口。
[0189]
引擎单元840控制三维图像传感器900。引擎单元840可处理从三维图像传感器芯片820接收的数据data1。根据一些示例实施例，为了执行上述识别运动的方法，引擎单元840可包括运动区追踪器和/或运动分析器。除运动识别之外，引擎单元还可执行数据处理。例如，引擎单元840可基于从三维图像传感器芯片820接收的数据data1生成三维颜色数据。在其它示例中，引擎单元840可基于数据data1中包括的rgb数据或者诸如联合摄影专家组(jpeg)数据的压缩数据生成包括亮度分量y、蓝色亮度差分量u和红色亮度差分量v的亮度、色度(yuv)数据。引擎单元840可连接至主机/应用850，并且可基于主时钟mclk将数据data2提供至主机/应用850。此外，引擎单元840可经串行外围接口(spi)和/或内部集成电路(i2c)与主机/应用850相接口。
[0190]
图33是示出根据一些示例实施例的计算机系统的框图。
[0191]
参照图33，计算系统2000可包括处理器2010、存储器装置2020、储存装置2030、输入/输出装置2040、电源2050和三维图像传感器900。虽然图33中未示出，但是计算系统2000还可包括与视频卡、声卡、存储器卡、通用串行总线(usb)装置和/或其它电子装置通信的端口。
[0192]
处理器2010可执行各种计算或任务。根据一些示例实施例，处理器2010可为微处
理器或中央处理单元(cpu)。处理器2010可经地址总线、控制总线和/或数据总线与存储器装置2020、储存装置2030和输入/输出装置2040通信。在一些示例实施例中，处理器2010可耦接至诸如外围部件互连(pci)总线的扩展总线。存储器装置2020可存储用于操作计算系统2000的数据。例如，存储器装置2020可通过动态随机存取存储器(dram)装置、移动dram装置、静态随机存取存储器(sram)装置、相位随机存取存储器(pram)装置、铁电随机存取存储器(fram)装置、电阻随机存取存储器(rram)装置和/或磁随机存取存储器(mram)装置来实施。储存装置2030可包括固态驱动器(ssd)、硬盘驱动器(hdd)、光盘只读存储器(cd-rom)等。输入/输出装置2040可包括输入装置(例如，键盘、键区、鼠标等)和输出装置(例如，打印机、3d打印机、显示装置等)。电源2050为计算系统1000供应操作电压。
[0193]
三维图像传感器900可经总线或其它通信线路与处理器2010通信。三维图像传感器900可与处理器2010集成在一个芯片中，或者三维图像传感器900和处理器2010可实施为分开的芯片。
[0194]
计算系统2000可为利用三维图像传感器的任何计算系统。例如，计算系统1000可包括数码相机、移动电话、智能电话、便携式多媒体播放器(pmp)、个人数字助理(pda)等。
[0195]
如上所述，根据一些示例实施例的方法和数据处理装置可通过基于颜色数据确定登记次序和根据登记次序利用登记图像按次序生成输入图像的位姿信息来生成确切或接近确切的位姿信息并且重建详尽的三维模型。另外，根据一些示例实施例的方法和数据处理装置可通过利用颜色数据和深度数据二者相对于大运动和小运动两种情况估计确切或接近确切的位姿信息。此外，根据一些示例实施例的方法和数据处理装置可通过基于表示输入图像之间的相关度的图像图表确定登记次序方便地补充缺乏的图像并且去除噪声图像。重建的三维模型可显示在输入/输出装置2040的显示装置上或者显示装置1112上。三维模型还可通过输入/输出装置2040的3d打印机打印，或者三维模型的二维渲染可通过输入/输出装置2040的打印机打印。可按照诸如将三维模型插入视频游戏中或者虚拟或增强现实环境中的多种方式利用三维模型。三维模型还可用于创建指令以生成用于生成被建模对象的副本的模具。可以通过使用计算机操作的机器雕刻模具或通过3d打印模具来创建模具。
[0196]
一些示例实施例可应用于任何电子装置和系统。例如，本发明构思可应用于诸如存储器卡、固态驱动器(ssd)、嵌入式多媒体卡(emmc)、通用闪存(ufs)、移动电话、智能电话、个人数字助理(pda)、便携式多媒体播放器(pmp)、数码相机、摄像机、个人计算机(pc)、服务器计算机、工作站、笔记本计算机、数字tv、机顶盒、便携式游戏控制台、导航系统、可穿戴装置、物联网(iot)装置、万物互联(ioe)装置、电子书、虚拟现实(vr)装置、增强现实(ar)装置、三维扫描仪、三维打印机、运动跟踪装置等的系统。
[0197]
以上公开的任何元件和/或功能块可包括以下或在以下中实施：诸如包括逻辑电路的硬件的处理电路；诸如执行软件的处理器的硬件/软件组合；或者它们的组合。例如，控制器10、时序控制单元150、图像信号处理器1166、通用处理器1161和处理器2010可实施为处理电路。处理电路具体地可包括(但不限于)中央处理单元(cpu)、算术逻辑单元(alu)、数字信号处理器、微计算机、现场可编程门阵列(fpga)、系统芯片(soc)、可编程逻辑单元、微处理器、专用集成电路(asic)等。处理电路可包括诸如晶体管、电阻器、电容器等中的至少一个的电组件。处理电路可包括诸如包括与门、或门、与非门、非门等中的至少一个的逻辑门的电组件。
[0198]
上述内容是一些示例实施例的说明，不应解释为对其的限制。尽管已经描述了几个示例实施例，但本领域技术人员将容易理解，在不实质上脱离本发明构思的情况下，在详细示例实施例中可以进行许多修改。

技术特征：
1.一种生成三维模型的方法，包括步骤：通过数据处理装置获得多个输入图像，使得所述多个输入图像中的每个输入图像包括目标的颜色数据和深度数据；由所述数据处理装置基于所述多个输入图像的所述颜色数据生成图像图表，使得所述图像图表包括所述多个输入图像之间的相关值；由所述数据处理装置基于所述图像图表确定所述多个输入图像的登记次序；由所述数据处理装置基于所述多个输入图像的登记次序和深度数据相对于所述多个输入图像按次序生成每个输入图像的位姿信息；由所述数据处理装置将所述多个输入图像按次序登记为登记图像，使得每个登记图像包括所述位姿信息；以及由所述数据处理装置基于所述登记图像重建所述目标的所述三维模型。2.根据权利要求1所述的方法，其中，生成所述图像图表的步骤包括：基于每个输入图像的颜色数据提取每个输入图像中包括的二维特征点；生成指示所述多个输入图像中的不同的输入图像中包括的所述二维特征点的映射关系的匹配信息；以及基于所述匹配信息确定所述相关值。3.根据权利要求2所述的方法，其中，确定所述相关值的步骤包括：确定两个输入图像中包括的所述二维特征点的匹配对的数量作为所述相关值中的所述两个输入图像之间的所述相关值。4.根据权利要求1所述的方法，其中，确定所述登记次序的步骤包括：确定将要首先登记的与所述相关值中的最大值或最高相关值对应的两个输入图像。5.根据权利要求1所述的方法，其中，确定所述登记次序的步骤包括：确定还未登记的每个输入图像与已登记的输入图像之间的相关值之和；以及确定还未登记的输入图像中的与所述和的最大值或最高值对应的输入图像，作为要在已登记的所述输入图像下一个登记的当前输入图像。6.根据权利要求1所述的方法，其中，按次序生成所述位姿信息的步骤包括：基于已登记的输入图像的深度数据生成虚拟深度数据；以及基于所述虚拟深度数据和要在所述已登记的输入图像下一个登记的当前输入图像的深度数据生成所述当前输入图像的位姿信息。7.根据权利要求6所述的方法，其中，生成所述虚拟深度数据的步骤包括：相对于相同坐标系将已登记的输入图像转换为三维图像；以及基于分别与所述三维图像对应的深度值的平均值生成所述虚拟深度数据的每像素深度值。8.根据权利要求7所述的方法，其中，通过算数平均获得所述深度值的平均值。9.根据权利要求7所述的方法，其中，通过利用与所述当前输入图像与已登记的输入图像之间的相关值对应的加权值的加权平均获得所述深度值的平均值。10.根据权利要求6所述的方法，其中，生成要在下一个登记的所述当前输入图像的位姿信息的步骤包括：基于所述图像图表确定已登记的输入图像中的最相关的输入图像，使得所述相关值中
的所述最相关的输入图像与所述当前输入图像之间的相关值在已登记的输入图像中为最大的；以及基于所述最相关的输入图像的深度数据和所述当前输入图像的深度数据确定所述当前输入图像的初始位姿信息。11.根据权利要求10所述的方法，其中，生成所述当前输入图像的位姿信息的步骤还包括：基于所述虚拟深度数据和所述当前输入图像的深度数据校正所述初始位姿信息，以生成所述当前输入图像的位姿信息。12.根据权利要求10所述的方法，其中，生成所述虚拟深度数据的步骤包括：相对于与所述初始位姿信息对应的相同坐标系将已登记的所述输入图像转换为三维图像；以及基于分别与所述三维图像对应的深度值的平均值生成所述虚拟深度数据的每像素深度值。13.根据权利要求6所述的方法，其中，生成所述当前输入图像的所述位姿信息的步骤包括：基于所述虚拟深度数据和所述当前输入图像的深度数据执行迭代最近点算法。14.根据权利要求6所述的方法，其中，生成所述虚拟深度数据的步骤包括：基于所述图像图表确定已登记的输入图像中的不相关的输入图像，使得所述相关值中的所述不相关的输入图像与所述当前输入图像之间的相关值小于阈值；以及在生成所述虚拟深度数据的步骤中从已登记的所述输入图像中排除所述不相关的输入图像。15.根据权利要求1所述的方法，还包括步骤：基于所述图像图表确定所述多个输入图像中的噪声输入图像，使得所述噪声输入图像与其它输入图像之间的相关值小于阈值；以及丢弃所述噪声输入图像。16.根据权利要求1所述的方法，其中，重建所述三维模型的步骤包括：基于所述登记图像生成三维点云；以及基于所述三维点云重建所述三维模型。17.根据权利要求16所述的方法，其中，生成所述三维点云的步骤包括：通过相对于所述登记图像执行三维集束调整来改进所述三维点云，并且基于所述三维点云重建所述三维模型的步骤包括：利用截断符号距离函数重建所述三维模型的表面。18.一种生成三维模型的方法，包括步骤：由数据处理装置获得多个输入图像，使得所述多个输入图像中的每个输入图像包括目标的颜色数据和深度数据；由所述数据处理装置基于每个输入图像的所述颜色数据提取每个输入图像中包括的二维特征点；由所述数据处理装置基于所述二维特征点的匹配信息生成图像图表，使得所述图像图
表包括所述多个输入图像之间的相关值；由所述数据处理装置基于所述图像图表确定所述多个输入图像的登记次序；由所述数据处理装置基于已登记的输入图像的深度数据生成虚拟深度数据；由所述数据处理装置基于所述虚拟深度数据和已登记的输入图像的深度数据生成要在已登记的所述输入图像下一个登记的当前输入图像的位姿信息；由所述数据处理装置按次序登记所述多个输入图像作为登记图像，使得每个登记图像包括所述位姿信息；以及由所述数据处理装置基于所述登记图像重建所述目标的所述三维模型。19.根据权利要求18所述的方法，其中，生成要在下一个登记的所述当前输入图像的位姿信息的步骤包括：基于所述图像图表确定已登记的输入图像中的最相关的输入图像，使得所述相关值中的所述最相关的输入图像与所述当前输入图像之间的相关值在已登记的输入图像中是最大的；基于所述最相关的输入图像的深度数据和所述当前输入图像的深度数据确定所述当前输入图像的初始位姿信息；以及基于所述虚拟深度数据和所述当前输入图像的深度数据校正所述初始位姿信息，以生成所述当前输入图像的位姿信息。20.一种数据处理装置，包括：处理电路，其被配置为：接收多个输入图像，使得所述多个输入图像中的每个输入图像包括目标的颜色数据和深度数据，基于所述多个输入图像的所述颜色数据生成图像图表，使得所述图像图表包括所述多个输入图像之间的相关值，基于所述图像图表确定所述多个输入图像的登记次序，基于所述多个输入图像的登记次序和所述深度数据，相对于所述多个输入图像按次序生成每个输入图像的位姿信息，按次序登记所述多个输入图像作为登记图像，使得每个登记图像包括所述位姿信息；以及基于所述登记图像重建所述目标的三维模型。

技术总结
提供一种生成三维模型的方法和数据处理装置。获得输入图像以包括目标的颜色数据和深度数据。基于输入图像的颜色数据生成图像图表，使得图像图表包括输入图像之间的相关值。基于图像图表确定登记次序。基于输入图像的登记次序和深度数据按次序生成每个输入图像的位姿信息。将输入图像按次序登记为登记图像，使得每个登记图像包括位姿信息。基于登记图像重建目标的三维模型。通过基于颜色数据确定登记次序和根据登记次序利用登记图像按次序生成输入图像的位姿信息，可生成位姿信息并且可重建详尽的三维模型。重建详尽的三维模型。重建详尽的三维模型。


技术研发人员：成昌勋 金炳德
受保护的技术使用者：三星电子株式会社
技术研发日：2023.02.22
技术公布日：2023/8/28