多时相实景三维模型的构建方法、系统及终端设备与流程

1.本发明测绘学的三维模型重构的技术领域，具体涉及一种多时相实景三维模型的构建方法、系统及终端设备。


背景技术：

2.通过摄影测量、激光扫描等三维建模技术，可以实现城市、考古探方等重要场景的实景三维重建。实景三维重建能够全方位记录场景的高精度几何信息和高真实感纹理信息，受到了各行各业的极大重视。
3.随着实景三维建模的普及，许多行业应用对其提出了更多的需求。例如，现实中很多场景都不是一成不变的，而是持续变化的；持续变化场景通常包含多个连续的重要状态，人们经常需要对其进行多时相的建模和记录。我们将这种需求定义为持续变化场景多时相记录。
4.目前的实景三维建模都是在短期内对一个场景进行一次性建模，只能记录场景建模时期的特定状态。面对持续变化场景多时相记录的需求，现有三维建模技术只能对场景的每个状态重复进行数据采集和三维重建的过程。这种方法造成的结果是，增加一次建模等同于增加一倍的工作量和成本费用。由于持续变化场景中的变化区域，通常集中于一块面积较小的区域，这种工作量和成本费用的成倍增长非常浪费。例如，城市场景的变化区域集中在某块规划建设用地，考古探方的变化区域集中在某件文物，这些变化区域在整体场景中的面积占比非常小。然而，为了得到整个区域的三维模型，仍然需要重复整个区域的数据采集和三维重建过程。这导致了大量不必要的数据采集工作，并且大幅提升成本、浪费时间。


技术实现要素：

5.本发明的目的在于针对现有技术的不足之处，提供一种多时相实景三维模型的构建方法，该方法提出了变化区域局部更新的方法，解决了现有方法中构建三维模型造成的浪费成本、浪费时间和增加工作量的问题。
6.为解决上述技术问题，本发明采用如下技术方案：一种多时相实景三维模型的构建方法，包括如下步骤：步骤1、对不同尺度的建模对象构建统一的坐标框架，并在统一的坐标框架下构建用于获得建模对象的坐标信息的跨尺度多级别控制网；步骤2、获取建模对象的激光点云数据及影像数据，采用步骤1构建的跨尺度多级别控制网测量建模对象的坐标信息，根据激光点云数据、影像数据以及测量获得的坐标信息，采用三维重建软件构建具有坐标信息的原实景三维模型；步骤3、当建模对象局部区域发生变化时，重新获取局部变化区域的坐标信息、点云数据和影像数据构建局部变化区域的三维模型并将其与步骤2构建的原实景三维模型进行融合得到最终的多时相实景三维模型。
7.进一步地，步骤1中，构建统一的坐标框架包括：构建地理坐标系和投影坐标系，地理坐标系以经度、纬度、高程为x轴、y轴和z轴，在地理坐标系下，获取建模对象的经纬度和高程信息；投影坐标系则是以正北向、正东向、以及高程为x轴、y轴和z轴，在投影坐标系下，获取建模对象的方向和高程信息。
8.进一步地，建立跨尺度多级别控制网的方法包括：根据建模对象的不同尺度级别将控制网划分多个级别；确定了分级方案后，设计每个级别的控制点形式以及控制点测量方式；根据设计好的控制点形式和测量方式逐级布设控制点，并测量获得在统一坐标框架下控制点的坐标信息，从而得到构建跨尺度多级别控制网的测量数据。
9.进一步地，不同级别的控制点形式设置不同，控制点形式包括硬化路面喷涂、测钉、标靶板、标签纸，测量方式包括室外的rtk以及室内的全站仪测量。
10.进一步地，步骤3具体实现方法为：步骤3.1、通过步骤1的控制网重新测量获取局部变化区域的坐标信息，再采用激光扫描仪对局部变化区域的场景进行采集获取激光点云数据，并采用摄像装置采集局部变化区域的影像数据，将激光点云数据和影像数据输入到三维重建软件中得到局部变化区域的三维模型，最后将局部变化区域的坐标信息匹配到其三维模型中得到具有坐标信息的局部变化区域的实景三维模型；步骤3.2、通过旋转、平移、缩放的方式将局部变化区域的实景三维模型吻合到步骤2构建的原实景三维模型上；步骤3.3、沿局部变化区域的实景三维模型边缘向其内侧划一个缓冲区以剔除冗余的边缘范围，根据缓冲区分析求得一个更新范围；步骤3.4、使用更新范围对局部区域的实景三维模型进行裁切，并将裁切后的局部区域模型与原实景三维模型进行拼接合并，且将两者合并处进行拓扑重连得到更新后的实景三维模型；步骤3.5、对更新后的实景三维模型拓扑重连处进行纹理重映射，以得到纹理均一的多时相实景三维模型。
11.进一步地，步骤3.1中获取的局部变化区域的范围大于实际局部变化区域的范围，步骤3.3中更新范围为实际的局部变化区域范围。
12.进一步地，步骤3.2具体实现方法为：首先，判断原实景三维模型数据和局部变化区域的三维模型的数据是否经过了控制网空三，如果有，则二者之间不存在旋转、平移和尺度缩放，直接将两者进行吻合匹配；如果没有，则判断局部变化区域的实景三维模型与原实景三维模型中是否存在足够数量的相同控制点，如果存在足够数量的相同控制点，则根据这些相同的控制点对局部变化区域的实景三维模型进行旋转、平移、缩放的操作以使得局部变化区域的实景三维模型吻合在原实景三维模型上；如果不存在足够数量的相同控制点，则通过选择足够数量的均匀分布的同名点对局部变化区域的实景三维模型进行旋转、平移、缩放的操作以将其与原实景三维模型吻合匹配。
13.进一步地，步骤3.4中拓扑重连的方法包括：将局部变化区域的实景三维模型上被裁切破坏的三角形修复完整；将局部变化区域的实景三维模型与步骤2构建的原实景三维模型在边缘处进行连接，以将三角网修补完整。
14.本发明的另一个目的时提供根据上述的多时相实景三维模型的构建方法的构建系统，包括：控制网测量信息获取模块，用于获取跨尺度多级别控制测量的建模对象在统一坐标框架下的坐标信息；三维模型构建模块，用于根据获取的激光云数据、影像数据以及控制网测量信息获取模块获取的坐标信息构建具有坐标信息的实景三维模型；局部变化区域更新模块，用于将三维模型构建模块构建的局部变化区域的实景三维模型与原实景三维模型进行吻合后裁切、拓扑重连以及纹理映射得到更新后的多时相实景三维模型。
15.本发明还有一个目的时提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的多时相实景三维模型的构建方法。
16.与现有技术相比，本发明的有益效果为：本发明构建了统一的坐标框架，在该坐标框架下通过建立跨尺度多级别控制网获得不同尺度的对象的坐标信息，再根据激光点云数据和影像数据构建三维模型，之后对三维模型上对应的每个控制点赋予坐标信息从而获得具有坐标信息的实景三维模型，此外本发明针对实景建模对象中局部有发生变化的区域，其只需要对产生变化的局部区域进行数据采集和三维重建，再将其与初步构建的整体三维模型融合得到更新后的整体三维模型，不同于现有技术只能针对场景的每个状态重复进行数据采集和三维重建，本发明的方法极大地减少了重复的数据采集工作量，极大地减少了算力和时间消耗，降低了经济成本，进而提升了持续变化场景多时相记录的可行性。
附图说明
17.图1为本发明实施例多时相实景三维模型的构建方法的流程图；图2为本发明实施例将局部变化区域的三维实景模型与原三维实景模型融合的流程图；图3为本发明实施例更新范围确定的示意图。
具体实施方式
18.下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
20.下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。
21.如图1所示，本发明实施例公开了一种多时相实景三维模型的构建方法，包括以下步骤：步骤1、对不同尺度的建模对象构建统一的坐标框架，并在统一的坐标框架下构建用于获得建模对象的坐标信息的跨尺度多级别控制网；在本实施例，首先构建统一的坐标框架，具体地，可以构建地理坐标系和投影坐标系，地理坐标系以经度、纬度、高程为x轴、y轴z轴，在地理坐标系下，能够获取建模对象的经纬度和高程信息。投影坐标系则是以正北向、正东向、高程为x轴、y轴z轴，在投影坐标系下，能够获知建模对象的方向和高程信息。由于目前较多实景三维建模项目需要同时考虑不同尺度的建模对象。例如，考古发掘项目中，往往既需要同时考虑数公里到数百公里的遗址及其周边环境、数米级到数百米级的探方、也需要考虑厘米级和毫米级的文化遗存。为了将尺度差异巨大的建模对象存放进统一的坐标框架，本发明实施例在统一坐标框架下构建跨尺度多级别控制网系统。在这个系统中，控制网被划分为多个级别，每个级别适配不同尺寸的测量对象。例如，考古发掘项目中，共划分为四个级别，l1至l4依次适配的测量对象依次为遗址环境（千米级）、遗址（千米级）、探方（米级）、文化遗存（毫米级）。其中，跨尺度多级别控制网的具体构建方式为：1）根据项目需求指定分级方案，例如考古项目中，测量对象分别为遗址环境、遗址、探方、文化遗存，根据这些测量对象的不同分别将控制网分别划分为千米级、千米级、米级、毫米级；2）在确定了分级方案后，设计每个级别的控制点形式，控制点形式包括硬化路面喷涂、浇筑的水泥桩、测钉、标靶板、标签纸等形式，其中，每个级别的控制点形式设置不同，例如，千米级别的遗址环境、遗址的控制点形式设置为硬化路面喷涂，米级的探方的控制点形式设置为水泥桩，厘米/毫米级的文化遗存的控制点设置为测钉或标靶板或标签纸等形式；3）选择每个级别的控制点的测量方法，一般室外选择rtk，室内选择全站仪，例如千米级别的控制点的坐标通过rtk测量获取，米级别和毫米级别的控制点的坐标通过全站仪获取；4）根据设计好的控制点形式和测量方法逐级布设控制点，测量获得每个控制点在构建的地理坐标系和投影坐标系下的坐标信息，最后综合整理为构建跨尺度多级别控制网的文档和元数据。
22.步骤2、获取建模对象的激光点云数据及影像数据，采用步骤1构建的跨尺度多级别控制网测量建模对象的坐标信息，根据激光点云数据、影像数据以及测量获得的坐标信息，采用三维重建软件构建具有坐标信息的原实景三维模型；在该步骤中初次构建场景整体单位模型，本步骤中的场景整体三维模型构建是最全面的一次构建，此后的局部发生变化都是在本次构建的实景三维模型的基础上进行局部更新的。构建原始实景三维模型的步骤包括：1）整体数据采集：采用激光扫描仪对整个建模对象的场景进行采集获取高精度点云数据，并采用摄像装置如单反相机或无人机携带多镜头采集建模对象的高分辨率影像数据；
2）实景三维建模：将激光扫描仪采集的高精度点云数据、摄像装置采集的高分辨率影像数据输入到三维重建软件中进行模型成产，获得同时具备高精度几何结构和高真实感纹理的三维模型；3）匹配坐标点：采用步骤1中构建的控制网测量获得的各控制点的坐标信息，并将其匹配到上述构建的三维模型中对应的控制点上，从而获得具有精确的坐标信息的原实景三维模型。
23.步骤3、当建模对象局部区域发生变化时，重新获取局部区域的坐标信息、点云数据和影像数据并将其与步骤2构建的实景三维模型进行融合得到最终的多时相三维模型；摄影测量建模的工作流程通常是在一套计划方案的指导下，使用一个完整的相机移动路线采集一套数据，再使用端到端的重建软件生成一份完整的三维模型。因此，局部区域产生变化以后，似乎是只有重新采集整体数据才能得到一份完整的更新后的模型。很显然，每次针对整体区域中没有变化的区域重复采集数据并重建，增加了数据采集负担和算力浪费而降低了发掘效率。为此，本实施例采用变化区域局部更新的方式对初步构建的实景三维模型进行修改更新，从而大大降低数据采集负担和算法的浪费。见图2，该步骤具体包括：步骤3.1、通过步骤1的控制网重新测量获取局部变化区域的坐标信息，再采用激光扫描仪对局部变化区域的场景进行采集获取高精度点云数据，并采用摄像装置采集局部变化区域的高分辨率影像数据，将高精度点云数据和高分辨率影像数据输入到三维重建软件中得到局部变化区域的三维模型，最后将局部变化区域的坐标信息匹配到其三维模型中得到具有坐标信息的局部变化区域的实景三维模型；为了获得完整的局部变化区域，在采集信息时，一般需要将局部变化区域进行外扩，比如，局部变化区域的实际平面范围为8m
×
10m，在采集信息时，会采集包含局部变化区域且平面范围为12m
×
15m的区域的点云数据、影像数据以及控制网测量信息；步骤3.2、将步骤3.1得到的局部变化区域的实景三维模型吻合在步骤2中构建的原实景三维模型上；具体地，在该步骤中，首先确定步骤2构建的原实景三维模型数据和局部变化区域的实景三维模型数据是否都经过了控制网空三，如果有，则二者之间不存在旋转、平移和尺度缩放，即可直接将两者进行吻合匹配；如果没有，则判断局部变化区域的实景三维模型与原实景三维模型中是否存在足够数量的相同控制点，在本实施例中，足够数量的相同控制点指不少于3个相同控制点，如果存在足够数量的相同控制点，则根据这些相同的控制点对局部变化区域的实景三维模型进行旋转、平移、缩放等操作以使得局部变化区域的实景三维模型完美吻合在原实景三维模型上；如果不存在足够数量的相同控制点，则通过选择足够数量的均匀分布的同名点（比如相同的路面、路面标志等）对局部变化区域的实景三维模型进行旋转、平移、缩放等操作，从而将其与原实景三维模型完美吻合匹配，此处的足够数量也是指不少于3个；步骤3.3、指定更新范围：更新范围一般与局部变化区域保持一致，然而由于在采集局部变化区域的信息时，其范围被扩大了，故其存在冗余的边缘信息，因此，将步骤3.2处理后的沿局部变化区域的实景三维模型沿边缘向内做一个缓冲区分析求得一个更新范围或者手动勾勒一个更新范围，该更新范围即为局部变化区域的实际范围，见图3；步骤3.4、使用更新范围线对局部变化区域的实景三维模型进行裁切，将裁切后的
局部变化区域的实景三维模型重新与步骤2建立的原实景三维模型进行拼接合并；步骤3.5、拓扑重连；由于裁切替换会破坏三维模型上的三角网，使三角网不完整，即便三角网中的三角形是完整的，裁切后的局部变化区域的实景三维模型与步骤2构建的原实景三维模型的三角形在裁切替换的边缘也是不相连的，因此需要将裁切后的局部变化区域的实景三维模型边缘的三角网与步骤2构建的原实景三维模型边缘的三角网进行拓扑重连以使得两者真正融合为一个整体三维模型，具体地，拓扑重连方法包括：将局部变化区域的实景三维模型上被裁切破坏的三角形修复完整；并且将局部变化区域的实景三维模型与步骤2构建的原实景三维模型在边缘处的三角形进行连接，构成整体的三角网；步骤3.6、纹理重映射与整体匀色；拓扑重连修改过的三角形，纹理会发生错乱，因此需要经过纹理重映射，具体地，标记需要纹理映射的三角形的顶点，找到其在局部变化区域的实景三维模型或原实景三维模型中的对应点以及对应的三角形，将局部变化区域的实景三维模型或原实景三维模型中对应的三角形的纹理映射到拓扑重连处的三角形上得到纹理重映射后的三角形。局部变化区域的实景三维模型与步骤2构建的原实景三维模型对应的影像数据可能拍摄于不同的光照条件和相机参数，会导致融合后的模型纹理有明显色差，再将局部变化区域的实景三维模型和拓扑重连处进行整体匀色以适配原实景三维模型，则得到纹理均一的多时相实景三维模型。
24.本发明的另一个实施例提供了一种实现上述多时相实景三维模型的构建方法的构建系统，包括：控制网测量信息获取模块，用于获取跨尺度多级别控制测量的建模对象在统一坐标框架下的坐标信息；三维模型构建模块，用于根据获取的激光云数据、影像数据以及控制网测量信息获取模块获取的坐标信息构建具有坐标信息的实景三维模型；局部变化区域更新模块，用于将三维模型构建模块构建的局部变化区域的实景三维模型与原实景三维模型进行吻合后裁切、拓扑重连以及纹理映射得到更新后的多时相实景三维模型。
25.本发明实施例还提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的多时相实景三维模型的构建方法。
26.以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

技术特征：
1.一种多时相实景三维模型的构建方法，其特征在于，包括如下步骤：步骤1、对不同尺度的建模对象构建统一的坐标框架，并在统一的坐标框架下构建用于获得建模对象的坐标信息的跨尺度多级别控制网；步骤2、获取建模对象的激光点云数据及影像数据，采用步骤1构建的跨尺度多级别控制网测量建模对象的坐标信息，根据激光点云数据、影像数据以及测量获得的坐标信息，采用三维重建软件构建具有坐标信息的原实景三维模型；步骤3、当建模对象局部区域发生变化时，重新获取局部变化区域的坐标信息、点云数据和影像数据构建局部变化区域的三维模型并将其与步骤2构建的原实景三维模型进行融合得到最终的多时相实景三维模型。2.根据权利要求1所述的多时相实景三维模型的构建方法，其特征在于，步骤1中，构建统一的坐标框架包括：构建地理坐标系和投影坐标系，地理坐标系以经度、纬度、高程为x轴、y轴和z轴，在地理坐标系下，获取建模对象的经纬度和高程信息；投影坐标系则是以正北向、正东向、以及高程为x轴、y轴和z轴，在投影坐标系下，获取建模对象的方向和高程信息。3.根据权利要求1所述的多时相实景三维模型的构建方法，其特征在于，建立跨尺度多级别控制网的方法包括：根据建模对象的不同尺度级别将控制网划分多个级别；确定了分级方案后，设计每个级别的控制点形式以及控制点测量方式；根据设计好的控制点形式和测量方式逐级布设控制点，并测量获得在统一坐标框架下控制点的坐标信息，从而得到构建跨尺度多级别控制网的测量数据。4.根据权利要求3所述的多时相实景三维模型的构建方法，其特征在于，不同级别的控制点形式设置不同，控制点形式包括硬化路面喷涂、测钉、标靶板、标签纸，测量方式包括室外的rtk以及室内的全站仪测量。5.根据权利要求1所述的多时相实景三维模型的构建方法，其特征在于，步骤3具体实现方法为：步骤3.1、通过步骤1的控制网重新测量获取局部变化区域的坐标信息，再采用激光扫描仪对局部变化区域的场景进行采集获取激光点云数据，并采用摄像装置采集局部变化区域的影像数据，将激光点云数据和影像数据输入到三维重建软件中得到局部变化区域的三维模型，最后将局部变化区域的坐标信息匹配到其三维模型中得到具有坐标信息的局部变化区域的实景三维模型；步骤3.2、通过旋转、平移、缩放的方式将局部变化区域的实景三维模型吻合到步骤2构建的原实景三维模型上；步骤3.3、沿局部变化区域的实景三维模型边缘向其内侧划一个缓冲区以剔除冗余的边缘范围，根据缓冲区分析求得一个更新范围；步骤3.4、使用更新范围对局部区域的实景三维模型进行裁切，并将裁切后的局部区域模型与原实景三维模型进行拼接合并，且将两者合并处进行拓扑重连得到更新后的实景三维模型；步骤3.5、对更新后的实景三维模型拓扑重连处进行纹理重映射，以得到纹理均一的多
时相实景三维模型。6.根据权利要求5所述的多时相实景三维模型的构建方法，其特征在于，步骤3.1中获取的局部变化区域的范围大于实际局部变化区域的范围，步骤3.3中更新范围为实际的局部变化区域范围。7.根据权利要求5所述的多时相实景三维模型的构建方法，其特征在于，步骤3.2具体实现方法为：首先，判断原实景三维模型数据和局部变化区域的实景三维模型的数据是否经过了控制网空三，如果有，则二者之间不存在旋转、平移和尺度缩放，直接将两者进行吻合匹配；如果没有，则判断局部变化区域的实景三维模型与原实景三维模型中是否存在足够数量的相同控制点，如果存在足够数量的相同控制点，则根据这些相同的控制点对局部变化区域的实景三维模型进行旋转、平移、缩放的操作以使得局部变化区域的实景三维模型吻合在原实景三维模型上；如果不存在足够数量的相同控制点，则通过选择足够数量的均匀分布的同名点对局部变化区域的实景三维模型进行旋转、平移、缩放的操作以将其与原实景三维模型吻合匹配。8.根据权利要求5所述的多时相实景三维模型的构建方法，其特征在于，步骤3.4中拓扑重连的方法包括：将局部变化区域的实景三维模型上被裁切破坏的三角形修复完整；将局部变化区域的实景三维模型与步骤2构建的原实景三维模型在边缘处进行连接，以将三角网修补完整。9.一种根据权利要求1-8任意一项所述的多时相实景三维模型的构建方法的构建系统，其特征在于，包括：控制网测量信息获取模块，用于获取跨尺度多级别控制测量的建模对象在统一坐标框架下的坐标信息；三维模型构建模块，用于根据获取的激光云数据、影像数据以及控制网测量信息获取模块获取的坐标信息构建具有坐标信息的实景三维模型；局部变化区域更新模块，用于将三维模型构建模块构建的局部变化区域的实景三维模型与原实景三维模型进行吻合后裁切、拓扑重连以及纹理映射得到更新后的多时相实景三维模型。10.一种终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述的多时相实景三维模型的构建方法。

技术总结
本发明公开了一种多时相实景三维模型的构建方法、系统及终端设备，包括：对不同尺度的建模对象构建统一的坐标框架，并在统一的坐标框架下构建跨尺度多级别控制网；获取建模对象的激光点云数据及影像数据，采用步控制网测量建模对象的坐标信息，根据获得的激光点云数据、影像数据以及坐标信息采用三维重建软件构建具有坐标信息的原实景三维模型；当建模对象局部区域发生变化时，重新获取局部变化区域的坐标信息、点云数据和影像数据构建局部变化区域的三维模型并将其与原实景三维模型进行融合得到最终的多时相实景三维模型。本发明提出了变化区域局部更新的方法，解决了现有方法中构建三维模型造成的浪费成本、浪费时间和增加工作量的问题。工作量的问题。工作量的问题。


技术研发人员：牛文渊 蒋东青 闫碎玉 闫智
受保护的技术使用者：武汉大势智慧科技有限公司
技术研发日：2023.08.29
技术公布日：2023/9/23