基于语义一致性的卫星遥感影像三维重建方法

1.本发明涉及遥感图像处理及模式识别的技术领域，具体是一种基于语义一致性的卫星遥感影像三维重建方法。


背景技术：

2.卫星遥感影像三维重建是一种将遥感影像中的二维信息转化为三维模型的技术。该技术能够将卫星遥感影像中的地表信息转化为精确的三维模型，从而提供更加准确的地形信息和地貌特征。
3.该技术的主要步骤包括：数据采集：通过卫星遥感或其他传感器获取高分辨率的地表影像。影像预处理：对采集的数据进行校正、配准和去噪等处理，以减少数据中的误差和噪声。特征提取：使用计算机视觉算法从预处理后的遥感影像中提取地物的特征信息，如建筑物、道路、树木等。三维建模：将提取出的地物特征转化为三维模型，语义解析：将三维模型中的每个元素进行语义解析，即将其与现实世界中的物体对应起来，如将建筑物、道路、树木等标记出来。模型优化：对三维模型进行优化，如对模型进行细节修复、平滑处理和纹理映射等，以提高模型的真实感和可视化效果。应用：三维模型可以用于城市规划、土地利用管理、灾害预警等领域。
4.基于语义的卫星遥感影像三维重建技术，是利用计算机视觉、机器学习等技术，对卫星遥感影像进行处理，从而获得高精度、高分辨率、语义化的三维重建模型。该技术可以应用于城市规划、环境监测、资源管理、灾害预警等领域。基于多视角的三维重建技术：使用多个视角的遥感影像，结合立体视觉或结构光技术，创建高精度的三维地图或场景。
5.基于深度学习的多视角遥感影像三维重建技术已经取得了很大的进展，但目前仍存在一些不足之处，包括以下几点：训练数据缺乏。深度学习需要大量的训练数据来训练网络，但是由于获取多视角遥感影像数据较为困难，因此当前可用的数据量仍然比较有限，这限制了深度学习模型的精度和鲁棒性。依赖于单一场景。目前的深度学习模型大多是针对特定场景或区域进行训练的，难以适应不同场景的三维重建任务，因此需要针对不同场景进行重新训练或微调。难以应对数据噪声和缺失。遥感影像数据往往存在噪声和缺失，这对于深度学习模型的稳定性和鲁棒性带来了挑战，需要进一步探索针对噪声和缺失的优化方法。对于细节信息的重建有限。虽然深度学习可以通过学习大量数据来实现高精度的三维重建，但在某些场景下，仍然难以捕捉到一些微小的细节信息，如小尺度物体和纹理。
6.综上所述，基于深度学习的多视角遥感影像三维重建技术仍然存在一些局限性和不足之处，需要进一步探索新的方法和技术来解决这些问题，以实现更高精度和更鲁棒的三维重建。


技术实现要素：

7.本发明为了克服上述现有技术的不足，提供一种基于语义一致性的遥感图像三维重建方法，该方法使用语义提取hrnet网络融入多视角三维重建mvsnet网络，提取遥感图像
的语义信息，使得多视角重建更加精确和鲁棒，训练网络，并最终实现了遥感影像三维重建质量的有效提升。
8.本发明的所述训练阶段包括以下步骤：
9.第一步，获取多视角的遥感光学图像数据和对应rpc参数以及部分区域的高度真值；
10.第二步，将数据按视角划分为参考视角和辅助视角，构建训练集和测试集。
11.第三步，将数据输入特征提取网络得到各个视角下的特征图，
12.第四步，将辅助视角下的特征图通过rpc映射投影到参考视角下构建特征体。
13.第五步，对特征体进行方差计算得到代价体。
14.第六步，对代价体用3d unet进行回归，通过soft argmin得到参考视角下的初始高度图h，将高度图与真值高度进行l1损失计算：
15.argmin就是使达到最小值时的变量的取值，但是argmin并不可微(无法反向传播)，这里使用soft argmin：
16.d为视差，
max
为最大视差值，(-)等同于softmax操作，将预测值转换为概率。
[0017][0018][0019]
loss
gt
代表预测出的图像与真值图像的损失函数，smooth
l1
是一个分段损失函数，在[-1，1]之间就是l2损失即均方误差，是指模型预测值h
est
(p)和真实值h
gt
(p)之间的差值平方的平均值，在[-1，1]区间外就是l1损失，即平均绝对值误差，是指模型预测值h
est
(p)和真实值h
gt
(p)之间绝对差值的平均值。
[0020]
第七步，将输入数据通过一个额外的语义提取网络分支hrnet18得到不同视角下的语义图s。将辅助视角下的语义图通过第七步得到的高度图映射到参考视角下，与参考视角的语义图进行l1损失计算ls
f eature
。
[0021][0022]f′
src
表示将辅助视角语义图投影至参考视角下的过程，f
ref
表示无需投影的参考视角下语义图结果。
[0023]
第八步，对输入数据不同视角的图片计算梯度和二阶梯度。并根据第七步得到的高度图映射到参考视角下，与参考视角的梯度图进行图像损失计算loss
pixel
。
[0024]
图像损失如下式：
[0025][0026]
该损失通过计算参考视角下的图片与辅助视角下经投影到参考视角下的图片rgb的差值以及rgb梯度的差值得到。其中：
[0027]
p
′i＝rpc
warping
(pi)#
[0028]i′
src
＝i
src
(p
′i)#
[0029][0030]
pi为像素，p
′i为rpc映射后的像素，i
src
为辅助图像，i
′
src
为经rpc映射后的辅助图像。ssimd全称为ssim dissimilarity，ssimd＝(1-ssim)/2，范围[0，1]，越大越不相似，一般用来作为网络的损失，s表示ssim，为结构相似性指标，既可以衡量图片的失真程度，也可以衡量两张图片的相似程度。ssim主要考量图片的三个关键特征：亮度、对比度及结构。m指真值的掩码，m是掩码m中有效点的总数。
[0031]
rpc
warping
为基于rpc进行单应性变换：首先将rpc参数中高度平均值作为中心高度；其次对高度范围内的高度进行等间距采样，构建固定数量的高度平面；然后通过rpc参数投影到图像上得到像素坐标；最后，通过最小二乘法求解。
[0032]
ssim结构相似损失函数主要考虑了亮度、对比度和结构三个关键特征，可以衡量图片的失真程度，也可以衡量两张图片的相似程度。
[0033][0034]
表示预测高度，式中α1和α2取0.5，该公式通过约束的差距大小来使得高度图更加平滑。
[0035]
l
pixel
＝λ1l
photo
+λ2l
ssimd
+λ3l
smooth
#
[0036]
如上式所示，光度一致性由图像损失l
photo
、结构一致性损失l
ssimd
和平滑项损失l
smooth
构成，λ1，λ2，λ3各部分损失的权重。
[0037]
第九步，总体的损失函数为
[0038]
loss
total
＝γ1loss
gt
+γ2loss
feature
+γ3loss
pixel
#
[0039]
其中γ1，γ2，γ3为各部分损失的权重，结合上述损失loss
total
对网络进行训练。
[0040]
第十步，将第九步训练好的网络参数保存，作为遥感影像三维重建模型。与现有技术相比本发明具有以下优点：
[0041]
第一，更准确的重建结果：通过利用语义信息来约束匹配和优化过程，可以减少误匹配和噪声的影响，从而得到更准确的重建结果。
[0042]
第二，更稳定的重建结果：基于语义信息的约束可以使得重建结果更加稳定，对输入图像中的变化和噪声更加鲁棒。
[0043]
第三，更高效的匹配和优化：通过语义信息的约束，可以缩小匹配和优化的搜索空间，从而加快重建的速度。
[0044]
第四，更好的场景理解能力：语义信息可以帮助我们更好地理解场景中的物体和结构，从而有助于进一步的分析和应用。
附图说明
[0045]
图1是本发明基于语义一致性的卫星遥感影像三维重建方法的流程图。
[0046]
图2是本发明中使用到的sat-mvsnet网络总体结构图。
[0047]
图3是本发明输入所需的多视角图片的示意图。
[0048]
图4是本发明在sat-mvs3d数据集上预测的结果图。
[0049]
图5是本发明在tlc-satmvs数据集上山地预测的结果图。
[0050]
图6是本发明在tlc-satmvs数据集上城区预测的结果图。
具体实施方式
[0051]
下面结合附图和实施例对本发明详细说明，但不应以此限制本发明的保护范围。
[0052]
请先参阅图1，图1是本发明基于语义一致性的卫星遥感影像三维重建方法的流程图，如图所示，一种基于语义一致性的卫星遥感影像三维重建方法，包括：
[0053]
训练阶段：
[0054]
第一步，获取多视角的遥感光学图像数据和对应rpc参数以及部分区域的高度真值；
[0055]
第二步，将数据按视角划分为参考视角和辅助视角，构建训练集和测试集。
[0056]
第三步，将数据输入特征提取网络得到各个视角下的特征图；
[0057]
第四步，将辅助视角下的特征图通过rpc映射投影到参考视角下构建特征体。
[0058]
第五步，对特征体进行方差计算得到代价体cost volume。
[0059]
第六步，对代价体用3d unet进行回归，通过soft argmin得到参考视角下的初始高度图h，将高度图与真值高度进行l1损失计算loss
gt
。
[0060]
第七步，将输入数据通过一个额外的语义提取网络分支hrnet18得到不同视角下的语义图s。将辅助视角下的语义图通过第七步得到的高度图映射到参考视角下，与参考视角的语义图进行l1损失计算loss
feature
。
[0061]
第八步，对输入数据不同视角的图片计算梯度和二阶梯度。并根据第七步得到的高度图映射到参考视角下，与参考视角的梯度图进行损失计算loss
pixel
。
[0062]
第九步，结合上述损失对网络进行训练。
[0063]
第十步，将第九步训练好的网络参数保存，作为遥感影像三维重建模型。
[0064]
最后，将新的多视角遥感影像和对应rpc参数输入到第十步保存的模型中得到最后的高度图。然后通过高度图对遥感影像进行三维重建。
[0065]
本发明通过在多视角三维重建的基础上，加入了对场景语义信息的利用，以提高重建结果的准确性和稳定性。它通过在图像中提取语义信息，如物体边缘、表面纹理等，来约束三维重建过程中的匹配和优化，从而提高三维模型的精度和鲁棒性。
[0066]
模型对比试验：
[0067]
实验数据为satmvs3d，sat-mvs3d数据集是根据2016年iapra三维重建挑战赛提供的iapra数据集修改而来。iapra挑战赛官方采用基于worldview-3商业卫星拍摄得到的光学影像和无人机搭载激光雷达扫描得到的地面三维坐标点的开源数据集进行算法评估。其中光学影像拍摄地点位于阿根廷圣费南多附近，50张光学影像覆盖地表面积约为100km2,平面分辨率为0.3m，图像尺寸基本在30000
×
40000左右。原始数据集中还包含了采用无人机搭载激光雷达对地扫描得到的真值点云。经过处理后satmvs3d数据集遥感图像的尺寸大小为384*480，包含不同视角的图片。
[0068]
三维重建效果评价指标主要是精确度和完整性。精确度定义为预测高度图中有效
的像素点的高度和真值高度相减的绝对值的中位数。完整性是高度误差小于某个阈值的点占激光雷达真值点的百分比。
[0069]
本实验设定完整度阈值分别为1m、3m进行对比实验，评价结果如表1所示。
[0070]
表1不同模型预测结果
[0071][0072][0073]
基于语义一致性的多视角遥感影像三维重建方法satmvsnet，其精确度和完整度优于先前的mvsnet、r-mvsnet、satmvs方法。

技术特征：
1.一种基于语义一致性的卫星遥感图像三维重建方法，其特征在于，包括如下步骤：第一步，获取多视角的遥感光学图像数据和图像对应rpc参数以及部分区域的高度真值；第二步，将多视角的遥感光学图像数据按视角划分为参考视角和辅助视角，构建训练集和测试集；第三步，将多视角的遥感光学图像数据输入主网络的特征提取阶段得到各个视角下的特征图；第四步，将辅助视角下的特征图通过rpc映射投影到参考视角下，构建特征体；第五步，对所述特征体进行方差计算得到代价体；第六步，对所述代价体用3d unet进行回归，通过soft argmin预测参考视角下的初始高度图h，将初始高度图h与高度真值计算真值损失loss
gt
；第七步，将多视角的遥感光学图像数据通过额外的语义模型hrnet18得到参考视角下的语义图s
ref
和辅助视角下的语义图s
src
；将辅助视角下的语义图s
src
通过第六步得到的高度图映射到参考视角下，与参考视角的语义图s
ref
计算语义损失loss
feature
；第八步，对输入数据不同视角的图片计算梯度和二阶梯度，并根据第六步得到的高度图映射到参考视角下与参考视角的梯度图计算图像损失loss
pixel
；第九步，计算总损失loss
total
，公式如下：loss
total
＝σγ1loss
gt
+γ2loss
feature
+γ3loss
pixel
#其中γ1,γ2,γ3为各部分损失的权重；结合总损失loss
total
对网络进行训练；第十步，将第九步训练好的网络参数保存，作为遥感影像三维重建模型。2.根据权利要求1所述的语义一致性的遥感图像三维重建方法，其特征在于：通过在图像中提取语义信息，利用场景语义信息约束三维重建过程中的匹配和优化，提高三维模型的精度和鲁棒性。

技术总结
基于语义一致性的多视角三维重建方法是利用卫星遥感影像数据进行三维建模的先进方法，能够保持场景的语义一致性，从而提高重建结果的精度和稳定性。该方法基于深度学习模型，可以自动地提取和分析遥感影像中的特征，并进行语义分割和识别。通过在语义分割的基础上进行三维重建，可以获得具有语义信息的三维场景模型，其重建精确度和完整度优于经典的方法。法。法。


技术研发人员：李元祥 计锦达 张彤童 左宗成 麻家骅
受保护的技术使用者：上海交通大学
技术研发日：2023.04.26
技术公布日：2023/8/1