高度等级引导的单视角遥感影像建筑高度估计方法和装置与流程

1.本技术涉及建筑物高度估计技术领域，尤其是涉及一种高度等级引导的单视角遥感影像建筑高度估计方法和装置。


背景技术：

2.数字化的城市建设需要依托于城市三维重建，三维重建中建筑物高度是重要的基础信息。相关技术中，卷积网络方法用于单视角遥感影像的高度估计，主要包含以下两类：（1）直接采用编码-解码结构回归高度；（2）采用多任务学习添加地物类别分支辅助高度回归。第一类方法回归精度和收敛速率较低，第二类方法目前多用于多个地物类别的回归，需要人工的精细标注，其鲁棒性和预测精度也有进一步提升的空间。


技术实现要素：

3.本技术的目的在于提供一种高度等级引导的单视角遥感影像建筑高度估计方法和装置，能够提升单视角遥感影像建筑物高度估计的鲁棒性和精度。
4.第一方面，本发明提供一种高度等级引导的单视角遥感影像建筑高度估计方法，包括：获取高分辨率光学卫星遥感影像以及归一化数字表面模型，对所述归一化数字表面模型进行归一化处理并标记不同的高度等级，裁切光学影像和归一化处理后的归一化数字表面模型得到样本数据集；将所述样本数据集中的光学影像输入到预先搭建的高度等级引导的建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型；所述预先搭建的高度等级引导的建筑高度估计模型包括共享特征提取器和预设个数的解码器，解码器用于高度等级分类和高度回归；将待预测的高分辨率光学影像输入至目标建筑高度估计模型，得到高度等级类别预测值和建筑高度预测值，对高度等级类别预测值满足第一阈值的区域以及建筑高度预测值小于第二阈值的区域进行抑制，得到最终的高度预测结果。
5.在可选的实施方式中，对所述归一化数字表面模型进行归一化处理并标记不同的高度等级，裁切光学影像和归一化处理后的归一化数字表面模型得到样本数据集，包括：对所述归一化数字表面模型取自然对数，并采用极大值归一化进行预设范围映射；基于建筑的高度将所述归一化数字表面模型逐像素分类，每种类别分别标记为不同的高度分类标签；将光学影像、归一化的归一化数字表面模型以及高度分类标签裁剪到固定大小，得到样本数据集。
6.在可选的实施方式中，所述共享特征提取器包括预设尺度的卷积单元，每个卷积单元通过降采样模块连接；所述方法还包括：
将所述样本数据集中的光学影像输入第一降采样模块和第一卷积单元，得到第一特征图；将所述第一特征图输入到第二降采样模块和第二卷积单元，得到第二特征图；以此类推，直至每个卷积单元均计算完毕，得到第n特征图；对所述第一特征图、第二特征图、
……
、第n特征图分别进行层归一化，得到每个特征图对应的特征信息。
7.在可选的实施方式中，每个卷积单元包括多个卷积模块，每个卷积单元内的卷积模块级联连接，卷积模块为倒瓶颈的可分离卷积残差结构；特征图x首先经过深度卷积，然后经过两层逐点卷积得到特征图x1，x1与原特征x相加，输入到下一卷积模块或降采样模块。深度卷积后接层归一化，两个逐点卷积之间通过gelu激活函数和全局响应归一化（grn）连接。第一逐点卷积将特征升维到原特征的4倍，第二逐点卷积将特征降到原维度；其中，特征图x为上一卷积模块或降采样模块的输出特征。
8.在可选的实施方式中，第一卷积单元包括3个卷积模块，第二卷积单元包括3个卷积模块，第三卷积单元包括27个卷积模块，第四卷积单元包括3个卷积模块；相应的，所述第n特征图为第四特征图。
9.在可选的实施方式中，预设个数的解码器包括一个高度等级分类解码器和一个高度回归解码器；所述高度等级分类解码器和高度回归解码器包括结构相同的部分，其中：结构相同的部分包括：首先将所述第四特征图输入金字塔池化模块，得到第四增强特征；将第三特征图经过1
×
1卷积，与上采样一倍的第四增强特征相加，得到第三增强特征；将第二特征图经过1
×
1卷积进行升维，与上采样一倍的第三增强特征相加，得到第二增强特征；将第一特征图经过1
×
1卷积进行升维，与上采样一倍的第二增强特征相加，得到第一增强特征；将第二增强特征、第三增强特征和第四增强特征上采样到与第一增强特征相同大小，在通道维拼接，通过卷积融合多尺度特征，并将融合特征进行上采样还原；其中，所述高度等级分类解码器和高度回归解码器结构相同部分不共享模型参数。
10.在可选的实施方式中，所述高度等级分类解码器和高度回归解码器还包括结构不同的部分，包括：所述高度等级分类解码器和高度回归解码器用于分别将融合特征降维到n类和1类，高度回归解码器连接sigmoid激活函数，将输出限定在预设区间范围。
11.在可选的实施方式中，将所述样本数据集中的光学影像输入到预先搭建的高度等级引导的建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型，包括：将所述样本数据集中的预设数量的光学遥感样本进行几何和色彩增强；将增强后的数据样本输入到预先搭建的高度等级引导的建筑高度估计模型，得到高度等级分类得分以及归一化的高度预测值；
分别计算所述高度等级分类得分和所述归一化的高度预测值与样本中的真实值的差异度；根据所述差异度和预设优化器对模型中的参数进行优化，得到优化后的建筑高度估计模型；迭代计算上述步骤，直至完成预设轮数次模型参数更新，得到目标建筑高度估计模型。
12.在可选的实施方式中，将待预测的高分辨率光学影像输入至目标建筑高度估计模型，得到高度等级类别预测值和建筑高度预测值，对高度等级类别预测值满足第一阈值的区域以及建筑高度预测值小于第二阈值的区域进行抑制，得到最终的高度预测结果，包括：将待预测的高分辨率光学影像按照预设的步长划分到预设窗口大小的影像块，将影像块输入至目标建筑高度估计模型，得到高度等级类别分数和归一化的高度估计值；基于所述归一化高度值进行高度数值还原，得到初始高度预测值；将所述高度等级类别分数经过argmax函数确定高度等级类别预测值，将高度等级类别预测结果中满足第一阈值的区域以及初始高度预测值小于第二阈值的区域进行抑制，得到当前影像块的高度预测值；迭代计算上述步骤，直至所述待预测的高分辨率光学影像被全部覆盖，得到最终的高度预测结果。
13.第二方面，本发明提供一种高度等级引导的单视角遥感影像建筑高度估计装置，包括：样本数据集确定模块，用于获取高分辨率光学卫星遥感影像以及归一化数字表面模型，对所述归一化数字表面模型进行归一化处理并标记不同的高度等级，裁切光学影像和归一化处理后的归一化数字表面模型得到样本数据集；模型训练模块，用于将所述样本数据集中的光学影像输入到预先搭建的高度等级引导的建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型；所述预先搭建的高度等级引导的建筑高度估计模型包括共享特征提取器和预设个数的解码器，解码器用于高度等级分类和高度回归；建筑高度估计模块，用于将待预测的高分辨率光学影像输入至目标建筑高度估计模型，得到高度等级类别预测值和建筑高度预测值，对高度等级类别预测值满足第一阈值的区域以及建筑高度预测值小于第二阈值的区域进行抑制，得到最终的高度预测结果。
14.本技术提供的高度等级引导的单视角遥感影像建筑高度估计方法和装置，采用多任务学习框架，联合高度等级分类和高度估计任务，利用二者潜在的一致性，提升模型的鲁棒性和精度；分类分支以建筑高度等级作为监督信号，避免了额外的人工标注；通过自上而下的通路和横向连接，增强多尺度语义特征，获取更加精确的建筑目标边界；针对建筑高度分布不均衡的问题，对其进行了归一化处理，使模型能够更加稳定地收敛；将获取的高度等级分类结果作为高度估计的掩膜，进一步抑制非建筑区域的信号。本技术能够提升单视角遥感影像建筑物高度估计的鲁棒性和精度。
附图说明
15.为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本技术实施例提供的一种高度等级引导的单视角遥感影像建筑高度估计方法的流程图；图2为本技术实施例提供的一种高度等级引导的建筑高度估计模型结构示意图；图3为本技术实施例提供的一种具体的高度等级引导的单视角遥感影像建筑高度估计方法的流程图；图4为本技术实施例提供的一种高度等级引导的建筑高度估计模型共享特征提取器结构示意图；图5为本技术实施例提供的一种共享特征提取器卷积模块和下采样模块结构示意图；图6为本技术实施例提供的一种高度等级引导的单视角遥感影像建筑高度估计装置的结构图；图7为本技术实施例提供的一种电子设备的结构图。
具体实施方式
17.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
18.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
20.数字化的城市建设需要依托于城市三维重建，而传统的遥感应用大多落脚于地表二维信息的提取，缺少对三维信息的获取，这阻碍了对场景垂直信息和关系的理解。三维重建中建筑物高度是重要的基础信息，通常采用归一化数字表面模型（ndsm）的形式表示。
21.目前数字表面模型主要通过获取激光雷达（lidar）、雷达干涉测量（insar）、运动结构恢复（sfm）、立体像对摄影测量等方法获取。机载lidar可以提供目标的高精度三维模型，但其飞行成本昂贵，覆盖范围有限，难以应用于大范围地区。insar技术需要高分辨率机载雷达或者多基线时序分析获取建筑物高度，对数据的质量及数量有一定要求。sfm方法从无序二维图像序列中估计目标的三维结构，该方法模拟的地形可能出现变形、过度平滑的问题，且在采集时需要地面控制点。立体像对摄影测量需要复杂的影像获取技术，以及多视角影像的精确配准。上述主流的高度估计方法对数据质量、技术水平、资源投入等方面有一
定要求，基于单视角遥感影像的建筑物高度估计提供了一种经济、快速的解决方案，具有大规模应用的潜力，是城市三维重建的一个重要研究方向。
22.深度学习作为一种强大的机器学习技术，在视觉领域发挥了不可替代的作用。深度学习方法通过卷积神经网络获取图像的语义特征，极大限度地挖掘复杂图像的深层次信息，在遥感领域已得到广泛应用，如地物分类、目标检测、变化检测等。单视角遥感影像建筑物高度估计是一个不适定问题，但可以通过卷积神经网络在提取高级特征方面的良好性能，捕获远程上下文关系，构建目标本身及与其他目标关系的特征。目前已有一些卷积网络方法用于单视角遥感影像的高度估计，主要包含以下两类：（1）直接采用编码-解码结构回归高度；（2）采用多任务学习添加地物类别分支辅助高度回归。第一类方法回归精度和收敛速率较低，第二类方法目前多用于多个地物类别的回归，需要人工的精细标注，其鲁棒性和预测精度也有进一步提升的空间。
23.基于此，本技术实施例提供了一种高度等级引导的单视角遥感影像建筑高度估计方法和装置，采用多任务学习框架，联合高度等级分类和高度估计任务，利用二者潜在的一致性，提升模型的鲁棒性和精度；分类分支以建筑高度等级作为监督信号，避免了额外的人工标注；通过自上而下的通路和横向连接，增强多尺度语义特征，获取更加精确的建筑目标边界；针对建筑高度分布不均衡的问题，对其进行了归一化处理，使模型能够更加稳定地收敛；将获取的高度等级分类结果作为高度估计的掩膜，进一步抑制非建筑区域的信号。本技术能够提升单视角遥感影像建筑物高度估计的鲁棒性和精度。
24.本技术实施例提供了一种高度等级引导的单视角遥感影像建筑高度估计方法，参见图1所示，该方法主要包括以下步骤：步骤s110，获取高分辨率光学卫星遥感影像以及归一化数字表面模型，对归一化数字表面模型进行归一化处理并标记不同的高度等级，裁切光学影像和归一化处理后的归一化数字表面模型得到样本数据集。
25.在一种实施方式中，对归一化数字表面模型进行归一化处理并标记不同的高度等级，裁切光学影像和归一化处理后的归一化数字表面模型得到样本数据集，可以包括以下步骤1.1至步骤1.3：步骤1.1，对归一化数字表面模型取自然对数，并采用极大值归一化进行预设范围映射；步骤1.2，基于建筑的高度将归一化数字表面模型逐像素分类，每种类别分别标记为不同的高度分类标签；步骤1.3，将光学影像、归一化的归一化数字表面模型以及高度分类标签裁剪到固定大小，得到样本数据集。
26.步骤s120，将样本数据集中的光学影像输入到预先搭建的高度等级引导的建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型。
27.上述预先搭建的高度等级引导的建筑高度估计模型包括共享特征提取器和预设个数的解码器，解码器用于高度等级分类和高度回归，参见图2所示的模型结构示意图，以下对该模型结构进行详细说明。
28.上述共享特征提取器包括预设尺度的卷积单元，每个卷积单元通过降采样模块连
接。针对该共享特征提取器的使用方式，还可以采用以下步骤（1）至步骤（4）：步骤（1），将样本数据集中的光学影像输入第一降采样模块和第一卷积单元，得到第一特征图；步骤（2），将第一特征图输入到第二降采样模块和第二卷积单元，得到第二特征图；步骤（3），以此类推，直至每个卷积单元均计算完毕，得到第n特征图；步骤（4），对第一特征图、第二特征图、
……
、第n特征图分别进行层归一化，得到每个特征图对应的特征信息。
29.上述每个卷积单元包括多个卷积模块，每个卷积单元内的卷积模块级联连接，卷积模块为倒瓶颈的可分离卷积残差结构；每个卷积模块内的运算可以包括：特征图x首先经过深度卷积，然后经过两层逐点卷积得到特征图x1，x1与原特征x相加，输入到下一卷积模块或降采样模块。深度卷积后接层归一化，两个逐点卷积之间通过gelu激活函数和全局响应归一化（grn）连接。第一逐点卷积将特征升维到原特征的4倍，第二逐点卷积将特征降到原维度。
30.进一步，上述第一卷积单元包括3个卷积模块，第二卷积单元包括3个卷积模块，第三卷积单元包括27个卷积模块，第四卷积单元包括3个卷积模块；相应的，第n特征图为第四特征图。
31.在一可选的实施方式中，上述预设个数的解码器包括一个高度等级分类解码器和一个高度回归解码器；高度等级分类解码器和高度回归解码器包括结构相同的部分和结构不同的部分，其中：一、结构相同的部分包括：首先将第四特征图输入金字塔池化模块，得到第四增强特征；将第三特征图经过1
×
1卷积，与上采样一倍的第四增强特征相加，得到第三增强特征；将第二特征图经过1
×
1卷积进行升维，与上采样一倍的第三增强特征相加，得到第二增强特征；将第一特征图经过1
×
1卷积进行升维，与上采样一倍的第二增强特征相加，得到第一增强特征；将第二增强特征、第三增强特征和第四增强特征上采样到与第一增强特征相同大小，在通道维拼接，通过卷积融合多尺度特征，并将融合特征进行上采样还原；其中，高度等级分类解码器和高度回归解码器结构相同部分不共享模型参数。
32.二、结构不同的部分，包括：高度等级分类解码器和高度回归解码器用于分别将融合特征降维到n类和1类，高度回归解码器连接sigmoid激活函数，将输出限定在预设区间范围。
33.将样本数据集中的光学影像输入到预先搭建的高度等级引导的建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型，在具体实施时，可以包括以下步骤2.1至步骤2.5：步骤2.1，将样本数据集中的预设数量的光学遥感样本进行几何和色彩增强；步骤2.2，将增强后的数据样本输入到预先搭建的高度等级引导的建筑高度估计
模型，得到高度等级分类得分以及归一化的高度预测值；步骤2.3，分别计算高度等级分类得分和归一化的高度预测值与样本中的真实值的差异度；步骤2.4，根据差异度和预设优化器对模型中的参数进行优化，得到优化后的建筑高度估计模型；步骤2.5，迭代计算上述步骤，直至完成预设轮数次模型参数更新，得到目标建筑高度估计模型。
34.步骤s130，将待预测的高分辨率光学影像输入至目标建筑高度估计模型，得到高度等级类别预测值和建筑高度预测值，对高度等级类别预测值满足第一阈值的区域以及建筑高度预测值小于第二阈值的区域进行抑制，得到最终的高度预测结果。
35.在一可选的实施方式中，可以包括以下步骤3.1至步骤3.4：步骤3.1，将待预测的高分辨率光学影像按照预设的步长划分到预设窗口大小的影像块，将影像块输入至目标建筑高度估计模型，得到高度等级类别分数和归一化的高度估计值；步骤3.2，基于归一化高度值进行高度数值还原，得到初始高度预测值；步骤3.3，将高度等级类别分数经过argmax函数确定高度等级类别预测值，将高度等级类别预测结果中满足第一阈值的区域以及初始高度预测值小于第二阈值的区域进行抑制，得到当前影像块的高度预测值；步骤3.4，迭代计算上述步骤，直至待预测的高分辨率光学影像被全部覆盖，得到最终的高度预测结果。
36.针对上述方法，本技术还提供了一种具体的实施例，参见图3所示，该方法可以包括以下步骤s101至步骤s104：步骤s101：获取高分辨率光学卫星遥感影像以及归一化数字表面模型（ndsm），对ndsm进行归一化处理并标记不同的高度等级，裁切光学影像和处理后的ndsm得到样本数据；在真实场景下，建筑物高度基本符合长尾分布，大部分建筑高度集中于较低的高度水平，而较高或超高建筑占比较少，这给建筑高度回归问题带了挑战，不仅无法在高层建筑估计中取得良好的表现，也会影响低层建筑的高度回归。因此对ndsm进行了归一化处理，同时按照高度将建筑划分到不同等级，用于后续建筑高度等级的分类，该步骤具体包括：步骤1a：取ndsm的自然对数，使得偏态的建筑物高度映射到正态分布上，将高度拉伸到更加容易回归的范围，降低少数超高建筑的影响。如高度为100m的建筑，经过对数计算后，对数高度值仅为4.6。高度在1m以下的部分区域，取自然对数后为负值，这部分区域需要置为0，即认为这部分区域不属于建筑，这符合我们对一般建筑物高度的认知，同时也能避免负值对模型优化的不利影响；步骤1b：将步骤1a得到的自然对数高度除以它的最大值，将数值限定在[0,1]范围内，便于模型高度回归，同时记录最大值m；经过步骤1a和1b得到的就是归一化后的ndsm，处理公式如下：
步骤1c：按照建筑的高度将ndsm逐像素划分为n类，分别标记为不同的标签。在实际应用中，可以结合建筑物高度的分布选择合理的高度划分区间，本实施例中将高度划分为4类，分别是非建筑、低层建筑、中层建筑以及高层建筑，对应的高度区间分别是[0, 1e-6)、[1e-6, 24)、[24, 50)、[50, 187)；步骤1d：将获取的光学影像、步骤1b获取的归一化的ndsm以及步骤1c获取的高度等级分类标签裁剪到固定大小，得到样本数据集，本实例中样本大小为512
×
512。
[0037]
步骤s102，搭建高度等级引导的建筑高度估计多任务模型，该模型拥有共享的特征提取器和两个相似的解码器，两个解码器分别用于高度等级分类和高度回归；所述模型的特征提取器包括4个尺度的卷积单元，每个卷积单元通过降采样模块连接，特征图尺寸和维度的变化都由降采样模块控制。参见图4所示，将图像输入到初始降采样模块，进行4倍下采样并升维到128通道，进入第一卷积单元，得到特征图f1；然后将f1输入到第二降采样模块，进行2倍下采样并升维到256，进入第二卷积单元，得到特征图f2；将f2输入到第三降采样模块，进行2倍下采样并升维到512，进入第三卷积单元，得到特征图f3；将f3输入到第四降采样模块，进行2倍下采样并升维到1024，进入第四卷积单元，得到特征图f4。对特征图f1-f4分别进行层归一化，得到4个尺度的特征，分别为b1、b2、b3、b4。
[0038]
进一步地，初始降采样模块由一个卷积核大小为4
×
4，步长为4的卷积层和ln层构成，第二、第三、第四降采样模块由ln层和一个卷积核大小为2
×
2，步长为2的卷积层构成。
[0039]
进一步地，第一卷积单元包括3个卷积模块，第二卷积单元包括3个卷积模块，第三卷积单元包括27个卷积模块，第四卷积单元包括3个卷积模块。
[0040]
进一步地，每个卷积单元内的卷积模块级联连接。卷积模块整体采用倒瓶颈的可分离卷积残差结构。特征图x首先经过卷积核大小为7
×
7，步长为1的深度卷积，后接层归一化，然后经过一层逐点卷积，卷积核大小为1
×
1，将特征升维到原来的4倍，然后送入gelu激活函数和全局响应归一化（grn），再经过一层逐点卷积，卷积核大小为1
×
1，将特征降维回到原来的维度，得到特征图x1，将x1与原特征x相加得到新的特征图y，输入到下一个卷积模块或降采样模块；其中，特征图x为上一卷积模块或降采样模块的输出特征。参见图5所示。
[0041]
所述模型包含两个解码器，分别用于高度等级分类和高度回归，高度等级分类解码器d1和高度回归解码器d2是相似的。解码器d1和d2结构相同的部分为：首先将特征图b4送入金字塔池化模块，得到增强特征e4；特征图b3经过1
×
1卷积，与上采样一倍的e4相加，得到增强特征e3；特征图b2经过1
×
1卷积升维到512，与上采样一倍的e3相加，得到增强特征e2；特征图b1经过1
×
1卷积升维到512，与上采样一倍的e2相加，得到增强特征e1。将e2、e3、e4上采样到e1大小，并在通道维拼接，通过3
×
3的卷积融合多尺度特征，将融合特征上采样4倍还原到原图大小。
[0042]
解码器d1和d2结构不同的部分为：d1和d2分别将融合特征降维到n类和1类，d2后接sigmoid激活函数，将输出限定在[0,1]范围内。注意，两个解码器结构相同部分并不共享模型参数。在本实例中，n取4。
[0043]
进一步地，金字塔池化将特征图b4分别平均池化到1、2、3、6大小，经过1
×
1的卷积
将四个尺寸的特征降维到512，然后上采样到b4原始大小，在通道维拼接4个特征，最后经过3
×
3的卷积对4个特征进行融合得到增强特征e4，e4的通道数为512。
[0044]
步骤s103：将样本数据集中的光学影像输入到步骤102搭建的网络模型中，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数；该步骤具体包括：步骤3a：数据增强，取步骤101获取的样本数据集中的预设数量个光学遥感样本进行几何和色彩增强，高度等级标签和归一化的ndsm将同时进行相应的几何变换；进一步地，几何增强包括尺度缩放、翻转、裁剪等，色彩增强包括通道标准化，光度失真等操作。本实例中，每次选取2张样本参与训练。
[0045]
步骤3b：前向估计，将数据增强后的样本输入到高度等级引导的建筑高度估计模型中，得到高度等级分类得分s以及归一化的高度预测值h；步骤3c：损失计算，分别计算高度等级分类得分s和归一化的高度预测值h与样本中的真实值的差异，这里分别采用了交叉熵损失和平滑l1损失，两项损失乘以各自的权重系数相加得到损失之和：其中交叉熵损失计算公式如下：其中交叉熵损失计算公式如下：表示类别数，表示预测为高度等级类别c的概率，是一个one-hot向量，当该类别和样本的类别相同为1，否则为0。
[0046]
平滑l1损失计算公式如下：损失计算公式如下：为归一化的真实高度，为高度估值，由于和均在[0,1]范围内，因此平滑l1只用到了上半部分公式。
[0047]
在本实例中，交叉熵损失的系数为5，平滑l1损失的系数为30。
[0048]
步骤3d：后向传播，基于上述损失之和以及adamw优化器，反向传播梯度，对模型中的参数进行优化，得到优化后的高度估计模型；adamw优化器具体计算如下：
为当前时刻，为上一时刻，为梯度，为模型参数，为第一动量，为第二动量，为学习率。这里对动量进行了偏置矫正，即由于动量的初始值为0，、接近于1，导致动量值较小，进行矫正后，和在前几次迭代中接近于0，使得矫正后的动量变大，而随着迭代次数的增加，和逐渐趋近于1，和基本等于和。本实例中，的初始学习率为0.001，、分别是0.9和0.999，为权重衰减因子，设置为0.05。经过adamw优化得到新的模型权重。
[0049]
迭代执行所述步骤3a-3d，直至达到预设的迭代次数，得到最终的建筑高度估计模型。在本实施例中，共迭代160000次，初始模型权重是在imagenet数据集上预训练得到的。
[0050]
步骤104：将待预测遥感影像输入到步骤103得到的高度估计模型中，并进行后处理得到最终的高度预测；该步骤具体包括：步骤4a：将遥感影像按照预设的步长划分到预设窗口大小的影像块，将影像块输入到步骤103获取的建筑高度估计模型中，得到高度等级类别分数s和归一化的高度估计值h1。本实施例中，将影像划分为了512
×
512的影像块，在输入到模型前将其放大到了640
×
640；步骤4b：将归一化的高度估计值h乘以步骤1b中记录的最大值m，还原到原始的范围，经过自然指数计算，得到高度估计值h2：步骤4c：高度等级类别分数s经过argmax函数确定高度等级类别预测值，将高度等级类别预测结果中为0的区域以及初始高度预测值小于2m的区域进行抑制，得到当前影像块的高度预测值h；步骤4d：迭代执行步骤4a-4c，直至待预测的遥感影像被全部覆盖。将高度预测结果写入到原图相应位置，对于两个相邻块中重复预测的区域，取高度估值更高的结果。
[0051]
通过上述模型结构，其测试数据集上建筑高度估计评估指标达到0.8。
[0052]
综上，本技术实施例提供的高度等级引导的单视角遥感影像建筑高度估计方法，采用多任务学习框架，联合高度等级分类和高度估计任务，利用二者潜在的一致性，提升模型的鲁棒性和精度；分类分支以建筑高度等级作为监督信号，避免了额外的人工标注；通过自上而下的通路和横向连接，增强多尺度语义特征，获取更加精确的建筑目标边界；针对建筑高度分布不均衡的问题，对其进行了归一化处理，使模型能够更加稳定地收敛；将获取的高度等级分类结果作为高度估计的掩膜，进一步抑制非建筑区域的信号。本技术能够提升单视角遥感影像建筑物高度估计的鲁棒性和精度。
[0053]
基于上述方法实施例，本技术实施例还提供一种高度等级引导的单视角遥感影像建筑高度估计装置，参见图6所示，该装置包括以下部分：样本数据集确定模块610，用于获取高分辨率光学卫星遥感影像以及归一化数字表面模型，对归一化数字表面模型进行归一化处理并标记不同的高度等级，裁切光学影像和归一化处理后的归一化数字表面模型得到样本数据集；模型训练模块620，用于将样本数据集中的光学影像输入到预先搭建的高度等级
引导的建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型；预先搭建的高度等级引导的建筑高度估计模型包括共享特征提取器和预设个数的解码器，解码器用于高度等级分类和高度回归；建筑高度估计模块630，用于将待预测的高分辨率光学影像输入至目标建筑高度估计模型，得到高度等级类别预测值和建筑高度预测值，对高度等级类别预测值满足第一阈值的区域以及建筑高度预测值小于第二阈值的区域进行抑制，得到最终的高度预测结果。
[0054]
在一可行的实施方式中，上述样本数据集确定模块610，还用于：对归一化数字表面模型取自然对数，并采用极大值归一化进行预设范围映射；基于建筑的高度将归一化数字表面模型逐像素分类，每种类别分别标记为不同的高度分类标签；将光学影像、归一化的归一化数字表面模型以及高度分类标签裁剪到固定大小，得到样本数据集。
[0055]
在一可行的实施方式中，共享特征提取器包括预设尺度的卷积单元，每个卷积单元通过降采样模块连接；上述装置还包括，特征提取模块，用于：将样本数据集中的光学影像输入第一降采样模块和第一卷积单元，得到第一特征图；将第一特征图输入到第二降采样模块和第二卷积单元，得到第二特征图；以此类推，直至每个卷积单元均计算完毕，得到第n特征图；对第一特征图、第二特征图、
……
、第n特征图分别进行层归一化，得到每个特征图对应的特征信息。
[0056]
在一可行的实施方式中，每个卷积单元包括多个卷积模块，每个卷积单元内的卷积模块级联连接，卷积模块为倒瓶颈的可分离卷积残差结构；特征图x首先经过深度卷积，然后经过两层逐点卷积得到特征图x1，x1与原特征x相加，输入到下一卷积模块或降采样模块。深度卷积后接层归一化，两个逐点卷积之间通过gelu激活函数和全局响应归一化（grn）连接。第一逐点卷积将特征升维到原特征的4倍，第二逐点卷积将特征降到原维度；其中，特征图x为上一卷积模块或降采样模块的输出特征。
[0057]
在一可行的实施方式中，第一卷积单元包括3个卷积模块，第二卷积单元包括3个卷积模块，第三卷积单元包括27个卷积模块，第四卷积单元包括3个卷积模块；相应的，第n特征图为第四特征图。
[0058]
在一可行的实施方式中，预设个数的解码器包括一个高度等级分类解码器和一个高度回归解码器；高度等级分类解码器和高度回归解码器包括结构相同的部分，其中：结构相同的部分包括：首先将第四特征图输入金字塔池化模块，得到第四增强特征；将第三特征图经过1
×
1卷积，与上采样一倍的第四增强特征相加，得到第三增强特征；将第二特征图经过1
×
1卷积进行升维，与上采样一倍的第三增强特征相加，得到第二增强特征；将第一特征图经过1
×
1卷积进行升维，与上采样一倍的第二增强特征相加，得到
第一增强特征；将第二增强特征、第三增强特征和第四增强特征上采样到与第一增强特征相同大小，在通道维拼接，通过卷积融合多尺度特征，并将融合特征进行上采样还原；其中，高度等级分类解码器和高度回归解码器结构相同部分不共享模型参数。
[0059]
在一可行的实施方式中，高度等级分类解码器和高度回归解码器还包括结构不同的部分，包括：高度等级分类解码器和高度回归解码器用于分别将融合特征降维到n类和1类，高度回归解码器连接sigmoid激活函数，将输出限定在预设区间范围。
[0060]
在一可行的实施方式中，上述模型训练模块620，还用于：将样本数据集中的预设数量的光学遥感样本进行几何和色彩增强；将增强后的数据样本输入到预先搭建的高度等级引导的建筑高度估计模型，得到高度等级分类得分以及归一化的高度预测值；分别计算高度等级分类得分和归一化的高度预测值与样本中的真实值的差异度；根据差异度和预设优化器对模型中的参数进行优化，得到优化后的建筑高度估计模型；迭代计算上述步骤，直至完成预设轮数次模型参数更新，得到目标建筑高度估计模型。
[0061]
在一可行的实施方式中，上述建筑高度估计模块630，还用于：将待预测的高分辨率光学影像按照预设的步长划分到预设窗口大小的影像块，将影像块输入至目标建筑高度估计模型，得到高度等级类别分数和归一化的高度估计值；基于归一化高度值进行高度数值还原，得到初始高度预测值；将高度等级类别分数经过argmax函数确定高度等级类别预测值，将高度等级类别预测结果中满足第一阈值的区域以及初始高度预测值小于第二阈值的区域进行抑制，得到当前影像块的高度预测值；迭代计算上述步骤，直至待预测的高分辨率光学影像被全部覆盖，得到最终的高度预测结果。
[0062]
本技术实施例提供的高度等级引导的单视角遥感影像建筑高度估计装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，高度等级引导的单视角遥感影像建筑高度估计装置的实施例部分未提及之处，可参考前述高度等级引导的单视角遥感影像建筑高度估计方法实施例中相应内容。
[0063]
本技术实施例还提供了一种电子设备，如图7所示，为该电子设备的结构示意图，其中，该电子设备100包括处理器71和存储器70，该存储器70存储有能够被该处理器71执行的计算机可执行指令，该处理器71执行该计算机可执行指令以实现上述任一项高度等级引导的单视角遥感影像建筑高度估计方法。
[0064]
在图7示出的实施方式中，该电子设备还包括总线72和通信接口73，其中，处理器71、通信接口73和存储器70通过总线72连接。
[0065]
其中，存储器70可能包含高速随机存取存储器（ram，random access memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口73（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通
信连接，可以使用互联网，广域网，本地网，城域网等。总线72可以是isa（industry standard architecture，工业标准体系结构）总线、pci（peripheral component interconnect，外设部件互连标准）总线或eisa（extended industry standard architecture，扩展工业标准结构）总线等。所述总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0066]
处理器71可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器71读取存储器中的信息，结合其硬件完成前述实施例的高度等级引导的单视角遥感影像建筑高度估计方法的步骤。
[0067]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述高度等级引导的单视角遥感影像建筑高度估计方法，具体实现可参见前述方法实施例，在此不再赘述。
[0068]
本技术实施例所提供的高度等级引导的单视角遥感影像建筑高度估计方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0069]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本技术的范围。
[0070]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0071]
在本技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该
发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0072]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种高度等级引导的单视角遥感影像建筑高度估计方法，其特征在于，包括：获取高分辨率光学卫星遥感影像以及归一化数字表面模型，对所述归一化数字表面模型进行归一化处理并标记不同的高度等级，裁切光学影像和归一化处理后的归一化数字表面模型得到样本数据集；将所述样本数据集中的光学影像输入到预先搭建的高度等级引导的建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型；所述预先搭建的高度等级引导的建筑高度估计模型包括共享特征提取器和预设个数的解码器，解码器用于高度等级分类和高度回归；将待预测的高分辨率光学影像输入至目标建筑高度估计模型，得到高度等级类别预测值和建筑高度预测值，对高度等级类别预测值满足第一阈值的区域以及建筑高度预测值小于第二阈值的区域进行抑制，得到最终的高度预测结果。2.根据权利要求1所述的高度等级引导的单视角遥感影像建筑高度估计方法，其特征在于，对所述归一化数字表面模型进行归一化处理并标记不同的高度等级，裁切光学影像和归一化处理后的归一化数字表面模型得到样本数据集，包括：对所述归一化数字表面模型取自然对数，并采用极大值归一化进行预设范围映射；基于建筑的高度将所述归一化数字表面模型逐像素分类，每种类别分别标记为不同的高度分类标签；将光学影像、归一化的归一化数字表面模型以及高度分类标签裁剪到固定大小，得到样本数据集。3.根据权利要求1所述的高度等级引导的单视角遥感影像建筑高度估计方法，其特征在于，所述共享特征提取器包括预设尺度的卷积单元，每个卷积单元通过降采样模块连接；所述方法还包括：将所述样本数据集中的光学影像输入第一降采样模块和第一卷积单元，得到第一特征图；将所述第一特征图输入到第二降采样模块和第二卷积单元，得到第二特征图；以此类推，直至每个卷积单元均计算完毕，得到第n特征图；对所述第一特征图、第二特征图、
……
、第n特征图分别进行层归一化，得到每个特征图对应的特征信息。4.根据权利要求3所述的高度等级引导的单视角遥感影像建筑高度估计方法，其特征在于，每个卷积单元包括多个卷积模块，每个卷积单元内的卷积模块级联连接，卷积模块为倒瓶颈的可分离卷积残差结构；特征图x首先经过深度卷积，然后经过两层逐点卷积得到特征图x1，x1与原特征x相加，输入到下一卷积模块或降采样模块；深度卷积后接层归一化，两个逐点卷积之间通过gelu激活函数和全局响应归一化（grn）连接；第一逐点卷积将特征升维到原特征的4倍，第二逐点卷积将特征降到原维度；其中，特征图x为上一卷积模块或降采样模块的输出特征。5.根据权利要求3或4所述的高度等级引导的单视角遥感影像建筑高度估计方法，其特征在于，第一卷积单元包括3个卷积模块，第二卷积单元包括3个卷积模块，第三卷积单元包括27个卷积模块，第四卷积单元包括3个卷积模块；相应的，所述第n特征图为第四特征图。
6.根据权利要求5所述的高度等级引导的单视角遥感影像建筑高度估计方法，其特征在于，预设个数的解码器包括一个高度等级分类解码器和一个高度回归解码器；所述高度等级分类解码器和高度回归解码器包括结构相同的部分，其中：结构相同的部分包括：首先将所述第四特征图输入金字塔池化模块，得到第四增强特征；将第三特征图经过1
×
1卷积，与上采样一倍的第四增强特征相加，得到第三增强特征；将第二特征图经过1
×
1卷积进行升维，与上采样一倍的第三增强特征相加，得到第二增强特征；将第一特征图经过1
×
1卷积进行升维，与上采样一倍的第二增强特征相加，得到第一增强特征；将第二增强特征、第三增强特征和第四增强特征上采样到与第一增强特征相同大小，在通道维拼接，通过卷积融合多尺度特征，并将融合特征进行上采样还原；其中，所述高度等级分类解码器和高度回归解码器结构相同部分不共享模型参数。7.根据权利要求6所述的高度等级引导的单视角遥感影像建筑高度估计方法，其特征在于，所述高度等级分类解码器和高度回归解码器还包括结构不同的部分，包括：所述高度等级分类解码器和高度回归解码器用于分别将融合特征降维到n类和1类，高度回归解码器连接sigmoid激活函数，将输出限定在预设区间范围。8.根据权利要求1所述的高度等级引导的单视角遥感影像建筑高度估计方法，其特征在于，将所述样本数据集中的光学影像输入到预先搭建的高度等级引导的建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型，包括：将所述样本数据集中的预设数量的光学遥感样本进行几何和色彩增强；将增强后的数据样本输入到预先搭建的高度等级引导的建筑高度估计模型，得到高度等级分类得分以及归一化的高度预测值；分别计算所述高度等级分类得分和所述归一化的高度预测值与样本中的真实值的差异度；根据所述差异度和预设优化器对模型中的参数进行优化，得到优化后的建筑高度估计模型；迭代计算上述步骤，直至完成预设轮数次模型参数更新，得到目标建筑高度估计模型。9.根据权利要求1所述的高度等级引导的单视角遥感影像建筑高度估计方法，其特征在于，将待预测的高分辨率光学影像输入至目标建筑高度估计模型，得到高度等级类别预测值和建筑高度预测值，对高度等级类别预测值满足第一阈值的区域以及建筑高度预测值小于第二阈值的区域进行抑制，得到最终的高度预测结果，包括：将待预测的高分辨率光学影像按照预设的步长划分到预设窗口大小的影像块，将影像块输入至目标建筑高度估计模型，得到高度等级类别分数和归一化的高度估计值；基于所述归一化高度值进行高度数值还原，得到初始高度预测值；将所述高度等级类别分数经过argmax函数确定高度等级类别预测值，将高度等级类别预测结果中满足第一阈值的区域以及初始高度预测值小于第二阈值的区域进行抑制，得到当前影像块的高度预测值；
迭代计算上述步骤，直至所述待预测的高分辨率光学影像被全部覆盖，得到最终的高度预测结果。10.一种高度等级引导的单视角遥感影像建筑高度估计装置，其特征在于，包括：样本数据集确定模块，用于获取高分辨率光学卫星遥感影像以及归一化数字表面模型，对所述归一化数字表面模型进行归一化处理并标记不同的高度等级，裁切光学影像和归一化处理后的归一化数字表面模型得到样本数据集；模型训练模块，用于将所述样本数据集中的光学影像输入到预先搭建的高度等级引导的建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型；所述预先搭建的高度等级引导的建筑高度估计模型包括共享特征提取器和预设个数的解码器，解码器用于高度等级分类和高度回归；建筑高度估计模块，用于将待预测的高分辨率光学影像输入至目标建筑高度估计模型，得到高度等级类别预测值和建筑高度预测值，对高度等级类别预测值满足第一阈值的区域以及建筑高度预测值小于第二阈值的区域进行抑制，得到最终的高度预测结果。

技术总结
本申请提供了一种高度等级引导的单视角遥感影像建筑高度估计方法和装置，涉及建筑物高度估计技术领域，包括：获取高分辨率光学卫星遥感影像以及归一化数字表面模型，对其进行预处理得到样本数据集；将样本数据集中的光学影像输入到建筑高度估计模型，并将预测值分别与高度等级类别及高度值计算损失，迭代优化模型参数，得到训练好的目标建筑高度估计模型；将待预测的高分辨率光学影像输入至目标建筑高度估计模型，得到高度等级类别预测值和建筑高度预测值，对高度等级类别预测值满足第一阈值的区域以及建筑高度预测值小于第二阈值的区域进行抑制，得到最终的高度预测结果。本申请能够提升单视角遥感影像建筑物高度估计的鲁棒性和精度。鲁棒性和精度。鲁棒性和精度。


技术研发人员：陆超然 王宇翔 张攀 沈均平
受保护的技术使用者：航天宏图信息技术股份有限公司
技术研发日：2023.06.28
技术公布日：2023/8/1