基于机载LiDAR与星载多光谱影像融合的复杂地形分析方法

基于机载lidar与星载多光谱影像融合的复杂地形分析方法
技术领域
1.本发明属于地形分析技术领域，具体涉及一种基于机载lidar与星载多光谱影像融合的复杂地形分析方法。


背景技术：

2.lidar(light detection and ranging，激光雷达)是未来信息化体系作战不可或缺的“侦察兵”，凭借分辨率高、隐蔽性好、抗有源干扰能力强、低空探测性能好、体积小、质量轻等优势，其在军事领域中已被广泛引用。然而，随着战场信息化的演变及实景作战的复杂多变性，有目的性、针对性的伪装形式更加多样化，单一数据的复杂环境下三维地形构建逐渐不能满足实际需求，动态获取实景信息和动态呈现环境信息也成为了掌握全局战况的关键。动态实景与热红外信息加入到复杂环境三维地形构建中，将会使复杂环境下信息更加丰富，从而更有利于实际工作安排与统筹。因此，研究基于机载动态lidar数据与星载静态多光谱图像配准、融合的复杂地形分析具有巨大的实际应用价值。
3.目前，lidar与多光谱图像的配准技术主要包括基于互信息的配准方法、基于特征的配准方法、基于强度的配准方法等。具体地，基于互信息的配准方法主要针对影像的灰度信息、梯度信息等进行配准，基于特征的配准方法主要通过对图像中特殊点、线、面的提取实现配准，基于强度的配准方法主要是利用高程值或强度值将lidar点云映射为二维影像，再利用较为成熟的二维图像配准方法进行点云数据与光学影像之间的配准。在一定程度上，以上方法在点云数据与多光谱图像匹配时都有较好的表现，通过选择配准性能较好的方法，根据需求进行lidar与多光谱图像中特定区域进行融合，将使复杂环境下实际情况更加凸显、更有利于掌控全局。
4.多源数据融合一直是相关领域的研究热点。随着lidar技术的发展，点云数据与光学遥感数据的融合引起了广泛关注。现有技术已经将深度学习应用于数据融合中并取得了一定的研究成果。其中，特征级融合是目前使用最为广泛的方法之一，该方法提取光学遥感图像的光谱特征、空间特征和lidar点云数据的高程特征并进行融合；另一种方法使用较为普遍的融合策略为决策级融合，这种方法广泛应用于多源数据图像分类中，主要是依据不同数据的不同特征进行分类后，通过决策机制或权重机制进行融合，以获得较优的分类结果。
5.上述方法没有实现场景动态配准与融合，没有进行选择性的特定区域的异源图像匹配，算法复杂度高、工作量较大；信息丰富度具有局限性，不能满足实际需求。


技术实现要素：

6.为了解决现有技术中存在的上述问题，本发明提供了一种基于机载lidar与星载多光谱影像融合的复杂地形分析方法。本发明要解决的技术问题通过以下技术方案实现：
7.本发明提供一种基于机载lidar与星载多光谱影像融合的复杂地形分析方法，包括：
8.利用星载传感器获取多光谱影像并利用机载激光雷达获取点云数据，所述点云数据覆盖的区域被包含于所述多光谱影像覆盖的区域中；
9.基于点云数据生成点云深度图；
10.对所述点云深度图与所述多光谱影像进行粗配准，得到粗配准点对；
11.利用粗配准点对及所述点云数据的高程值，建立二维至三维的转换模型；
12.以所述点云深度图与所述多光谱影像的互信息最大值为测度，通过搜索算法确定精配准系数；
13.根据所述精配准系数和所述转换模型，对所述多光谱影像进行转换，得到转换影像；
14.将所述转换影像与所述点云数据进行动态特征融合，生成融合数据；
15.生成等高线地形图并显示在所述多光谱影像中，与所述融合数据协同进行分析。
16.在本发明的一个实施例中，基于点云数据生成点云深度图的步骤之前，还包括：
17.分别对所述多光谱影像及所述点云数据进行预处理。
18.在本发明的一个实施例中，分别对所述多光谱影像及所述点云数据进行预处理的步骤，包括：
19.对所述多光谱影像进行辐射定标、大气校正及几何校正，得到预处理后的多光谱影像；
20.利用滤波算法对所述点云进行滤波去噪处理，并对滤波后的点云数据进行下采样，得到预处理后的点云数据；所述滤波算法为中通滤波、带通滤波、双边滤波、统计滤波、半径滤波、条件滤波和高斯滤波中的至少一种。
21.在本发明的一个实施例中，以所述点云深度图与所述多光谱影像的互信息最大值为测度，通过搜索算法确定配准系数的步骤，包括：
22.计算所述点云深度图和所述多光谱影像的互信息；
23.获取对所述点云深度图与所述多光谱影像进行粗配准时的粗配准系数后，将所述粗配准系数作为初始配准系数代入所述转换模型，并利用powell算法在预设范围内搜索；
24.利用每轮搜索到的配准系数对所述多光谱影像进行变换，并计算所述点云深度图和变换后的多光谱影像的互信息；
25.当所述互信息达到最大时，将对应的配准系数确定为精配准系数。
26.在本发明的一个实施例中，计算所述点云深度图和变换后的多光谱影像的互信息的步骤，包括：
27.分别计算所述变换后的多光谱影像的边缘信息熵h(m)以及所述点云深度图的边缘信息熵h(d)；
28.基于所述变换后的多光谱影像的边缘信息熵h(m)和所述点云深度图的边缘信息熵h(d)计算条件信息熵h(dm)，并根据所述条件信息熵h(dm)计算h(m,d)；
29.根据所述点云深度图的边缘信息熵h(d)、所述变换后的多光谱影像的边缘信息熵h(m)以及h(m,d)，计算变换后的多光谱影像与所述点云深度图之间的互信息i(d；m)：
30.i(d；m)＝h(m)+h(d)-h(m,d)。
31.在本发明的一个实施例中，分别按照如下公式计算所述变换后的多光谱影像的边缘信息熵h(m)以及所述点云深度图的边缘信息熵h(d)：
[0032][0033][0034]
式中，p(
·
)表示离散随机变量概率，m表示所述变换后的多光谱影像，d表示所述点云深度图。
[0035]
在本发明的一个实施例中，将所述转换影像与所述点云数据进行动态特征融合，生成融合数据的步骤，包括：
[0036]
将所述点云数据中的高程信息赋值给对应的多光谱影像，生成融合数据。
[0037]
在本发明的一个实施例中，将所述转换影像与所述点云数据进行动态特征融合，生成融合数据的步骤，包括：
[0038]
将所述点云数据与对应区域的多光谱影像融合，形成将点云数据呈现在多光谱影像上的融合影像。
[0039]
与现有技术相比，本发明的有益效果在于：
[0040]
本发明提供一种基于机载lidar与星载多光谱影像融合的复杂地形分析方法，利用异源数据优势、配准与融合技术，实现机载lidar动态采集数据场景下，与大场景多光谱(含红外数据)图像部分区域动态配准与融合，从而实现了动态点云数据的随采、随传、随配、随融，最终达到以多光谱数据为基础的三维实景地形图动态构建与分析。该方法降低了时间成本，提高了异源数据的配准和融合效率，为复杂场景情况分析提高了可靠的支撑。
[0041]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0042]
图1是本发明实施例提供的基于机载lidar与星载多光谱影像融合的复杂地形分析方法的一种流程图；
[0043]
图2是本发明实施例提供的基于机载lidar与星载多光谱影像融合的复杂地形分析方法的一种流程图；
[0044]
图3是本发明实施例提供的点云数据与多光谱影像的匹配示意图；
[0045]
图4是本发明实施例提供的点云数据与多光谱影像的融合示意图。
具体实施方式
[0046]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0047]
图1是本发明实施例提供的基于机载lidar与星载多光谱影像融合的复杂地形分析方法的一种流程图，图2是本发明实施例提供的基于机载lidar与星载多光谱影像融合的复杂地形分析方法的一种流程图。如图1-2所示，本发明提供一种基于机载lidar与星载多光谱影像融合的复杂地形分析方法，包括：
[0048]
s1、利用星载传感器获取多光谱影像并利用机载激光雷达获取点云数据，点云数据覆盖的区域被包含于多光谱影像覆盖的区域中；
[0049]
s2、基于点云数据生成点云深度图；
[0050]
s3、对点云深度图与多光谱影像进行粗配准，得到粗配准点对；
[0051]
s4、利用粗配准点对及点云数据的高程值，建立二维至三维的转换模型；
[0052]
s5、以点云深度图与多光谱影像的互信息最大值为测度，通过搜索算法确定精配准系数；
[0053]
s6、根据精配准系数和转换模型，对多光谱影像进行转换，得到转换影像；
[0054]
s7、将转换影像与点云数据进行动态特征融合，生成融合数据；
[0055]
s8、生成等高线地形图并显示在多光谱影像中，与融合数据协同进行分析。本实施例中，首先利用星载传感器获取大场景下的多光谱影像，并利用机载激光雷达获取多区域的点云数据，一方面，由于多光谱影像获取过程中太阳辐射会通过大气以某种方式入射到物体表面，之后再反射回星载传感器，因此受到大气气溶胶、地形和邻近地物等因素的影响，多光谱影像中包含有物体表面、大气及太阳等多方面的综合信息；另一方面，由于设备、操作者经验及环境因素等影响，获取的点云数据中往往包含大量孤立点、离散点以及部分空洞等情况。可见，在获得多光谱影像及点云数据后，还需要对二者进行预处理。
[0056]
进一步地，点云深度图的生成是点云数据与多光谱影像配准处理的重要过程，步骤s2中，可通过第三方软件生成如cloud compare，也可采用常用于点云深度图生成的模型“针孔”模拟成像模型。其中，利用“针孔”模拟成像时，假设多光谱影像与点云数据已经精确配准，且点云数据能够完整的构建dsm(digital surface model，数字地表模型)，dsm指包含地表建筑物、桥梁和树木等高度的地面高程模型，通过依据共线方程与图像方位元素，以高程(深度距离)作为像素灰度值取值依据，可生成与多光谱影像一致的模拟灰度图像，即点云深度图。受多方面影响，这种模拟灰度图像与多光谱图像在视觉上存在差距，但在地物几何形状及位置、图像分辨率等方面较为相近。
[0057]
步骤s3-s5中，利用sift算法对点云深度图与多光谱影像进行粗配准，得到粗配准点对，并利用粗配准点对及点云数据的高程信息即z坐标，建立二维至三维的转换模型，以对多光谱影像进行变换，随后利用powell算法搜索得到转换模型的精配准系数。
[0058]
最后，利用精配准系数对多光谱影像进行变换，得到转换影像，进一步将点云数据及多光谱影像进行动态特征融合，利用arcgis、图形地球、lidar360等软件生成等高线地形图后，将其显示在预处理后的多光谱影像中，并与融合数据协同分类分析，以供相关人员对复杂环境如战场进行协调分析。
[0059]
应当理解，本实施例通过利用无人机采集的动态lidar点云数据结合静态多光谱数据、数字高程数据，可根据需要选择地表几何特征地形因子和水系特征地形因子，如地表几何特征地形因子：平均坡度、平均坡度变化、粗糙指数、地形高程比、地势、高程偏差；水系特征地形因子：水网密度、崎岖数、河网分叉度、结构、平均河谷深度。可选地，采用动态分层分类建立分类树，通过多级分类技术快速获得相关区域的地形特点，如目标区域内地形起伏程度、区域内河网密度及其与道路分布情况、周围居民分布特点和土壤、植被属性及分布状况等，通过定量计算获得相关类别的具体面积、长度等属性信息。
[0060]
可选地，基于点云数据生成点云深度图的步骤之前，还包括：
[0061]
分别对多光谱影像及所述点云数据进行预处理。
[0062]
示例性地，分别对多光谱影像及点云数据进行预处理的步骤，包括：
[0063]
对多光谱影像进行辐射定标、大气校正及几何校正，得到预处理后的多光谱影像；
[0064]
利用滤波算法对点云进行滤波去噪处理，并对滤波后的点云数据进行下采样，得到预处理后的点云数据；滤波算法为中通滤波、带通滤波、双边滤波、统计滤波、半径滤波、条件滤波和高斯滤波中的至少一种。
[0065]
具体而言，多光谱影像的预处理过程包括辐射定标、大气校正、几何校正等，示例性地，辐射定标是将多光谱影像的数字量化值转化为辐射亮度值、反射率或表面温度等物理量的处理过程；大气校正可以将某一物体表面的反射信息从大气和太阳的信息中分离出来，以便了解该物体表面的光谱属性；对于星载传感器的性能差异及运载工具姿态变化和目标物等原因引起的图像畸变，可以通过利用几何校正可消除或改善。
[0066]
对于点云数据，本实施例对其进行滤波去噪处理及下采样，如中通滤波算法、带通滤波算法、双边滤波算法、统计滤波算法、半径滤波算法、条件滤波算法、高斯滤波算法等。进一步地，考虑到获取的异源数据由不同传感器成像，分辨率也不同，为保证点云数据与多光谱能够更好的配准，本实施例对滤波后的点云数据进行下采样。
[0067]
图3是本发明实施例提供的点云数据与多光谱影像的匹配示意图。需要说明的是，本实施例对点云数据进行下采样而未对多光谱图像进行上采样，这是因为当获取多个多种分辨率的点云数据时，只对相应的点云数据下采样至多光谱影像分辨率即可，且如图3所示，可将多个点云数据同时匹配至同一多光谱影像中。对点云数据进行下采样时，如获取n种分辨率的点云数据，进行n次下采样之后与预处理后的多光谱影像进行配准，那么也将有1个配准结果。若将多光谱影像进行上采样，则需要进行n种分辨率的多光谱数据上采样以使其分辨率与所获取的点云数据相同，再进行配准后，将有n个配准结果(因为分辨率有n种)，这不利于快速查看不同区域的三维地形实景图，且整体处理时间成本将显著增加。
[0068]
可选地，上述步骤s5中，以点云深度图与多光谱影像的互信息最大值为测度，通过搜索算法确定精配准系数的步骤，包括：
[0069]
s501、计算点云深度图和所述多光谱影像的互信息；
[0070]
s502、获取对点云深度图与多光谱影像进行粗配准时的粗配准系数后，将粗配准系数作为初始配准系数代入转换模型，并利用powell算法在预设范围内搜索；
[0071]
s503、利用每轮搜索到的配准系数对多光谱影像进行变换，并计算点云深度图和变换后的多光谱影像的互信息；
[0072]
s504、当互信息达到最大时，将对应的配准系数确定为精配准系数。
[0073]
可选地，计算点云深度图和变换后的多光谱影像的互信息的步骤，包括：
[0074]
分别计算变换后的多光谱影像的边缘信息熵h(m)以及点云深度图的边缘信息熵h(d)；
[0075]
基于变换后的多光谱影像的边缘信息熵h(m)和点云深度图的边缘信息熵h(d)计算条件信息熵h(dm)，并根据条件信息熵h(dm)计算h(m,d)；
[0076]
根据点云深度图的边缘信息熵h(d)、变换后的多光谱影像的边缘信息熵h(m)以及h(m,d)，计算点云深度图与变换后的多光谱影像之间的互信息i(d；m)：
[0077]
i(d；m)＝h(m)+h(d)-h(m,d)。
[0078]
具体来说，分别按照如下公式计算上述变换后的多光谱影像的边缘信息熵h(m)以及点云深度图的边缘信息熵h(d)：
[0079][0080][0081]
式中，p(
·
)表示离散随机变量概率，m表示变换后的多光谱影像，d表示点云深度图。
[0082]
上述步骤s7中，将转换影像与点云数据进行动态特征融合，生成融合数据的步骤，包括：
[0083]
将点云数据中的高程信息赋值给精配准后的对应区域的多光谱影像，生成融合数据。
[0084]
在本发明的其他实施方式中，将转换影像与点云数据进行动态特征融合，生成融合数据的步骤，还可以包括：
[0085]
将点云数据与对应区域的多光谱影像融合，形成将点云数据呈现在多光谱影像上的融合影像。
[0086]
图4是本发明实施例提供的点云数据与多光谱影像的融合示意图。具体而言，如图4所示，对于点云数据与多光谱影像的融合，存在两种形式：一种是更加关注lidar点云数据的高程信息，因此可将对应点的高程信息赋值给对应的多光谱数据；另一种是将lidar点云数据与对应区域的多光谱数据融合，形成lidar点云数据可呈现在多光谱数据上。
[0087]
通过上述各实施例可知，本发明的有益效果在于：
[0088]
本发明提供一种基于机载lidar与星载多光谱影像融合的复杂地形分析方法，利用异源数据优势、配准与融合技术，实现机载lidar动态采集数据场景下，与大场景多光谱(含红外数据)图像部分区域动态配准与融合，从而实现了动态点云数据的随采、随传、随配、随融，最终达到以多光谱数据为基础的三维实景地形图动态构建与分析。该方法降低了时间成本，提高了异源数据的配准和融合效率，为复杂场景情况分析提高了可靠的支撑。
[0089]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0090]
参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0091]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。
[0092]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在
不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

技术特征：
1.一种基于机载lidar与星载多光谱影像融合的复杂地形分析方法，其特征在于，包括：利用星载传感器获取多光谱影像并利用机载激光雷达获取点云数据，所述点云数据覆盖的区域被包含于所述多光谱影像覆盖的区域中；基于点云数据生成点云深度图；对所述点云深度图与所述多光谱影像进行粗配准，得到粗配准点对；利用粗配准点对及所述点云数据的高程值，建立二维至三维的转换模型；以所述点云深度图与所述多光谱影像的互信息最大值为测度，通过搜索算法确定精配准系数；根据所述精配准系数和所述转换模型，对所述多光谱影像进行转换，得到转换影像；将所述转换影像与所述点云数据进行动态特征融合，生成融合数据；生成等高线地形图并显示在所述多光谱影像中，与所述融合数据协同进行分析。2.根据权利要求1所述的基于机载lidar与星载多光谱影像融合的复杂地形分析方法，其特征在于，基于点云数据生成点云深度图的步骤之前，还包括：分别对所述多光谱影像及所述点云数据进行预处理。3.根据权利要求2所述的基于机载lidar与星载多光谱影像融合的复杂地形分析方法，其特征在于，分别对所述多光谱影像及所述点云数据进行预处理的步骤，包括：对所述多光谱影像进行辐射定标、大气校正及几何校正，得到预处理后的多光谱影像；利用滤波算法对所述点云进行滤波去噪处理，并对滤波后的点云数据进行下采样，得到预处理后的点云数据；所述滤波算法为中通滤波、带通滤波、双边滤波、统计滤波、半径滤波、条件滤波和高斯滤波中的至少一种。4.根据权利要求1所述的基于机载lidar与星载多光谱影像融合的复杂地形分析方法，其特征在于，以所述点云深度图与所述多光谱影像的互信息最大值为测度，通过搜索算法确定配准系数的步骤，包括：计算所述点云深度图和所述多光谱影像的互信息；获取对所述点云深度图与所述多光谱影像进行粗配准时的粗配准系数后，将所述粗配准系数作为初始配准系数代入所述转换模型，并利用powell算法在预设范围内搜索；利用每轮搜索到的配准系数对所述多光谱影像进行变换，并计算所述点云深度图和变换后的多光谱影像的互信息；当所述互信息达到最大时，将对应的配准系数确定为精配准系数。5.根据权利要求4所述的基于机载lidar与星载多光谱影像融合的复杂地形分析方法，其特征在于，计算所述点云深度图和变换后的多光谱影像的互信息的步骤，包括：分别计算所述变换后的多光谱影像的边缘信息熵h(m)以及所述点云深度图的边缘信息熵h(d)；基于所述变换后的多光谱影像的边缘信息熵h(m)和所述点云深度图的边缘信息熵h(d)计算条件信息熵h(d|m)，并根据所述条件信息熵h(d|m)计算h(m,d)；根据所述点云深度图的边缘信息熵h(d)、所述变换后的多光谱影像的边缘信息熵h(m)以及h(m,d)，计算变换后的多光谱影像与所述点云深度图之间的互信息i(d；m)：i(d；m)＝h(m)+h(d)-h(m,d)。
6.根据权利要求5所述的基于机载lidar与星载多光谱影像融合的复杂地形分析方法，其特征在于，分别按照如下公式计算所述变换后的多光谱影像的边缘信息熵h(m)以及所述点云深度图的边缘信息熵h(d)：点云深度图的边缘信息熵h(d)：式中，p(
·
)表示离散随机变量概率，m表示所述变换后的多光谱影像，d表示所述变换后的点云深度图。7.根据权利要求1所述的基于机载lidar与星载多光谱影像融合的复杂地形分析方法，其特征在于，将所述转换影像与所述点云数据进行动态特征融合，生成融合数据的步骤，包括：将所述点云数据中的高程信息赋值给对应的多光谱影像，生成融合数据。8.根据权利要求1所述的基于机载lidar与星载多光谱影像融合的复杂地形分析方法，其特征在于，将所述转换影像与所述点云数据进行动态特征融合，生成融合数据的步骤，包括：将所述点云数据与对应区域的多光谱影像融合，形成将点云数据呈现在多光谱影像上的融合影像。

技术总结
本发明公开了一种基于机载LiDAR与星载多光谱影像融合的复杂地形分析方法，包括：获取多光谱影像及点云数据；基于点云数据生成深度图；对深度图与多光谱影像进行粗配准，得到粗配准点对；利用粗配准点对及点云数据的高程值，建立二维至三维的转换模型；以点云深度图与多光谱影像的互信息最大值为测度，通过搜索算法确定精配准系数；根据精配准系数和转换模型对多光谱影像进行转换，得到转换影像；将转换影像与点云数据进行动态特征融合，生成融合数据；利用高程信息生成等高线地形图并显示在多光谱影像中；借助等高线地形图与融合数据协同对复杂场景进行分析。本发明降低了时间成本，提高了异源数据的配准和融合效率，为复杂场景情况分析提供了支撑。场景情况分析提供了支撑。场景情况分析提供了支撑。


技术研发人员：冯伟 张亚丽 全英汇 王硕 宋怡佳 邹欣杉 龙以君 高新婷
受保护的技术使用者：西安电子科技大学
技术研发日：2023.04.28
技术公布日：2023/8/28