一种基于堆叠式网格变换的点云补全方法

1.本发明属于激光扫描数据处理技术领域，尤其涉及一种基于堆叠式网格变换的点云补全方法。


背景技术：

2.随着软硬件革命的发展，点云数据已成为构建未来智能社会不可或缺的元素。出现了一系列基于点数据的数据集，例如，对rgb-d视频数据进行采样的scannet，以及对原始点数据进行采样以帮助研究人员进行有意义的实验的modelnet和kitti。由于这些数据集，还实现了各种点云算法。然而，在点云采集的过程中，会不可避免的遇到一些因素，例如有限的视图、传感器分辨率等导致的不均匀分布和局部形状，工作人员的疏忽等，这在使用这些数据进行分类或分割时不可避免地导致精度损失。因此，需要在上游任务提出中补全、去噪和重采样等后处理方法。
3.在深度学习于3d处理领域取得突破的同时，很多基于深度学习的方法，如基于体素化，基于pointnet等编-解码架构的方法能够在点云补全任务中取得一定程度的效果。然而，这些方法都无法提取合理的特征，只能重建形状细节。根本原因在于，在构建完整的点云时，模型需要具备以下必要条件：首先，它必须能够推断点云的不完整部分。其次，在重建过程中需要补全详细的形状。并且该模型必须尽可能小而有效，并且被直接部署到采集设备上。坏消息是，目前的工作都无法完全解决这些问题，要么完成粗略的形状细节，要么需要大量计算资源。因此，需要提出能够兼顾并做好以上几点问题的方法。


技术实现要素：

4.有鉴于此，本发明提出了一种基于堆叠式网格变换的点云补全方法，旨在解决现有技术无法通过有效特征提取来完成高精度点云补全任务的问题。
5.本发明采用的技术方案为：
6.一种基于堆叠式网格变换的点云补全方法，该方法包括以下步骤：
7.步骤s1，获取点云数据，并进行数据预处理，包括归一化(对点云数据进行重新整形为目标输入大小，例如n)，格式化等操作；
8.步骤s2，训练一个编码器，该编码器通过传入一个批次的点云数据，经过高维空间变换后得到高维特征空间中的特征映射，并将其下采样为特征编码；
9.步骤s3，对特征编码进行仿射变换，基于堆叠式的网格变换解码器并行上采样特征编码，获取补全的粗糙点云；
10.步骤s4，通过优化模块对粗糙点云进行三维空间的膨胀操作，平均化点云采样空间的点密度，获得完整点云结果。
11.优选的，步骤s1中，在获取到的点云格式不符合输入格式时，会采用点云采样算法来保证一致性。
12.优选的，步骤s2中，所述高维空间变换包括：基于一维卷积的点特征空间变换，基
于二维卷积的图像特征空间变换，基于聚合特征的池化操作，根据该高维空间变换对点云进行点维度和图像维度的特征提取，获取高度聚合的特征编码。
13.优选的，步骤s2具体包括：
14.对初始的维度为n
×
3的点云数据，进行点数量方向的一维卷积，使其落在点坐标方向的投影作为空间关系的表示，得到中间特征；
15.采用knn聚类算法(k-nearest neighbor)，对中间特征进行点聚类处理，获取点数量大小的聚类映射集，再对该聚类映射集进行二维卷积滤波，得到高维特征关系；
16.对得到的高维特征关系，进行降维度的池化操作，将点坐标空间映射为线性空间，获得低维度高聚合的特征编码。
17.优选的，步骤s3中，对特征编码进行仿射变换具体为：
18.对特征编码在多尺度特征空间进行高维映射，该高维映射的维度大小在上采样后的通道叠加与输入点云的尺寸相匹配；
19.堆叠式的网格变换解码器包括：基于一维卷积的恒等映射变换和基于注意力机制的特征压缩。
20.优选的，步骤s4中，优化模块将缺失点云与粗糙点云进行通道拼接，此过程中造成的点重叠问题可由最小密度采样算法(minimal density sampling)解决。其次，进行通道划分，将通道划分后的点向量集合作为多尺度特征映射依据，在基于一维卷积的自编码器中进行多尺度特征映射，获得映射后的多尺度坐标点集，最后逆向通道划分，使点集在空间维度逐一叠加，得到最终的完整点云结果。
21.即优化模块将缺失点云与粗糙点云进行通道拼接；然后进行通道划分(通过通道级分割获取到多尺度特征向量)，将通道划分后的点向量集合作为多尺度特征映射依据，在基于一维卷积的自编码器中进行多尺度特征映射，获得映射后的多尺度坐标点集，最后逆向通道划分，使点集在空间维度逐一叠加，得到最终的完整点云结果。
22.优选的，所述编码器算法为：
[0023][0024]
其中，c()表示基于边缘卷积构造的卷积模块，mlp()表示基于仿射变换的高维特征空间映射，b()表示基于残差卷积构造的卷积模块，r表示一个集成的编码块，下标i表示构造编码器的编码块标识，即编码器的的层编号，f
i,j
表示第i层的第j个点特征，n表示点特征数量，f
i,n
表示第i层的n点特征。
[0025]
优选的，训练编码器、堆叠式的网格变换解码器和优化模块时，采用的损失函数为：
[0026][0027]
l
rec
＝λ
rdemd
(p
refine
,p
gt
)+λcd
emd
(p
coarse
,p
gt
)
[0028]
其中，s1,s2表示两个三维点云集合，φ表示s1与s2之间的映射关系，φ(x)表示点云集合s1中的任意点x的映射结果，l
rec
表示整体损失，λr、λc分别表示损失d
emd
(p
refine
,p
gt
)和d
emd
(p
coarse
,p
gt
)的权重，pco
arse
表示解码器输出的粗糙点云，p
refine
表示优化模块输出的点云，p
gt
表示真实数据点云。
[0029]
本发明提供的技术方案至少带来如下有益效果：
[0030]
(1)通过边缘卷积获取三维空间的集合特征的同时利用风格编码覆盖更高纬度耦合上下文信息，增强了特征提取在处理复杂场景的下鲁棒性。
[0031]
(2)通过深度网格变换的编码-解码结构，基于堆叠式的点云重建能够在补全点云的过程中获取更高精度的信息与几何细节。
附图说明
[0032]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0033]
图1为本发明实施例提供的一种基于堆叠式网格变换的点云补全方法的流程示意图；
[0034]
图2为本发明基于堆叠风格编码与边缘卷积的点云补全方法、设备和介质第一实施例的功能模块示意图。
[0035]
图3为本发明基于堆叠风格编码与边缘卷积的点云补全方法、设备和介质的其中一种实施例流程示意图。
具体实施方式
[0036]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0037]
本发明实施例提出了一种基于堆叠式网格变换的点云补全方法，基于所设计的编码器增强特征提取，该编码器中，将pointnet的特征提取器应用到深度剩余连接中，可以高效地提取并保留深度潜在特征；提取特征过程中，采用knn最临近点采样算法对点云特征空间进行采样，同时将其视作特征，并运用类似注意力机制的二维图像卷积算法对点云特征进行提取；对于编码器转换后的输出解码为一个基于stylegan(风格编码)特性的有堆叠式的网格变换网络；改进了传统foldingnet编码器的输出瓶颈用于点云特征表示；最后，利用一个细化模块使结果更均匀地分布。
[0038]
作为一种可能的实现方式，本发明实施例提供的一种基于堆叠式网格变换的点云补全方法，包括下列步骤：
[0039]
步骤s10：获取原始点云，并通过采样算法固定点云形状。
[0040]
应当理解的是，点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，根据激光测量原理得到的点云，包括三维坐标和激光反射强度；根据摄影测量原理得到的点云，包括三维坐标和颜色信息；结合激光测量和摄影测量原理得到点云，包括三维坐标、激光反射强度和颜色信息。在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为“点云”。
[0041]
步骤s20：训练一个编码器，经过一系列高维空间变换后得到高维特征空间中的特征映射，并将其下采样为特征编码。通过将特征编码进行仿射变换，利用解码器并行上采样特征编码，处理与获取补全的粗糙点云。即，基于解码器得到的上采样特征编码结果即为得
到的粗糙点云。
[0042]
本发明实施例中，对于编码器，其编码算法表示为：
[0043][0044]
其中，c表示基于边缘卷积构造的卷积模块，mlp表示多层感知机，即基于仿射变换的高维特征空间映射，b表示基于残差卷积构造的卷积模块，r表示一个集成的编码块，i表示构造编码器的编码块标识，f
i,n
表示第i层的n点特征。
[0045]
步骤s30：将粗糙点云进行三维空间的膨胀操作，平均化点云采样空间的点密度，获得完整点云结果。
[0046]
本发明实施例中，对于网络的损失函数，其算法表示为：
[0047][0048]
l
rec
＝λ
rdemd
(p
refine
,p
gt
)+λcd
emd
(p
coarse
,p
gt
)
[0049]
其中，s1,s2表示两个三维点云集合，φ表示s1与s2之间的映射关系，φ(x)表示点云集合s1中的任意点x的映射结果，l
rec
表示整体损失，λ表示损失函数预定义的权值，即λr、λc分别表示损失d
emd
(p
refine
,p
gt
)和d
emd
(p
coarse
,p
gt
)的权重，通常，可限定λr与λc之和为1，pco
arse
表示解码器输出的粗糙点云，p
refine
表示优化后的点云，p
gt
表示真实数据点云。
[0050]
本实施例中，首先，基于训练集的点云数据的点云补全训练基于残差卷积与边缘卷积搭建的三维点云重建网络；其次，利用采样算法膨胀重建后的粗糙点云。最后，基于训练好的模型对缺失点云进行像素级重建。
[0051]
本实施例通过边缘卷积获取三维空间的集合特征的同时利用风格编码覆盖更高纬度耦合上下文信息，增强了特征提取在处理复杂场景的下鲁棒性。通过深度网格变换的编码-解码结构，基于堆叠式的点云重建能够在补全点云的过程中获取更高精度的信息与几何细节。
[0052]
如图2所示，作为一种可能的实现方式，本发明实施例提供的一种基于堆叠式网格变换的点云补全方法的整体网络模型包括：编码器(res-e)、解码器(stacked style folding)和优化模块(stacked refine block)，首先缺失点云partial cloud经过数据处理，变为nx3大小的点集向量(n表示点云的点数量)，被送入名为res-e的编码器中，该编码器注重通过残差连接跨通道特征处理以及运用边缘卷积进行几何特征处理。即res-e编码器包括多个编码块(res-e block，)，从而构成多层集成的编码块，在每个集成的编码块中，输入数据经编码块(res-e block)得到编码块的输出(即ci(f
i,n
))，再将其输入多层感知机mlp，每个mlp的输入还包括当前集成的编码块的输入；将mlp的输出与(res-e block)的输出相加得到当前集成的编码块的输出(即ri)；其中，res-e block为基于边缘卷积构造的卷积模块，例如该res-e block包括两条支路，一条支路包括一个边缘卷积，另一条支路包括三个级连的边缘卷积；多个集成的编码块接入shared mlp(于减少网络的训练参数,实现类似cnn的权值共享机制)，再经池化操作得到编码器的输出(特征编码)，即特征经过池化和压缩得到特征编码。接着，将特征编码送入名为stacked style folding的解码器内进行解码，通过叠加式基于网格变换与风格编码的折叠操作对特征编码进行解码。最后通过名为stacked refine block模块对得到的粗糙点云进行进一步优化。其中，解码器输出的
coarse point与优化模块输出的refined point分别再对真实数据ground truth进行损失函数计算来反向更新模型参数，从而训练模型。
[0053]
此外，本发明实施例还提出一种基于堆叠式网格变换的点云补全装置，如图3所示，该点云补全装置包括：点云获取与处理模块、风格编码与边缘卷积的编码器模块、堆叠式网格变换的解码器模块、堆叠式高精度重建的优化模块。
[0054]
其中，点云获取与处理模块，用于读入点云，并调用一系列处理操作将点云归一化。
[0055]
风格编码与边缘卷积的编码器模块，用于对点云进行高维空间变换，获取特征映射，并转换为特征编码。
[0056]
堆叠式网格变换的解码器模块，用于将特征编码并行上采样为粗糙但完整的点云。
[0057]
堆叠式高精度重建的优化模块，用于在三维空间将粗糙点云进行密度归一化，获取完整的点云结果。
[0058]
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，此处不再赘述。
[0059]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
[0060]
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

技术特征：
1.一种基于堆叠式网格变换的点云补全方法，其特征在于，包括下列步骤：步骤s1，获取点云数据，并进行数据预处理；步骤s2，训练一个编码器，该编码器通过传入一个批次的点云数据，经过高维空间变换后得到高维特征空间中的特征映射，并将其下采样为特征编码；步骤s3，对特征编码进行仿射变换，基于堆叠式的网格变换解码器并行上采样特征编码，获取补全的粗糙点云；步骤s4，通过优化模块对粗糙点云进行三维空间的膨胀操作，平均化点云采样空间的点密度，获得完整点云结果。2.如权利要求1所述的方法，其特征在于，步骤s1中，在获取到的点云格式不符合输入格式时，通过点云采样算法实现输入格式的归一化。3.如权利要求1所述的方法，其特征在于，步骤s2中，所述高维空间变换包括：基于一维卷积的点特征空间变换，基于二维卷积的图像特征空间变换，基于聚合特征的池化操作，根据该高维空间变换对点云进行点维度和图像维度的特征提取，获取高度聚合的特征编码。4.如权利要求3所述的方法，其特征在于，步骤s2具体包括：对初始的维度为n
×
3的点云数据，进行点数量方向的一维卷积，使其落在点坐标方向的投影作为空间关系的表示，得到中间特征；采用knn聚类算法，对中间特征进行点聚类处理，获取点数量大小的聚类映射集，再对该聚类映射集进行二维卷积滤波，得到高维特征关系；对得到的高维特征关系，进行降维度的池化操作，将点坐标空间映射为线性空间，获得低维度高聚合的特征编码。5.如权利要求1所述的方法，其特征在于，步骤s3中，对特征编码进行仿射变换具体为：对特征编码在多尺度特征空间进行高维映射，该高维映射的维度大小在上采样后的通道叠加与输入点云的尺寸相匹配；堆叠式的网格变换解码器包括：基于一维卷积的恒等映射变换和基于注意力机制的特征压缩。6.如权利要求1所述的方法，其特征在于，所述编码器的为：其中，c()表示基于边缘卷积构造的卷积模块，mlp()表示基于仿射变换的高维特征空间映射，b()表示基于残差卷积构造的卷积模块，r表示一个集成的编码块，下标i表示构造编码器的编码块标识，即编码器的的层编号，f
i,j
表示第i层的第j个点特征，n表示点特征数量，f
i,n
表示第i层的n点特征。7.如权利要求1所述的方法，其特征在于，训练编码器、堆叠式的网格变换解码器和优化模块时，采用的损失函数为：l
rec
＝λ
r
d
emd
(p
refine
,p
gt
)+λ
c
d
emd
(p
coarse
,p
gt
)其中，s1,s2表示两个三维点云集合，φ表示s1与s2之间的映射关系，φ(x)表示点云集合
s1中的任意点x的映射结果，l
rec
表示整体损失，λ
r
、λ
c
分别表示损失d
emd
(p
refine
,p
gt
)和d
emd
(p
coarse
,p
gt
)的权重，p
coarse
表示解码器输出的粗糙点云，p
refine
表示优化模块输出的点云，p
gt
表示真实数据点云。

技术总结
本发明公开了一种基于堆叠式网格变换的点云补全方法，属于激光扫描数据处理技术领域。本发明包括：获取原始点云，并通过采样算法固定点云形状，经过一系列高维空间变换后得到高维特征空间中的特征映射，并下采样为特征编码，再利用堆叠式的网格变换解码器获取粗糙点云；对粗糙点云进行三维空间的膨胀操作，平均化点云采样空间的点密度，获得完整点云结果。本发明通过边缘卷积获取三维空间的集合特征的同时利用风格编码覆盖更高纬度耦合上下文信息，增强了特征提取在处理复杂场景的下鲁棒性；通过深度网格变换的编码-解码结构，基于堆叠式的点云重建能够在补全点云的过程中获取更高精度的信息与几何细节。更高精度的信息与几何细节。更高精度的信息与几何细节。


技术研发人员：饶云波 徐平 邹自若
受保护的技术使用者：电子科技大学
技术研发日：2023.01.19
技术公布日：2023/9/25