一种基于体素网格融合机制的点云特征学习自编码网络方法

1.本发明属于全自动化产品领域，涉及一种基于体素网格融合机制的点云特征学习自编码网络方法。
背景技术：
：：2.三维形状特征表示是三维视觉领域极为重要的基础研究之一，具有较强普适性的特征表示可以广泛的应用于诸如三维形状生成、形状检索和形状修复[1-3]等应用中。[0003]一般地，三维形状特征学习方法采用无监督的学习方式对三维模型进行编码学习，并在这个过程中确保该形状的结构与语义信息被保留并压缩至一个紧凑的特征向量表示，称为三维形状的码字(codeword)。随着近些年，三维模型规模的爆发式增长，传统的特征表示方法开始难以适应于大规模数据。并且，随着更广泛的应用领域的产生，传统特征提取算法难以做到大范围的适用。这使得，基于数据驱动的自编码特征学习算法开始被广泛的研究。目前三维模型的自编码特征提取算法主要包括两类:基于体素表示与基于点云表示特征提取算法。[0004]其中体素表示的深度学习方法是二维卷积神经网络到三维卷积神经网络最直接的扩展，将三维空间离散的分割一些规则的占据网格(occupancygrid)，其中经典的工作包括:生成与判别式的体网格建模方法[4]、scannet[5]以及voxnet[6]方法。另外wu等人[7]考虑将对抗生成机制引入到三维模型特征学习中，并采用了体素网格的表示方式，从而更简单地将图像视觉领域的技术引入算法中。然而随着体网格模型分辨率的增大，基于体素网格表示会导致神经网络框架的参数量发生几何级数规模的增加，这显然需要大量计算资源的损耗。为解决体素表示存在的表示冗余问题，一些替代的方法包括八叉树表示[8-9]以及k-d树的表示方式[10]被提出优化模型表示。该类方法主要是从数据表示本身入手，提高体素网格表示效率。另外li等人[11]考虑利用能量场表示以及抓取器的思想替代传统卷积操作从而提高卷积操作效率，使其更适合体素表示。然而此类改进算法具有一定局限性，由于设计方法的复杂性，难以扩展迁移到更多一般化的特征学习问题上。[0005]近三年，基于点云表示的方法深度学习方法被提出，并且具有简单、高效、表示灵活占用空间小等特点，被广泛地应用于多个领域。这其中最经典的框架包括pointnet[14]、pointnet++[13]以pointcnn[15]，上述框架是点云深度学习的先驱性工作，为深度学习方法在几何图形领域的发展奠定了基础。而在无监督特征学习方面，achlioptas等人[12]首先提出有效的点云自编码生成模型用于三维模型特征学习。在编码阶段，该方法对输入点云进行排序并采用一维的卷积神经网络(cnn)对点云序列进行特征提取操作；而在解码阶段，采用三层全联接层完成模型重建。该文献[12]通过简单的点云框架验证了无监督的特征学习方法依然可以很好的从shapenet数据集[22]迁移到分类数据库modelnet40/10(mn40/10)。但是该方法仅仅采用了简单的编码结构以及全联接层用于解码，该排序机制并不能有效处理点云无序性问题。随后，yang等人[16]提出了更为有效的自编码特征提取框架，通过二维网格(2dgrid)的两次折叠变形的思想完成模型重建，但是该方法主要关系的是模型的生成问题，通过折叠思想提升解码器对模型的的重建能力，该方法并没有解决点云的无序性问题，仅仅通过最大池化操作提取点云模型全局特征。[0006]与申请申请思想较为相近的为le等人[17]提出的pointgrid模型，该方法考虑在每一个体素网格中采样等同数量的点云作为模型的初始输入，从而保证高等级的特征有效被学习。然而不同于该方法是一个有监督的分类学习问题。技术实现要素：[0007]为了解决上述问题，本发明采用的技术方案是：一种基于体素网格融合机制的点云特征学习自编码网络方法，包括以下步骤：[0008]对点云数据模型构成的数据集，按照比例划分为训练集和测试集；[0009]基于训练集中的数据构建基于体素网格融合机制的特征学习模型；[0010]对特征学习模型进行训练，得到训练好的特征学习模型；[0011]将测试集中数据输入到训练好的特征学习模型中，实现对点云数据模型的特征向量表示。[0012]进一步地：所述特征学习模型包括对点云数据模型进行特征提取的点云多尺度的特征提取模块、多尺度特征到体素网格特征的转换模块和利用体素网格的规则化特性将点云模型的多尺度特征转化为体素结构特征的体素网格自编码特征提取模块；[0013]点云多尺度的特征提取模块、多尺度特征转换为体素网格特征的转换模块和体素网格自编码特征提取模块依次级联。[0014]进一步地：所述对点云数据模型进行特征提取采用局部特征整合的方法提取该层的采样点局部特征，[0015]所述点云多尺度的特征提取模块包括采样层、分组层、点云特征提取层和最大池化层；所述采样层、分组层、点云特征提取层和最大池化层依次级联；[0016]其中采样层主要负责选择点云模型中的更为稀疏的卷积中心点；分组层主要用于构建局部坐标系统；最后点云特征提取层针对每一个局部点云数据通过多层感知机以及最大池化层操作提取每一采样的局部特征。[0017]进一步地：所述体素网格自编码特征提取模块采用体素网格中心的局部卷积操作方式，将空间中的点云多尺度信息通过可学习核融合的模式聚集到体素网格中心点上，从而在不破坏点云空间关系的前提下，融合重要信息。[0018]进一步地：所述多尺度特征转换为体素网格特征的过程如下：[0019]转化体素规模为一个15×15×15体表示，目标为生成一个体特征表示这里cf表示体特征维度；[0020]首先将体素网格中每一个胞元的中心点(cix,cjy,ckz)定义为集合[0021]于是对于每一个中心点，ci,j,k＝(cix,cjy,ckz)获取其局部邻域内不同尺度ln(n＝1,2,3)下的特征点坐标以及特征点的点云特征表示和因此对于尺度ln，获得可学习的融合特征的表示:[0022][0023]将同一尺度下的融合特征表示为[0024]于是多尺度的体网格融合特征特征通过串联获得：[0025][0026]其中：fvg是由点云特征全局特征fg重复生成；因此体素网格的每个胞元中存储了点云局部的多尺度特征信息；[0027]采用三维体网格的串联变形机制，保证体网格特征生成模型重建输入模型。[0028]进一步地：所述体素网格自编码特征提取模块利用3d卷积操作对体特征进行编码及解码的过程如下：[0029]采用了基于体表示的三维卷积操作与反卷积操作，从而实现紧凑的三维形状的码字提取过程；这一阶段的输入为一个点云转换的体特征表示，输入尺寸为15×15×15的体素特征表示，[0030]编码网络由四层卷积神经网络组成，卷积核大小分别为5，5，3，3，最后一层采用1×1卷积操作，将特征图压缩为540维的特征表示，在每一层的卷积操作层中，采用批归一化操作以及elu激活函数，elu激活函数表示为:[0031][0032]在体素编码阶段没有使用池化操作和全联接操作层，提取到的540维特征被输入到解码模块，采用四层反卷积操作，其中卷积核大小分别为3，3，5，5，最后采用一个tanh激活函数。[0033]本发明一种基于体素网格融合机制的点云特征学习自编码网络方法，提供的基于体素融合机制的点云特征提取框架，同时兼容点云特征提取模型与体素表示的优势，可同时提取点云特征的情况下客服点云表示带来的无序性问题，并且保证足够的分辨率表示。该方法通过引入可学习的体素特征转化机制完成特征表示从点云表示到体表示的转移，并且依靠几何距离约束保证转换的稳定性。在实验结果上，相比于仅仅使用基本的点云啊框架提取特征，有较大的提升。另外，与现有的一些前沿无监督特征体算算法相比，本技术方法性能较为突出。[0034]本技术目标为提取三维形状的紧凑特征码字(codeword)，该方法可以有效地克服点云无序性问题。[0035]本技术研究的是无监督的特征提取问题，并且本技术考虑直接从点云学习特征并实现点云特征到体特征的转换，并通过无监督的自编码网络实现特征提取。本技术框架首先通过点云网络结构提取多尺度的逐点特征，从而保证多尺度细节的特征有效提取；另外，通过可学习的融合机制将点云特征保持空间局部信息的情况下转化为体素特征表示，并通过重建约束保证转化特征保留有效模型细节，最终通过有效的卷积-反卷积机制完成特征提取与重建。本技术提出的基于体素网格融合机制的点云特征学习框架主要贡献[0036]1)提出了一个端到端的点云特征学习模型，该方法点云特征到体网格特征转换的模块直接将无序的点云特征转化为有序体素特征表示并提取具有一定泛化性的特征码字；[0037]2)提出了有效的点云特征到体特征的转化方法，该方法通过局部可学习特征融合核以及几何形状约束，有效考虑点云特征融合过程中点云空间位置的信息，并确保多尺度的点云特征有效被转化为体表示特征，保持模型重要细节信息被保留；[0038]3)通过在shapenet数据集训练及在mn40/10数据集进行三维模型的分类测试，证明了该方法的有效性。另外消融实验验证了了体素融合机制的优势。[0039]体素化网格与点云表示在三维深度学习领域都具有广泛的应用，且在相关领域表现出色。然而这两种表示形式本身都存在固有优势与缺陷:其中点云表示占用空间小、表示灵活，但是缺少结构关系且无序；而体素表示具有冗余性，但表示规则。本技术提出了体素网格融合机制的特征学习模型用于三维形状的特征学习，同时兼顾体素与点云表示的优势，即同时克服体素表示低分辨率及点云无序性问题。首先；该框架特征学习模型引入体素表示的转换模块将点云网络提取的多尺度特征池转化为有序的体素特征，该模块使用一个局部特征融合策略以及几何形状的损失约束监督融合过程；最后，融合的体素特征通过三维卷积网络学习紧凑的形状特征表示码字。实验表明，该方法在形状分类问题与现有的无监督学习算法相比具有较强的竞争力。附图说明[0040]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0041]图1是基于体素网格融合机制的特征学习框架图；[0042]图2是基于体素表示的特征自编码结构图；[0043]图3是可视化训练过程图；[0044]图4是本技术方法所提出模型特征码字在基于t-sne方法聚类可视化结果图。具体实施方式[0045]需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合，下面将参考附图并结合实施例来详细说明本发明。[0046]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0047]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。[0048]除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。[0049]在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制：方位词“内、外”是指相对于各部件本身的轮廓的内外。[0050]为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其位器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。[0051]此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。[0052]一种基于体素网格融合机制的点云特征学习自编码网络，包括以下步骤：[0053]s1:对点云数据模型构成的数据集，按照比例划分为训练集和测试集；[0054]s2:基于训练集中的数据构建基于体素网格融合机制的特征学习模型；[0055]s3:对特征学习模型进行训练，得到训练好的特征学习模型；[0056]s4:将测试集中数据输入到训练好的特征学习模型中，实现对点云数据模型的特征向量表示。[0057]所述s1/s2/s3/s4顺序执行；[0058]所述特征学习模型包括对点云数据模型进行特征提取的点云多尺度的特征提取模块、多尺度特征到体素网格特征的转换模块和利用体素网格的规则化特性将点云模型的多尺度特征转化为体素结构特征的体素网格自编码特征提取模块；[0059]点云多尺度的特征提取模块、多尺度特征到体素网格特征的转换模块和体素网格自编码特征提取模块依次级联。[0060]所述对点云数据模型进行特征提取采用局部特征整合的方法提取该层的采样点局部特征，[0061]所述点云多尺度的特征提取模块包括采样层、分组层、点云特征提取层和最大池化层；所述采样层、分组层、点云特征提取层和最大池化层依次级联；[0062]其中采样层主要负责选择点云模型中的更为稀疏的卷积中心点；分组层主要用于构建局部坐标系统；最后点云特征提取层针对每一个局部点云数据通过多层感知机以及最大池化层操作提取每一采样的局部特征。[0063]本技术框架流程如图1所示。该模型主要由三个部分组成:点云多尺度的特征提取模块、多尺度特征到体素网格特征的转换模块、体素网格自编码特征提取模块。其中:(1)多尺度特征的提取可以确保模型的细节信息以及全局信息的保留；(2)点云特征的体素化保留了点云的精细特征并将无序的点云特征整合为规则的特征表示。另外该方法在训练阶段采用了两个阶段的形状损失约束，从而确保点云特征到体素特征化过程中模型细节信息及位置信息的保持。[0064]1.1点云度尺度特征提取[0065]如图1所示，该网络框架的输入端为点点云表示，包含2048个点。为方便框架的介绍，我们使用一个矩阵表示输入三维模型点云，表示为x∈r2048×3。针对点云模型的特征提取，文中采用pointnet++[13]框架为基础:点云被逐层在采样，并且每一层中，在特征提取过程中采用局部特征整合的方法提取该层的采样点局部特征。其中采样层主要负责选择点云模型中的更为稀疏的卷积中心点；而分组层主要用于构建局部坐标系统；最后点云特征提取层针对每一个局部点云数据通过多层感知机以及最大池化操作提取每一采样的局部特征。本技术的点云网络结构中，每一层的采样点个数分别为:1024，348，128，并通过逐层特征的压缩提取，该方法可以提取点云模型不同尺度的特征表示，随着层数加深，提取到更为抽象的全局特征。在本技术方法中，采用了三层网络结构，并最终通过最大池化操作提取模型的全局特征。因此该点云网络获取的不同尺度特征表示及模型全局特征表示构成一个多尺度特征池表示，分别记作:以及全局特征fg∈r1×1024。[0066]1.2体素网格特征生成[0067]体素网格表示在三维深度学习领域具有广泛的使用。本技术考虑利用体素网格的规则化特性将点云模型的多尺度特征转化为体素结构特征，从而在保留细节信息的同时具备更强的规则性。考虑到多尺度的点云特征表示是通过多次下采样流程实现的，因此具有不同规模大小的特征图。本技术特征学习模型采用体素网格中心的局部卷积操作方式，将空间中的点云多尺度信息通过可学习核融合的模式聚集到体素网格中心点上，从而在不破坏点云空间关系的前提下，融合重要信息。[0068]具体地，本技术默认的转化体素规模为一个15×15×15体表示，而目标为生成一个体特征表示这里cf表示体特征维度。为方便后面的描述，首先将体素网格中每一个胞元的中心点(cix,cjy,ckz)定义为集合于是对于每一个中心点，ci,j,k＝(cix,cjy,ckz)获取其局部邻域内不同尺度ln(n＝1,2,3)下的特征点坐标以及特征点的点云特征表示和因此对于尺度ln，可以获得可学习的融合特征的表示:[0069][0070]因此我们将同一尺度下的融合特征表示为于是多尺度的体网格融合特征特征可以通过串联获得:[0071][0072]其中fvg是由点云特征全局特征fg重复生成。因此体素网格的每个胞元中存储了点云局部的多尺度特征信息。另外为了保证特征转换过程中重要信息的保留，这里采用了三维体网格的串联变形机制，保证体网格特征生成模型可以精确的重建输入模型x。[0073]在体网格特征的编码解码阶段，我们采用了基于体表示的三维卷积操作与反卷积操作，从而实现紧凑的三维形状的码字提取过程。这一阶段的输入为一个点云转换的体特征表示，输入尺寸为15×15×15的体素特征表示。编码网络由四层卷积神经网络组成，卷积核大小分别为5，5，3，3，最后一层采用1×1卷积操作，将特征图压缩为540维的特征表示。在每一层的卷积操作层中，我们采用批归一化操作以及elu激活函数。elu激活函数表示为:[0074][0075]注意的是，本技术在体素编码阶段没有使用池化操作和全联接操作层。紧接着，提取到的540维特征被输入到解码模块。本技术采用四层反卷积操作，其中卷积核大小分别为3，3，5，5。最后采用一个tanh激活函数。体卷积操作的流程图如图2所示。[0076]本技术主要采用两个几何形状损失函数用于网络模型的训练，分别用于确保点云特征到体素网格特征构建过程中模型细节的保留及最终自编码网络的重建一致性约束，如图1所示。对于给定的输入模型x，特征转换阶段生成的模型以及自编码网络生成的模型考虑到本技术方法生成点云与输入模型具有不一致的点云数量，因此采用扩展的chamferdistance(cd)衡量模型之间的差异性:[0077][0078]需要注意的是x与之间的误差与上述公式相同。另外，考虑到重建的点云应该有一个较为均匀的分布情况，本技术引入了repulsion损失函数，保证模型点不会聚集到一个局部:[0079][0080]这里k(·)表示k近邻的点集合，两个点之间的距离d(·,·)表示两个点之间的l2距离。其中η(r)＝-r表示当k近邻的点之间的距离很近的情况下给予惩罚，而为一个速降函数。[0081]因此，统一上述损失函数，本技术所训练模型的整体损失函数为一个联合损失函数:[0082][0083][0084]这里参数默认设置分别为:α＝0.7，β＝0.01和γ＝0.0001。[0085]以下为实验结果与分析[0086]1.1数据库及实验设置[0087]该网络结构使用tensorflow[21]执行训练。本节将通过实验证明所设计的网络具有有效的特征提取能力。在可视化的实验中，使用shapenet[22]中part数据集数据集[19]进行训练，该数据集包含16类点云模型，具有丰富的模型类别。另外在无监督的分类测试中，本技术使用了shapenet数据集[22]，其中包含55类模型，大约57k模型，具有较大规模，可以保证自编码网络被充分的训练，提高提取特征普适性。并采用了modelnet40与modelnet10数据集进行分类测试，其中modelnet40数据集包含40类模型，其中训练模型与测试模型分别为9843和3991个，而modelnet10包含10类模型，其中训练模型与测试模型分别为2468和909。该分类数据集的分类结果可以表明提取特征的可区别性。本技术算法在一块nivdia1080ti运行，显存为11gb。[0088]1.2可视化训练过程[0089]为了清晰的说明本技术的自编码网络学习特征表示的过程，图3给出了可视化迭代训练过程，其中给出网络多个阶段的输出可视化结果。具体地，给出了其中四个不同类别模型在不同迭代周期情况下重建结果。这里我们训练网络采用了adma训练策略，初始学习率设置为0。001，batchsize为1，并且每50k次迭代训练减小学习率，，衰减率为0。7。我们分别给出了训练1个周期、5个周期、10个周期、20个周期以及40个周期时的结果。可以看到，随着迭代周期的增加，模型结构与细节重建与输入结果较为一致。其中第二列为体素网格表示的重建结果，其很好的获取了模型的重要结构与细节信息。另外，图2中红色虚线框中给出了训练结束后两阶段重建结果的融合结果，算法有效地保留了模型细节与整体结构。[0090]1.3点云特征聚类[0091]本技术给出了无监督训练下，点云模型特征表示的聚类结果，这里采用了shapenet数据库[22]训练特征学习模型，并使用训练模型提取modelnet10数据模型特征。采用t-sne可视化方法[20]将高维码字嵌入到二维空间中。这里的可视化参数困惑度(perplexity)默认设置为50。从图4可以以观察到，算法学习到的不同类别的特征表示(用不同颜色表示)可较为容易的分开，仅有少数模型区分性较差。这可能是由于模型集中蓝色表示的nightstand模型与绿色的dresser模型具有较强的相似性，另外浅绿色表示的table模型与粉色的desk模型也有类似的情，如图4中红色虚线框所示。[0092]图4本技术方法所提出模型特征码字在基于t-sne方法聚类可视化结果。[0093]1.4迁移分类结果[0094]为评价本技术网络结构提取特征所具有的表征能力。与文献[12][16]相似的，我们将自编码训练模型迁移到分类模型库上，对所提取特征的分类能力进行评估。首先，针对本技术提出的自编码网络，采用shapenet数据集进行训练，这里我们采用批处理尺寸为2，其他的参数与前面设置相同。为了提高模型多样性，在训练过程中采用沿坐标轴随机旋转的策略，使得训练阶段输入模型的朝向具有随机性。训练后可得无监督特征提取自编码网络。于是，通过已训练网络的前向传播，计算分类数据集mn40/10模型所提取到的540维特征码字。这里需要注意的是，使用的自编码网络仅仅在shapenet进行训练，并未对分类网络进行训练。针对提取特征，我们通过简单的svm训练浅层分类器对modelnet数据集中的测试模型进行分类，表2中给出了近些年相关无监督模型的分类结果。从表中可以观察到，本技术提出的方法，在modelnet40取得了较为突出的分类精度，而在modelnet10也可以取得较前前沿的分类精度。然而由于modelnet10数据集并不是公开的，我们的采样点云结果会对结果有一定影响。[0095]表1本技术方法的消融实验对比。[0096]方法精度(％)(1)移除特征转换融合阶段的几何损失约束85。5％(2)移除完整的体素融合模块73。39％(3)完整的模型(本技术所提出的算法)86。6％[0097]1.5消融实验对比[0098]为了验证提出模型的合理性，本技术进行了消融实验的讨论。实验采用modelnet40数据集进行测试，采用前面介绍的无监督训练策略，并利用svm算法对提取特征训练以及测试。[0099]首先，验证在融合阶段使用形状距离对提取特征进行约束的有效性，本技术在训练阶段，移除该损失函数的约束，测试结果在表1中(1)给出:相比于本技术完整模型(3)测试精度有一定下降。另外本技术也移除了基于体素机制的融合模块，将算法退化成了普通的自编码模型，仅仅依靠点云框架自身提取特征。如表1中(2)给出了测试精度，可以明显看到，仅仅依赖点云模型本身，缺失了基于体素融合机制的模型，结果下降极大。这也验证本技术提出算法框架的有效性。[0100]表2本技术与其它无监督方法的分类精度对比。[0101]方法mn40mn10sph[23]68。2％79。8％lfd[24]75。5％79。9％t-lnetwork[25]74。4％-vcon-dea[26]75。5％80。5％3d-gan[7]83。3％91。0％latent-gan[12]85。7％95。3％3d-ed-gan[26]84。3％89。2％ours86。6％90。1％[0102]1.6模型局限性与讨论[0103]尽管基于体素融合机制的特征提取框架相对于仅仅使用点云提取特征的框架有较大提升。但是与目前其它算法相似的，算法提取特征在分类问题上的精度依然不够精确，误差较大。并且该模型依然难以对结构较为丰富的模型进行有效的重建。并且针对模型集中相似的模型，难以进行有效的区别。另外本技术提出的框架对输入复杂模型细节保持并不理想，仅仅对简单模型有效。[0104]本技术提出了一个基于体素融合机制的点云特征提取框架，同时兼容点云特征提取模型与体素表示的优势，可同时提取点云特征的情况下客服点云表示带来的无序性问题，并且保证足够的分辨率表示。该方法通过引入可学习的体素特征转化机制完成特征表示从点云表示到体表示的转移，并且依靠几何距离约束保证转换的稳定性。在实验结果上，相比于仅仅使用基本的点云啊框架提取特征，有较大的提升。另外，与现有的一些前沿无监督特征体算算法相比，本技术方法性能较为突出。conferenceoncomputervision2017:863-872。[0124][11]liy，pirks，suh，qicr，guibaslj。fpnn:fieldprobingneuralnetworksfor3ddata。inadvancesinneuralinformationprocessingsystems2016:307-315。[0125][0126][12]achlioptasp，diamantio，mitliagkasi，guibasl。representationlearningandadversarialgenerationof3dpointclouds。arxivpreprintarxiv:1707。02392。2017。[0127][0128][13]qicr，yil，suh，guibaslj。pointnet++:deephierarchicalfeaturelearningonpointsetsinametricspace。inadvancesinneuralinformationprocessingsystems2017:5099-5108。[0129][14]qicr，suh，mok，guibaslj。pointnet:deeplearningonpointsetsfor[0130]3dclassificationandsegmentation。inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition2017:652-660。[0131][15]liy，bur，sunm，wuw，dix，chenb。pointcnn:convolutiononx-transformedpoints。inadvancesinneuralinformationprocessingsystems2018:820-830。[0132][0133][16]yangy，fengc，sheny，tiand。foldingnet:pointcloudauto-encoderviadeepgriddeformation。inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition2018:206-215。[0134][17]let，duany。pointgrid:adeepnetworkfor3dshapeunderstanding。[0135]inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition2018:9204-9214。[0136][0137][18]yul，lix，fucw，cohen-ord，hengpa。pu-net:pointcloudupsamplingnetwork。inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition2018:2790-2799。[0138][19]yil，kimvg，ceyland，shenic，yanm，suh，luc，huangq，sheffera，guibasl。ascalableactiveframeworkforregionannotationin3dshapecollections。acmtransactionsongraphics(tog)。2016，35(6):1-2。[0139][20]maatenlv，hintong。visualizingdatausingt-sne。journalofmachinelearningresearch。2008:2579-605。[0140][21]abadim，barhamp，chenj，chenz，davisa，deanj，devinm，ghemawats，irvingg，isardm，kudlurm。tensorflow:asystemforlarge-scalemachinelearning。in12th{usenix}symposiumonoperatingsystemsdesignandimplementation({osdi}16)2016:265-283。[0141][22]changax，funkhousert，guibasl，hanrahanp，huangq，liz，savareses，savvam，songsr，suhaoandothers。shapenet:aninformation-rich3dmodelrepository。arxivpreprintarxiv:1512。03012。2015。[23]kobbeltl，schrderp，kazhdanm，funkhouser，t，andrusinkiewicz，s。rotationinvariantsphericalharmonicrepresentationof3dshapedescriptors。eurographicssymposiumongeometryprocessing。2003，43(2):156-164。[0142][24]chendy，tianxp，shenytandothers。onvisualsimilaritybased3dmodelretrieval。johnwileyandsons，ltd。2003:223-232。[0143][25]girdharr，fouheydf，rodriguezmandguptara。learningapredictableandgenerativevectorrepresentationforobjects。2016。[0144][26]sharmaa，grauo，fritzm。vconv-dae:deepvolumetricshapelearningwithoutobjectlabels。ineuropeanconferenceoncomputervision2016:236-250)。[0145][27]wangw，huangq，yous，yangc，neumannu。shapeinpaintingusing3dgenerativeadversarialnetworkandrecurrentconvolutionalnetworks。inproceedingsoftheieeeinternationalconferenceoncomputervision2017:298-2306。当前第1页12当前第1页12
技术特征：
1.一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：包括以下步骤：对点云数据模型构成的数据集，按照比例划分为训练集和测试集；基于训练集中的数据构建基于体素网格融合机制的特征学习模型；对特征学习模型进行训练，得到训练好的特征学习模型；将测试集中数据输入到训练好的特征学习模型中，实现对点云数据模型的特征向量表示。2.根据权利要求1所述的一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：所述特征学习模型包括对点云数据模型进行特征提取的点云多尺度的特征提取模块、多尺度特征到体素网格特征的转换模块和利用体素网格的规则化特性将点云模型的多尺度特征转化为体素结构特征的体素网格自编码特征提取模块；点云多尺度的特征提取模块、多尺度特征转换为体素网格特征的转换模块和体素网格自编码特征提取模块依次级联。3.根据权利要求2所述的一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：所述对点云数据模型进行特征提取采用局部特征整合的方法提取该层的采样点局部特征，所述点云多尺度的特征提取模块包括采样层、分组层、点云特征提取层和最大池化层；所述采样层、分组层、点云特征提取层和最大池化层依次级联；其中采样层主要负责选择点云模型中的更为稀疏的卷积中心点；分组层主要用于构建局部坐标系统；最后点云特征提取层针对每一个局部点云数据通过多层感知机以及最大池化层操作提取每一采样的局部特征。4.根据权利要求2所述的一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：所述体素网格自编码特征提取模块采用体素网格中心的局部卷积操作方式，将空间中的点云多尺度信息通过可学习核融合的模式聚集到体素网格中心点上，从而在不破坏点云空间关系的前提下，融合重要信息。5.根据权利要求2所述的一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：所述多尺度特征转换为体素网格特征的过程如下：转化体素规模为一个15
×
15
×
15体表示，目标为生成一个体特征表示这里c
f
表示体特征维度；首先将体素网格中每一个胞元的中心点(c
ix
,c
jy
,c
kz
)定义为集合c＝{(c
ix
，c
jy
，c
kz
)}
i，j，k＝1，
…
，15
；于是对于每一个中心点，c
i,j,k
＝(c
ix
,c
jy
,c
kz
)获取其局部邻域内不同尺度l
n
(n＝1,2,3)下的特征点坐标以及特征点的点云特征表示和因此对于尺度l
n
，获得可学习的融合特征的表示:将同一尺度下的融合特征表示为
于是多尺度的体网格融合特征特征通过串联获得：其中：f
vg
是由点云特征全局特征f
g
重复生成；因此体素网格的每个胞元中存储了点云局部的多尺度特征信息；采用三维体网格的串联变形机制，保证体网格特征生成模型重建输入模型。6.根据权利要求2所述的一种基于体素网格融合机制的点云特征学习自编码网络方法，其特征在于：所述体素网格自编码特征提取模块利用3d卷积操作对体特征进行编码及解码的过程如下：采用了基于体表示的三维卷积操作与反卷积操作，从而实现紧凑的三维形状的码字提取过程；这一阶段的输入为一个点云转换的体特征表示，输入尺寸为15
×
15
×
15的体素特征表示，编码网络由四层卷积神经网络组成，卷积核大小分别为5，5，3，3，最后一层采用1
×
1卷积操作，将特征图压缩为540维的特征表示，在每一层的卷积操作层中，采用批归一化操作以及elu激活函数，elu激活函数表示为:在体素编码阶段没有使用池化操作和全联接操作层，提取到的540维特征被输入到解码模块，采用四层反卷积操作，其中卷积核大小分别为3，3，5，5，最后采用一个tanh激活函数。

技术总结
本发明一种基于体素网格融合机制的点云特征学习自编码网络方法，包括以下步骤：对点云数据模型构成的数据集，按照比例划分为训练集和测试集；基于训练集中的数据构建基于体素网格融合机制的特征学习模型；对特征学习模型进行训练，得到训练好的特征学习模型；将测试集中数据输入到训练好的特征学习模型中，实现对点云数据模型的特征向量表示。本申请提出了体素网格融合机制的特征学习模型用于三维形状的特征学习，同时兼顾体素与点云表示的优势，即同时克服体素表示低分辨率及点云无序性问题。问题。问题。


技术研发人员：周骏
受保护的技术使用者：大连海事大学
技术研发日：2023.07.14
技术公布日：2023/10/8