牙颌面畸形诊疗三维颅骨模型构建方法、电子设备与流程

computer assisted manufacturing,cad/cam)的迅猛发展和在外科的广泛应用，三维影像数据在临床诊疗辅助检查中逐渐占据主导地位，正颌外科亦不例外。点云(point cloud)便是在正颌外科中起到非常重要作用的一类三维数据。点云是指在相同参考坐标系下表示目标物体表面特征及空间分布的点，通常由(x,y,z)三维坐标的形式表示，除表示几何位置信息之外，有些还可以表示一个点的rgb颜色、反射强度信息。点云的点之间发生规则连接即构成网格(mesh)数据，为方便阐述，便将其统一称为点云。点云获取方式有两种，一是3d激光扫描设备直接生成，二是由其他图像三维重建生成。
13.牙颌面畸形诊疗流程中使用的点云数据如图6所示。点云数据的格式有多种，在图6中，面部三维立体摄影为obj格式，该格式包含材质和色彩信息；ct重建的三维模型，激光扫描所得的牙列模型均为stl格式，该格式的文件由多个三角面片组成，每个三角形的定义包括三角形各个顶点的三维坐标及三角形面片的法矢量，无色泽等信息。
14.这些三维数据中，三维骨模型是正颌手术虚拟手术设计的主要对象。基于三维骨模型，可以标注解剖标志点，对骨结构进行三维头颅测量，获取量化的空间结构特征，辅助医师诊断与确定治疗方案。但人工标点与测量分析往往会花费较长时间，且具有人工误差。完成测量分析与诊断后，基于几十个测量指标的数值来衡量患者采取何种术式仍具有较高难度。因此，探索一种合适的深度学习算法完成基于影像的、端对端的诊断与术式的自动分类具有重要的临床意义。
15.在这里，先对点云分类算法做一个概述。与x线片、ct等结构化图像不同，点云具有无序性、稀疏性、非结构化、旋转不变性的特点。无序性是指在几何上，点的顺序不影响它在空间中对整体形状的表示，例如，相同的点云可以由两个完全不同的矩阵表示。旋转不变性是指相同的点云在空间中经过一定的刚性变化(旋转或平移)，坐标发生变化，但这个转变其实没有影响物体本身。受限于这些不良特性，点云数据的分析和理解一直是计算机视觉领域的瓶颈，以往学者用深度学习方法在处理点云时，往往将其转换为特定视角下的深度图像或者体素(voxel)等更为规整的格式以便于定义权重共享的卷积操作等，直到2017年首个针对点云的几何深度学习模型pointnet问世才允许我们直接输入点云进行处理。
16.pointnet是由斯坦福大学qi,su团队提出，包含分类与分割两个子模块，两个模块共享主干网络。主干网络的基本结构是多层感知机(multi-layer perceptron,mlp)和最大池化层(max pooling)。最大池化是指最后的d维特征对每一维都选取n个点中对应的最大特征值或特征值总和，通过mlp学习单个点的特征后，经过最大池化，再用对称函数编码全局信息，即可解决点云的无序性问题。该模型的缺陷在于提取点云特征时只捕捉到单个点和全局特征，无法获取完整的局部特征信息，且不能充分考虑邻近点的交互关系，它很难对复杂场景进行分析。不久后，qi，su团队又提出pointnet++，pointnet++是对pointnet的延伸，抛弃了原有的输入变换与特征变换模块，加入了采样与分组，每一个采样、分组及pointnet三个操作组成一个集合抽象模块(set abstraction)，对原始点云的局部特征进行提取，加入了多层次结构(hierarchical structure)，使得网络能够在高分辨率表征的数据上提供更高级别的特征。然而，伴随着多层级结构的引入且没有多尺度级联的情况下，也会导致低尺度的特征层信息流失。另外pointnet++只使用了最大池化层，广泛使用的最大池特征聚合完全忽略了非最大点特征的信息。因此，国内外学者提出多种解决方案，构建衍生网络结构，以适应具体应用需求。
17.在口腔应用领域，有一些学者通过改良pointnet或pointnet++尝试进行光学牙模的个例牙齿分割与分类，在这些研究结果中，分割预测的精度dice相似系数(dice similarity coefficient,dsc)均在0.95以上，牙齿命名分类的准确率也在90％以上，可见pointnet、pointnet++优异的性能表现。因此本公开拟pointnet++为基础模型，以头颅点云为模型输入的原始数据，探究其对牙颌面畸形诊断、正颌术式判断的决策能力。
18.根据一个或者多个实施例，本公开的头颅点云获取方式包括：牙颌面畸形患者均严格按照数字化正颌正畸诊疗流程进行诊疗。其中虚拟手术设计使用simplant pro软件(materialise公司，比利时)完成。虚拟手术设计流程中ct分割与牙颌面模型构建步骤均通过数字化三维建模完成。手术方案设计中的测量分析、诊断、确定术式与牙骨段移动向量，经过审核确定最终方案。虚拟手术设计结果可保存为spr文件，该格式是simplant pro软件的特有格式。模型训练所用的头颅点云数据及诊断和术式的标签均基于该文件获取。
19.因此，头颅点云是基于患者全头颅ct数据在simplant pro软件中通过分割重建获得。具体细节如下：
20.(1)全头颅ct的拍摄：患者仰卧位，保持面部放松，采用lightspeed ultra 16螺旋ct机器(general electrical公司，美国)拍摄，拍摄范围为颅顶至颈下，层厚设置为0.625mm，所获取数据储存为dicom格式。
21.(2)ct重建为点云的过程：将ct数据导入simplant pro软件，自定义阈值分割出骨结构，以最优质量计算为3d形态，导出骨结构保存为stl格式。
22.本公开实施例中，诊断与术式标签的标注方式如下。标签是指对训练集样本分类的真值，是深度学习模型训练时的目标结果。确定术前诊断和术式均属于分类任务，诊断与术式的标签判断标准如下：
23.(1)诊断标签的标注
24.正颌外科的主要治疗对象是颅颌面发育畸形的患者，对于这些患者，目前尚没有一个统一的分类方法。如临床上常用的骨性i类、ii类、iii类畸形诊断分类方法，虽然简单易用，但仅是对矢状向上、下颌骨相对位置的判断，所体现的信息不足。牙颌面空间结构是复杂且不规则的三维结构，需要从矢状方向、垂直方向及左右横向进行畸形的描述。一个理想的诊断应该全面描述患者的畸形情况，并对治疗设计具有指导意义。因此，本研究基于临床中常见畸形的关键部位，选取了三维空间不同维度不同部位共5个诊断指标。如表4-1所示，诊断包括五个方面，诊断依据为相应三维头颅测量指标的数值大。所有头颅点云的三维测量分析均在simplant pro软件中使用统一的测量模板完成。
25.表4-1诊断标签的判断依据
[0026][0027]
(2)术式标签的标注
[0028]
正颌手术具有多种术式以适应不同个体的畸形情况、解剖结构特点。但在各种术式中，上颌骨le fort i型截骨、下颌bssro截骨适应症最广，其游离出来的牙骨段在三维空间中移动的自由度最高，可以矫正绝大多数不同类型的畸形，再联合颏成型手术，即可解决绝大多数患者的诉求。因此，在本公开纳入的样本均为至少接受这三类术式其一的牙颌面畸形患者。术式标注的标签如表4-2所示，术式的标签包括3个方面，分别标记是否施行该手术，属于二分类任务，标签根据实际手术情况记录。术后头颅点云被视作正常人群的头颅数据，其手术标签均标记为“0”，即不做手术。
[0029]
表4-2诊断标签的判断依据
[0030][0031]
本公开实施例中，点云减量采样，应用numpy-stl函数模块将原始stl文件转化为点云形式，转化后每个头颅点云的点数量约为254万个，为减少计算开销，将应用合适的方法对原始点云数据进行减量采样，保证不丢失重要特征信息的同时，保留最少量的点数量。
[0032]
本公开实施例采用了最远点采样(farthest point sampling，fps)方法，其原理是选择一个初始点，确定距离度量(使用测地距离)，不断迭代地选择距离已有采样点集合的最远点。根据不同的距离度量，采样示例结果如图1。
[0033]
本公开实施例中，采用了roi分割。牙颌面畸形的诊断和术式判断依据集中在头颅前部，即模型的感兴趣区域(region of interest，roi)。因此，模型输入的数据中，完全可以将头颅顶部、枕部去除，既不会影响判断，又能进一步减少数据体量。然而，由于头颅点云属于不同个体，形态尺寸各异，无法应用统一的量度裁剪获取roi。为了实现个体化的roi提取，提出基于面部结构比例的阈值分割策略(如图2)。
[0034]
分割roi时，裁剪只发生在垂直向与矢状向，横向无需裁剪。首先，通过测量样本相应的牙列模型垂直向和矢状向的最高点与最低点，作差确定l
dent
,l
mandi_verti
的距离。在确定矢状向范围时，矢状向裁剪长度l
sagi
求解公式如下
[0035]
l
sagi
＝l
dent
×
1.8
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4-1)
[0036]
其中，系数1.8是由共383例头颅点云数据测量统计得到的倍数关系确定。
[0037]
确定垂直向范围时，垂直向裁剪长度l
verti
求解公式如下：
[0038]
l
verti
＝l
mandi_verti
×
4.0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4-2)
[0039]
其中，系数4.0由共383例头颅点云数据测量统计得到的倍数关系确定，而统计时发现下颌骨体垂直向高度l
mandi_verti
波动大，这是因为牙颌面畸形表现复杂多样，骨性ii类畸形常常伴随小下颌畸形，而骨性iii类常常伴随长、前突的下颌骨。因此，赋予其动态阈值(表4-3)来使分割结果更泛化。
[0040]
表4-3 l
mandi_verti
的动态阈值设置
[0041][0042]
原始点云在roi分割后，点云数量由(1318836，4887108)降至(156903，583003)。采样时间由原来的8分钟减少至30秒左右。
[0043]
本公开实施例中，采用了上采样与下采样方法。解决失衡数据集的一个简单方法就是平滑它们各类别的分布差距，具体方式是上采样少数类别n，以及下采样多数类别m，由此创建一个平衡的数据集，使分类器不偏向其中一个类。因此，对于多数类别，随机从m中采样k个样本病例，使得k尽量靠近少数类别n，以此达到类别均衡的效果；而对于少数类别，从n中对每个病例通过fps的采样方法得到3至4个形状大致相同但每个点的坐标均不重复的上采样样本，且在上采样的过程中配合数据增强的手段尽可能让同一个患者的数据样本差异性大一些，最终使得k近似等于3至4倍n以达到均衡数据集的目的。
[0044]
本公开实施例采用了数据增强。数据增强使指通过对已有数据添加微小改动或从已有数据新创建合成数据，以增加数据量的方法。数据增强能够在已有数据基础上，增加训练数据的数量及多样性，从而提高模型的泛化能力。本公开实施例中对于头颅点云数据的(x,y,z)三列坐标特征采取了随机向上旋转点云、随机旋转扰动点云、随机抖动点云、随机移动点云、随机缩放点云以及随机丢弃点云中的点等方法进行数据增强。
[0045]
此外，对所有样本采用了一种新的数据扩充方法all appending。受到kpconv中高度附加的启发，这里提出的这种策略，将沿物体高度、宽度和深度方向的每个点的测量值附加为额外的输入特征，以便深度学习模型能够完全感知三维空间中解剖结构的尺度信息。
[0046]
关于本公开实施例采用的模型结构。用于牙颌面畸形多类别分类的模型point-malo是基于pointnet++结合多分辨率特征学习所构建的。近年来多分辨率特征学习的概念被广泛用于计算机视觉，其主旨思路是从各级分辨率的语义特征构建特征金字塔，该特征金字塔具有高语义和高分辨率信息，加入该结构旨在减少经典pointnet++的多层级结构中因没有多尺度级联导致的低尺度的特征层信息流失。与2d图像相比，3d形状明显更复杂，在3d点云领域，重要纹理或者3d形状的曲线一般仅在最高粒度级别上是可观察的，但是伴随着模型深层次的提取特征，语义信息越来越丰富的同时也意味着这些高粒度级别的特征信息被丢失。因此，多分辨率的点特征可以是一种解决方案用于收集足够的语义信息并在一定程度上保持粒度。
[0047]
在point-malo模型中(如图5)，原始头颅点云完成最远点采样、roi提取以及点云归一化后作为模型输入，首先是在编码器部分使用多个set abstraction模块提取全局特征与局部特征，set abstraction模块也包括用于对输入点进行下采样的子采样层，用于查询邻居的分组层每个点。与此同时，解码器逐渐插值，通过相同数量的特征传播块来提取特征，这可以看作共享参数的mlp结构。接着拼接每组点提取到的局部特征，经过全局池化后，采用mlp分类网络结构，完成类别的预测。
[0048]
关于本公开中的损失函数。在多分类任务中，深度学习网络会得到一个对应于所有标签的置信度分数，将这些分数通过softmax或者log softmax进行归一化处理，最终会
得到当前数据属于每个类别的概率。训练神经网络时，最小化预测概率和标签真实概率之间的交叉熵，从而得到最优的预测概率分布。由于头颅点云数据存在不均衡的问题，经过多次上下采样会导致模型存在过拟合的问题。而带有label smoothing的cross entropy loss可以解决上述问题，label smoothing是一种正则化策略，主要是通过soft one-hot来加入噪声(式4-3)，减少了真实样本标签的类别在计算损失函数时的权重，在训练阶段预测正确时loss不会下降得太快，预测错误的時候loss不会惩罚得太多，使其不容易陷入局部最优点，最终起到抑制过拟合的效果。
[0049][0050]
式中，loss
lm
代表的是加入label smoothing的cross entropy loss，loss表示原cross entropy loss的值，ε是一个较小的超参数，模型中选择0.03。
[0051]
以下给出测试集中获得的预测精度。诊断中的skeletal type,以及三个术式均具有较高的平均预测准确率，达90％以上；而maxilla与mandible次之，其在测试集的平均准确率为71.31％和73.33％。occlusion和chin最差，其在测试集的平均准确率为70.00％和73.33％。
[0052]
表4-4-1第一诊断与术式的平均预测准确率
[0053][0054]
表4-4-2第二诊断与术式的平均预测准确率
[0055][0056][0057]
表4-4-1是在内部验证集上的实验数据，表4-4-2是在外部测试集上的实验数据。前一个表为了验证模型的拟合效果，后一个表代表模型的泛化能力，由于从前一个表到后一个表的acc下降率很低，说明本公开实施例模型的泛化性能非常优秀。
[0058]
在与其他模型对比实验时，为了从多种方式验证pointvsp的分类性能，挑选了针
对公开分类数据集scan object nn分类效果较好的pointnext、pointcloud transforme、pointmlp以及经典的pointnet++4个模型进行实验。选择maxilla作为目标标签，保持模型的超参数一致进行训练，使用验证集的macc作为考量的性能指标，结果如表4-5,point-malo的预测性能优于其他模型。
[0059]
表4-5不同模型分类性能的对比
[0060][0061][0062]
为了更直观的感受上述所提出方案改进的有效性，在本公开实施例中，进行了深入的消融研究，以pointnet++为基线模型的情况下输入整个颅颌面的点云进行训练，并以此作为基线拟合效果，然后单独添加改进的部分，以探索了所提出的point-malo架构中每个组件的性能贡献(如表7所示)。
[0063]
如表7所示，选择精度较高的skeletal type与le fort 1作为消融实验的研究对象，所有实验在相同的训练和评估条件下重复五次，以验证集五次结果的平均值作为评价指标we show the overall accuracy(oa),class mean accuracy(macc).表7
[0064][0065]
两个标签基线模型的准确率均在50％到60％之间，可以感受到即使是类别几乎均衡的情况下颅颌面畸形诊断和术式判别任务的艰巨性，然而使用point-malo能分别提升了38.61％和43.16％的macc。就逐个添加组件的消融实验中，我们发现含有all appending的数据增强对分类效果仅次于模型改进，这一方面说明了数据的质量对于模型训练十分重要，另一方面也证实了all appending的有效，使网络感受样本的3d尺寸信息有利于其捕获形状特征信息。此外，组合所设置的训练策略与网络改进给分类模型带来的提升远大于两者单独使用，这也证明了我们所摸索的一整套训练策略是适配于point-malo，能够进一步挖掘其学习特征的能力。
[0066]
本公开实施例，一种三维颅骨模型构建方法，是正颌手术虚拟设计的重要环节，结合合适的深度学习算法，设计正颌术前诊断与术式决策模型以利用患者影像数据自动诊断牙颌面畸形类型并判断正颌术式。基于训练所得模型，将设置适当的评价指标，可以用以评价模型预测性能。
[0067]
因此，本公开的有益效果包括：
[0068]
1.根据临床医学的先验性知识，利用动态阈值获取roi区域，大大提高了模型acc。
[0069]
2.针对颅骨点云类别不均衡的数据制定了适用于该数据集的数据增强方式。
[0070]
3.针对于小样本标签不均衡点云数据问题，研究并设计组合了一整套适用的模型训练策略，即：sgd优化器、带有label smoothing的交叉熵loss与余弦退火梯度下降算法相结合。
[0071]
4.模型改进，在pointnet++的基础上使用了多分辨率特征学习，通过多分辨率模块链接所有sa模块生成全局特征向量，由不同级别分辨率下的特征中获得的，可以保留从sa模块中学习到的各个分辨率下的粒度特征，并将其与最深层高语义特征相结合，因此，多分辨率的点特征可以是一种解决方案用于收集足够的语义信息并在一定程度上保持粒度。它所含有高语义和高分辨率信息能帮助网络在学习深层语义特征的同时感受颅颌面3d点云数据重要的纹理曲线。
[0072]
同时利用了可学习池化层(learnable pooling)最大程度的学习到sa模块提取到的特征，通过点特征和可学习参数之间的相关性计算所有点特征的加权和，使得其在聚合sa模块提取的特征基础上得到了进一步高效的学习。
[0073]
本公开实施例如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体
现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0074]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种三维颅骨模型构建方法，用于牙颌面畸形诊疗，其特征在于，获得患者头颅点云数据，根据5个不同位置进行选取，这5个位置分别是：矢状向上、下颌骨相对位置；矢状向上颌骨与颅骨相对位置；矢状向下颌骨与颅骨相对位置；水平向颏位置；以及平面位置。2.根据权利要求1所述的三维颅骨模型构建方法，其特征在于，所述头颅点云数据的标签被标注为上颌le fort i型截骨术、双侧下颌升支矢状劈开术、颏成型术中的任一项或任意组合。3.根据权利要求1所述的三维颅骨模型构建方法，其特征在于，包括对所述头颅点云数据采用最远点采样法进行减量采样。4.根据权利要求3所述的三维颅骨模型构建方法，其特征在于，基于面部结构比例的阈值分割策略对于所述头颅点云数据进行roi分割。5.根据权利要求1所述的三维颅骨模型构建方法，其特征在于，在样本采集中，采用上采样少数类别n，以及下采样多数类别m，以平衡各类别的分布差距。6.根据权利要求1所述的三维颅骨模型构建方法，其特征在于，对获得的头颅点云数据进行数据增强。7.根据权利要求1所述的三维颅骨模型构建方法，其特征在于，所述模型构建基于模型point-malo。8.根据权利要求7所述的三维颅骨模型构建方法，其特征在于，所述模型基于pointnet++结合多分辨率特征学习。9.根据权利要求1所述的三维颅骨模型构建方法，其特征在于，所述模型的训练策略包括：sgd优化器、带有label smoothing的交叉熵loss与余弦退火梯度下降算法相结合。10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-9任一项所述的方法。

技术总结
本发明公开了一种三维颅骨模型构建方法，用于牙颌面畸形诊疗。包括获得患者头颅点云数据，根据5个不同位置进行选取，这5个位置分别是：矢状向上、下颌骨相对位置；矢状向上颌骨与颅骨相对位置；矢状向下颌骨与颅骨相对位置；水平向颏位置；以及平面位置。头颅点云数据的标签被标注为上颌Le Fort I型截骨术、双侧下颌升支矢状劈开术、颏成型术中的任一项或任意组合。对头颅点云数据采用最远点采样法进行减量采样。基于面部结构比例的阈值分割策略对于所述头颅点云数据进行ROI分割。于所述头颅点云数据进行ROI分割。于所述头颅点云数据进行ROI分割。


技术研发人员：张旭 程梦佳 杨阳 李湘民 陶乐然 孙一峰 徐铭佑
受保护的技术使用者：上海伊姆特医疗科技有限公司
技术研发日：2023.06.27
技术公布日：2023/9/22