面向胸腹部经皮穿刺的线结构光无接触点云配准方法

1.本发明涉及医学图像导航领域，具体是一种面向胸腹部经皮穿刺的线结构光无接触点云配准方法。


背景技术：

2.近年来，随着肿瘤疾病治疗的迫切需求、图像导航微创治疗手段的丰富及治疗经验的积累，通过图像导航下的胸腹部经皮微创手术对肿瘤疾病的活检、近距离粒子植入放疗等检测及局部治疗手段得到广泛重视与认可。医学图像导航下活检是诊断病理学中最重要的部分，由于病灶体积小，在病灶组织提取过程中受复杂解剖结构、自然呼吸和心脏搏动的影响较大，穿刺易导致失败并危及患者安全。目前单针穿刺成功率仅为70％。
3.为提升胸腹部经皮穿刺手术精度，利用计算机图像信息来辅助胸腹部病灶位置确定，需要将三维胸腹部医学图像与真实空间下的胸腹部进行配准注册。要求将真实空间下的胸腹部坐标系与计算机医学图像的坐标系进行注册，进而实现医学图像导航下胸腹部经皮穿刺手术，其中注册的效果和效率决定了运动建模的好坏。因此，配准注册的方法是其中至关重要的技术点。针对胸腹部经皮穿刺手术导航的图像配准，国内外的相关研究主要分为以下几类：
4.(1)实物固有特征点配准方法：基于实物固有特征点，如角点、交叉点等具有鲜明特征的几何标记点，通过光学定位仪识别光学探针，探针进行几何标记点拾取，同时在计算机软件中拾取对应几何标记点，进行最小二乘法计算获得最佳变换矩阵。目前，该方法在神经外科医学图像导航中应用广泛，利用人面部眼角、鼻尖等特征点进行配准。此种算法标记点获取方便，但探针在取点时针头也必须在胸腹部表面进行接触，导致胸腹部软组织变形，严重影响配准精度。
5.(2)人工标记物法：在实物表面贴上能显影的几个标记点，采集实物的扫描图像，然后在计算机软件中，在图像中选取粘贴的标记点，同时通过光学定位仪得到标记点的空间坐标，再通过最小二乘法进行对应点配准得到实物物理空间与医学图像空间的最优变换矩阵。此种算法精度相对较高，但是操作繁琐，粘贴标记物的方式与实物有直接接触，会在胸腹部表面留下痕迹，无法符合胸腹部经皮穿刺手术要求。
6.因此，需要研发一种面向胸腹部等软组织操作简单、自动化程度高且无接触的配准方式。


技术实现要素：

7.针对现有技术的不足，本发明拟解决的技术问题是，提供一种面向胸腹部经皮穿刺的线结构光无接触点云配准方法。
8.本发明解决所述技术问题的技术方案是，提供一种面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，该方法包括以下步骤：
9.步骤1、搭建面向胸腹部经皮穿刺的线结构光无接触点云配准系统：该系统包括双
目相机、云台、线结构光发射源、运动控制板和电脑；
10.线结构光发射源固定于云台上；运动控制板用于控制云台的运动；线结构光发射源发射的线结构光能够投影至胸腹部目标区域；双目相机用于捕获带线结构光的胸腹部目标区域；电脑用于接收双目相机的原始扫描图像，处理原始扫描图像，计算配准结果；
11.步骤2、对胸腹部目标区域进行扫描：首先启动双目相机并判定胸腹部目标区域；然后线结构光发射源发射线结构光至胸腹部目标区域的边界，获取胸腹部目标区域的极限位置；再根据极限位置，确定云台的运动范围和运动转角；然后云台转动，线结构光发射源调制发射线结构光，并将线结构光清晰投影在胸腹部目标区域；最后调整双目相机的光学参数，自适应周围环境达到能够清晰区分环境光线与线结构光的拍摄状态后，双目相机拍摄，得到原始扫描图像；
12.步骤3、对原始扫描图像进行线结构光提取：将原始扫描图像传输至电脑中并对原始扫描图像进行初步处理，过滤掉多余的图像信息，并且进一步增大环境光线与线结构光的区分度，得到线结构光提取图像；线结构光提取图像包括左目图像与右目图像；
13.步骤4、将线结构光提取图像中的二维线结构光信息实现三维化，完成基于立体视觉的深度重建：首先完成双目相机的自校准，自适应获取最佳的立体视觉状态；再获取线结构光信息中同一个二维点在左目图像和右目图像中的像素坐标值并建立映射关系，进而将线结构光信息中的所有二维点完成一对一映射，得到若干个二维匹配点对；最后，对所有的二维匹配点对进行三维化，得到每一个二维匹配点对的对应的三维点；再获取三维点在世界坐标系中的三维坐标，得到三维坐标信息，完成基于立体视觉的深度重建；
14.步骤5、将三维坐标信息归纳筛选获取点云集合，构建用于配准的胸腹部目标区域的实物表面点云：首先对三维坐标信息进行甄别，过滤错误结果与环境噪点，得到符合精度条件的三维坐标，得到点云集合；再根据实际临床应用与算法执行速度要求对点云集合进行栅格化下采样，获取均匀且最适合于配准的实物表面点云；
15.步骤6、实现胸腹部目标区域的实物表面点云与三维胸腹部医学图像的配准：首先，枚举三维胸腹部医学图像在计算机医学图像坐标系中可能处于的所有空间位姿状态，并且记录每一种空间位姿状态相对初始位姿的初始变换矩阵再计算实物表面点云的质心坐标以及每一种空间位姿状态下的三维胸腹部医学图像的质心坐标；再分别将所有空间位姿状态下的三维胸腹部医学图像平移到该三维胸腹部医学图像的质心与实物表面点云的质心对齐时的位置，记录所有的质心变换矩阵再遍历平移后的所有空间位姿状态，进行icp配准，进而得到所有的icp变换矩阵再计算所有空间位姿状态下完成icp配准后的icp配准误差rmsei；再比较所有的icp配准误差rmsei，获取最小icp配准误差rmsek以及该最小误差对应的空间位姿状态；最后，计算最小icp配准误差rmsek对应的空间位姿状态下的高迭代变换矩阵得到配准结果。
16.与现有技术相比，本发明的有益效果在于：
17.(1)本发明的配准方法不接触胸腹部表面、不额外粘贴标记物以及不干扰手术原有工作流程，实现了无接触、全自动、不变形且不依赖于任何标记物的高效、精确配准，降低了配准的复杂度，大大提升了配准的精度和效率。
18.(2)本发明只需进行一次精配准，免去粗配准的繁琐，降低了配准的复杂度，整个流程执行速度快，提高了配准的效率。
19.(3)本发明依靠线结构光进行胸腹部区域表面点云获取，无需与胸腹部接触。
20.(4)本发明自动化程度高，无需手动进行操作，减轻了操作负担。
21.(5)本发明能够快速精准高效地完成真实空间下的胸腹部坐标系与胸腹部计算机医学图像坐标系的注册，辅以胸腹部医学图像导航软件，为后续图像导航下的胸腹部等软组织经皮穿刺手术提供了关键的基础，引导医生进行高精度、高效率的胸腹部经皮穿刺手术，减少了医生的操作负担和与胸腹部接触，提高了手术精度，保证手术安全，具有一定的社会价值和经济效益。
附图说明
22.图1为本发明的流程图；
23.图2为本发明的配准系统的结构框图；
24.图3为本发明的步骤3的线结构光提取图像；
25.图4为本发明的步骤4的基于立体视觉的深度重建的效果图；
26.图5为本发明的步骤5的用于配准的胸腹部目标区域的实物表面点云图；
27.图6为本发明的步骤6的三维胸腹部医学图像在计算机医学图像坐标系中可能处于的所有空间位姿状态图。
28.图中，双目相机1、云台2、线结构光发射源3、运动控制板4、电脑5、胸腹部目标区域6、实物表面点云7、三维胸腹部医学图像8。
具体实施方式
29.下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本发明权利要求的保护范围。
30.本发明提供了一种面向胸腹部经皮穿刺的线结构光无接触点云配准方法(简称方法)，其特征在于，该方法包括以下步骤：
31.步骤1、搭建面向胸腹部经皮穿刺的线结构光无接触点云配准系统(简称系统)：该系统包括双目相机1、云台2、线结构光发射源3、运动控制板4和电脑5；
32.线结构光发射源3固定于云台2上；运动控制板4将电机运动数据传输给云台2的电机，用于控制云台2的运动；线结构光发射源3发射的线结构光能够投影至胸腹部目标区域6；双目相机1用于捕获带线结构光的胸腹部目标区域6；电脑5用于接收双目相机1的原始扫描图像，处理原始扫描图像，计算配准结果；
33.优选地，步骤1中，云台2具有两个转动自由度，利用运动控制板4实现对云台2的智能运动控制。运动控制板4采用arduino板，优选采用uno型arduino板。
34.步骤2、对胸腹部目标区域6进行扫描：首先启动双目相机1并判定胸腹部目标区域6；然后线结构光发射源3发射线结构光至胸腹部目标区域6的边界，获取胸腹部目标区域6的极限位置；再根据极限位置，确定与线结构光发射源3固定连接的云台2的运动范围和运动转角；然后云台2转动，线结构光发射源3调制发射线结构光，并将线结构光清晰投影在胸腹部目标区域6；最后调整双目相机1的光学参数，自适应周围环境达到能够清晰区分环境
光线与线结构光的拍摄状态后，双目相机1高频曝光拍摄，得到原始扫描图像；
35.优选地，步骤2中，双目相机1的光学参数包括相机的曝光、亮度和增益。
36.步骤3、对原始扫描图像进行线结构光提取：将原始扫描图像传输至电脑5中，在电脑5中对原始扫描图像进行初步处理，过滤掉多余的图像信息降低后续计算负担，并且进一步增大环境光线与线结构光的区分度，得到线结构光提取图像(如图3所示)；线结构光提取图像包括左目图像与右目图像；
37.优选地，步骤3中，初步处理包括灰度化、降噪、平滑和切割。
38.步骤4、将线结构光提取图像中的二维线结构光信息实现三维化，完成基于立体视觉的深度重建：首先完成双目相机1的自校准，自适应获取最佳的立体视觉状态；再获取线结构光信息中同一个二维点在左目图像和右目图像中的像素坐标值并建立映射关系，进而将线结构光信息中的所有二维点完成一对一映射，得到若干个二维匹配点对；最后，对所有的二维匹配点对进行三维化，得到每一个二维匹配点对的对应的三维点；再获取三维点在世界坐标系中的三维坐标，得到三维坐标信息，完成基于立体视觉的深度重建(如图4所示)；
39.优选地，步骤4中，双目相机1的自校准包括双目相机1的内参矩阵的标定、图像的畸变校正和双目的极线校正垂直坐标对齐。
40.优选地，步骤4中，获取二维匹配点对的具体步骤是：在左眼图像中取左目线结构光信息中的第i个二维点li，li的像素高度为再以li为参考点，在右目线结构光信息中寻找与li的像素高度高度最近的像素点ri，ri的像素高度为当li和ri满足时，li和ri为一个二维匹配点对；ε表示预设阈值，根据极线校正的误差设定。
41.优选地，步骤4中，三维化具体是：采用稳态三角化算法重建出二维匹配点对的深度信息，进而得到每一个二维匹配点对的对应的三维点；稳态三角化算法如式1所示：
[0042][0043]
式(1)中，某个三维点在左相机中的像素坐标为(u1,v1)，在左相机的深度为d1；该三维点在右相机中的像素坐标为(u2,v2)，在右相机深度为d2；k1为左相机内参矩阵，k2为右相机内参矩阵；r为左相机到右相机的旋转矩阵；t为左相机到右相机的平移矩阵。
[0044]
步骤5、将三维坐标信息归纳筛选获取点云集合，构建用于配准的胸腹部目标区域6的实物表面点云7：首先对三维坐标信息进行甄别，过滤错误结果与环境噪点，得到符合精度条件的三维坐标，得到点云集合；再根据实际临床应用与算法执行速度要求对点云集合进行栅格化下采样，获取均匀且最适合于配准的实物表面点云7(如图5所示)；
[0045]
优选地，步骤5中，过滤错误结果与环境噪点利用差分判据微分
判据以及差值判据来筛选符合精度条件的三维坐标。
[0046]
优选地，步骤5中，差分判据表示获取相邻两点pi和p
i-1
在计算机医学图像坐标系中z坐标值沿y方向的变化状态，当差分值大于阈值ε1，剔除点pi。本实施例中，根据实际测试结果ε1取值4.5。
[0047]
优选地，步骤5中，微分判据表示获取相邻两点pi和p
i-1
在计算机医学图像坐标系中z方向坐标差的比值，当微分值大于阈值ε2，剔除点pi。本实施例中，根据实际测试结果ε2取值0.1。
[0048]
优选地，步骤5中，差值判据表示获取相邻两点pi和p
i-1
在计算机医学图像坐标系中z方向的差值，当差值大于阈值ε3，剔除点pi。本实施例中，根据实际测试结果ε3取值15。
[0049]
优选地，步骤5中，栅格化下采样使用pcl库中的vexelgrid滤波器实现。该算法通过体素化网格，利用体素重心代替体素中其他所有点，从而完成点云的过滤。
[0050]
步骤6、实现胸腹部目标区域6的实物表面点云7与三维胸腹部医学图像8的配准：首先，枚举三维胸腹部医学图像8在计算机医学图像坐标系中可能处于的所有空间位姿状态(如图6所示)，并且记录每一种空间位姿状态相对初始位姿的初始变换矩阵再计算实物表面点云7的质心坐标以及每一种空间位姿状态下的三维胸腹部医学图像8的质心坐标；再分别将所有空间位姿状态下的三维胸腹部医学图像8平移到该三维胸腹部医学图像8的质心与实物表面点云7的质心对齐时的位置，记录所有的质心变换矩阵再遍历平移后的所有空间位姿状态，进行icp配准，进而得到所有的icp变换矩阵再计算所有空间位姿状态下完成icp配准后的icp配准误差rmsei；再比较所有的icp配准误差rmsei，获取最小icp配准误差rmsek以及该最小误差对应的空间位姿状态；最后，计算最小icp配准误差rmsek对应的空间位姿状态下的高迭代变换矩阵得到配准结果。
[0051]
优选地，所述三维胸腹部医学图像8是胸腹部医学图像进行三维重建后得到的。
[0052]
优选地，步骤6中，枚举的具体操作是：在计算机医学图像坐标系中绕x、y和z三轴循环遍历，按照步长α获得所有三维胸腹部医学图像8，得到种空间位姿状态。
[0053]
优选地，步骤6中，icp配准误差rmsei的计算公式如式(2)所示：
[0054][0055]
式(2)中，n
p
为空间表面点云中点的数量，为空间表面点云中的第j点，为第i种空间位姿状态下的三维胸腹部医学图像(8)中空间表面点的最近点，r与t为icp变换矩阵中的旋转矩阵与平移矩阵。
[0056]
本发明未述及之处适用于现有技术。

技术特征：
1.一种面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，该方法包括以下步骤：步骤1、搭建面向胸腹部经皮穿刺的线结构光无接触点云配准系统：该系统包括双目相机(1)、云台(2)、线结构光发射源(3)、运动控制板(4)和电脑(5)；线结构光发射源(3)固定于云台(2)上；运动控制板(4)用于控制云台(2)的运动；线结构光发射源(3)发射的线结构光能够投影至胸腹部目标区域(6)；双目相机(1)用于捕获带线结构光的胸腹部目标区域(6)；电脑(5)用于接收双目相机(1)的原始扫描图像，处理原始扫描图像，计算配准结果；步骤2、对胸腹部目标区域(6)进行扫描：首先启动双目相机(1)并判定胸腹部目标区域(6)；然后线结构光发射源(3)发射线结构光至胸腹部目标区域(6)的边界，获取胸腹部目标区域(6)的极限位置；再根据极限位置，确定云台(2)的运动范围和运动转角；然后云台(2)转动，线结构光发射源(3)调制发射线结构光，并将线结构光清晰投影在胸腹部目标区域(6)；最后调整双目相机(1)的光学参数，自适应周围环境达到能够清晰区分环境光线与线结构光的拍摄状态后，双目相机(1)拍摄，得到原始扫描图像；步骤3、对原始扫描图像进行线结构光提取：将原始扫描图像传输至电脑(5)中并对原始扫描图像进行初步处理，过滤掉多余的图像信息，并且进一步增大环境光线与线结构光的区分度，得到线结构光提取图像；线结构光提取图像包括左目图像与右目图像；步骤4、将线结构光提取图像中的二维线结构光信息实现三维化，完成基于立体视觉的深度重建：首先完成双目相机(1)的自校准，自适应获取最佳的立体视觉状态；再获取线结构光信息中同一个二维点在左目图像和右目图像中的像素坐标值并建立映射关系，进而将线结构光信息中的所有二维点完成一对一映射，得到若干个二维匹配点对；最后，对所有的二维匹配点对进行三维化，得到每一个二维匹配点对的对应的三维点；再获取三维点在世界坐标系中的三维坐标，得到三维坐标信息，完成基于立体视觉的深度重建；步骤5、将三维坐标信息归纳筛选获取点云集合，构建用于配准的胸腹部目标区域(6)的实物表面点云(7)：首先对三维坐标信息进行甄别，过滤错误结果与环境噪点，得到符合精度条件的三维坐标，得到点云集合；再根据实际临床应用与算法执行速度要求对点云集合进行栅格化下采样，获取均匀且最适合于配准的实物表面点云(7)；步骤6、实现胸腹部目标区域(6)的实物表面点云(7)与三维胸腹部医学图像(8)的配准：首先，枚举三维胸腹部医学图像(8)在计算机医学图像坐标系中可能处于的所有空间位姿状态，并且记录每一种空间位姿状态相对初始位姿的初始变换矩阵再计算实物表面点云(7)的质心坐标以及每一种空间位姿状态下的三维胸腹部医学图像(8)的质心坐标；再分别将所有空间位姿状态下的三维胸腹部医学图像(8)平移到该三维胸腹部医学图像(8)的质心与实物表面点云(7)的质心对齐时的位置，记录所有的质心变换矩阵再遍历平移后的所有空间位姿状态，进行icp配准，进而得到所有的icp变换矩阵再计算所有空间位姿状态下完成icp配准后的icp配准误差rmse
i
；再比较所有的icp配准误差rmse
i
，获取最小icp配准误差rmse
k
以及该最小误差对应的空间位姿状态；最后，计算最小icp配准误差rmse
k
对应的空间位姿状态下的高迭代变换矩阵得到配准结果。
2.根据权利要求1所述的面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，步骤1中，云台(2)具有两个转动自由度；运动控制板(4)采用arduino板。3.根据权利要求1所述的面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，步骤2中，双目相机(1)的光学参数包括相机的曝光、亮度和增益。4.根据权利要求1所述的面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，步骤3中，初步处理包括灰度化、降噪、平滑和切割。5.根据权利要求1所述的面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，步骤4中，双目相机(1)的自校准包括双目相机(1)的内参矩阵的标定、图像的畸变校正和双目的极线校正垂直坐标对齐。6.根据权利要求1所述的面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，步骤4中，获取二维匹配点对的具体步骤是：在左眼图像中取左目线结构光信息中的第i个二1维点1l
i
，l
i
的像素高1度为再以l
i
为参考点，在右目线结构光信息中寻1找与l
i
的像素1高度高1度最近的像1素点1r
i
，r
i
的像素高度为当1l
i
和r
i
满足时，1l
i
和r
i
为一个二维匹配点对；ε表示预设阈值，根据极线校正的误差设定。7.根据权利要求1所述的面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，步骤4中，三维化具体是：采用稳态三角化算法重建出二维匹配点对的深度信息，进而得到每一个二维匹配点对的对应的三维点；稳态三角化算法如式1所示：式(1)中，某个三维点在左相机中的像素坐标为(u1,v1)，在左相机的深度为d1；该三维点在右相机中的像素坐标为(u2,v2)，在右相机深度为d2；k1为左相机内参矩阵，k2为右相机内参矩阵；r为左相机到右相机的旋转矩阵；t为左相机到右相机的平移矩阵。8.根据权利要求1所述的面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，步骤5中，过滤错误结果与环境噪点利用差分判据微分判据以及差值判据来完成。9.根据权利要求1所述的面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，步骤6中，枚举的具体操作是：在计算机医学图像坐标系中绕x、y和z三轴循环遍历，按照步长α获得所有三维胸腹部医学图像(8)，得到种空间位姿状态。10.根据权利要求1所述的面向胸腹部经皮穿刺的线结构光无接触点云配准方法，其特征在于，步骤6中，icp配准误差rmse
i
的计算公式如式(2)所示：
式(2)中，n
p
为空间表面点云中点的数量，为空间表面点云中的第j点，为第i种空间位姿状态下的三维胸腹部医学图像(8)中空间表面点的最近点，r与t为icp变换矩阵中的旋转矩阵与平移矩阵。

技术总结
本发明公开了一种面向胸腹部经皮穿刺的线结构光无接触点云配准方法，包括搭建配准系统；对胸腹部目标区域进行扫描；对原始扫描图像进行线结构光提取；将线结构光提取图像中的二维线结构光信息实现三维化，完成基于立体视觉的深度重建；将三维坐标信息归纳筛选获取点云集合，构建用于配准的胸腹部目标区域的实物表面点云；实现胸腹部目标区域的实物表面点云与三维胸腹部医学图像的配准。本发明的配准方法不接触胸腹部表面、不额外粘贴标记物以及不干扰手术原有工作流程，实现了无接触、全自动、不变形且不依赖于任何标记物的高效、精确配准，降低了配准的复杂度，大大提升了配准的精度和效率。度和效率。度和效率。


技术研发人员：姜杉 李煜华 杨志永 朱涛
受保护的技术使用者：天津大学
技术研发日：2023.08.04
技术公布日：2023/10/15