一种基于混合式的跟踪注册方法与流程

1.本发明涉及计算机视觉处理技术领域，尤其涉及一种基于混合式的跟踪注册方法。


背景技术：

2.跟踪注册算法广泛应用于增强现实和混合现实领域，是该领域核心算法，算法的准确度和鲁棒性会影响实际过程中的虚实配准效果，本专利提出的算法辅助工业装配方面起到关键性作用。
3.目前，基于模型的跟踪注册方法已被广泛应用于增强现实领域，此方法可以解决对象由于缺乏纹理难以检测的问题，但是该方法需要处理从不同视角收集的大量参考图像，并需要大量计算，因此实际应用时实时性和可用性较差。
4.基于点云的跟踪注册方法在低照明强度和物体表面缺乏纹理的装配场景中表现出良好的鲁棒性，这种方法通常使用icp配准算法迭代计算全部或部分点云，可以在环境光照条件较差的情况下实现较好的位姿计算，但是当深度传感器因快速移动而无法获得正确的初始点云数据集时，icp算法的迭代过程容易陷入局部最优，甚至会导致“帧丢失”，从而中断跟踪注册过程。


技术实现要素：

5.有鉴于此，本发明所要解决的技术问题是：提供一种基于混合式的跟踪注册方法，能够在环境混乱、操作对象缺乏纹理的应用场景中具有良好的实时性和鲁棒性，具备较高的配准精度和计算效率。
6.为解决上述技术问题，本发明的技术方案是：
7.一种基于混合式的跟踪注册方法，包括离线训练阶段和在线识别阶段；其中，离线训练阶段包括如下步骤：
8.s10、通过计算机辅助设计(cad)从多个角度获得三维模型的参考图像，并建立模型的信息集；
9.s20、提取并存储图像的方向梯度和法向量特征；
10.s30、获取对应的模型点云；
11.在线识别阶段包括如下步骤：
12.s40、采集并修复深度图像；
13.s50、提取深度图像的方向梯度和法向量特征；
14.s60、使用改进的线性并行多模态linemod模板匹配方法，从深度图像中计算方向梯度和法向量特征来描述物体的轮廓与形状，并从深度图像中获得关键帧，与存储图像匹配，获得相机姿态；
15.s70、使用改进的icp算法将环境点云和模型点云进行配准，确定模型姿态信息，准确估计相机姿态；
16.在步骤s70中，包括如下步骤：
17.s71、采用随机采样算法对环境点云进行精简；
18.s72、同名点匹配，对同名点对赋予权重；
19.s73、对同名点对误匹配过滤。
20.优选的，在步骤s60中，改进的线性并行多模态linemod模板匹配方法包括如下步骤：
21.s61、输入深度图像；
22.s62、采用7
×
7大小的高斯滤波器对深度图像进行模糊，去除深度跳变像素；
23.s63、采用5
×
5大小的sobel算子对模糊后的深度图像进行梯度计算，得到图像中每个像素的方向梯度以及梯度值；
24.s64、选择梯度值大于设定阈值的像素，量化该像素的方向梯度；
25.s65、结合深度图像的量化法线方向作为特征制作模板；
26.s66、基于模板进行匹配。
27.优选的，在步骤s63中，包括如下步骤：
28.s631、将深度图像转换为灰度图像；
29.s632、分别对灰度图像使用水平和垂直方向上的sobel算子进行卷积计算，获得水平方向上的灰度图像和垂直方向上的灰度图像；
30.s633、通过公式g(i)＝sqrt(gx(i)^2+gy(i)^2)将两灰度图像合并成一幅总灰度图像，其中，g(i)表示该点灰度的大小，gx(i)和gy(i)分别代表经横向及纵向边缘检测的图像灰度值；
31.s634、通过公式θ＝atan2(gy，gx)计算方向角度，其中，atan2函数为反正切函数，其返回的值为[-π，π]之间的弧度值。
[0032]
优选的，在步骤s71中，包括如下步骤：
[0033]
s711、计算目标点云和参考点云的边界框，并计算出相对位置和姿态信息，得到初步的配准结果；
[0034]
s712、在新的迭代中，根据当前的配准误差大小，自适应地调整采样的点数；
[0035]
s713、采用公式一进行配准，在每次迭代中，通过匹配采样点和参考点云上最近邻的点，计算出变换矩阵来更新目标点云的位置和姿态信息，
[0036]
公式一：
[0037]
其中，rmse是上一次迭代的均方根误差，d是点云的密度，n是点云大小，中x为筛选系数，当rmse误差比较大时，说明目前点云中噪声点多，因此将选取较少的点参与计算，以加快收敛的速度，当rmse误差比较小时，可选取较多的点参与计算，以提高配准的精度；
[0038]
s714、通过判断配准误差是否达到了设定的阈值，决定是否继续迭代，如果配准误差较小，则停止迭代，输出最终配准结果；如果配准误差仍然较大，则继续迭代。
[0039]
优选的，在步骤s72中，包括如下步骤：
[0040]
s721、在参考点云和目标点云中分别提取出特征点；
[0041]
s722、采用bnn算法将参考点云和目标点云中的同名点进行匹配，两个同名点必须互为对方的最近邻；
[0042]
s723、在同名点匹配后，为每个点计算法向量；
[0043]
s724、同名点对ci＝(pi，qi)，其中pi，qi对应的法向量分别为v
pi
，v
qi
，采用公式二为同名点对ci赋予权重，其中，公式二：wi＝v
pi
·vqi
；
[0044]
s725、根据权重值计算所有同名点的平均权重，并将其作为最终匹配结果的权重。
[0045]
优选的，在步骤s73中，包括如下步骤：
[0046]
s731、在同名点对匹配完成后，对同名点对ci＝(pi，qi)计算余弦值，pi，qi两点所连成的向量表示为vi，对于任意两对点对ci，cj，其连线向量夹角的余弦值为vi·
vj；
[0047]
s732、对任意一个点对ci，，采用公式三将其与剩下所有点对的兼容性进行统计计分，
[0048]
公式三：其中，该权重与pi，qi两点之间的欧拉距离成反比，d
max
表示所有同名点对中的最大欧拉距离；
[0049]
s733、对所有得分{si}进行统计，计算出对应的均值μ和方差σ；
[0050]
s734、设定阈值ε＝μ+stddev*σ，对于得分小于阙值ε的匹配，判定为错误匹配并将其过滤。
[0051]
采用了上述技术方案后，本发明的有益效果是：
[0052]
由于在本发明中，公开了一种基于混合式的跟踪注册方法，具体的，包括离线训练阶段和在线识别阶段；其中，离线训练阶段包括从多个角度获得三维模型的参考图像建立模型的信息集，提取并存储图像的方向梯度和法向量特征，获取对应的模型点云；在线识别阶段包括采集并修复深度图像，提取深度图像的方向梯度和法向量特征，使用改进的线性并行多模态linemod模板匹配方法，从深度图像中计算方向梯度和法向量特征来描述物体的轮廓与形状，并从深度图像中获得关键帧，与存储图像匹配，获得相机姿态，使用改进的icp算法将环境点云和模型点云进行配准，确定模型姿态信息，准确估计相机姿态。从深度图中计算方向梯度用于描述轮廓与形状并从深度图像中提取表面法线的方向来描述物体形状，提高了模型识别率，实现了目标工件的粗定位与分割，同时，采用改进的icp算法对正确的匹配赋予更高的权重，对误匹配进行有效过滤，并使用点点与点面结合的误差函数，提高算法的鲁棒性和准确性，在只筛选部分点进行配准，算法时间消耗和计算开销明显减少，在只筛选部分点进行配准的情况下，仍保持与icp算法近似的精度，由此，具有良好的实时性和鲁棒性，具备较高的配准精度和计算效率。
附图说明
[0053]
下面结合附图和实施例对本发明进一步说明。
[0054]
图1是本发明实施例基于混合式的跟踪注册方法的总体流程图；
[0055]
图2是本发明实施例基于混合式的跟踪注册方法的流程框图；
[0056]
图3是图1中线性并行多模态linemod模板匹配方法的流程框图；
[0057]
图4是图1中icp算法的流程图。
具体实施方式
[0058]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0059]
本说明书中所引用的如“前”、“后”、“左”、“右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0060]
如图1至图3所示，本发明公开了一种基于混合式的跟踪注册方法，包括离线训练阶段和在线识别阶段；其中，离线训练阶段包括如下步骤：
[0061]
s10、通过计算机辅助设计(cad)从多个角度获得三维模型的参考图像，并建立模型的信息集；
[0062]
s20、提取并存储图像的方向梯度和法向量特征；
[0063]
s30、获取对应的模型点云；
[0064]
在线识别阶段包括如下步骤：
[0065]
s40、采集并修复深度图像；
[0066]
s50、提取深度图像的方向梯度和法向量特征；
[0067]
s60、使用改进的线性并行多模态linemod模板匹配方法，从深度图像中计算方向梯度和法向量特征来描述物体的轮廓与形状，并从深度图像中获得关键帧，与存储图像匹配，获得相机姿态；
[0068]
s70、使用改进的icp算法将环境点云和模型点云进行配准，确定模型姿态信息，准确估计相机姿态；
[0069]
在步骤s70中，包括如下步骤：
[0070]
s71、采用随机采样算法对环境点云进行精简；
[0071]
s72、同名点匹配，对同名点对赋予权重；
[0072]
s73、对同名点对误匹配过滤。
[0073]
需要注意的是，在步骤s10中，包括如下步骤：
[0074]
s11、对三维模型采用cad软件进行建模；
[0075]
s12、在cad软件中设置不同角度的视图并对其进行截图或保存为图片，优选的，图片包括俯视图、正视图、侧视图和45度视图；
[0076]
s13、将图片导入到图像处理算法中，进行预处理操作，预处理操作包括去噪、滤波、旋转调整；
[0077]
s14、提取方向梯度和法向量特征，其中，方向梯度使用canny算子或sobel算子等梯度算子计算，法向量特征使用点云库(如pcl、open3d等)中的算法计算；
[0078]
s15、对于每个参考图像，建立并存储信息集，在建立信息集时，需要记录当前参考图像的相关属性，如图像id、方向梯度和法向量特征。
[0079]
在步骤s40中，包括如下步骤：
[0080]
s41、对深度图像进行预处理，包括去除无效像素、消除噪声；
[0081]
s42、对预处理后的深度图像进行修复，包括但不限于使用插值、填充或矫正等算法，对深度信息进行修复。
[0082]
在步骤s60中，改进的线性并行多模态linemod模板匹配方法包括如下步骤：
[0083]
s61、输入深度图像；
[0084]
s62、采用7
×
7大小的高斯滤波器对深度图像进行模糊，去除深度跳变像素；
[0085]
s63、采用5
×
5大小的sobel算子对模糊后的深度图像进行梯度计算，得到图像中每个像素的方向梯度以及梯度值；
[0086]
s64、选择梯度值大于设定阈值的像素，量化该像素的方向梯度；
[0087]
s65、结合深度图像的量化法线方向作为特征制作模板；
[0088]
s66、基于模板进行匹配。
[0089]
其中，在步骤s63中，包括如下步骤：
[0090]
s631、将深度图像转换为灰度图像；
[0091]
s632、分别对灰度图像使用水平和垂直方向上的sobel算子进行卷积计算，获得水平方向上的灰度图像和垂直方向上的灰度图像；
[0092]
s633、通过公式g(i)＝sqrt(gx(i)^2+gy(i)^2)将两灰度图像合并成一幅总灰度图像，其中，g(i)表示该点灰度的大小，gx(i)和gy(i)分别代表经横向及纵向边缘检测的图像灰度值；
[0093]
s634、通过公式θ＝atan2(gy,gx)计算方向角度，其中，atan2函数为反正切函数，其返回的值为[-π,π]之间的弧度值。
[0094]
从深度图中计算方向梯度用于描述轮廓与形状并从深度图像中提取表面法线的方向来描述物体形状，提高了模型识别率，实现了目标工件的粗定位与分割。
[0095]
本发明中，在步骤s71中，包括如下步骤：
[0096]
s711、计算目标点云和参考点云的边界框，并计算出相对位置和姿态信息，得到初步的配准结果；
[0097]
s712、在新的迭代中，根据当前的配准误差大小，自适应地调整采样的点数；
[0098]
s713、采用公式一进行配准，在每次迭代中，通过匹配采样点和参考点云上最近邻的点，计算出变换矩阵来更新目标点云的位置和姿态信息，
[0099]
公式一：
[0100]
其中，rmse是上一次迭代的均方根误差，d是点云的密度，n是点云大小，中x为筛选系数，当rmse误差比较大时，说明目前点云中噪声点多，因此将选取较少的点参与计算，以加快收敛的速度，当rmse误差比较小时，可选取较多的点参与计算，以提高配准的精度；
[0101]
s714、通过判断配准误差是否达到了设定的阈值，决定是否继续迭代，如果配准误差较小，则停止迭代，输出最终配准结果；如果配准误差仍然较大，则继续迭代。
[0102]
其中，在步骤s72中，包括如下步骤：
[0103]
s721、在参考点云和目标点云中分别提取出特征点；
[0104]
s722、采用bnn算法将参考点云和目标点云中的同名点进行匹配，两个同名点必须互为对方的最近邻；
[0105]
s723、在同名点匹配后，为每个点计算法向量；
[0106]
s724、同名点对ci＝(pi，qi)，其中pi，qi对应的法向量分别为v
pi
，v
qi
，采用公式二为同名点对ci赋予权重，其中，公式二：wi＝v
pi
·vqi
；
[0107]
s725、根据权重值计算所有同名点的平均权重，并将其作为最终匹配结果的权重。
[0108]
优选的，在步骤s73中，包括如下步骤：
[0109]
s731、在同名点对匹配完成后，对同名点对ci＝(pi，qi)计算余弦值，pi，qi两点所连成的向量表示为vi，对于任意两对点对ci，cj，其连线向量夹角的余弦值为vi·
vj；
[0110]
s732、对任意一个点对ci，，采用公式三将其与剩下所有点对的兼容性进行统计计分，
[0111]
公式三：其中，该权重与pi，qi两点之间的欧拉距离成反比，d
max
表示所有同名点对中的最大欧拉距离；
[0112]
s733、对所有得分{si}进行统计，计算出对应的均值μ和方差σ；
[0113]
s734、设定阈值ε＝μ+stddev*σ，对于得分小于阙值ε的匹配，判定为错误匹配并将其过滤。
[0114]
采用改进的icp算法对正确的匹配赋予更高的权重，对误匹配进行有效过滤，并使用点点与点面结合的误差函数，提高算法的鲁棒性和准确性，在只筛选部分点进行配准，算法时间消耗和计算开销明显减少，在只筛选部分点进行配准的情况下，仍保持与icp算法近似的精度，由此，具有良好的实时性和鲁棒性，具备较高的配准精度和计算效率。
[0115]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于混合式的跟踪注册方法，其特征在于，包括离线训练阶段和在线识别阶段；其中，离线训练阶段包括如下步骤：s10、通过计算机辅助设计(cad)从多个角度获得三维模型的参考图像，并建立模型的信息集；s20、提取并存储图像的方向梯度和法向量特征；s30、获取对应的模型点云；在线识别阶段包括如下步骤：s40、采集并修复深度图像；s50、提取深度图像的方向梯度和法向量特征；s60、使用改进的线性并行多模态linemod模板匹配方法，从深度图像中计算方向梯度和法向量特征来描述物体的轮廓与形状，并从深度图像中获得关键帧，与存储图像匹配，获得相机姿态；s70、使用改进的icp算法将环境点云和模型点云进行配准，确定模型姿态信息，准确估计相机姿态；在步骤s70中，包括如下步骤：s71、采用随机采样算法对环境点云进行精简；s72、同名点匹配，对同名点对赋予权重；s73、对同名点对误匹配过滤。2.如权利要求1所述的基于混合式的跟踪注册方法，其特征在于，在步骤s60中，改进的线性并行多模态linemod模板匹配方法包括如下步骤：s61、输入深度图像；s62、采用7
×
7大小的高斯滤波器对深度图像进行模糊，去除深度跳变像素；s63、采用5
×
5大小的sobel算子对模糊后的深度图像进行梯度计算，得到图像中每个像素的方向梯度以及梯度值；s64、选择梯度值大于设定阈值的像素，量化该像素的方向梯度；s65、结合深度图像的量化法线方向作为特征制作模板；s66、基于模板进行匹配。3.如权利要求2所述的基于混合式的跟踪注册方法，其特征在于，在步骤s63中，包括如下步骤：s631、将深度图像转换为灰度图像；s632、分别对灰度图像使用水平和垂直方向上的sobel算子进行卷积计算，获得水平方向上的灰度图像和垂直方向上的灰度图像；s633、通过公式g(i)＝sqrt(gx(i)^2+gy(i)^2)将两灰度图像合并成一幅总灰度图像，其中，g(i)表示该点灰度的大小，gx(i)和gy(i)分别代表经横向及纵向边缘检测的图像灰度值；s634、通过公式θ＝atan2(gy,gx)计算方向角度，其中，atan2函数为反正切函数，其返回的值为[-π,π]之间的弧度值。4.如权利要求1所述的基于混合式的跟踪注册方法，其特征在于，在步骤s71中，包括如下步骤：
s711、计算目标点云和参考点云的边界框，并计算出相对位置和姿态信息，得到初步的配准结果；s712、在新的迭代中，根据当前的配准误差大小，自适应地调整采样的点数；s713、采用公式一进行配准，在每次迭代中，通过匹配采样点和参考点云上最近邻的点，计算出变换矩阵来更新目标点云的位置和姿态信息，公式一：其中，rmse是上一次迭代的均方根误差，d是点云的密度，n是点云大小，中x为筛选系数，当rmse误差比较大时，说明目前点云中噪声点多，因此将选取较少的点参与计算，以加快收敛的速度，当rmse误差比较小时，可选取较多的点参与计算，以提高配准的精度；s714、通过判断配准误差是否达到了设定的阈值，决定是否继续迭代，如果配准误差较小，则停止迭代，输出最终配准结果；如果配准误差仍然较大，则继续迭代。5.如权利要求4所述的基于混合式的跟踪注册方法，其特征在于，在步骤s72中，包括如下步骤：s721、在参考点云和目标点云中分别提取出特征点；s722、采用bnn算法将参考点云和目标点云中的同名点进行匹配，两个同名点必须互为对方的最近邻；s723、在同名点匹配后，为每个点计算法向量；s724、同名点对c
i
＝(p
i
,q
i
)，其中p
i
,q
i
对应的法向量分别为v
pi
,v
qi
，采用公式二为同名点对c
i
赋予权重，其中，公式二：w
i
＝v
pi
·
v
qi
；s725、根据权重值计算所有同名点的平均权重，并将其作为最终匹配结果的权重。6.如权利要求5所述的基于混合式的跟踪注册方法，其特征在于，在步骤s73中，包括如下步骤：s731、在同名点对匹配完成后，对同名点对c
i
＝(p
i
,q
i
)计算余弦值，p
i
,q
i
两点所连成的向量表示为v
i
，对于任意两对点对c
i
,c
j
，其连线向量夹角的余弦值为v
i
·
v
j
；s732、对任意一个点对c
i
,，采用公式三将其与剩下所有点对的兼容性进行统计计分，公式三：其中，该权重与p
i
,q
i
两点之间的欧拉距离成反比，d
max
表示所有同名点对中的最大欧拉距离；s733、对所有得分{s
i
}进行统计，计算出对应的均值μ和方差σ；s734、设定阈值ε＝μ+stddev*σ，对于得分小于阙值ε的匹配，判定为错误匹配并将其过滤。

技术总结
一种基于混合式的跟踪注册方法，涉及计算机视觉处理技术领域，包括离线训练阶段和在线识别阶段；其中，离线训练阶段包括从多个角度获得三维模型的参考图像并建立信息集，提取并存储方向梯度和法向量特征，获取模型点云；在线识别阶段包括采集并修复深度图像，提取深度图像的方向梯度和法向量特征，使用改进的线性并行多模态LineMod模板匹配方法，描述物体的轮廓与形状，并获得关键帧，与存储图像匹配，获得相机姿态，及使用改进的ICP算法将环境点云和模型点云进行配准，确定模型姿态信息，准确估计相机姿态。本发明能够在环境混乱、操作对象缺乏纹理的应用场景中具有良好的实时性和鲁棒性，具备较高的配准精度和计算效率。具备较高的配准精度和计算效率。具备较高的配准精度和计算效率。


技术研发人员：张晴晴 严小天 刘宁 郭秋华 王惠青 刘训福
受保护的技术使用者：青岛虚拟现实研究院有限公司
技术研发日：2023.06.16
技术公布日：2023/9/22