一种基于腰型孔特征的合装面定位相对位姿测量方法

1.本发明属于对接装配领域，尤其涉及一种基于腰型孔特征的合装面定位相对位姿测量方法。


背景技术：

2.对接装配是设备工艺中尤为关键的一环，传统的对接装配工作通常采用吊装或者移动的地面工装的方式来对接部件，再通过人工辅助完成对接。如汽车合装领域，为了确保底盘和车身相对位置符合对接要求，一般通过人工扶持车身对正或者通过机械定位装置，对接准确度较低，对接效率较低，自动化程度较低。随着现代技术发展，利用视觉测量技术来精确测量对接装配中合装面的相对位姿能够有效提高合装对接的质量和效率。
3.视觉位姿测量技术是首先对目标特征进行识别和提取，进而通过对提取出的特征点的重投影约束、特征线的斜率约束和特征圆的半径约束等来计算出目标的位置。发明专利[cn108090931a]提出了一种基于圆和十字特征的抗遮挡抗干扰的标志器识别与位姿测量方法。发明专利[cn104517291]提出了一种基于目标同轴圆特征的位姿测量方法。


技术实现要素：

[0004]
发明目的：现有技术提出的方法并不适用于合装面上的腰型孔特征，因此本发明提出一种基于腰型孔特征的合装面定位相对位姿测量方法，实现在对接装配中对合装面上腰型孔特征的高精度的相对位姿测量。
[0005]
所述方法包括如下步骤：
[0006]
步骤1，提取感兴趣区域roi：获取原始图像，再利用yolo神经网络从原始图像中检测出腰型孔特征，选择腰型孔所在的最大矩形的图像区域作为感兴趣区域roi；
[0007]
步骤2，边缘提取：对感兴趣区域roi进行滤波、直方图均衡化、形态学等操作，再对预处理后的图像进行基于多项式插值的边缘提取，获得腰型孔的边缘点集；
[0008]
步骤3，对步骤2获取的边缘点集进行筛选，得到两个弧线段的点集；
[0009]
步骤4，利用步骤3得到的点集进行椭圆拟合得到图像平面上的椭圆方程；
[0010]
步骤5，利用步骤4得到的两个椭圆方程解算对应空间圆的位姿，得到对应空间圆的圆心和所在空间平面的法向量；
[0011]
步骤6，利用步骤5计算出的信息得出腰型孔所在平面的法向量和腰型孔的几何中心点的坐标；
[0012]
步骤7，利用步骤6计算出的信息得到腰型孔的位姿信息。
[0013]
步骤3包括：
[0014]
步骤3-1，利用hough变换拟合腰型孔直线段的两条直线，得到两条直线的斜率k1、k2和截距b1、b2；
[0015]
步骤3-2，利用点到直线的公式获取所有点分别到两条直线的距离l
1i
、l
2i
；
[0016]
步骤3-3，当点i满足l
1i
或者l
2i
小于等于阈值0.5就保留此点i，得到上下两段弧线
的点集；
[0017]
步骤3-4，根据弧线段在图像上的位置将保留下的弧线段点集分为上弧线段点集u1和下弧线段点集u2。步骤3-3是得到一个点集，所有弧线段的点都在此点集中，所以后续3-4得将其进行划分。划分是为了后续的椭圆拟合。在步骤4中上下两个点集相对于一个点集会减少计算量。
[0018]
步骤4包括：
[0019]
步骤4-1，在上弧线段点集u1和下弧线段点集u2中随机选取五个点；
[0020]
步骤4-2，计算五个点构成的椭圆方程；
[0021]
步骤4-3，将上弧线段点集u1和下弧线段点集u2中的所有点带入到步骤4-2中计算的椭圆方程中，如果计算结果小于等于0.1，说明点满足椭圆方程，统计满足椭圆方程的点的数量；
[0022]
步骤4-4，重复执行步骤4-1～步骤4-3，直到满足椭圆方程的点的数量大于等于阈值，将得到的椭圆作为最终结果，得到如下弧线点集ui对应的椭圆方程ei：
[0023]ai
u2+biv2+ciuv+diu+eiv+fi＝0
[0024]
其中ai、bi、ci、di、ei、fi为计算出第i个椭圆的方程参数，i＝1，2，(u，v)为图像坐标。
[0025]
步骤5包括：
[0026]
步骤5-1，相机模型f0为相机的焦距，(x，y，z)是图像坐标为(u，v)的点在相机坐标下对应的坐标；
[0027]
由相机模型得到在相机坐标系o
c-xcyczc下的椭圆锥面方程为：
[0028]ai
x2+biy2+cixy+dixz+eiyz+fiz2＝0
[0029]
其中，中间参数ai＝a
if02
，中间参数bi＝b
if02
，中间参数ci＝c
if02
，中间参数di＝dif0，中间参数ei＝eif0，中间参数fi＝fi；
[0030]
椭圆锥面方程改写成如下矩阵形式：
[0031]
[xyz]qi[xyz]
t
＝0
[0032][0033]
其中，qi为椭圆锥面方程的参数矩阵，t表示矩阵转置；
[0034]
步骤5-2，将步骤5-1中相机坐标系下的椭圆锥面方程变换到一个新的坐标系o
c-x
ci’y
ci’z
ci’中，使得椭圆锥面方程变换为标准形式：
[0035]
新的坐标系o
c-x
ci’y
ci’z
ci’与相机坐标系o
c-xcyczc之间只存在旋转关系，表示为[x y z]
t
＝pi[xi′
yi′
zi′
]
t
，pi是一个3
×
3的矩阵，x
′i、yi′
、zi′
是坐标x、y、z在新坐标系o
c-x
ci’y
ci’z
ci’的坐标，在新坐标系o
c-x
ci’y
ci’z
ci’下椭圆锥面方程的矩阵形式为：
[0036]
[xi′
yi′
zi′
]p
i-1
qipi[xi′
yi′
zi′
]
t
＝0；
[0037]
步骤5-3，通过对矩阵qi的特征值分解获得qi的特征值标准椭圆锥面方程的系数和矩阵和矩阵为特征值对应的特征向量，通过以下方法确定，其中为特征值对应的特征向量，为特征值对应的特征向量，为特征值对应的特征向量：
[0038]
调整顺序，使得与同号且与异号，求取对应的规范化特征向量
[0039][0040]
如果则否则不变化；
[0041]
步骤5-4，通过标准椭圆锥面方程的系数和腰型孔两端半圆弧的实际半径r，确定圆弧对应空间圆在新坐标系o
c-x
ci’y
ci’z
ci’下所在平面的法向量ni′
和圆心坐标ci′
：
[0042][0043][0044]
其中为法向量ni′
在ocx
ci’方向上的投影，
′
为法向量ni′
在ocy
ci’方向上的投影，为法向量ni′
在o
c z
ci’方向上的投影；为圆心坐标ci′
在ocx
ci’方向上的投影，为圆心坐标ci′
在ocy
ci’方向上的投影，为圆心坐标ci′
在o
c z
ci’方向上的投影；
[0045]
步骤5-5，利用旋转矩阵pi得到在相机坐标系o
c-xcycz下的法向量ni和圆心坐标ci：
[0046]
[0047][0048]
其中为法向量ni在ocxc方向上的投影，为法向量ni在ocyc方向上的投影，为法向量ni在o
c zc方向上的投影。为圆心坐标ci在ocxc方向上的投影，为圆心坐标ci在ocy
ci’方向上的投影，为圆心坐标ci在o
c z
ci’方向上的投影。
[0049]
步骤6包括：
[0050]
步骤6-1，空间圆c1得到的两组解为c
11
和n
11
、c
12
和n
12
，空间圆c2得到的两组解为c
21
和n
21
、c
22
和n
22
，计算两空间圆法向量之间的夹角α：
[0051][0052]
其中，i＝1，2；
[0053]
步骤6-2，如果α》90
°
，令n
2i
＝-n
2i
，再计算n
1i
与n
2i
之间的夹角；
[0054]
步骤6-3，因为腰型孔两端圆弧在同一平面上，所以两端圆弧对应空间圆所在平面的法向量一定平行；当其中一组向量的夹角满足0
°
≤α≤0.5
°
，所述组的解中的n
1i
和对应的圆心坐标c
1i
为空间圆c1的法向量n1和圆心坐标c1的正确解，所述组的解中的n
2i
和对应的圆心坐标c
2i
为空间圆c2的法向量n2和圆心坐标c2的正确解；
[0055]
步骤6-4，腰型孔所在平面的法向量n＝(n1+n2)/2，两端圆弧对应的圆心分别为c1和c2，腰型孔的几何中心c＝(c1+c2)/2。
[0056]
步骤7包括：
[0057]
步骤7-1，腰型孔的位置信息由几何中心c的坐标表示，腰型孔的姿态信息由偏航角ψ、俯仰角θ和滚动角φ表示；在图像中c2的投影总是在c1的投影的下方，偏航角ψ定义为向量c2c1在xcocyc平面上的竖直投影与y轴正方向的夹角，取值范围为[-π/2，π/2]，当时俯仰角ψ为正值；俯仰角θ定义为腰型孔所在平面与平面xcocyc的夹角，取值范围为[-π/2，π/2]，当c时俯仰角θ为正值；滚动角φ定义为法向量n与直线c1c2所在铅垂平面c1c2c1′
c2'的夹角，c1′
、c2′
分别为c1在xcocyc平面上的竖直投影和c2在xcocyc平面上的竖直投影，取值范围为[-π/2，π/2]，当法向量在平面c1c2c1′
c2'右侧时滚动角φ为正值；偏航角ψ、俯仰角θ和滚动角φ的计算公式为：
[0058][0059]
其中分别为圆心ci在ocxc方向上的投影和ocyc方向上的投影，n为腰型孔所
在平面在相机坐标系下的法向量，n
x
、ny、nz分别为法向量n在ocxc方向上的投影、ocyc方向上的投影和oczc方向上的投影，为铅垂平面c1c2c1′
c2'的法向量。
[0060]
步骤7-2，腰型孔的位置信息c＝[c
xcycz
]
t
＝(c1+c2)/2，姿态信息e＝[ψθφ]
t
。
[0061]
本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述的一种基于腰型孔特征的合装面定位相对位姿测量方法。
[0062]
有益效果：相较于传统的辅助装配技术，例如人工定位和机械定位，本发明提出的基于腰型孔特征的合装面定位相对位姿测量方法解决了对合装面上腰型孔特征的位姿的高精度测量，位姿精度达到了0.1mm，有效地提高了合装对接的效率和精度，降低了人工成本，提高了自动化程度。
附图说明
[0063]
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
[0064]
图1为本发明的汽车合装面上的腰型孔特征。
[0065]
图2为本发明的基于腰型孔特征的合装面定位相对位姿测量方法流程图。
[0066]
图3为本发明的腰型孔投影成像模型示意图。
[0067]
图4为本发明的腰型孔位姿描述示意图。
具体实施方式
[0068]
如图2所示，本发明提出一种基于腰型孔特征的合装面定位相对位姿测量方法，包括以下步骤：
[0069]
步骤1：获得原始图像，再利用yolo深度神经网络完成腰型孔特征的目标检测，将检测出的腰型孔所在矩形的图像区域作为感兴趣区域(roi)；如图1所示为本发明的汽车合装面上的腰型孔特征；
[0070]
步骤2：对步骤1中图像的感兴趣区域(roi)进行灰度化、滤波、直方图均衡化、形态学等操作，再利用多项式插值提取得到目标边缘点集；
[0071]
步骤3：对步骤2获取的边缘点集进行筛选，得到两个弧线段的点集；
[0072]
步骤4：利用步骤3得到的点集进行椭圆拟合得到图像平面上的椭圆方程；
[0073]
步骤5：利用步骤4得到的椭圆方程解算对应空间圆的位姿，得到对应空间圆的圆心和所在空间平面的法向量；
[0074]
步骤6：利用步骤5计算出的信息得出腰型孔所在平面的法向量和腰型孔的几何中心点的坐标；
[0075]
步骤7：利用步骤6计算出的信息得到腰型孔的位姿信息。
[0076]
进一步，步骤4得到的椭圆方程e1与e2为：
[0077]
a1u2+b1v2+c1uv+d1u+e1v+f1＝0
[0078]
a2u2+b2v2+c2uv+d2u+e2v+f2＝0
[0079]
其中，ai、bi、ci、di、ei、fi为椭圆方程参数，u和v为椭圆上点的像素坐标。
[0080]
进一步，步骤5利用椭圆方程计算空间圆圆心和所在空间平面的法向量的具体过程为：
[0081]
(1)依据图像坐标系下拟合的椭圆方程，由相机投影模型可以将椭圆方程反向投影至相机坐标系下，形成一个由相机坐标原点为顶点，像平面上椭圆为底的斜椭圆锥：
[0082]ai
x2+biy2+cixy+dixz+eiyz+fiz2＝0
[0083]
可写成矩阵形式：
[0084]
[x y z]qi[x y z]
t
＝0其中＝0其中＝0其中
[0085][0086]
(2)将相机坐标系o
c-xcyczc下的斜椭圆锥面变换到新坐标系o
c-x
c’y
c’z
c’下，使得椭圆锥面在此坐标系下的表达形式为o
c-x
c’y
c’z
c’坐标系与相机坐标系的原点相同，这样两坐标系之间只有旋转关系，用3x3的矩阵p表示旋转关系，定义[xyz]
t
＝pi[xi′
yi′
zi′
]
t
，可得：
[0087]
[xi′
yi′
zi′
]p
i-1
qipi[xi′
yi′
zi′
]
t
＝0
[0088]
(3)对矩阵q进行特征值分解，求得特征值和对应的特征向量和对应的特征向量调整λ1、λ2、λ3顺序，使得λ1、λ2均与λ3异号且|λ1|≥|λ2|，这样变换后的标准椭圆锥面的方程为：
[0089][0090]
(4)在标准坐标系下求解空间圆的位置信息和姿态信息。假设空间圆的半径为r，求解其位姿就是在标准坐标系o
c-x
c’y
c’z
c’下找到一个平面，使得该平面与标准椭圆锥相交形成半径为r的圆，该圆的圆心坐标和圆所在空间平面的法向量就是要求得的信息。在标准坐标系下，基于椭圆锥面方程，圆心坐标和圆所在平面的法向量为：
[0091][0092][0093]
将在新坐标系o
c-x
c’y
c’z
c’的结果转换到相机坐标系o
c-xcyczc，得到：
[0094]
[0095][0096]
进一步，步骤6中利用步骤5计算得到的4组解计算腰型孔的几何中心和所在平面法向量的具体过程为：
[0097]
(1)如图3所示，空间圆c1的解为c
11
和n
11
、c
12
和n
12
，空间圆c2得到的解为c
21
和n
21
、c
22
和n
22
。计算两空间圆法向量之间的夹角α：
[0098][0099]
(2)若α》90
°
，令n
2i
＝-n
2i
，再计算n
1i
与n
2i
之间的夹角；
[0100]
(3)当其中某一组向量的夹角0
°
≤α≤0.5
°
，该组解中的法向量n
1i
和n
2i
以及对应的圆心坐标c
1i
和c
2i
即为正确解，空间圆c1的法向量n1＝n
1i
，空间圆c1的圆心坐标c1＝c
1i
，空间圆c2的法向量n2＝n
2i
，空间圆c2的圆心坐标c2＝c
2i
；
[0101]
(4)腰型孔所在平面的法向量为n＝(n1+n2)/2，两端圆弧对应的圆心分别为c1和c2，腰型孔的几何中心为c＝(c1+c2)/2。
[0102]
进一步，步骤7确定腰型孔的位姿信息的具体过程为：腰型孔的位置信息用其几何中心c表示，腰型孔的姿态信息e用偏航角ψ、俯仰角θ和滚动角φ表示。其中偏航角ψ定义为向量c2c1在xcocyc平面上的投影与y轴正方向的夹角，取值范围为[-π/2，π/2]，当时俯仰角ψ为正值。俯仰角θ定义为腰型孔所在平面与平面xcocyc的夹角，取值范围为[-π/2，π/2]，当时俯仰角θ为正值。滚动角φ定义为法向量n与直线c1c2所在铅垂平面c1c2c1′
c2'的夹角，取值范围为[-π/2，π/2]，当法向量在平面c1c2c1′
c2'右侧时滚动角φ为正值，如图4所示。
[0103]
实施例
[0104]
本实施例提供了一种基于腰型孔特征的合装面定位相对位姿测量方法，具体包括；
[0105]
步骤1，提取roi：获取原始图像，再利用yolo神经网络从原始图像中识别出腰型孔特征，选择该腰型孔所在的最大矩形的图像区域作为感兴趣区域(roi)；
[0106]
步骤2，图像处理：通过灰度化、滤波、直方图均衡化、形态学等操作
[0107]
步骤3，边缘提取：对处理后的图片使用多项式插值的方法提取出腰型孔的边缘点集；
[0108]
步骤4，弧线段点集筛选：基于hough变换对边缘点集进行筛选，获得弧线段的点集；
[0109]
步骤5，椭圆拟合：利用ransac(random sample consensus，随机一致性采样)算法对步骤4中的获取的两个点集进行椭圆拟合，获得椭圆方程e1与e2；
[0110]
步骤6，空间圆解算：通过已知的腰型孔两段弧线段的半径r和步骤5中获取的椭圆拟合参数解算图像中椭圆对应空间圆的圆心和所在平面的法向量
[0111]
步骤7，腰型孔位姿解算：通过两个圆心坐标计算得到腰型孔的几何中心，通过获取的法向量和两个圆心坐标计算腰型孔的姿态。
[0112]
步骤3包括：
[0113]
步骤3-1，利用hough变换拟合腰型孔直线段的两条直线，得到直线的斜率k1、k2和截距b1、b2；
[0114]
步骤3-2，利用点到直线的公式获取所有点分别到两条直线的距离l
1i
、l
2i
；
[0115]
步骤3-3，当点i满足l
1i
或者l
2i
小于等于阈值就保留此点i，得到上下两段弧线的点集；
[0116]
步骤3-4，根据弧线段在图像上的位置将保留下的弧线段点集分为上弧线段点集u1和下弧线段点集u2。
[0117]
步骤4包括：
[0118]
步骤4-1，在获取的弧线段点集中先随机选取五个点；
[0119]
步骤4-2，利用步骤4-1中的五个点计算其构成的椭圆方程；
[0120]
步骤4-3，将点集中的所有点带入到步骤4-2中计算的椭圆方程中，如果计算结果小于等于0.1，就说明该点满足椭圆方程，统计满足椭圆方程的点的数量；
[0121]
步骤4-4，重复执行步骤4-1～步骤4-3，直到满足椭圆方程的点的数量大于等于点集所有点的数量的90％，将该椭圆作为最终结果，得到椭圆方程：
[0122]ai
u2+biv2+ciuv+diu+eiv+fi＝0
[0123]
其中i＝1，2。
[0124]
步骤5包括：
[0125]
步骤5-1，相机模型f0为相机的焦距，(x，y，z)是图像坐标为(u，v)点对应在相机坐标下的坐标。由相机模型可得相应的椭圆锥面方程：
[0126]ai
x2+biy2+cixy+dixz+eiyz+fiz2＝0(i＝1，2)
[0127]
其中：ai＝a
if02
，bi＝b
if02
，ci＝c
if02
，di＝dif0，ei＝eif0，fi＝fi。
[0128]
椭圆锥面方程改写成如下矩阵形式：
[0129]
x＝[x y z]qi[x y z]
t
＝0
[0130][0131]
步骤5-2，将步骤5-1中相机坐标系下的椭圆锥面方程变换到一个新的坐标系o
c-x
ci’y
ci’z
ci’中，使得椭圆锥面方程变换为标准形式，形如新的坐标系o
c-x
ci’y
ci’z
ci’要保证与相机坐标系o
c-xcyczc之间只存在旋转关系，可表示为[x y z]
t
＝pi[xi′
yi′
zi′
]
t
，pi是一个3
×
3的矩阵。在新坐标系o
c-x
ci’y
ci’z
ci’下椭圆锥面方程的矩阵形式为：
[0132]
[xi′
yi′
zi′
]p
i-1
qipi[xi′
yi′
zi′
]
t
＝0。
[0133]
步骤5-3，通过对矩阵qi的特征值分解获得qi的特征值和对应的规范
化特征向量标准椭圆锥面方程的系数和矩阵和矩阵通过以下方法确定：
①
调整顺序，使得与同号且与之异号；
②③③
如果那么反之不变化。
[0134]
步骤5-4，通过步骤5-3获取的特征值和腰型孔两端半圆弧的实际半径r，确定圆弧对应空间圆在新坐标系o
c-x
ci’y
ci’z
ci’下所在平面的法向量ni′
和圆心坐标c
′i：
[0135][0136][0137]
步骤5-5，利用旋转矩阵pi得到在相机坐标系o
c-xcycz下的法向量ni和圆心坐标ci：
[0138][0139][0140]
步骤6包括：
[0141]
步骤6-1，空间圆c1得到的两组解为c
11
和n
11
、c
12
和n
12
，空间圆c2得到的两组解为c
21
和n
21
、c
22
和n
22
，计算两空间圆法向量之间的夹角α：
[0142][0143]
其中，i＝1，2；
[0144]
步骤6-2，如果α》90
°
，令n
2i
＝-n
2i
，再计算n
1i
与n
2i
之间的夹角；
[0145]
步骤6-3，因为腰型孔两端圆弧在同一平面上，所以两端圆弧对应空间圆所在平面的法向量一定平行；当其中一组向量的夹角满足0
°
≤α≤0.5
°
，所述组的解中的n
1i
和对应的圆心坐标c
1i
为空间圆c1的法向量n1和圆心坐标c1的正确解，所述组的解中的n
2i
和对应的圆心坐标c
2i
为空间圆c2的法向量n2和圆心坐标c2的正确解；
[0146]
步骤6-4，腰型孔所在平面的法向量n＝(n1+n2)/2，两端圆弧对应的圆心分别为c1和c2，腰型孔的几何中心c＝(c1+c2)/2。
[0147]
步骤7包括：
[0148]
步骤7-1，腰型孔的位置信息由几何中心c的坐标表示，腰型孔的姿态信息由偏航角ψ、俯仰角θ和滚动角φ表示；在图像中c2的投影总是在c1的投影的下方，偏航角ψ定义为向量c2c1在xcocyc平面上的竖直投影与y轴正方向的夹角，取值范围为[-π/2，π/2]，当时俯仰角ψ为正值；俯仰角θ定义为腰型孔所在平面与平面xcocyc的夹角，取值范围为[-π/2，π/2]，当时俯仰角θ为正值；滚动角φ定义为法向量n与直线c1c2所在铅垂平面c1c2c1′
c2'的夹角，c
′1、c2′
分别为c1在xcocyc平面上的竖直投影和c2在xcocyc平面上的竖直投影，取值范围为[-π/2，π/2]，当法向量在平面c1c2c1′
c2'右侧时滚动角φ为正值；偏航角ψ、俯仰角θ和滚动角φ的计算公式为：
[0149][0150]
其中分别为圆心ci在ocxc方向上的投影和ocyc方向上的投影，n为腰型孔所在平面在相机坐标系下的法向量，n
x
、ny、nz分别为法向量n在ocxc方向上的投影、ocyc方向上的投影和oczc方向上的投影，为铅垂平面c1c2c1′
c2'的法向量。
[0151]
步骤7-2，腰型孔的位姿如图4所示，腰型孔的位置信息c＝[c
x c
y cz]
t
＝(c1+c2)/2，姿态信息e＝[ψ θ φ]
t
。
[0152]
具体实现中，本技术提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于腰型孔特征的合装面定位相对位姿测量方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0153]
本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机。muu或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0154]
本发明提供了一种基于腰型孔特征的合装面定位相对位姿测量方法，具体实现该
技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

技术特征：
1.一种基于腰型孔特征的合装面定位相对位姿测量方法，其特征在于，包括以下步骤：步骤1，提取感兴趣区域roi：获取原始图像，再利用yolo神经网络从原始图像中检测出腰型孔特征，选择腰型孔所在的最大矩形的图像区域作为感兴趣区域roi；步骤2，边缘提取：对感兴趣区域roi进行滤波、直方图均衡化、形态学操作，再对图像进行基于多项式插值的边缘提取，获得腰型孔的边缘点集；步骤3，对步骤2获取的边缘点集进行筛选，得到两个弧线段的点集；步骤4，利用步骤3得到的点集进行椭圆拟合得到图像平面上的椭圆方程；步骤5，利用步骤4得到的两个椭圆方程解算对应空间圆的位姿，得到对应空间圆的圆心和所在空间平面的法向量；步骤6，利用步骤5计算出的信息得出腰型孔所在平面的法向量和腰型孔的几何中心点的坐标；步骤7，利用步骤6计算出的信息得到腰型孔的位姿信息。2.根据权利要求1所述的方法，其特征在于，步骤3包括：步骤3-1，利用hough变换拟合腰型孔直线段的两条直线，得到两条直线的斜率k1、k2和截距b1、b2；步骤3-2，利用点到直线的公式获取所有点分别到两条直线的距离l
1i
、l
2i
；步骤3-3，当点i满足l
1i
或者l
2i
小于等于阈值0.5就保留此点i，得到上下两段弧线的点集；步骤3-4，根据弧线段在图像上的位置将保留下的弧线段点集分为上弧线段点集u1和下弧线段点集u2。3.根据权利要求2所述的方法，其特征在于，步骤4包括：步骤4-1，在上弧线段点集u1和下弧线段点集u2中随机选取五个点；步骤4-2，计算五个点构成的椭圆方程；步骤4-3，将上弧线段点集u1和下弧线段点集u2中的所有点带入到步骤4-2中计算的椭圆方程中，如果计算结果小于等于0.1，说明点满足椭圆方程，统计满足椭圆方程的点的数量；步骤4-4，重复执行步骤4-1～步骤4-3，直到满足椭圆方程的点的数量大于等于阈值，将得到的椭圆作为最终结果，得到如下弧线点集u
i
对应的椭圆方程e
i
：a
i
u2+b
i
v2+c
i
uv+d
i
u+e
i
v+f
i
＝0其中a
i
、b
i
、c
i
、d
i
、e
i
、f
i
为计算出第i个椭圆的方程参数，i＝1，2，(u，v)为图像坐标。4.根据权利要求3所述的方法，其特征在于，步骤5包括：步骤5-1，相机模型f0为相机的焦距，(x，y，z)是图像坐标为(u，v)的点在相机坐标下对应的坐标；由相机模型得到在相机坐标系o
c-x
c
y
c
z
c
下的椭圆锥面方程为：a
i
x2+b
i
y2+c
i
xy+d
i
xz+e
i
yz+f
i
z2＝0其中，中间参数a
i
＝a
i
f
02
，中间参数b
i
＝b
i
f
02
，中间参数c
i
＝c
i
f
02
，中间参数d
i
＝d
i
f0，中间参数e
i
＝e
i
f0，中间参数f
i
＝f
i
；
椭圆锥面方程改写成如下矩阵形式：[x y z]q
i [x y z]
t
＝0其中，q
i
为椭圆锥面方程的参数矩阵，t表示矩阵转置；步骤5-2，将步骤5-1中相机坐标系下的椭圆锥面方程变换到一个新的坐标系o
c-x
ci’y
ci’z
ci’中，使得椭圆锥面方程变换为标准形式：新的坐标系o
c-x
ci’y
ci’z
ci’与相机坐标系o
c-x
c
y
c
z
c
之间只存在旋转关系，表示为[x y z]
t
＝p
i
[x
i
′ꢀ
y
i
′ꢀ
z
i
′
]
t
，p
i
是一个3
×
3的矩阵，x
′
i
、y
i
′
、z
i
′
是坐标x、y、z在新坐标系o
c-x
ci’y
ci’z
ci’的坐标，在新坐标系o
c-x
ci’y
ci’z
ci’下椭圆锥面方程的矩阵形式为：[x
i
′ꢀ
y
i
′ꢀ
z
i
′
]p
i-1
q
i
p
i
[x
i
′ꢀ
y
i
′ꢀ
z
i
′
]
t
＝0；步骤5-3，通过对矩阵q
i
的特征值分解获得q
i
的特征值标准椭圆锥面方程的系数和矩阵和矩阵为特征值对应的特征向量，通过以下方法确定，其中为特征值对应的特征向量，为特征值对应的特征向量，为特征值对应的特征向量：调整顺序，使得与同号且与异号，求取对应的规范化特征向量化特征向量化特征向量如果则否则不变化；步骤5-4，通过标准椭圆锥面方程的系数和腰型孔两端半圆弧的实际半径r，确定圆弧对应空间圆在新坐标系o
c-x
ci’y
ci’z
ci’下所在平面的法向量n
i
′
和圆心坐标c
i
′
：
其中为法向量n
i
′
在o
c
x
ci’方向上的投影，为法向量n
i
′
在o
c
y
ci’方向上的投影，为法向量n
i
′
在o
c
z
ci’方向上的投影；为圆心坐标c
i
′
在o
c
x
ci’方向上的投影，为圆心坐标c
i
′
在o
c
y
ci’方向上的投影，为圆心坐标c
i
′
在o
c
z
ci’方向上的投影；步骤5-5，利用旋转矩阵p
i
得到在相机坐标系o
c-x
c
y
c
z下的法向量n
i
和圆心坐标c
i
：：其中为法向量n
i
在o
c
x
c
方向上的投影，为法向量n
i
在o
c
y
c
方向上的投影，为法向量n
i
在o
c
z
c
方向上的投影；为圆心坐标c
i
在o
c
x
c
方向上的投影，为圆心坐标c
i
在o
c
y
ci
方向上的投影，为圆心坐标c
i
在o
c
z
ci’方向上的投影。5.根据权利要求4所述的方法，其特征在于，步骤6包括：步骤6-1，空间圆c1得到的两组解为c
11
和n
11
、c
12
和n
12
，空间圆c2得到的两组解为c
21
和n
21
、c
22
和n
22
，计算两空间圆法向量之间的夹角α：其中，i＝1，2；步骤6-2，如果α＞90
°
，令n
2i
＝-n
2i
，再计算n
1i
与n
2i
之间的夹角；步骤6-3，因为腰型孔两端圆弧在同一平面上，所以两端圆弧对应空间圆所在平面的法向量一定平行，当其中一组向量的夹角满足0
°
≤α≤0.5
°
，所述组的解中的n
1i
和对应的圆心坐标c
1i
为空间圆c1的法向量n1和圆心坐标c1的正确解，所述组的解中的n
2i
和对应的圆心坐标c
2i
为空间圆c2的法向量n2和圆心坐标c2的正确解；步骤6-4，腰型孔所在平面的法向量n＝(n1+n2)/2，两端圆弧对应的圆心分别为c1和c2，腰型孔的几何中心c＝(c1+c2)/2。
6.根据权利要求5所述的方法，其特征在于，步骤7包括：步骤7-1，腰型孔的位置信息由几何中心c的坐标表示，腰型孔的姿态信息由偏航角ψ、俯仰角θ和滚动角φ表示；在图像中c2的投影总是在c1的投影的下方，偏航角ψ定义为向量c2c1在x
c
o
c
y
c
平面上的竖直投影与y轴正方向的夹角，取值范围为[-π/2，π/2]，当时俯仰角ψ为正值；俯仰角θ定义为腰型孔所在平面与平面x
c
o
c
y
c
的夹角，取值范围为[-π/2，π/2]，当时俯仰角θ为正值；滚动角φ定义为法向量n与直线c1c2所在铅垂平面c1c2c1′
c2′
的夹角，c
′1、c2′
分别为c1在x
c
o
c
y
c
平面上的竖直投影和c2在x
c
o
c
y
c
平面上的竖直投影，取值范围为[-π/2，π/2]，当法向量在平面c1c2c1′
c2′
右侧时滚动角φ为正值；偏航角ψ、俯仰角θ和滚动角φ的计算公式为：其中分别为圆心c
i
在o
c
x
c
方向上的投影和o
c
y
c
方向上的投影，n为腰型孔所在平面在相机坐标系下的法向量，n
x
、n
y
、n
z
分别为法向量n在o
c
x
c
方向上的投影、o
c
y
c
方向上的投影和o
c
z
c
方向上的投影，为铅垂平面c1c2c1′
c2′
的法向量；步骤7-2，腰型孔的位置信息c＝[c
x c
y c
z
]
t
＝(c1+c2)/2，姿态信息e＝[ψ θ φ]
t
。7.一种存储介质，其特征在于，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现如权利要求1至6中任一项所述的方法。

技术总结
本发明提供了一种基于腰型孔特征的合装面定位相对位姿测量方法，包括：步骤1，提取感兴趣区域ROI；步骤2，边缘提取；步骤3，对边缘点集进行筛选，得到两个弧线段的点集；步骤4，进行椭圆拟合得到图像平面上的椭圆方程；步骤5，解算对应空间圆的位姿，得到对应空间圆的圆心和所在空间平面的法向量；步骤6，得出腰型孔所在平面的法向量和腰型孔的几何中心点的坐标；步骤7，得到腰型孔的位姿信息。本发明解决了合装面上腰型孔特征的相对位姿测量问题，为合装对接提供了有效的位姿参数，位姿精度达到0.1mm，有效提高了合装质量和效率。有效提高了合装质量和效率。有效提高了合装质量和效率。


技术研发人员：楼佩煌 钱晓明 杨柯 郭旭 孙天 李泷杲
受保护的技术使用者：南京航空航天大学苏州研究院
技术研发日：2023.05.30
技术公布日：2023/9/20