一种基于作业围栏标定杆的相机姿态自标定方法与流程

1.本发明涉及相机标定技术领域，尤其涉及一种基于作业围栏标定杆的相机姿态自标定方法。


背景技术：

2.相机标定是由特征点在像素坐标系与世界坐标系中的关系求解相机内部结构的内部参数和相机空间位姿的外部参数的过程。相机标定建立了三维空间与像素平面之间的对应关系，辅助处理视觉计算、三维重建、目标识别等领域问题，相机的标定精度会直接影响这些相关领域结果的准确度：相机标定的越来精确，由2d图像信息恢复三维空间信息就越准确。所以相机的高精度标定具有重要的意义。
3.相机标定按照标定方式的不同可以分为传统的标定方法，基于主动视觉的相机标定方法以及相机自标定方法三类。
4.传统的标定方法又称为基于标准物的相机标定方法。它需要利用到高精度标定物，通过标定物精确已知的尺寸信息以及在图像上对应像点之间的映射关系，通过一定的约束条件来对相机的内外参数进行标定。其中，以张正友提出的基于黑白相间的棋盘格标定模板的应用最为广泛，且该方法操作简单，可以将二维模板在空间中自由摆放，且求解精度较高。但该方法用到的标定模板的尺寸应该与相机视场的大小相匹配，若标定模板尺寸过小将会导致求解精度的下降，因此在针对较大视场的测量需求时该方法存在着一定的局限。
5.基于主动视觉的相机标定方法通过主动控制相机做某些特殊形式的运动来线性地求解相机内外参数。这种标定方法的主要优点是,由于运动的特殊性往往可以线性求解模型参数,且计算简单、鲁棒性较高，但是该方法需要使用高精度运动控制平台进行相机机标定,系统的成本较高，实验条件苛刻，限制了该方法的应用。
6.相机的自标定方法不需要知道准确的三维信息，而是试图依靠不同视角图像间提供的场景约束关系进行相机的参数的标定。目前,自标定技术的研究主要包括以下几种:利用本质矩阵和基本矩阵的相机标定方法;利用绝对二次曲线和外极线变换性质的自标定方法;利用主动系统控制相机做特定运动的自标定方法;利用多幅图像之间的直线对应关系的相机自标定方法。与基于标定物的标定方法和主动视觉标定方法相比，相机自标定的方法使相机的实时在线标定成为可能。
7.对传统的标定方法、基于主动视觉的相机标定方法、相机自标定方法三种不同的标定方法对比发现，相机自标定的方法因其操作简便、灵活性强、实时在线标定的优点，成为近年来相机标定领域的研究热点且在实际中得到了广泛应用。但是，在相机自标定领域内，还普遍存在着鲁棒性差、精度低，且图像噪声会在无穷远平面处放大的缺点。


技术实现要素：

8.本发明要解决的技术问题是克服现有技术存在的缺陷，本发明提出了一种基于作
业围栏标定杆的相机姿态自标定方法，本发明结合传统的标定方法与自标定的方法,相比于传统的标定方法，具有显著优点是:操作方便、实时在线标定、标定精度高、可以与实际工程结合。
9.为解决上述技术问题，本发明采用的技术方案是：一种基于作业围栏标定杆的相机姿态自标定方法，包括如下步骤：s1、由实例分割算法获取标定杆第一mask图以计算其像素点坐标，而后由标定杆建立世界坐标系并重构标定杆的空间点坐标；s2、根据s1中标定杆像素点坐标与空间点坐标构建相机成像模型，继而采用最小二乘法初步计算两相机的相对外参；s3、由标定杆三维结构信息结合相机成像模型，反投影得到第二mask图像以计算标定杆反投影后的像素点坐标，通过最小化反投影前后像素点坐标差值或使差值小于一定阈值的方式对相对外参进行迭代优化，最终得到两相机的相对外参最优估计值；s4、通过特征点匹配，联合优化s3中相对外参最优估计值。
10.进一步地，所述步骤s2中，相机成像模型为，其中，为距离深度系数，、为像素点坐标，、为相机焦距，、为像素的物理长度，、是相机光轴和图像平面交点，、、为世界坐标点, r、t为相机外参，m为投影矩阵。
11.进一步地，所述步骤s3中，初始外参r、t迭代优化的准则函数为，其中，为反投影得到第二mask图像，为分割算法获取第一mask图，iou表示计算两张mask图像对应标定杆区域的交并比，为阈值。
12.进一步地，所述步骤s3中，两相机外参最优估计值计算步骤如下，已知围栏特征点世界坐标为,其在另一视角相机的投影点为p,已标定的相机的外参为、，则另一视角相机的投影点估计值计算公式如下，最小化投影误差，得到r、t的最优估计，计算公式如下，,其中，m为投影点的数量。
13.进一步地，所述两相机之间旋转平移关系满足，进一步地，所述两相机之间旋转平移关系满足，其中，m为投影点的数量，分别为空间点在为左右相机坐标系下的坐标，、分别为右相机坐标系相对于世界坐标系的旋转矩阵与平移矩阵，、分别为左相机坐标系相对于世界坐标系的旋转矩阵与平移矩阵,r、t为相对外参，即左相机坐标系相对于右相机左边系的相对旋转平移矩阵。
14.进一步地，所述步骤s4中特征点匹配具体步骤如下，提取两相机采集的公共视野图像特征点，包括先由ofast候选特征点提取，再由rbrief为特征点加上描述子；由flann算法进行特征点匹配后，由prosac算法剔除误匹配点，获得两两对应的相机投影点。
15.进一步地，所述步骤s4中，联合优化相机外参最优估计值的具体步骤如下，将世界坐标系建立在与左相机坐标系重合的位置,左相机的投影矩阵为，由两相机相对外参r、t，右相机的投影矩阵为，利用投影方程联立求解计算出所有匹配的标定杆投影点对应的空间点，投影方程如下，立求解计算出所有匹配的标定杆投影点对应的空间点，投影方程如下，联立可得，令，
16.则方程最小二乘解即所求的空间点坐标为，记多相机拍摄图片的匹配点为，根据投影关系，根据投影关系，根据投影关系，最小化投影误差联合优化特征点的世界坐标与变换矩阵，
其中，k为相机内参，m为相机数量，n为投影点数量，世界坐标系与相机1坐标系重合，与为相机m坐标系相对于相机1坐标系的旋转平移矩阵。
17.与现有技术相比，本发明的有益效果包括：通过对标定杆进行反投影。并最小化反投影前后标定杆像素点坐标差值或使差值小于一定阈值的方式对两相机相对外参进行迭代优化，解决了现有相机姿态自标定方法中鲁棒性差、精度低，且图像噪声会在无穷远平面处放大的缺点，整体方法操作方便、实时在线标定、标定精度高、可以与实际工程结合。
附图说明
18.参照附图来说明本发明的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本发明的保护范围构成限制。在附图中，相同的附图标记用于指代相同的部件。其中：图1示意性显示了根据本发明一个实施方式提出的步骤s1中标定杆世界系坐标构建示意图；图2示意性显示了根据本发明一个实施方式提出的步骤s4中特征点匹配示意图。
具体实施方式
19.容易理解，根据本发明的技术方案，在不变更本发明实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。
20.根据本发明的一实施方式结合图1-图2示出。
21.整体步骤而言，一种基于作业围栏标定杆的相机姿态自标定方法，包括如下步骤：s1、由实例分割算法获取标定杆第一mask图以计算其像素点坐标，而后由标定杆建立世界坐标系并重构标定杆的空间点坐标；s2、根据s1中标定杆像素点坐标与空间点坐标构建相机成像模型，继而采用最小二乘法初步计算两相机的相对外参；s3、由标定杆三维结构信息结合相机成像模型，反投影得到第二mask图像以计算标定杆反投影后的像素点坐标，通过最小化反投影前后像素点坐标差值或使差值小于一定阈值的方式对相对外参进行迭代优化，最终得到两相机的相对外参最优估计值；s4、通过特征点匹配，联合优化s3中相对外参最优估计值。
22.以下对各个步骤一一具体说明：步骤1，采用实例分割算法获取第一mask图以计算标定杆的像素点坐标，然后根据标定杆建立世界坐标系，重构标定杆的空间坐标；作为标定物的标定杆结构已知且精度很高，采用实例分割算法可以准确的检测出第一mask图，由第一mask图可获取标定杆特征点对应的像素坐标；以标定杆建立世界坐标系，获取标定杆特征点对应的世界坐标，如图1所示，四个黑点对应标定杆的四个特征点。
23.步骤2，根据标定杆像素点坐标与世界坐标构建相机成像模型，并计算相机的初始外参；
相机成像模型为其中，为相机距离深度系数，为标定杆像素点坐标，为相机焦距，、为像素的物理长度，是相机光轴和图像平面交点，为标定杆空间点坐标, r、t为图像旋转平移矩阵，m为投影矩阵。
24.相机的内参已知，相机距离深度系数，同样已知，再结合步骤1得出的一系列标定杆对应的像素点坐标以及空间点坐标，利用相机成像模型，继而采用最小二乘法初步计算相机的初始外参（r、t）。
25.步骤3，由标定杆的三维结构信息结合相机成像模型，反投影得到第二mask图像，通过最小化第一mask图与第二mask图之间差值或者使差值小于一定的阈值，差值即为反投影前后像素点坐标的差值，以此对相机的外参进行迭代优化，优化准则函数为：其中，为反投影得到第二mask图、为实例分割算法获取第一mask图、iou表示计算两张mask图像对应标定杆区域的交并比、为阈值。
26.步骤4，标定两两相机的相对外参两相机间的旋转平移关系为：两相机间的旋转平移关系为：其中，r、t为两相机的相对外参，分别为空间点在为左右相机坐标系下的坐标，分别为右相机坐标系相对于世界坐标系的旋转矩阵与平移矩阵，分别为左相机坐标系相对于世界坐标系的旋转矩阵与平移矩阵。
27.假设另一视角下的相机与已标定的相机间的相对外参为r、t，由该相机的mask图及标定杆特征点世界坐标标定两两相机的相对外参。
28.两相机的相对外参标定过程如下：已知标定杆空间点坐标为，其在另一视角相机的投影点为p,已标定的相机的外参为，就可得到另一视角相机的投影点估计值：通过最小化投影误差，得到r、t的最优估计：其中，m为投影点的数量。
29.步骤5，通过特征点匹配，全局优化相机外参。
30.a.提取两相机采集的公共视野图像特征点；由orb进行特征点提取,分为以下两步骤:（1）ofast候选特征点提取
1.建立图像金字塔，在每一层都提取 ofast 特征；2.取候选像素点p为中心，以3个像素为半径的圆周上的16像素点，如果在这16个像素点上存在连续的n像素点都比t还亮，或者都比还暗，则判定p为特征点。为p点的灰度，t为阈值，n一般取像素点总数的3/4。在 orb 中，fast 算子的阈值t= 9，即 fast-9，自适应阈值计算方法如下：对以p为中心边长为l的方形区域，定义特征阈值：其中，和分别代表方形区域中最大的 n 个灰度值和最小的 n 个灰度值，为方形区域灰度的平均值, a为比例系数，取a =3 。
31.如图2所示，为了减少计算量，需对候选特征点进行快速筛选，且不需要将圆周上所有像素点与中心像素点比较。方法如下：对圆周上的16个像素点间隔 3 个像素采样一次得到4个像素点，如像素点1、5、9、13，当有 3 个像素同时满足》t，则该像素点可能是候选点，否则直接排除。计算圆周上剩下的12个像素,若有 9 个点像素灰度满足,则 p 点为特征点,否则不是特征点。(x为圆周上的点，为点x处的灰度值)。
32.fast特征点没有方向，通过灰度质心法为fast特征加上方向属性，构成ofast（fast keypoint orientation），以p为圆心，半径为3的圆形图像块内，(x,y)为圆形图像块内相对圆心的坐标，则内相对圆心的坐标，则内相对圆心的坐标，则其中，为 0 阶质心矩;和分别代表x 轴和y 轴方向的 1 阶质心矩,c为质心，为特征方向，表示0 阶或1阶。
33.（2）rbrief特征描述brief为特征点加上描述子的过程如下：1.为减少噪声干扰，先对图像进行高斯滤波（方差为2，高斯窗口为9x9）；2.以特征点为中心，取sxs的邻域窗口。在邻域窗口内随机选取一对像素点(点x与点y)，比较两者像素值大小（与），进行二进制赋值，3.在邻域窗口中随机选取n对随机点()，重复步骤2的二进制赋值，得到一个二进制编码，即为brief特征描述子（一般n=256），
由于随机选取点生成的brief特征描述子对噪声比较敏感，orb采用特征点领域的的子窗口作为积分图像进行图像平滑，即使用5x5邻域灰度平均值来代替随机点对应的灰度值，进而比较点对的大小，进行二进制赋值。
34.orb为解决brief缺乏方向性的问题,利用ofast的主方向角，提出steered brief。
35.对于任意ofast特征点，在31x31邻域内位置为的n对点集，定义2xn的矩阵s：利用ofast特征点和其旋转矩阵，得到有方向信息的测试点集：：steered brief的描述子为：4.orb 对steered brief描述子进行改进，使描述子具有高方差和高不相关性，即rbrief。
36.orb的测试点集的选取区域是一个像素的特征点领域(=31),每个测试点为一个的子窗口()，那么有个候选子窗口，从候选子窗口中任意选择2个子窗口作为brief中的点对，除去其中重叠的子窗口，有m=205590个测试点对。orb 采用贪婪搜索从所有的测试点对选取 256 个具有高方差和高不相关性的测试点提取描述子的步骤如下：（1）对每个属于300k的候选特征点，在31x31的特征点邻域中，取m对5x5的子窗口点对，比较点对大小，形成一个300kxm的二进制矩阵q。q的每一列代表300k候选特征点按某种取法得到的二进制数串。
37.（2）对q矩阵的每一列求取均值，并按照均值与0.5的偏差量大小对q矩阵的列向量进行排序，排序结果按列存入队列t中;（3）移出队列t 中的头，放入到队列r 中；（4）继续移出t的头，和r中的每个二进制数串计算相关性，如果相关系数小于设定的阈值，则将移出的t的头放入到r。
38.（5）重复第四步，直到r的长度为256。
39.b.进行特征点匹配并剔除误匹配点，获得两两对应的相机投影点；假设从第一相机拍摄图像提取到的特征描述子为，m=1,2,
⋯
,m,而第二相机采集的图像提取到的特征描述子为，n=1,2,
⋯
,n，特征匹配快速近似最近邻匹配（flann）算法进行，对于orb描述子的匹配,计算和最近邻汉明距离，从而得到两者的相似程度，汉明距离越小代表相似程度越高。
40.由flann粗匹配后，还需剔除误匹配。通常可采用ransac或者prosac对错误匹配进行剔除。虽然ransac误匹配剔除准确率较高，但是剔除过程具有随机性，导致计算过程迭代
次数的不稳定。prosac具有更高的效率和准确率。prosac先将两幅图片的匹配结果作为一个采样集合，按照匹配对的质量降序排序，接着，随机从质量较高的匹配对抽取一部分的匹配对计算单应矩阵和内点数量。
41.prosac根据匹配对的欧式距离远近判断匹配的质量：其中，分别是匹配对的样本点最小欧式距离和次小欧式距离的比值，为质量方程。
42.prosac 剔除误匹配的流程如下:（1）设置初始迭代次数为 0，设置最大迭代次数和内点数目阈值；（2）判断当前迭代次数是否达到最大次数，若大于，找不到对应的模型参数，反之执行下一步；（3）比较匹配对的质量大小并降序排序，同时选取质量最高的 m 个数据；（4）从 m 个数据中随机选取 k 个采样点计算单应矩阵和内点数量；判断内点数目是否大于设定的内点数目阈值，若大于，返回单应矩阵和内点数量，反之，重复步骤（2）和步骤（3），更新内点数目并且重新计算单应矩阵。
43.c．通过特征点匹配，联合优化相机外参；首先利用投影方程联立求解计算出所有匹配的标定杆投影点对应的空间点，接着，联合优化相机外参数。
44.1.空间点位置计算空间点投影为相机画面像素点的投影方程如下，将世界坐标系建立在与左相机坐标系重合的位置,左相机的投影矩阵为，由两相机相对外参r、t，右相机的投影矩阵为，利用投影方程联立求解计算出所有匹配的标定杆投影点对应的空间点，投影方程如下，联立可得，令
45.则方程最小二乘解即所求的空间点坐标为，2.联合优化相机外参记多相机拍摄图片的匹配点为：根据投影关系：根据投影关系：根据投影关系：最小化投影误差联合优化特征点的空间坐标与变换矩阵：
46.其中，m为相机数量，n为投影点数量，世界坐标系与相机1坐标系重合，与为相机m坐标系相对于相机1坐标系的旋转平移矩阵。
47.本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均应当属于本发明的保护范围内。

技术特征：
1.一种基于作业围栏标定杆的相机姿态自标定方法，其特征在于，包括如下步骤：s1、由实例分割算法获取标定杆第一mask图以计算其像素点坐标，而后由标定杆建立世界坐标系并重构标定杆的空间点坐标；s2、根据s1中标定杆像素点坐标与空间点坐标构建相机成像模型，继而采用最小二乘法初步计算两相机的相对外参；s3、由标定杆三维结构信息结合相机成像模型，反投影得到第二mask图像以计算标定杆反投影后的像素点坐标，通过最小化反投影前后像素点坐标差值或使差值小于一定阈值的方式对相对外参进行迭代优化，最终得到两相机的相对外参最优估计值；s4、通过特征点匹配，联合优化s3中相对外参最优估计值。2.根据权利要求1所述的一种基于作业围栏标定杆的相机姿态自标定方法，其特征在于：所述步骤s2中，相机成像模型为，其中，为距离深度系数，为像素点坐标，为相机焦距，为像素的物理长度，是相机光轴和图像平面交点，为世界坐标点, 为相机外参，m为投影矩阵。3.根据权利要求1所述的一种基于作业围栏标定杆的相机姿态自标定方法，其特征在于：所述步骤s3中，相对外参r、t迭代优化的准则函数为，其中，为反投影得到第二mask图，为实例分割算法获取第一mask图、iou表示计算两张mask图像对应标定杆区域的交并比、为阈值。4.根据权利要求3所述的一种基于作业围栏标定杆的相机姿态自标定方法，其特征在于：所述步骤s3中，相对外参最优估计值计算步骤如下，已知标定杆的空间点坐标为,其在另一视角相机的投影点为p且该相机内参为，已标定的相机的外参为、，则另一视角相机的投影点估计值计算公式如下，最小化投影误差，得相对外参r、t的最优估计，m为投影点的数量，计算公式如下，，其中m为投影点数量。5.根据权利要求4所述的一种基于作业围栏标定杆的相机姿态自标定方法，其特征在于：两所述相机之间旋转平移关系满足，于：两所述相机之间旋转平移关系满足，其中,分别为空间点在为左右相机坐标系下的坐标、、分别为右相机坐标系相对于世界坐标系的旋转矩阵与平移矩阵、、分别为左相机坐标系相对于世界坐标系的旋
转矩阵与平移矩阵、r、t为相对外参，即左相机坐标系相对于右相机坐标系的相对旋转平移矩阵。6.根据权利要求1所述的一种基于作业围栏标定杆的相机姿态自标定方法，其特征在于：所述步骤s4中特征点匹配具体步骤如下，提取两相机采集的公共视野图像特征点，包括先由ofast候选特征点提取，再由rbrief为特征点加上描述子；由flann算法进行特征点匹配后，由prosac算法剔除误匹配点，获得两两对应的相机投影点。7.根据权利要求6所述的一种基于作业围栏标定杆的相机姿态自标定方法，其特征在于：所述步骤s4中，联合优化相机外参最优估计值的具体步骤如下，将世界坐标系建立在与左相机坐标系重合的位置,左相机的投影矩阵为，由两相机相对外参r、t，右相机的投影矩阵为，利用投影方程联立求解计算出所有匹配的标定杆投影点对应的空间点，投影方程如下，所有匹配的标定杆投影点对应的空间点，投影方程如下，联立可得，令，令，，则方程最小二乘解即所求的空间点坐标为，记多相机拍摄图片的投影匹配点为，，i=1...m,j=1...n其中，m为相机数量，n为投影点数量，世界坐标系与相机1坐标系重合，与为相机m坐标系相对于相机1坐标系的旋转平移矩阵，根据投影关系，机m坐标系相对于相机1坐标系的旋转平移矩阵，根据投影关系，
最小化投影误差联合优化特征点的世界坐标与变换矩阵，其中，k为相机内参，m为相机数量，n为投影点数量，世界坐标系与相机1坐标系重合，与为相机m坐标系相对于相机1坐标系的旋转平移矩阵。

技术总结
本发明提出了一种基于作业围栏标定杆的相机姿态自标定方法，解决了现有相机姿态自标定方法普遍存在鲁棒性差、精度低、图像噪声大等问题，其主要步骤包括S1、由实例分割算法计算标定杆像素点坐标，并重构标定杆的空间点坐标；S2、根据S1中标定杆像素点坐标与空间点坐标构建相机成像模型，继而采用最小二乘法初步计算两相机的相对外参；S3、由标定杆三维结构信息结合相机成像模型，反投影得到mask图像以计算标定杆反投影后的像素点坐标，通过最小化反投影前后像素点坐标差值或使差值小于一定阈值的方式对相对外参进行迭代优化，最终得到两相机的相对外参最优估计值；S4、通过特征点匹配，联合优化S3中相对外参最优估计值。联合优化S3中相对外参最优估计值。联合优化S3中相对外参最优估计值。


技术研发人员：李小曼 权海波 朱吕甫
受保护的技术使用者：安徽炬视科技有限公司
技术研发日：2023.09.12
技术公布日：2023/10/20