一种基于多面工装的多相机阵列标定方法与流程

1.本发明涉及相机标定技术领域，尤其涉及多相机阵列标定，更具体的说涉及一种基于多面工装的多相机阵列标定方法。


背景技术：

2.多相机阵列就是在三维空间中按照一定间距进行阵列化布设的数字测量系统。通过多相机阵列对飞机零部件进行多角度、多方位的测量，可以保证测量数据的可靠性、完整性以及可追溯性，解决传统飞机装配依靠工装和工艺补偿来保证零部件之间的协调，以及依靠模线样板、光学仪器等装备检测装配质量存在的精度差、效率低等问题。
3.对多相机阵列进行快速、高精度的标定是保证整个测量与检测精度的最重要环节，也是整个测量与检测的基础。相机的标定分为内参数标定和外参数标定，目前相机标定方法都是先对单个相机进行内参数标定，再对多个相机进行外参数标定，主要的方法有棋盘格标定法，该方法需要输入一系列三维点和它们对应的二维图像点，在黑白相间的棋盘格上，二维图像点通过角点检测找到，而对于真实世界中的三维点，则是通过对棋盘格的设计坐标来获取，是将棋盘格放在一个地方，将相机进行移动变换不同的位置，然后对棋盘进行拍摄，从而标定出相机的畸变内参数。将多个相机固定，在所有相机的公共视场内放置不同位置和角度的棋盘，将多个相机都对所有棋盘进行拍照，通过已知棋盘三维坐标，对多个相机的外参进行标定。此标定方法将内外参标定分开进行，标定外参时，还需要同时有目标覆盖所有相机的公共视场才能进行操作，而当相机阵列处于间隔分布，没有共同的视场时，则需要布设大面积棋盘，因此实际操作受限，精度无法保证，并且对相机分布有较高的要求，当出现连续对称分布时，无法统一全部相机的坐标系。


技术实现要素：

4.为了克服上述现有技术中存在的问题和不足，本发明针对飞机装配制造过程中，多相机阵列标定存在的问题，提出了一种基于多面工装的多相机阵列标定方法，通过简单的多面工装实现对相机内外参数的快速准确标定。
5.为了实现上述发明目的，本发明的技术方案具体如下：一种基于多面工装的多相机阵列标定方法，所述方法主要是通过设计一种全新的立体多面工装实现的，首先在立体多面工装上布设相机可以识别的标志点，然后将立体多面工装放置到多相机阵列中，使其可以被阵列中的相机拍摄到，同时变换多面工装在多相机阵列中的位置，保证在多相机阵列中所有相机都能够拍摄到该立体多面工装。
6.标定时，阵列中的多相机对立体多面工装进行高频率的拍摄，获取图像后对图像进行处理，提取工装中标志点的像点坐标，通过像点坐标对多相机阵列进行初始外参数标定，同时利用立体多面工装上标志点的相对位置关系，进行公共点转换，将多相机阵列中所有相机统一到一个坐标系中，最后对统一坐标系的多相机阵列系统进行整体光束法平差，完成多相机阵列中的所有相机的内外参数的计算。基于该技术，能够实现多相机阵列的内
外各项参数的快速、高精度标定。
7.本发明的有益效果：（1）本发明的标定方法在进行相机标定时，内外参数同时进行标定，不需要分步进行，并且现场能够进行实时的标定操作，相机拍照与解算同步进行，操作人员能够实时得到对应的标定结果，能够大幅提升工作效率。
8.（2）本发明的标定方法不受多相机阵列相机数量的限制，并且对相机的空间分布没有要求，各种范围和分布的相机阵列都可以进行标定操作。
9.（3）本发明的标定方法标定精度高，对于20m*20m*10m范围的多相机阵列，之前的标定方法一般最优精度是1毫米，而本发明的标定精度则优于0.5毫米；并且本发明的标定方法自动化程度高，标定速度快、效率高，对于空间范围20m*20m*10m，数量为20台的多相机阵列，在现场标定只要3分钟左右。
10.（4）本发明的多面工装结构简单，现场使用方便快捷，可操作性强。
附图说明
11.图1为本发明立体多面工装结构示意图；图2为本发明编码标志结构示意图。
12.附图中：1、编码标志。
具体实施方式
13.为了使本领域的技术人员更好地理解本发明中的技术方案，下面将通过几个具体的实施例来进一步说明实现本发明发明目的的技术方案，需要说明的是，本发明要求保护的技术方案包括但不限于以下实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
14.相机的标定分为内参数标定和外参数标定，目前相机标定方法都是先对单个相机进行内参数标定，再对多个相机进行外参数标定，主要的方法有棋盘格标定法，该方法需要输入一系列三维点和它们对应的二维图像点，在黑白相间的棋盘格上，二维图像点通过角点检测找到，而对于真实世界中的三维点，则是通过对棋盘格的设计坐标来获取，是将棋盘格放在一个地方，将相机进行移动变换不同的位置，然后对棋盘进行拍摄，从而标定出相机的畸变内参数。将多个相机固定，在所有相机的公共视场内放置不同位置和角度的棋盘，将多个相机都对所有棋盘进行拍照，通过已知棋盘三维坐标，对多个相机的外参进行标定。此标定方法将内外参标定分开进行，标定外参时，还需要同时有目标覆盖所有相机的公共视场才能进行操作，而当相机阵列处于间隔分布，没有共同的视场时，则需要布设大面积棋盘，因此实际操作受限，精度无法保证，并且对相机分布有较高的要求，当出现连续对称分布时，无法统一全部相机的坐标系。
15.基于此，本发明的实施例提供了一种基于多面工装的多相机阵列标定方法，通过简单的立体多面工装实现对相机内外参数的同时标定，并且现场能够进行实时的标定操作，相机拍照与解算同步进行，操作人员能够实时得到对应的标定结果，能够大幅提升工作效率。
16.本实施例公开了一种基于多面工装的多相机阵列标定方法，所述方法基于设计的多面工装实现，主要包括四个步骤，具体如下：步骤s1.制作一个立体多面工装，保证工装的平面度≤0.05，参照说明书附图1所示，在工装至少三个面上布设编码标志1，每个面上至少粘贴三组编码标志1，所述的三组编码标志1在工装上沿对角线布置或呈v字形布置，同时保证每个面的中心位置处都布置有编码标志1。
17.所述的编码标志1由若干的标志点组成，参照说明书附图2所示（图中白点为标志点），标志点数量不少于八个，每组编码标志1中标志点的布置距离和方向均不相同，保证所形成的编码标志1是唯一且均不相同的；所述的标志点由定向反光材料制作而成并且标志点为圆形形状，使其将入射光按原路反射回光源处，形成回归反射现象。也就是说，本实施例的编码标志1由不同位置的圆形反光标志点按特定顺序和规律排列组合而成，标志点的排列顺序和规律自行设定。
18.在本实施例中，通过测量设备将布设在工装上的编码标志1中的各个标志点的三维坐标测量出来，作为后续统一坐标系使用。
19.在本实施例中，需要说明的是，所述立体多面工装一般为六面体结构，也就是长方体。
20.步骤s2.将立体多面工装放置在多相机阵列中，保证至少两个相机可以拍摄到工装的至少三个面；然后沿着其它相机可以拍摄到工装的位置移动工装，多相机阵列中的所有相机在此过程中同步拍照，并同时进行计算处理，标定所有相机的初始外参数。
21.所述相机初始外参数的标定具体如下：步骤2.1.图像处理，提取标志点的像点坐标。对获取的图像，提取标志点的中心坐标将其作为像点坐标，根据编码标志1的编码规则获取每个相机中拍摄到的立体多面工装上标志点的像点坐标；步骤2.2.通过多个相机拍摄到同一面的标志点，可以确定为同名像点，利用共面条件方程式，可以确定部分有重叠区域相机的初始外参数。
22.共面条件方程：选取像片1的像空间坐标系为摄影测量坐标系，像点p1在中的坐标为，像点p2在像片2的像空间坐标系中的坐标为；设投影中心在中的坐标为，像点p2在坐标系（与的三轴平行，是辅助坐标系）中的坐标为，与（或）间的旋转矩阵为，因向量、和共面，且有
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）；将上式写成坐标形式，有
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）；式（3）即为常规摄影测量中的基本方程共面条件方程，通过该方程式可解出相机的初始外参数。
23.步骤s3.在步骤s2中，只能获取部分有重叠区域的相机的外参数，当同时拍摄到多面工装的一个面的相机计算得到外参数后，拍摄到多面工装的另一个面的部分相机也同时计算得到外参数。但是两组外参并不在一个统一的坐标系中。此时利用步骤s1中，提前测量好的立体多面工装的各个标志点的三维坐标，使用公共点转换，将多组相机外参数统一到一个坐标系中。
24.所述的公共点转换为：任意两个空间直角坐标系都可以通过平移、旋转、缩放进行转换。设空间坐标系o-xyz先平移，再依次绕x轴、旋转后的y轴和旋转后的z轴旋转、、，最后缩放倍后，与坐标系o-xyz重合，其实质是一个三维等角仿射变换（或相似变换）。由射影几何知识可得到如下向量方程：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）；又因为
ꢀꢀꢀꢀꢀꢀꢀ
（5）；将式（5）式代入式（4）中，即得到点p与其在o－xyz中对应的点p有以下关系
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）；其中：为旋转矩阵
ꢀꢀꢀꢀꢀꢀꢀꢀ
（7）；旋转矩阵为正交矩阵，中的九个元素是三个独立的旋转角、和的函数。因为是绕连动轴的旋转，故采用不同的转角顺序，各元素的值是不一样的。在常规摄影测量中普遍采用的是、、转角顺序，各元素值如下：
ꢀꢀ
（8）；本方法采用的是、、转角顺序，经推导中的各元素值如下
ꢀꢀ
（9）；如果已知了旋转矩阵，则各旋转角可由下式求得：。
25.步骤s4.在将所有立体多面工装移动的位置都拍照后，经过之前的处理，已经将所有相机统一到一个坐标系中，此时使用光束法平差，标定出多相机阵列中所有相机的内参数，并且同时优化计算得到所有相机精确的外参数，最终完成多相机阵列的标定。
26.光束法平差：光束法平差是以每条空间光线为一单元，利用三点共线条件列出误差方程式。所谓三点共线条件，即是指在摄影时，测量点、相应像点和相机中心点是在同一条直线之上的。
27.由共线条件出发，对每个像点可以列出下列两个关系公式：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）；其中，，表示像点坐标；表示摄影焦距；表示旋转矩阵的九个参数；表示摄站点的物方空间坐标；表示物方点的物方空间坐标；所述摄站点表示相机的位置；实际成像时，主点的像平面坐标不严格为零，而存在微小值，记为。另外由于摄影镜头的物镜畸变等干扰因素的存在，使得各像点在像平面上相对其理论位置也存在偏差，因此实际像点的共线条件方程式为：
ꢀꢀꢀꢀꢀꢀ
（11）；、和称为像片的内方位元素（elements of interior orientation），用来确定投影中心在像空间坐标系中对像片的相对位置；、、、、和称为像片的外方位元素（也称外参数），用来确定一张像片和投影中心在物方坐标系中的方位。对上式进行线性化后即可的到光束法平差的误差方程式，最终通过该方程式能够解出相机的内参数。
28.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护
范围的限制。
29.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、
ꢀ“
安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
30.以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

技术特征：
1.一种基于多面工装的多相机阵列标定方法，其特征在于，所述方法通过立体多面工装实现，首先在立体多面工装的至少三个面上布设编码标志，并且每个面上至少设置三组编码标志，所述的三组编码标志在工装上沿对角线布置或呈v字形布置，同时保证每个面的中心位置处布置有编码标志；所述的编码标志由若干标志点组成，每组编码标志中标志点的布置距离和方向均不相同，保证所形成的编码标志是唯一且不相同的；标定时，首先将立体多面工装放置到多相机阵列中，使其可以被阵列中的相机拍摄到，然后变换立体多面工装在多相机阵列中的位置，使多相机阵列中所有相机都能够拍摄到立体多面工装；阵列中的多相机对立体多面工装进行拍摄，获取图像后对图像进行处理，提取立体多面工装中各个标志点的像点坐标，通过像点坐标对多相机阵列进行初始外参数标定，同时利用立体多面工装上各个标志点的相对位置关系，进行公共点转换，将多相机阵列中所有相机统一到一个坐标系中，最后对统一坐标系的多相机阵列进行整体的光束法平差，完成多相机阵列中的所有相机的内参数的计算，最终实现多相机阵列的内外各项参数的标定。2.根据权利要求1所述的一种基于多面工装的多相机阵列标定方法，其特征在于，所述标志点的数量不少于八个。3.根据权利要求1所述的一种基于多面工装的多相机阵列标定方法，其特征在于，所述标志点采用定向反光材料制作而成。4.根据权利要求1所述的一种基于多面工装的多相机阵列标定方法，其特征在于，还包括：将立体多面工装放置到多相机阵列之前，使用测量设备将布设在工装上的编码标志中的各个标志点的三维坐标测量出来。5.根据权利要求1所述的一种基于多面工装的多相机阵列标定方法，其特征在于，所述将立体多面工装放置到多相机阵列中，使其可以被阵列中的相机拍摄到，包括：保证阵列中的至少两个相机可以拍摄到立体多面工装的至少三个面，所述三个面均设置有编码标志。6.根据权利要求1所述的一种基于多面工装的多相机阵列标定方法，其特征在于，所述变换立体多面工装在多相机阵列中的位置，包括：沿着阵列中其它相机可以拍摄到立体多面工装的位置移动立体多面工装。7.根据权利要求1所述的一种基于多面工装的多相机阵列标定方法，其特征在于，所述提取立体多面工装中各个标志点的像点坐标，通过像点坐标对多相机阵列进行初始外参数标定，包括：获取每个相机中拍摄到的立体多面工装上标志点的像点坐标，通过多个相机拍摄到同一面的标志点记为同名像点，利用共面条件方程式，确定部分有重叠区域相机的初始外参数。8.根据权利要求1所述的一种基于多面工装的多相机阵列标定方法，其特征在于，当同时拍摄到立体多面工装的一个面的相机计算得到外参数后，拍摄到多面工装的另一个面的部分相机也同时计算得到外参数，通过测量的多面工装上各个标志点的三维坐标，使用公共点转换，将多相机外参数统一到同一坐标系下，标定出多相机阵列中所有相机的外参数。9.根据权利要求1所述的一种基于多面工装的多相机阵列标定方法，其特征在于，所述立体多面工装的平面度小于等于0.05。

技术总结
本发明公开了一种基于多面工装的多相机阵列标定方法，所述方法通过立体多面工装实现，工装上布设有相机可以识别的标志点，将多面工装放置到多相机阵列中，并不断变换多面工装在多相机阵列中的位置，保证在多相机阵列中所有相机都拍摄到多面工装；阵列中的多相机对多面工装进行高频率的拍摄，并对图像进行处理，提取工装中标志点的像点坐标，通过像点坐标对多相机阵列进行初始外参数标定，同时利用多面工装上标志点的相对位置关系，进行公共点转换，将多相机阵列中所有相机统一到一个坐标系中；对统一坐标系的多相机阵列进行整体光束法平差，完成多相机阵列中的所有相机的内外参数的计算，最终实现多相机阵列的内外各项参数的快速、高精度标定。高精度标定。高精度标定。


技术研发人员：朱绪胜 周力 陈代鑫 秦琪 谢刚 陈俊佑
受保护的技术使用者：成都飞机工业（集团）有限责任公司
技术研发日：2023.08.24
技术公布日：2023/9/23