基于2D相机和3D相机标定的多通道融合图生成方法

基于2d相机和3d相机标定的多通道融合图生成方法
技术领域
1.本发明属于图像融合处理领域，尤其涉及一种基于2d相机和3d相机标定的多通道融合图生成方法。


背景技术：

2.现有3d相机虽可获取空间位置、法向量等信息，但所采集的图像分辨率普遍较低。若想要高分辨率的3d相机，则相关任务的成本大幅增加。即在获取高质量3d图像时需要平衡成本和图像质量之间的权衡。图像融合处理是计算机视觉领域的一个重要研究方向，其主要目的是将来自不同源的多幅图像融合在一起，以得到更多的信息和更好的视觉效果。使用高分辨率的2d相机来捕捉高分辨率的2d图像，然后使用低成本的3d相机来获取物体的空间位置及法向量信息。通过设计融合算法，将2d图像和3d图像进行融合，可以生成低成本、高精度及高分辨率的3d图像。其中可以通过相机标定和立体视觉标定技术设计特定的标定方法建立2d相机和3d相机之间的空间联系，此为建立融合算法的基础和前提。融合算法主要使用图像处理、立体视觉以及矩阵处理等相关技术。


技术实现要素：

3.发明目的：本发明的目的在于提供一种基于2d相机和3d相机标定的多通道融合图生成方法，利用计算机视觉领域相关技术，生成具有低成本、高精度及高分辨率的多通道融合图。
4.技术方案：本发明的基于2d相机和3d相机标定的多通道融合图生成方法，包括以下步骤：
5.步骤1：在目标区域将2d相机和3d相机固定安装在同一机械结构上，并定义2d相机rgb图像、3d相机空间位置以及3d相机法向量；
6.步骤2：通过2d相机和3d相机从不同角度采集多组用于标定的2d/3d图像数据，利用2d相机rgb图像和3d相机纹理图像对2d相机和3d相机分别进行单目标定，再对单目标定后的结果进行立体标定，得到标定的参数；
7.步骤3：采集一组用于融合的2d/3d图像数据，根据标定的参数、2d相机rgb图像、3d相机空间位置以及3d相机法向量，利用融合算法生成多通道融合图。
8.进一步的，步骤1中定义2d相机rgb图像、3d相机空间位置以及3d相机法向量具体为：2d相机所采集的高分辨率rgb图像称为2d相机rgb图像，定义为2d_rgb，数据结构定义为矩阵其中h
2d
，w
2d
，3分别表示高度，宽度，颜色；3d相机所采集的纹理图像称为3d相机纹理图像，定义为3d_texture，数据结构定义为矩阵其中h
3d，w3d
分别表示高度，宽度；3d相机所采集的空间位置信息称为3d相机空间位置，定义为3d_xyz，数据结构定义为矩阵其中h
3d
，w
3d
，3分别表示高度，宽度，3d相机坐标系中的空间坐标(x，y，z)，其中；3d相机所采集的法向量称为3d相机法向量，定义为3d_normal，
数据结构定义为矩阵其中h
3d
，w
3d
，3分别表示高度，宽度，3d相机坐标系中的法向量坐标(n
x
，ny，nz)。
9.进一步的，步骤2具体包括如下步骤：
10.步骤2-1，将输入的n张2d_rgb进行单目标定，得到2d相机高分内参矩阵camerahdmatrix2d3×3和2d相机高分畸变参数disthdcoeffs2d1×5；
11.步骤2-2，将输入的n张2d_rgb以像素坐标系原点进行左上角裁剪，得到的n张2d_rgb宽高比与3d_texture一致，即h
′
2d
∶w
′
2d
＝h
3d
∶w
3d
；
12.步骤2-3，将步骤2-2的结果进行分辨率下降；
13.步骤2-4，将n张3d_texture以像素坐标系原点进行左上角裁剪，得到的n张3d_texture的宽高与步骤2-3得到的n张2d_rgb一致；
14.步骤2-5，将步骤2-3与步骤2-4的结果分别进行单目标定，得到2d和3d相机的内参矩阵、畸变参数、标定点的世界坐标和像素坐标，其中内参矩阵分别为cameramatrix2d3×3和cameramatrix3d3×3，畸变参数分别为distcoeffs2d1×5和distcoeffs3d1×5；
15.步骤2-6，将步骤2-5的结果进行立体标定，得到2d和3d相机的相机坐标系之间的旋转矩阵r3×4及平移向量t3×1，其中r和t的正变换过程是由2d相机坐标系到3d相机坐标系的。
16.进一步的，步骤3具体包括如下步骤：
17.步骤3-1，由3d相机内参矩阵cameramarrix3d3×3和畸变参数distcoeffs3d1×5对输入的和图像进行畸变校正，将两者在最后一个纬度进行连结、变形前两个纬度以及去除异常点z＝＝0，得到3d相机坐标系下的点集矩阵3d_xyznorn×6，其中n，6分别为点的数量，通道信息(x，y，z，n
x
，ny，nz)，x代表3d相机坐标系x坐标，y代表3d相机坐标系y坐标，z代表3d相机坐标系z坐标，n
x
代表3d相机坐标系法向量x坐标，ny代表3d相机坐标系法向量y坐标，nz代表3d相机坐标系法向量z坐标；
18.步骤3-2，将r3×3与t3×1最后一维拼接得到的矩阵记作rt3×4，转化为齐次坐标形式即rt4×4，其逆矩阵即3d相机坐标系到2d相机坐标系的齐次坐标变换矩阵；
19.步骤3-3，由步骤3-1，将3d_xyznorn×6前3列记作3d_xyzn×3，转化为齐次坐标形式即3d_xyzn×1×4；
20.步骤3-4，由步骤3-2及步骤3-3，其中einsum为爱因斯坦求和函数，即将3d_xyznorn×6中的空间位置从3d相机坐标系旋转平移到2d相机坐标系下，转化为非齐次坐标形式即2d_xyzn×3；
21.步骤3-5，由步骤3-4，将2d_xyzn×3第1列记作2d_xn×1，第2列记作2d_yn×1，第3列记为2d_zn×1，其中为哈达玛积，根号为逐元素操作；即计算深度2d_xyzn×3中每个点到2d相机坐标系原点的距离；
22.步骤3-6，由步骤3-1，将3d_xyznorn×6后3列记作3d_norn×3，即将3d_xyznorn×6中的法向量从3d相机坐标系旋转到2d相机坐标系下；
23.步骤3-7，由步骤3-4、步骤3-5及步骤3-6，将2d_xyzn×3、2d_depthn×1及2d_norn×3在最后一个纬度连结，得到2d相机坐标系下的点集矩阵2d_xyzdnorn×7，其中n，7分别为点的数量，通道信息(x，y，z，d，n
x
，ny，nz)，x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，ny代表2d相机坐标系法向量y坐标，nz代表2d相机坐标系法向量z坐标；
24.步骤3-8，由步骤3-4及步骤3-7，2d_uvn×3＝einsum(camieramatrix2d3×3，2d_xyzn×3)，即将2d相机坐标系下的点集矩阵2d_xyzdnorn×7中每个点的空间位置经2d相机内参矩阵投影到2d像素坐标系下，转化为非齐次坐标即2d_uvn×2；
25.步骤3-9，由步骤3-8，将2d_uvn×2中每一个值按比例放大，进行分辨率上升，其中分辨率上升与标定时2d相机分辨率下降的比例互为倒数；
26.步骤3-10，由步骤3-8及步骤3-9，将2d_uvn×2和2d_xyzdnorn×7在最后一个纬度连结，得到2d像素坐标系下的点集矩阵2d_uvxyzdnorn×9，其中n，9分别为点的数量，通道信息(u，v，x，y，z，d，n
x
，ny，nz)，u代表2d相机像素坐标系的横坐标，v代表2d相机像素坐标系的纵坐标，x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，ny代表2d相机坐标系法向量y坐标，nz代表2d相机坐标系法向量z坐标。
27.步骤3-11，由步骤3-10，f_map＝interpolator(2d_uvn×2，2d_xyzdnorn×7)，其中interpolator为插值函数，f_map为映射函数；
28.步骤3-12，由步骤3-11，其中表示2d相机坐标系下高
×
宽
×
通道数为h
2d
×w2d
×
7的图像，通道信息(x，y，z，d，n
x
，ny，nz)，其中x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，ny代表2d相机坐标系法向量y坐标，nz代表2d相机坐标系法向量z坐标；
29.步骤3-13，由2d相机高分内参矩阵camerahdmatrix2d3×3和畸变参数disthdcoeffs2d1×5对输入的图像进行畸变校正；
30.步骤3-14，由步骤3-12及步骤3-13，将和在最后一个纬度连结，得到多通道融合图，通道信息(r，g，b，x，y，z，d，n
x
，ny，nz)，其中，r，g，b代表红、绿、蓝；x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，ny代表2d相机坐标系法向量y坐标，nz代表2d相机坐标系法向量z坐标。
31.有益效果：与现有技术相比，本发明具有如下显著优点：考虑将2d相机的高分辨率优势与3d相机的空间位置、法向量优势相结合，利用计算机视觉领域相关技术，生成具有低成本、高精度及高分辨率的多通道融合图。多通道融合图的像素相比普通图像(rgb、灰度、位图、双色调)具有更丰富的信息，例如：空间位置、深度、法向量等，可用于模型生成、图像预处理、工业检测等任务。
附图说明
32.图1是方法流程图；
33.图2是相机固定机械结构示例图；圆标1为2d相机，圆标2为3d相机。
34.图3是一组2d/3d数据可视化；其中，(a)为2d相机rgb图像——2d_rgb；(b)为3d相机纹理图像——3d_texture；(c)为3d相机空间位置——3d_xyz和3d相机法向量——3d_normal；
35.图4是标定流程图；
36.图5是融合算法流程图；
具体实施方式
37.下面结合附图对本发明的技术方案作进一步说明。
38.本发明的实施例提出了一种基于2d/3d相机标定的多通道融合图生成方法，如图1，包括：将2d和3d相机固定在机械结构上；从不同角度采集多组用于标定的2d/3d数据，利用2d相机rgb图像和3d相机纹理图像对2d和3d相机分别进行单目标定，再进行立体标定；采集一组用于融合的2d/3d数据，根据标定的参数、2d相机rgb图像、3d相机空间位置以及3d相机法向量，利用融合算法生成多通道融合图。
39.本发明的实施例中将2d和3d相机固定在机械结构上，示例如图2。
40.本发明的实施例中一组2d/3d数据可视化，如图3。2d相机所采集的高分辨率rgb图像简称为2d相机rgb图像，英文缩略语为2d_rgb，数据结构定义为矩阵其中h
2d
，w
2d
，3分别表示高度，宽度，颜色。3d相机所采集的纹理图像简称为3d相机纹理图像，英文缩略语为3d_texture，数据结构定义为矩阵其中h
3d
，w
3d
分别表示高度，宽度。3d相机所采集的空间位置信息简称为3d相机空间位置，英文缩略语为3d_xyz，数据结构定义为矩阵其中h
3d
，w
3d
，3分别表示高度，宽度，3d相机坐标系中的空间坐标(x，y，z)。3d相机所采集的法向量简称为3d相机法向量，英文缩略语为3d_normal，数据结构定义为矩阵其中h
3d
，w
3d
，3分别表示高度，宽度，3d相机坐标系中的法向量坐标(n
x
，ny，nz)。
41.本发明实施例中从不同角度采集多组用于标定的2d/3d数据，利用2d相机rgb图像和3d相机纹理图像对2d和3d相机分别进行单目标定，再进行立体标定，如图4，具体过程：
42.步骤1，将输入的n张2d_rgb进行单目标定，得到2d相机高分内参矩阵camerahdmatrix2d3×3和2d相机高分畸变参数disthdcoeffs2d1×5；
43.步骤2，将输入的n张2d_rgb以像素坐标系原点进行左上角裁剪，得到的n张2d_rgb宽高比与3d_texture一致，即h
′
2d
∶w
′
2d
＝h
3d
∶w
3d
；
44.步骤3，将步骤2的结果进行分辨率下降；
45.步骤4，将n张3d_texture以像素坐标系原点进行左上角裁剪，得到的n张3d_texture的宽高与步骤3得到的n张2d_rgb一致；
46.步骤5，将步骤3与步骤4的结果分别进行单目标定，得到2d和3d相机的内参矩阵、畸变参数、标定点的世界坐标(objectpoints)和像素坐标(imagepoints2d、imagepoints3d)，其中内参矩阵分别为cameramatrix2d3×3和cameramatrix3d3×3，畸变参数
分别为distcoeffs2d1×5和distcoeffs3d1×5。
47.步骤6，将步骤5的结果进行立体标定，得到2d和3d相机的相机坐标系之间的旋转矩阵r3×4及平移向量t3×1，其中r和t的正变换过程是由2d相机坐标系到3d相机坐标系的。
48.本发明实施例中采集一组用于融合的2d/3d数据，根据标定的参数、2d相机rgb图像、3d相机空间位置以及3d相机法向量，利用融合算法生成多通道融合图，如图5，融合算法具体过程：
49.步骤1，由3d相机内参矩阵cameramotrix3d3×3和畸变参数distcoeffs3d1×5对输入的和图像进行畸变校正，进一步将两者在最后一个纬度进行连结、变形前两个纬度以及去除异常点(z＝＝0)，得到3d相机坐标系下的点集矩阵3d_xyznorn×6，其中n，6分别为点的数量，通道信息(x，y，z，n
x
，ny，nz)，x代表3d相机坐标系x坐标，y代表3d相机坐标系y坐标，z代表3d相机坐标系z坐标，n
x
代表3d相机坐标系法向量x坐标，ny代表3d相机坐标系法向量y坐标，nz代表3d相机坐标系法向量z坐标；
50.步骤2，将r3×3与t3×1最后一维拼接得到的矩阵记作rt3×4，进一步转化为齐次坐标形式即rt4×4，其逆矩阵即3d相机坐标系到2d相机坐标系的齐次坐标变换矩阵；
51.步骤3，由步骤1，将3d_xyznorn×6前3列记作3d_xyzn×3，进一步转化为齐次坐标形式即3d_xyzn×1×4；
52.步骤4，由步骤2及步骤3，其中einsum为爱因斯坦求和函数，即将3d_xyznorn×6中的空间位置从3d相机坐标系旋转平移到2d相机坐标系下，进一步转化为非齐次坐标形式即2d_xyzn×3；
53.步骤5，由步骤4，将2d_xyzn×3第1列记作2d_xn×1，第2列记作2d_yn×1，第3列记为2d-zn×1，
54.其中为哈达玛积，根号为逐元素操作。即计算深度——2d_xyzn×3中每个点到2d相机坐标系原点的距离；
55.步骤6，由步骤1，将3d_xyznorn×6后3列记作3d_norn×3，
56.即将3d_xyznorn×6中的法向量从3d相机坐标系旋转到2d相机坐标系下；
57.步骤7，由步骤4、步骤5及步骤6，将2d_xyzn×3、2d_depthn×1及2d_norn×3在最后一个纬度连结，得到2d相机坐标系下的点集矩阵2d_xyzdnorn×7，其中n，7分别为点的数量，通道信息(x，y，z，d，n
x
，ny，nz)，x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，ny代表2d相机坐标系法向量y坐标，nz代表2d相机坐标系法向量z坐标；
58.步骤8，由步骤4及步骤7，2d_uvn×3＝einsum(cameramatrix2d3×3，2d_xyzn×3)，即将2d相机坐标系下的点集矩阵2d_xyzdnorn×7中每个点的空间位置经2d相机内参矩阵投影到2d像素坐标系下，进一步转化为非齐次坐标即2d_uvn×2；
59.步骤9，由步骤8，将2d_uvn×2中每一个值按比例放大，进行分辨率上升，其中分辨率上升与标定时2d相机分辨率下降的比例互为倒数；
60.步骤10，由步骤8及步骤9，将2d_uvn×2和2d_xyzdnorn×7在最后一个纬度连结，得到2d像素坐标系下的点集矩阵2d_uvxyzdnorn×9，其中n，9分别为点的数量，通道信息(u，v，x，y，z，d，n
x
，ny，nz)，u代表2d相机像素坐标系的横坐标，v代表2d相机像素坐标系的纵坐标，x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，ny代表2d相机坐标系法向量y坐标，nz代表2d相机坐标系法向量z坐标；
61.步骤11，由步骤10，f_map＝interpolator(2d_uvn×2，2d_xyzdnorn×7)，其中interpolator为插值函数，f_map为映射函数；
62.步骤12，由步骤11，其中表示2d相机坐标系下高
×
宽
×
通道数为h
2d
×w2d
×
7的图像，通道信息(x，y，z，d，n
x
，ny，nz)，x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，ny代表2d相机坐标系法向量y坐标，nz代表2d相机坐标系法向量z坐标；
63.步骤13，由2d相机高分内参矩阵camerahdmatrix2d3×3和畸变参数disthdcoeffs2d1×5对输入的图像进行畸变校正；
64.步骤14，由步骤12及步骤13，将和在最后一个纬度连结，得到多通道融合图，通道信息(r，g，b，x，y，z，d，n
x
，ny，nz)，其中，r，g，b代表红，绿，蓝；x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，ny代表2d相机坐标系法向量y坐标，nz代表2d相机坐标系法向量z坐标。

技术特征：
1.一种基于2d相机和3d相机标定的多通道融合图生成方法，其特征在于，包括以下步骤：步骤1：在目标区域将2d相机和3d相机固定安装在同一机械结构上，并定义2d相机rgb图像、3d相机空间位置以及3d相机法向量；步骤2：通过2d相机和3d相机从不同角度采集多组用于标定的2d/3d图像数据，利用2d相机rgb图像和3d相机纹理图像对2d相机和3d相机分别进行单目标定，再对单目标定后的结果进行立体标定，得到标定的参数；步骤3：采集一组用于融合的2d/3d图像数据，根据标定的参数、2d相机rgb图像、3d相机空间位置以及3d相机法向量，利用融合算法生成多通道融合图。2.根据权利要求1所述的一种基于2d相机和3d相机标定的多通道融合图生成方法，其特征在于，步骤1中定义2d相机rgb图像、3d相机空间位置以及3d相机法向量具体为：2d相机所采集的高分辨率rgb图像称为2d相机rgb图像，定义为2d_rgb，数据结构定义为矩阵其中h
2d
，w
2d
，3分别表示高度，宽度，颜色；3d相机所采集的纹理图像称为3d相机纹理图像，定义为3d_texture，数据结构定义为矩阵其中h
3d
，w
3d
分别表示高度，宽度；3d相机所采集的空间位置信息称为3d相机空间位置，定义为3d_xyz，数据结构定义为矩阵其中h
3d
，w
3d
，3分别表示高度，宽度，3d相机坐标系中的空间坐标(x,y,z)，其中；3d相机所采集的法向量称为3d相机法向量，定义为3d_normal，数据结构定义为矩阵其中h
3d
，w
3d
，3分别表示高度，宽度，3d相机坐标系中的法向量坐标(n
x
,n
y
,n
z
)。3.根据权利要求1所述的一种基于2d相机和3d相机标定的多通道融合图生成方法，其特征在于，步骤2具体包括如下步骤：步骤2-1，将输入的n张2d_rgb进行单目标定，得到2d相机高分内参矩阵camerahdmatrix2d3×3和2d相机高分畸变参数disthdcoeffs2d1×5；步骤2-2，将输入的n张2d_rgb以像素坐标系原点进行左上角裁剪，得到的n张2d_rgb宽高比与3d_texture一致，即h
′
2d
：w
′
2d
＝h
3d
：w
3d
；步骤2-3，将步骤2-2的结果进行分辨率下降；步骤2-4，将n张3d_texture以像素坐标系原点进行左上角裁剪，得到的n张3d_texture的宽高与步骤2-3得到的n张2d_rgb一致；步骤2-5，将步骤2-3与步骤2-4的结果分别进行单目标定，得到2d和3d相机的内参矩阵、畸变参数、标定点的世界坐标和像素坐标，其中内参矩阵分别为cameramatrix2d3×3和cameramatrix3d3×3，畸变参数分别为distcoeffs2d1×5和distcoeffs3d1×5；步骤2-6，将步骤2-5的结果进行立体标定，得到2d和3d相机的相机坐标系之间的旋转矩阵r3×3及平移向量t3×1，其中r和t的正变换过程是由2d相机坐标系到3d相机坐标系的。4.根据权利要求3所述的一种基于2d相机和3d相机标定的多通道融合图生成方法，其特征在于，步骤3具体包括如下步骤：步骤3-1，由3d相机内参矩阵cameramatrix3d3×3和畸变参数distcoeffs3d1×5对输入的和图像进行畸变校正，将两者在最后一个纬度进行连
结、变形前两个纬度以及去除异常点z＝＝0，得到3d相机坐标系下的点集矩阵3d_xyznor
n
×6，其中n，6分别为点的数量，通道信息(x,y,z,n
x
,n
y
,n
z
)，x代表3d相机坐标系x坐标，y代表3d相机坐标系y坐标，z代表3d相机坐标系z坐标，n
x
代表3d相机坐标系法向量x坐标，n
y
代表3d相机坐标系法向量y坐标，n
z
代表3d相机坐标系法向量z坐标；步骤3-2，将r3×3与t3×1最后一维拼接得到的矩阵记作rt3×4，转化为齐次坐标形式即rt4×4，其逆矩阵即3d相机坐标系到2d相机坐标系的齐次坐标变换矩阵；步骤3-3，由步骤3-1，将3d_xyznor
n
×6前3列记作3d_xyz
n
×3，转化为齐次坐标形式即3d_xyz
n
×1×4；步骤3-4，由步骤3-2及步骤3-3，其中einsum为爱因斯坦求和函数，即将3d_xyznor
n
×6中的空间位置从3d相机坐标系旋转平移到2d相机坐标系下，转化为非齐次坐标形式即2d_xyz
n
×3；步骤3-5，由步骤3-4，将2d_xyz
n
×3第1列记作2d_x
n
×1，第2列记作2d_y
n
×1，第3列记为2d_z
n
×1，其中为哈达玛积，根号为逐元素操作；即计算深度2d_xyz
n
×3中每个点到2d相机坐标系原点的距离；步骤3-6，由步骤3-1，将3d_xyznor
n
×6后3列记作3d_nor
n
×3，即将3d_xxznor
n
×6中的法向量从3d相机坐标系旋转到2d相机坐标系下；步骤3-7，由步骤3-4、步骤3-5及步骤3-6，将2d_xyz
n
×3、2d_depth
n
×1及2d_nor
n
×3在最后一个纬度连结，得到2d相机坐标系下的点集矩阵2d_xyzdnor
n
×7，其中n，7分别为点的数量，通道信息(x，y，z，d,n
x
，n
y
，n
z
)，x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，n
y
代表2d相机坐标系法向量y坐标，n
z
代表2d相机坐标系法向量z坐标步骤3-8，由步骤3-4及步骤3-7，2d_uv
n
×3＝einsum(cameramatrix2d3×3，2d_xyz
n
×3)，即将2d相机坐标系下的点集矩阵2d_xyzdnor
n
×7中每个点的空间位置经2d相机内参矩阵投影到2d像素坐标系下，转化为非齐次坐标即2d_uv
n
×2；步骤3-9，由步骤3-8，将2d_uv
n
×2中每一个值按比例放大，进行分辨率上升，其中分辨率上升与标定时2d相机分辨率下降的比例互为倒数；步骤3-10，由步骤3-8及步骤3-9，将2d_uv
n
×2和2d_xyzdnor
n
×7在最后一个纬度连结，得到2d像素坐标系下的点集矩阵2d_uvxyzdnor
n
×9，其中n，9分别为点的数量，通道信息(u,v,x,y,z,d，n
x
,n
y
,n
z
)，u代表2d相机像素坐标系的横坐标，v代表2d相机像素坐标系的纵坐标，x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，n
y
代表2d相机坐标系法向量y坐标，n
z
代表2d相机坐标系法向量z坐标；步骤3-11，由步骤3-10，f_map＝interpolator(2d_uv
n
×2，2d_xyzdnor
n
×7)，其中interpolator为插值函数，f_map为映射函数；步骤3-12，由步骤3-11，其中表示2d相机坐标系下高
×
宽
×
通道数为h
2d
×
w
2d
×
7的图像，通道信息(x,y,z,d，n
x
,n
y
,n
z
)，x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐
标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，n
y
代表2d相机坐标系法向量y坐标，n
z
代表2d相机坐标系法向量z坐标；步骤3-13，由2d相机高分内参矩阵camerahdmatrix2d3×3和畸变参数disthdcoeffs2d1×5对输入的图像进行畸变校正；步骤3-14，由步骤3-12及步骤3-13，将和在最后一个纬度连结，得到多通道融合图，通道信息(r，g，b，x,y,z,d，n
x
,n
y
,n
z
)，其中，r，g，b代表红、绿、蓝；x代表2d相机坐标系x坐标，y代表2d相机坐标系y坐标，z代表2d相机坐标系z坐标，d代表到2d相机坐标系原点的距离，n
x
代表2d相机坐标系法向量x坐标，n
y
代表2d相机坐标系法向量y坐标，n
z
代表2d相机坐标系法向量z坐标。

技术总结
本发明公开了一种基于2D相机和3D相机标定的多通道融合图生成方法，包括：在目标区域固定安装2D\3D相机；通过2D\3D相机从不同角度采集多组用于标定的2D/3D图像数据，利用2D相机RGB图像和3D相机纹理图像对2D相机和3D相机分别进行单目标定，再进行立体标定，得到标定的参数；采集一组用于融合的2D/3D图像数据，根据标定的参数、2D相机RGB图像、3D相机空间位置以及3D相机法向量，利用融合算法生成多通道融合图。考虑将2D相机的高分辨率优势与3D相机的空间位置、法向量优势相结合，利用计算机视觉领域相关技术，生成具有低成本、高精度及高分辨率的多通道融合图。可用于模型生成、图像预处理、工业检测等任务。工业检测等任务。工业检测等任务。


技术研发人员：孙文赟 薛宇恒 葛希斋 李春彪 杨博
受保护的技术使用者：南京信息工程大学
技术研发日：2023.04.23
技术公布日：2023/8/1