基于NeRF技术的多相机高精度几何校准系统的制作方法

基于nerf技术的多相机高精度几何校准系统
技术领域
1.本发明涉及多相机几何校准技术领域，具体为基于nerf技术的多相机高精度几何校准系统。


背景技术：

2.nerf(neural radiance fields神经辐射场)最早是在2020年eccv会议上的最佳论文中提出的概念，其将隐式表达推上了一个新的高度，仅用2d的posed images作为监督，即可表示复杂的三维场景。
3.为了确保有效操作，一些照相机经历几何内部校准(geometric intrinsiccalibration)，以对诸如焦距、图像中心(也称为主点(principal point))、畸变和歪斜(skew)等的内部特性(也称为内部参数)进行建模。用于校准照相机的传统方法利用包括棋盘图案的测试图。传统方法有若干缺点。首先，需要采用额外标定物，才能估计多个相机之间的几何关系和内外参数，导致操作不便。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了基于nerf技术的多相机高精度几何校准系统，解决了上述所提出的问题。
6.(二)技术方案
7.为实现以上目的，本发明通过以下技术方案予以实现：基于nerf技术的多相机高精度几何校准系统，包括坐标系定义模块、相机内外参数获取模块、相机内外参数计算模块、训练模块；
8.所述坐标系定义模块用于描述每一个空间点的坐标，以及相机的位置和朝向；
9.所述相机内外参数获取模块包括对合成数据的获取和真实数据的获取。
10.优选的，所述合成数据的获取具体步骤如下：
11.通过指定相机参数来渲染图像，得到图像的时候已经知道对应的相机参数，比如像nerf用到的blender lego数据集。常用的渲染软件还有mitsuba、opengl、pytorch3d、pyrender等，渲染数据比较简单，但是把得到的相机数据转到nerf代码坐标系牵扯到坐标系之间的变换。
12.优选的，所述真实数据的获取具体步骤如下：
13.利用运动恢复结构(structure-from-motion,sfm)技术计算几个相机间的相对位姿，例如开源软件包是colmap，输入多张图像，colmap可以估计出相机的内参和外参(也就是sparse model)，使用colmap得到相机参数后只需要转成nerf可以读取的格式即可以用于模型训练。
14.优选的，所述相机内外参数计算模块用于计算相机内参和相机外参。
15.优选的，所述相机外参是一个4x4的矩阵m，其作用是将世界坐标系的点p woeld＝
[x，y，z，1]变换到相机坐标系p camera＝mp world下，把相机外参叫做world-to-camera(w2c)矩阵；
[0016]
相机外参的逆矩阵被称为camera-to-world(c2w)矩阵，其作用是把相机坐标系的点变换到世界坐标系，因为nerf主要使用c2w，c2w矩阵是一个4x4的矩阵，左上角3x3是旋转矩阵r，又上角的3x1向量是平移向量t；
[0017][0018]
c2w矩阵的值直接描述了相机坐标系的朝向和原点，旋转矩阵的第一列到第三列分别表示了相机坐标系的x,y,z轴在世界坐标系下对应的方向；平移向量表示的是相机原点在世界坐标系的对应位置。
[0019]
优选的，所述相机内参矩阵将相机坐标系下的3d坐标映射到2d的图像平面，这里以针孔相机(pinhole camera)为例介绍相机的内参矩阵k：
[0020][0021]
优选的，所述相机内参矩阵k包含4个值，其中fx和fy是相机的水平和垂直焦距(对于理想的针孔相机，fx＝fy)，焦距的物理含义是相机中心到成像平面的距离，长度以像素为单位，cx和cy是图像原点相对于相机光心的水平和垂直偏移量，cx，cy有时候可以用图像宽和高的1/2近似。
[0022]
优选的，所述训练模块用于对坐标系定义模块和相机内外参数计算模块数据进行整合计算，最后采用nerf的mlp中，预测每个点的rgb和sigma。
[0023]
(三)有益效果
[0024]
本发明提供了基于nerf技术的多相机高精度几何校准系统。具备以下有益效果：通过使用nerf技术，可以在不需要额外标定物的情况下，自动估计多个相机之间的几何关系和内外参数，该方法结合了深度学习和计算机视觉技术，能够精确地校准多相机系统，提供高质量的三维几何重建结果。
附图说明
[0025]
图1为本发明的流程框图；
[0026]
图2为本发明的坐标系示意图。
具体实施方式
[0027]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]
实施例一：
[0029]
请参阅图1-图2，本发明提供基于nerf技术的多相机高精度几何校准系统技术方案：基于nerf技术的多相机高精度几何校准系统，包括坐标系定义模块、相机内外参数获取模块、相机内外参数计算模块、训练模块；坐标系定义模块用于描述每一个空间点的坐标，以及相机的位置和朝向，我们需要先定义一个世界坐标系，一个坐标系其实就是由原点的位置与xyz轴的方向决定，常见的相机坐标系定义习惯(右手坐标系)。注意：在opencv/colmap的相机坐标系里相机朝向+z轴，在llff/nerf的相机坐标系中里相机朝向-z轴。有时我们会按坐标系的xyz朝向描述坐标系，如opencv/colmap里使用的rdf表述x轴指向right，y轴指向down，z轴指向foward；
[0030]
接着，为了建立3d空间点到相机平面的映射关系以及多个相机之间的相对关系，我们会对每一个相机定义一个局部的相机坐标系；相机内外参数获取模块包括对合成数据的获取和真实数据的获取；
[0031]
采用上述坐标系定义模块、相机内外参数获取模块、相机内外参数计算模块这几个模块，根据所有图像数据，得到相机内参(焦距，1个参数)、相机位姿(坐标变换，12个参数)和稀疏3d点(推理物体离相机最近和最远距离，2个参数)，给每张图像赋予17个参数(1+12+2+2，其中最后一个2为图像的长宽)；
[0032]
随后训练模块对准备好图像(用于提供real像素值)和17个参数，根据相机位姿和相机焦距得到成像平面，并根据图像的长宽限制成像范围；
[0033]
取成像平面中某一位置(对应的real像素值是已知的)，与相机位置的连线构成一条射线，得到二维的视角参数，在最近和最远距离内采样n个点，得到三维的位置参数，构成n个五维向量；
[0034]
然后根据相机位姿参数转化到世界坐标系，送入mlp中，预测每个点的rgb和sigma，此时并不会直接对采样点进行监督，而是根据体渲染得到fake像素值，通过real和fake之间的误差来监督训练；
[0035]
实验结果表明，本发明所提出的几何校准技术相比传统方法具有更高的准确性和鲁棒性，可应用于诸如虚拟现实、增强现实和三维重建等领域。
[0036]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.基于nerf技术的多相机高精度几何校准系统，其特征在于：包括坐标系定义模块、相机内外参数获取模块、相机内外参数计算模块、训练模块；所述坐标系定义模块用于描述每一个空间点的坐标，以及相机的位置和朝向；所述相机内外参数获取模块包括对合成数据的获取和真实数据的获取。2.根据权利要求1所述的基于nerf技术的多相机高精度几何校准系统，其特征在于：所述合成数据的获取具体步骤如下：通过指定相机参数来渲染图像，得到图像的时候已经知道对应的相机参数。3.根据权利要求1所述的基于nerf技术的多相机高精度几何校准系统，其特征在于：所述真实数据的获取具体步骤如下：利用运动恢复结构(structure-from-motion,sfm)技术计算几个相机间的相对位姿。4.根据权利要求1所述的基于nerf技术的多相机高精度几何校准系统，其特征在于：所述相机内外参数计算模块用于计算相机内参和相机外参。5.根据权利要求4所述的基于nerf技术的多相机高精度几何校准系统，其特征在于：所述相机外参是一个4x4的矩阵m，其作用是将世界坐标系的点pwoeld＝[x，y，z，1]变换到相机坐标系p camera＝mp world下，把相机外参叫做world-to-camera(w2c)矩阵。6.根据权利要求4所述的基于nerf技术的多相机高精度几何校准系统，其特征在于：所述相机内参矩阵将相机坐标系下的3d坐标映射到2d的图像平面，相机的内参矩阵k：7.根据权利要求6所述的基于nerf技术的多相机高精度几何校准系统，其特征在于：所述相机内参矩阵k包含4个值，其中fx和fy是相机的水平和垂直焦距(对于理想的针孔相机，fx＝fy)，焦距的物理含义是相机中心到成像平面的距离，长度以像素为单位，cx和cy是图像原点相对于相机光心的水平和垂直偏移量。8.根据权利要求1所述的基于nerf技术的多相机高精度几何校准系统，其特征在于：所述训练模块用于对坐标系定义模块和相机内外参数计算模块数据进行整合计算，最后采用nerf的mlp中，预测每个点的rgb和sigma。

技术总结
本发明公开了基于NeRF技术的多相机高精度几何校准系统，包括坐标系定义模块、相机内外参数获取模块、相机内外参数计算模块、训练模块；坐标系定义模块用于描述每一个空间点的坐标，以及相机的位置和朝向。通过使用NeRF技术，可以在不需要额外标定物的情况下，自动估计多个相机之间的几何关系和内外参数，该方法结合了深度学习和计算机视觉技术，能够精确地校准多相机系统，提供高质量的三维几何重建结果。果。果。


技术研发人员：陈光明
受保护的技术使用者：视见科技（杭州）有限公司
技术研发日：2023.07.12
技术公布日：2023/10/19