一种鱼眼相机外参标定的评估方法、装置和电子设备与流程

1.本公开涉及鱼眼相机术领域，尤其涉及一种鱼眼相机外参标定的评估方法、装置和电子设备。


背景技术：

2.目前，在对鱼眼相机的外参进行标定时，通过鱼眼相机对固定的多个标定物的图像进行采集，以确定鱼眼相机的位置信息与参考图案的位置信息，之后根据鱼眼相机的位置信息与参考图案的位置信息确定鱼眼相机的外参。采用这种方式对鱼眼相机的外参进行标定时，需要人工多次手动调整标定物与鱼眼相机的位置，保证鱼眼相机可以采集到不同视角下的标定物图像，摆放姿态对标定的精准度影响很大，通常需要尽可能多的标定物姿态，以保证标定精度，这些需要耗费较大的人工成本。


技术实现要素：

3.为了解决上述技术问题，本公开提供了一种鱼眼相机外参标定的评估方法、装置和电子设备，解决了相关技术中在对鱼眼相机的外参进行标定时，需要耗费较大的人工成本来保证鱼眼相机的标定精度。
4.为达到上述目的，本公开采用如下技术方案：
5.第一方面，本公开提供了一种鱼眼相机外参标定的评估方法，鱼眼相机包括至少一个。该方法包括：获取至少一个鱼眼相机中每个鱼眼相机在相机坐标系下的光心坐标，以及每个鱼眼相机的光轴在相机坐标系下的光轴矢量；根据第一rt矩阵和光心坐标，确定每个鱼眼相机在世界坐标系下的光心实际坐标；其中，第一rt矩阵包括第一旋转矩阵r和第一平移矩阵t；根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机的光心偏差值；根据第二rt矩阵和光轴矢量，确定每个鱼眼相机在世界坐标系下的光轴实际夹角；其中，第二rt矩阵包括第二旋转矩阵r和第二平移矩阵t；根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个鱼眼相机的光轴偏差值；在光心偏差值均小于光心阈值，并且光轴偏差值均小于光轴阈值的情况下，确定至少一个鱼眼相机的标定结果为标定成功。
6.在一些可实施的示例中，获取至少一个鱼眼相机中每个鱼眼相机在相机坐标系下的光心坐标，以及每个鱼眼相机的光轴在相机坐标系下的光轴矢量前，本公开提供了一种鱼眼相机外参标定的评估方法，还包括：获取当前所处的地平面；根据地平面，建立世界坐标系；其中，世界坐标系的xoy平面与地平面平行，x轴方向水平向右，y轴方向水平向前，o为原点，z轴垂直于xoy平面。
7.在一些可实施的示例中，根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机的光心偏差值，包括：根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机分别在x轴、y轴和z轴上的光心偏差值。
8.在一些可实施的示例中，世界坐标系包括xoy平面、xoz平面和yoz平面，根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个鱼眼相机的光轴偏差值，包括：根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个所述鱼眼相机分别在xoy平面、xoz平面和yoz平面上的光轴偏差值。
9.在一些可实施的示例中，本公开提供了一种鱼眼相机外参标定的评估方法还包括：在存在大于或等于光心阈值的光心偏差值，和/或存在大于或等于光轴阈值的光轴偏差值的情况下，确定所述至少一个鱼眼相机的标定结果为标定失败。
10.在一些可实施的示例中，光心阈值等于2cm，光轴阈值等于2
°
。
11.第二方面，本公开提供了一种鱼眼相机外参标定的评估装置，应用于交通工具，交通工具设置有至少一个鱼眼相机，包括：获取单元，用于获取至少一个鱼眼相机中每个鱼眼相机在相机坐标系下的光心坐标，以及每个鱼眼相机的光轴在相机坐标系下的光轴矢量；处理单元，用于根据第一rt矩阵和获取单元获取的光心坐标，确定每个鱼眼相机在世界坐标系下的光心实际坐标；其中，第一rt矩阵包括第一旋转矩阵r和第一平移矩阵t；处理单元，还用于根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机的光心偏差值；处理单元，还用于根据第二rt矩阵和获取单元获取的光轴夹角，确定每个鱼眼相机在世界坐标系下的光轴实际夹角；其中，第二rt矩阵包括第二旋转矩阵r和第二平移矩阵t；处理单元，还用于根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个鱼眼相机的光轴偏差值；处理单元，还用于在光心偏差值均小于光心阈值，并且光轴偏差值均小于光轴阈值的情况下，确定至少一个鱼眼相机的标定结果为标定成功。
12.在一些可实施的示例中，获取单元，还用于获取当前所处的地平面；处理单元，还用于根据获取单元获取的地平面，建立世界坐标系；其中，世界坐标系的xoy平面与地平面平行，x轴方向水平向右，y轴方向水平向前，o为原点，z轴垂直于xoy平面。
13.在一些可实施的示例中，处理单元，具体用于根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机分别在x轴、y轴和z轴上的光心偏差值。
14.在一些可实施的示例中，世界坐标系包括xoy平面、xoz平面和yoz平面，处理单元，具体用于根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个所述鱼眼相机分别在xoy平面、xoz平面和yoz平面上的光轴偏差值。
15.在一些可实施的示例中，处理单元，还用于在存在大于或等于光心阈值的光心偏差值，和/或存在大于或等于光轴阈值的光轴偏差值的情况下，确定所述至少一个鱼眼相机的标定结果为标定失败。
16.在一些可实施的示例中，光心阈值等于2cm，光轴阈值等于2
°
。
17.第三方面，本公开提供一种电子设备，包括：通信接口、处理器、存储器、总线；存储器用于存储计算机执行指令，处理器与存储器通过总线连接。当电子设备运行时，处理器执行存储器存储的计算机执行指令，以使电子设备执行如上述第一方面提供的鱼眼相机外参标定的评估方法。
18.第四方面，本公开提供一种计算机可读存储介质，包括指令。当所述指令在计算机上运行时，使得计算机执行如上述第一方面提供的鱼眼相机外参标定的评估方法。
19.第五方面，本公开提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面的设计方式所述的鱼眼相机外参标定的评估方法。
20.需要说明的是，上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中，第一计算机可读存储介质可以与鱼眼相机外参标定的评估装置的处理器封装在一起的，也可以与鱼眼相机外参标定的评估装置的处理器单独封装，本公开对此不作限定。
21.本公开中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。
22.在本公开中，上述鱼眼相机外参标定的评估装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本公开类似，属于本公开权利要求及其等同技术的范围之内。
23.本公开的这些方面或其他方面在以下的描述中会更加简明易懂。
24.本公开提供的技术方案与现有技术相比具有如下优点：
25.通过获取至少一个鱼眼相机中每个鱼眼相机在相机坐标系下的光心坐标，以及每个鱼眼相机的光轴在相机坐标系下的光轴矢量，从而可以确定出每个鱼眼相机在世界坐标系下的光心实际坐标，以及每个鱼眼相机在世界坐标系下的光轴实际夹角。之后，通过对比预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标的光心偏差值，以及预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角的光轴偏差值，从而可以确定出鱼眼相机外参标定的精度。如：在光心偏差值均小于光心阈值，并且光轴偏差值均小于光轴阈值的情况下，说明每个鱼眼相机的外参标定的精度满足条件，此时确定至少一个鱼眼相机的标定结果为标定成功。如此，可以大大降低对人工的需求，而是汽车可以自行对至少一个鱼眼相机的外参标定进行评估，解决了相关技术中在对鱼眼相机的外参进行标定时，需要耗费较大的人工成本来保证鱼眼相机的标定精度的问题。
附图说明
26.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
27.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1为本公开实施例提供的一种鱼眼相机外参标定的评估方法的流程示意图之一；
29.图2为本公开实施例提供的一种鱼眼相机外参标定的评估方法的流程示意图之二；
30.图3为本公开实施例提供的一种鱼眼相机外参标定的评估装置的结构示意图之一；
31.图4为本公开实施例提供的一种鱼眼相机外参标定的评估装置的结构示意图之
二；
32.图5为本公开实施例提供的一种鱼眼相机外参标定的评估方法的计算机程序产品的结构示意图。
具体实施方式
33.为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
34.在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
35.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
36.本公开实施例提供的鱼眼相机外参标定的评估方法中，鱼眼相机外参又称为相机位姿，由旋转矩阵r和平移矩阵t组成。
37.本公开实施例提供的鱼眼相机外参标定的评估方法中，鱼眼相机外参标定指的是确定一个旋转矩阵r和平移矩阵t，用来描述相机坐标系和其他坐标系(比如车身坐标系)的转换关系。
38.现有技术中，车载环视系统一般由安装在汽车的车身前后左右4个方向(或者6，8个或者更多)的鱼眼相机采集的图像视频拼接而成的全景环视系统。其中，车载环视系统拼接的环视图依赖于鱼眼相机的外参，鱼眼相机的外参在出厂时，利用固定的参考图案进行标定。如果标注的精度较低，就会到导致车载环视系统显示的环视拼接错位。为此，本公开的实施例提供一种鱼眼相机外参标定的评估方法，通过获取至少一个鱼眼相机中每个鱼眼相机在相机坐标系下的光心坐标，以及每个鱼眼相机的光轴在相机坐标系下的光轴矢量，从而可以确定出每个鱼眼相机在世界坐标系下的光心实际坐标，以及每个鱼眼相机在世界坐标系下的光轴实际夹角。之后，通过对比预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标的光心偏差值，以及预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角的光轴偏差值，从而可以确定出鱼眼相机外参标定的精度。如：在光心偏差值均小于光心阈值，并且光轴偏差值均小于光轴阈值的情况下，说明每个鱼眼相机的外参标定的精度满足条件，此时确定至少一个鱼眼相机的标定结果为标定成功。
39.具体的实现过程如下：
40.需要说明的是，交通工具在执行本公开实施例提供的鱼眼相机外参标定的评估方法时，其执行主体为交通工具的处理器。如：交通工具为汽车时，执行本公开实施例提供的
鱼眼相机外参标定的评估方法的执行主体为汽车的处理器。
41.示例性的，以交通工具为汽车为例，对本公开实施例所提供的鱼眼相机外参标定的评估方法进行介绍。如图1所示，鱼眼相机外参标定的评估方法包括以下s11-s16的内容：
42.s11、获取至少一个鱼眼相机中每个鱼眼相机在相机坐标系下的光心坐标，以及每个鱼眼相机的光轴在相机坐标系下光轴矢量。
43.在一些示例中，相机坐标系是以鱼眼相机的聚焦中心为原点，以光轴为z轴建立的三维直角坐标系。相机坐标系的原点坐标为鱼眼相机的光心坐标。
44.s12、根据第一rt矩阵和光心坐标，确定每个鱼眼相机在世界坐标系下的光心实际坐标。
45.在一些示例中，第一rt矩阵包括第一旋转矩阵r和第一平移矩阵t。如：将鱼眼相机固定在汽车的车身上后，将汽车停放在标定场的固定位置上，并通过限位器检测该汽车的停放位置是否正确。在确定该汽车的停放位置正确的情况下，汽车借助标定场中的标定物建立一个世界坐标系，并固定好相机坐标系(鱼眼相机与汽车的车身保持相对静止)和世界坐标系之间的变换关系(比如停车时始终保持车身与标定物位置与姿态关系固定)，利用标定物在图像平面的成像信息和标定物上固有的尺寸信息，确定相机坐标系和世界坐标系的第一rt矩阵。
46.示例性的，第一rt矩阵可以为表示相机坐标系到世界坐标系的转换矩阵。
47.在另一些示例中，也可以将世界坐标系中的坐标转换到相机坐标系中。其中世界坐标系到相机坐标系的转换矩阵为
48.具体的，在将相机坐标系中的坐标与第一rt矩阵相乘时，需要将相机坐标系中的坐标转换为齐次坐标。如：鱼眼相机的光心坐标(也就是相机坐标系下的坐标原点)的齐次坐标为(0,0,0,1)，汽车将(0,0,0,1)与第一rt矩阵相乘后，得到该光心坐标在世界坐标系下的坐标点(xc，yc，zc)。
49.具体的，鱼眼相机在世界坐标系下的光心实际坐标等于第一rt矩阵和光心坐标的乘积。
50.s13、根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机的光心偏差值。
51.在一些示例中，光心偏差值等于光心理论坐标与光心实际坐标之间的距离。在其他的一些示例中，由于光心理论坐标与光心实际坐标之间的距离并不能很好地体现光心理论坐标与光心实际坐标之间的实际位置关系，因此也可以分别计算光心理论坐标与光心实际坐标在x轴、y轴和z轴反向上的距离，从而能够更好地体现光心理论坐标与光心实际坐标之间的实际位置关系，保证鱼眼相机外参标定的精确度。
52.具体的，汽车在设计初期，会确定鱼眼相机在汽车的车身上的设计安装位置，进而可以根据设计安装位置确定鱼眼相机在世界坐标系下的光心理论坐标，以及鱼眼相机在世界坐标系下的光轴理论夹角。这样，鱼眼相机在实际的安装过程中，如果没有安装在设计安装位置，此时会导致光心实际坐标和光心理论坐标之间的光心偏差值较大，同时，光轴理论
夹角和光轴实际夹角之间的光轴偏差值较大。这样会导致汽车的鱼眼相机外参标定的精度较低，影响用户的体验。因此，本公开实施例提供的鱼眼相机外参标定的评估方法，通过对比鱼眼相机的光心实际坐标和光心理论坐标，以及鱼眼相机的光轴理论夹角和光轴实际夹角，从而可以确定鱼眼相机外参标定的精度，保证用户的体验。
53.s14、根据第二rt矩阵和光轴矢量，确定每个鱼眼相机在世界坐标系下的光轴实际夹角。
54.在一些示例中，第二rt矩阵包括第二旋转矩阵r和第二平移矩阵t。
55.具体的，第一rt矩阵与第二rt矩阵相同。
56.具体的，第二rt矩阵的计算过程与第一rt矩阵的计算过程类似，此处不再赘述。
57.在一些示例中，汽车根据第二rt矩阵和光轴矢量，确定每个鱼眼相机在世界坐标系下的光轴实际夹角，包括：
58.汽车根据第二rt矩阵和光轴矢量，确定每个鱼眼相机在世界坐标系下的光轴实际矢量。
59.汽车根据每个鱼眼相机在世界坐标系下的光轴实际矢量，确定每个鱼眼相机对应的光轴实际矢量与世界坐标系中的每个平面的光轴实际夹角。
60.具体的，世界坐标系包括3个平面，分别为xoy平面、xoz平面和yoz平面。光轴实际矢量与3个平面中的每个平面的夹角，即为光轴实际夹角。如：以世界坐标系的原点为中心，光轴实际矢量与xoy平面之间的光轴实际夹角可记为faixy，光轴实际矢量与xoz平面之间的光轴实际夹角可记为faixz，光轴实际矢量与yoz平面之间的光轴实际夹角可记为faiyz。
61.其中，世界坐标系的原点可以为汽车的重心。
62.具体的，在将相机坐标系中的光轴矢量与第二rt矩阵相乘时，需要将相机坐标系中的光轴矢量转换为齐次坐标。如：鱼眼相机的光轴矢量的齐次坐标为(0,0,1,0)，汽车将(0,0,1,0)与第二rt矩阵相乘后，得到该光心坐标在世界坐标系下的光轴实际矢量。
63.s15、根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个鱼眼相机的光轴偏差值。
64.s16、在光心偏差值均小于光心阈值，并且光轴偏差值均小于光轴阈值的情况下，确定至少一个鱼眼相机的标定结果为标定成功。
65.本公开实施例提供的鱼眼相机外参标定的评估方法，无需大量的人工去保证鱼眼相机的标定精度，而是通过对比预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标的光心偏差值，以及预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角的光轴偏差值，从而可以确定出鱼眼相机外参标定的精度。如：在光心偏差值均小于光心阈值，并且光轴偏差值均小于光轴阈值的情况下，说明每个鱼眼相机的外参标定的精度满足条件，此时确定至少一个鱼眼相机的标定结果为标定成功。从而解决了车载环视系统出厂时，鱼眼相机的标定精度可控，把不良的标定车辆提前拦截，保证了用户的体验，解决了相关技术中在对鱼眼相机的外参进行标定时，需要耗费较大的人工成本来保证鱼眼相机的标定精度的问题。
66.在一些可实施的示例中，结合图1，如图2所示，本公开实施例提供的鱼眼相机外参标定的评估方法，在执行s11前，还包括：s17和s18。
67.s17、获取当前所处的地平面。
68.在一些示例中，汽车中内置有水平仪，汽车将水平仪确定的水平面作为地平面。
69.s18、根据地平面，建立世界坐标系。其中，世界坐标系的xoy平面与地平面平行，x轴方向水平向右，y轴方向水平向前，o为原点，z轴垂直于xoy平面。
70.在一些示例中，本公开实施例提供的鱼眼相机外参标定的评估方法，通过获取汽车当前所处的地平面，并将该地平面作为世界坐标系的xoy平面。如：以汽车前进的方向为水平向前，则可以确定汽车的车头所指的方向为y轴方向，x轴垂直于y轴，z轴垂直于xoy平面，坐标原点选取汽车的重心，如此汽车可以更加便捷地建立世界坐标系。
71.在一些可实施的示例中，结合图1，如图2所示，上述s13具体可以通过下述s130实现。
72.s130、根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机分别在x轴、y轴和z轴上的光心偏差值。
73.具体的，鱼眼相机在x轴上的光心偏差值dx分别为光心理论坐标的x轴的取值与光心实际坐标的x轴的取值的差值的绝对值，鱼眼相机在y轴上的光心偏差值dy为光心理论坐标的y轴的取值与光心实际坐标的y轴的取值的差值的绝对值，鱼眼相机在z轴上的光心偏差值dz为光心理论坐标的z轴的取值与光心实际坐标的z轴的取值的差值的绝对值。
74.在一些可实施的示例中，世界坐标系包括xoy平面、xoz平面和yoz平面，结合图1，如图2所示，上述s15具体可以通过下述s150实现。
75.s150、根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个所述鱼眼相机分别在xoy平面、xoz平面和yoz平面上的光轴偏差值。
76.具体的，鱼眼相机分别在xoy平面的光轴偏差值dthxy等于光轴实际矢量在世界坐标系的xoy平面的光轴实际夹角与光轴理论夹角的差值的绝对值。鱼眼相机分别在xoz平面的光轴偏差值dthxz等于光轴实际矢量在世界坐标系的xoz平面的光轴实际夹角与光轴理论夹角的差值的绝对值。鱼眼相机分别在yoz平面的光轴偏差值dthyz等于光轴实际矢量在世界坐标系的yoz平面的光轴实际夹角与光轴理论夹角的差值的绝对值。
77.在一些可实施的示例中，结合图1，如图2所示，本公开的实施例提供的鱼眼相机外参标定的评估方法还包括：s19。
78.s19、在存在大于或等于光心阈值的光心偏差值，和/或存在大于或等于光轴阈值的光轴偏差值的情况下，确定所述至少一个鱼眼相机的标定结果为标定失败。
79.在一些示例中，汽车在存在大于或等于光心阈值的光心偏差值的情况下，确定所述至少一个鱼眼相机的标定结果为标定失败。或者，汽车在存在大于或等于光轴阈值的光轴偏差值的情况下，确定所述至少一个鱼眼相机的标定结果为标定失败。
80.示例性的，假设汽车的车身安装有4个鱼眼相机，汽车确定4个鱼眼相机中的每个鱼眼相机的光心偏差值均小于光心阈值，并且4个鱼眼相机中的每个鱼眼相机的光轴偏差值均小于光轴阈值的情况下，确定所述至少一个鱼眼相机的标定结果为标定成功。
81.若汽车确定4个鱼眼相机中的任一个鱼眼相机的光心偏差值大于或等于光心阈值，和/或光轴偏差值大于或等于光轴阈值的情况下，确定所述至少一个鱼眼相机的标定结果为标定失败。
82.在一些可实施的示例中，光心阈值等于2cm，光轴阈值等于2
°
。
83.具体的，光心阈值和光轴阈值均为大于或等于0的常数。其中，光心阈值和光轴阈
值的取值越小，对应的鱼眼相机外参标定的精度越高，同时对鱼眼相机在汽车的车身上的安装的精度的要求越高。
84.在实际的应用中，鱼眼相机本身在组装的过程中存在组装误差，同时在将鱼眼相机安装至在汽车的车身上时，也会产生安装误差。为了保证鱼眼相机的标定结果的精度，以及鱼眼相机的安装精度，可以将光心阈值等于2cm，光轴阈值等于2
°
。这样，可以在保证鱼眼相机的标定结果的精度同时，又可以保证鱼眼相机的安装精度，实现对不良的标定车辆提前拦截，保证了用户的体验。上述主要从方法的角度对本公开实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
85.本公开实施例可以根据上述方法示例对鱼眼相机外参标定的评估装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
86.如图3所示，为本公开实施例提供的一种鱼眼相机外参标定的评估装置10的结构示意图。鱼眼相机外参标定的评估装置10用于获取至少一个鱼眼相机中每个鱼眼相机在相机坐标系下的光心坐标，以及每个鱼眼相机的光轴在相机坐标系下的光轴矢量；根据第一rt矩阵和光心坐标，确定每个鱼眼相机在世界坐标系下的光心实际坐标；其中，第一rt矩阵包括第一旋转矩阵r和第一平移矩阵t；根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机的光心偏差值；根据第二rt矩阵和光轴夹角，确定每个鱼眼相机在世界坐标系下的光轴实际夹角；其中，第二rt矩阵包括第二旋转矩阵r和第二平移矩阵t；根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个鱼眼相机的光轴偏差值；在光心偏差值均小于光心阈值，并且光轴实际夹角均小于光轴偏差值的情况下，确定至少一个鱼眼相机的标定结果为标定成功。鱼眼相机外参标定的评估装置10可以包括获取单元101和处理单元102。
87.获取单元，用于获取至少一个鱼眼相机中每个鱼眼相机在相机坐标系下的光心坐标，以及每个鱼眼相机的光轴与相机坐标系下的每个平面的光轴夹角；处理单元，用于根据第一rt矩阵和获取单元获取的光心坐标，确定每个鱼眼相机在世界坐标系下的光心实际坐标；处理单元，还用于根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机的光心偏差值；处理单元，还用于根据第二rt矩阵和获取单元获取的光轴矢量，确定每个鱼眼相机在世界坐标系下的光轴实际夹角；处理单元，还用于根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个鱼眼相机的光轴偏差值；处理单元，还用于在光心偏差值均小于光心阈值，并且光轴实际夹角均小于光轴阈值的情况下，确定至少一个鱼眼相机的标定结果为标定成功。
88.在一些可实施的示例中，获取单元，还用于获取当前所处的地平面；处理单元，还
用于根据获取单元获取的地平面，建立世界坐标系；其中，世界坐标系的xoy平面与地平面平行，x轴方向水平向右，y轴方向水平向前，o为原点，z轴垂直于xoy平面。
89.在一些可实施的示例中，处理单元，具体用于根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机分别在x轴、y轴和z轴上的光心偏差值。
90.在一些可实施的示例中，处理单元，具体用于根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个所述鱼眼相机分别在xoy平面、xoz平面和yoz平面上的光轴偏差值。
91.在一些可实施的示例中，处理单元，还用于在存在大于或等于光心阈值的光心偏差值，和/或存在大于或等于光轴阈值的光轴偏差值的情况下，确定所述至少一个鱼眼相机的标定结果为标定失败。
92.在一些可实施的示例中，光心阈值等于2cm，光轴阈值等于2
°
。
93.其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。
94.当然，本公开实施例提供的鱼眼相机外参标定的评估装置10包括但不限于上述模块，例如鱼眼相机外参标定的评估装置10还可以包括存储单元103。存储单元103可以用于存储该写鱼眼相机外参标定的评估装置10的程序代码，还可以用于存储写鱼眼相机外参标定的评估装置10在运行过程中生成的数据，如写请求中的数据等。
95.图4为本公开实施例提供的一种鱼眼相机外参标定的评估装置10的结构示意图，如图4所示，该鱼眼相机外参标定的评估装置10可以包括：至少一个处理器51、存储器52、通信接口53和通信总线54。
96.下面结合图4对鱼眼相机外参标定的评估装置10的各个构成部件进行具体的介绍：
97.其中，处理器51是鱼眼相机外参标定的评估装置10的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器51是一个中央处理器(central processing unit，cpu)，也可以是特定集成电路(application specific integrated circuit，asic)，或者是被配置成实施本公开实施例的一个或多个集成电路，例如：一个或多个dsp，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)。
98.在具体的实现中，作为一种实施例，处理器51可以包括一个或多个cpu，例如图4中所示的cpu0和cpu1。且，作为一种实施例，鱼眼相机外参标定的评估装置10可以包括多个处理器，例如图4中所示的处理器51和处理器55。这些处理器中的每一个可以是一个单核处理器(single-cpu)，也可以是一个多核处理器(multi-cpu)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
99.存储器52可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指
令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器52可以是独立存在，通过通信总线54与处理器51相连接。存储器52也可以和处理器51集成在一起。
100.在具体的实现中，存储器52，用于存储本公开中的数据和执行本公开的软件程序。处理器51可以通过运行或执行存储在存储器52内的软件程序，以及调用存储在存储器52内的数据，执行空调器的各种功能。
101.通信接口53，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)、终端、云端等。通信接口53可以包括获取单元，以实现获取功能。
102.通信总线54，可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component interconnect，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
103.作为一个示例，结合图3，鱼眼相机外参标定的评估装置10中的获取单元101实现的功能与图4中的通信接口53的功能相同，处理单元102实现的功能与图4中的处理器51的功能相同，存储单元103实现的功能与图4中的存储器52的功能相同。
104.本公开另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述方法实施例所示的方法。
105.在一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。
106.图5示意性地示出本公开实施例提供的计算机程序产品的概念性局部视图，所述计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。
107.在一个实施例中，计算机程序产品是使用信号承载介质410来提供的。所述信号承载介质410可以包括一个或多个程序指令，其当被一个或多个处理器运行时可以提供以上针对图1描述的功能或者部分功能。因此，例如，参考图1中所示的实施例，s11-s16的一个或多个特征可以由与信号承载介质410相关联的一个或多个指令来承担。此外，图5中的程序指令也描述示例指令。
108.在一些示例中，信号承载介质410可以包含计算机可读介质411，诸如但不限于，硬盘驱动器、紧密盘(cd)、数字视频光盘(dvd)、数字磁带、存储器、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等等。
109.在一些实施方式中，信号承载介质410可以包含计算机可记录介质412，诸如但不限于，存储器、读/写(r/w)cd、r/w dvd、等等。
110.在一些实施方式中，信号承载介质410可以包含通信介质413，诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。
111.信号承载介质410可以由无线形式的通信介质413(例如，遵守ieee 802.41标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令可以是，例如，计算机可执行指令或者逻辑实施指令。
112.在一些示例中，诸如针对图1描述的写数据装置可以被配置为，响应于通过计算机
可读介质411、计算机可记录介质412、和/或通信介质413中的一个或多个程序指令，提供各种操作、功能、或者动作。
113.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
114.在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
115.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
116.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
117.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
118.以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种鱼眼相机外参标定的评估方法，其特征在于，所述鱼眼相机为至少一个；所述方法包括：获取所述鱼眼相机在相机坐标系下的光心坐标，以及所述鱼眼相机的光轴在所述相机坐标系下的光轴矢量；根据第一rt矩阵和所述光心坐标，确定所述鱼眼相机在世界坐标系下的光心实际坐标；其中，所述第一rt矩阵包括第一旋转矩阵r和第一平移矩阵t；根据预先配置的所述鱼眼相机在所述世界坐标系下的光心理论坐标和所述光心实际坐标，确定所述鱼眼相机的光心偏差值；根据第二rt矩阵和所述光轴矢量，确定所述鱼眼相机在世界坐标系下的光轴实际夹角；其中，所述第二rt矩阵包括第二旋转矩阵r和第二平移矩阵t；根据预先配置的所述鱼眼相机在所述世界坐标系下的光轴理论夹角和所述光轴实际夹角，确定所述鱼眼相机的光轴偏差值；在所述光心偏差值小于光心阈值，并且所述光轴偏差值小于光轴阈值的情况下，确定所述鱼眼相机的标定结果为标定成功。2.根据权利要求1所述的方法，其特征在于，所述获取所述鱼眼相机在相机坐标系下的光心坐标，以及所述鱼眼相机的光轴在所述相机坐标系下的光轴矢量前，所述方法还包括：获取当前所处的地平面；根据所述地平面，建立世界坐标系；其中，所述世界坐标系的xoy平面与所述地平面平行，x轴方向水平向右，y轴方向水平向前，o为原点，z轴垂直于所述xoy平面。3.根据权利要求2所述的方法，其特征在于，所述根据预先配置的每个所述鱼眼相机在所述世界坐标系下的光心理论坐标和所述光心实际坐标，确定每个所述鱼眼相机的光心偏差值包括：根据预先配置的每个所述鱼眼相机在所述世界坐标系下的光心理论坐标和所述光心实际坐标，确定每个所述鱼眼相机分别在x轴、y轴和z轴上的光心偏差值。4.根据权利要求2所述的方法，其特征在于，所述世界坐标系包括xoy平面、xoz平面和yoz平面；所述根据预先配置的每个所述鱼眼相机在所述世界坐标系下的光轴理论夹角和所述光轴实际夹角，确定每个所述鱼眼相机的光轴偏差值，包括：根据预先配置的每个所述鱼眼相机在所述世界坐标系下的光轴理论夹角和所述光轴实际夹角，确定每个所述鱼眼相机分别在xoy平面、xoz平面和yoz平面上的光轴偏差值。5.根据权利要求1-4任一项所述的方法，其特征在于，所述光心阈值等于2cm，所述光轴阈值等于2
°
。6.一种鱼眼相机外参标定的评估装置，其特征在于，应用于交通工具，所述交通工具设置有至少一个鱼眼相机，包括：获取单元，用于获取至少一个鱼眼相机中每个鱼眼相机在相机坐标系下的光心坐标，以及每个所述鱼眼相机的光轴在所述相机坐标系下的光轴矢量；处理单元，用于根据第一rt矩阵和所述获取单元获取的所述光心坐标，确定每个所述鱼眼相机在世界坐标系下的光心实际坐标；所述处理单元，还用于根据预先配置的每个所述鱼眼相机在所述世界坐标系下的光心
理论坐标和所述光心实际坐标，确定每个所述鱼眼相机的光心偏差值；所述处理单元，还用于根据第二rt矩阵和所述获取单元获取的所述光轴矢量，确定每个所述鱼眼相机在世界坐标系下的光轴实际夹角；所述处理单元，还用于根据预先配置的每个所述鱼眼相机在所述世界坐标系下的光轴理论夹角和所述光轴实际夹角，确定每个所述鱼眼相机的光轴偏差值；所述处理单元，还用于在所述光心偏差值均小于光心阈值，并且所述光轴偏差值均小于光轴阈值的情况下，确定所述至少一个鱼眼相机的标定结果为标定成功。7.根据权利要求6所述的鱼眼相机外参标定的评估装置，其特征在于，所述获取单元，还用于获取当前所处的地平面；所述处理单元，还用于根据所述获取单元获取的所述地平面，建立世界坐标系；其中，所述世界坐标系的xoy平面与所述地平面平行，x轴方向水平向右，y轴方向水平向前，o为原点，z轴垂直于所述xoy平面。8.根据权利要求7所述的鱼眼相机外参标定的评估装置，其特征在于，所述处理单元，具体用于根据预先配置的每个所述鱼眼相机在所述世界坐标系下的光心理论坐标和所述光心实际坐标，确定每个所述鱼眼相机分别在x轴、y轴和z轴上的光心偏差值。9.根据权利要求7所述的鱼眼相机外参标定的评估装置，其特征在于，所述世界坐标系包括xoy平面、xoz平面和yoz平面；所述处理单元，具体用于根据预先配置的每个所述鱼眼相机在所述世界坐标系下的光轴理论夹角和所述光轴实际夹角，确定每个所述鱼眼相机分别在xoy平面、xoz平面和yoz平面上的光轴偏差值。10.根据权利要求6-9任一项所述的鱼眼相机外参标定的评估装置，其特征在于，所述光心阈值等于2cm，所述光轴阈值等于2
°
。11.一种电子设备，其特征在于，包括：通信接口、处理器、存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接；当所述电子设备运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述电子设备执行如上述权利要求1-5任一项所述的鱼眼相机外参标定的评估方法。12.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如上述权利要求1-5任一项所述的鱼眼相机外参标定的评估方法。

技术总结
本公开提供了一种鱼眼相机外参标定的评估方法、装置和电子设备，涉及鱼眼相机术领域，解决了相关技术中在对鱼眼相机的外参进行标定时，需要耗费较大的人工成本来保证鱼眼相机的标定精度。该方法包括：根据预先配置的每个鱼眼相机在世界坐标系下的光心理论坐标和光心实际坐标，确定每个鱼眼相机的光心偏差值；根据预先配置的每个鱼眼相机在世界坐标系下的光轴理论夹角和光轴实际夹角，确定每个鱼眼相机的光轴偏差值；在光心偏差值均小于光心阈值，并且光轴偏差值均小于光轴阈值的情况下，确定至少一个鱼眼相机的标定结果为标定成功。确定至少一个鱼眼相机的标定结果为标定成功。确定至少一个鱼眼相机的标定结果为标定成功。


技术研发人员：刘锋 李倩 李明阳 勾晓菲 李涛
受保护的技术使用者：北京罗克维尔斯科技有限公司
技术研发日：2022.03.18
技术公布日：2023/9/22