一种基于灰狼优化算法的RBF神经网络的投影仪标定方法

一种基于灰狼优化算法的rbf神经网络的投影仪标定方法
技术领域
1.本发明涉及三维重建技术领域，具体涉及一种基于灰狼优化算法的rbf神经网络的投影仪标定方法。


背景技术：

2.在投影仪与摄像机组成的光栅投影三维测量系统中，投影仪标定是获得高精度测量结果的关键因素。因为投影仪是非成像设备，很难准确获得像素点在投影图像上位置与其在世界坐标上相应位置的对应关系，导致投影仪的标定相对困难。
3.传统标定算法普适性差，不同类型相机需单独建模标定，对求解效率和求解稳定性带来了不利影响，稳定性差则易存在系统自身噪声导致结果不稳定；标定精度依赖于初值，初值计算的偏差会导致结果偏差严重，使得如何根据具体的成像过程选择合适的模型变得困难。
4.rbf神经网络的非线性逼近能力，可以忽略具体的系统模型，准确描述输入输出在欧氏空间的非线性映射，直接建立不同坐标系的映射关系。但对于实时、非线性及参数待定的复杂问题，依靠经验来设计rbf网络各参数的方法越来越困难；传统rbf神经网络无法避免由于神经元之间差异性过小造成的神经网络训练结果精度过低的缺陷。


技术实现要素：

5.本发明的目的在于提供一种基于灰狼优化算法的rbf神经网络的投影仪标定方法，旨在解决现有的神经网络投影仪标定方法精度不高和传统非神经网络投影仪标定困难，普适性不高的问题。
6.为实现上述目的，本发明提供了一种基于灰狼优化算法的rbf神经网络的投影仪标定方法，包括下列步骤：
7.拍摄15组不同姿态的投影重叠标定棋盘格图像和标定棋盘格图像；
8.对投影重叠标定棋盘格和标定棋盘格进行角点检测，获得摄像机坐标；
9.摄像机坐标通过单应性矩阵计算得到对应的投影仪坐标；
10.训练gwo-rbf补偿投影仪计算坐标误差，输出精确的投影仪坐标；
11.利用训练好的gwo-rbf，得到标定棋盘格角点的精确投影仪坐标，从而实现投影仪标定。
12.可选的，标定板粘贴12*7灰度为150和255的灰白色棋盘格，投影仪投射11*7灰度为0和255的黑白色棋盘格到标定板平面。
13.其中，摄像机拍摄时，需保证在拍摄同一姿态的2种图像时，标定板与摄像机-投影仪系统的相对位置不变；在拍摄重叠棋盘格图像时，投射图案均落在标定板平面上且标定板图案位于投射图案的区域内。
14.由于棋盘格图案没有偏心误差；易于在图像中识别，几何形状清晰，检测精度高；黑白棋盘格标定板的制作相对简单，只需要打印出特定大小的黑白棋盘格图案即可，因此，
本发明选用黑白棋盘格作为标定图案。
15.可选的，进行角点检测，获得摄像机坐标的过程中，先利用二值化阈值分割法和高斯滤波，得到不受重叠干扰的投影棋盘格图像，再使用opencv的角点检测函数获取对应的角点坐标。
16.具体的，为了实现图像分割，首先需要使用opencv的颜色空间转换函数将彩色图像转换成灰度图像；再使用二值化函数将灰度图像转换成二值图像；接着通过二值化阈值分割法，分割阈值设置为125，最大阈值设置为255，并采用反转二值化的方式实现分割。
17.为了成功检测到全部角点，需要先对分割后的图像使用高斯滤波降低噪声提高图像质量，强化图像边缘和细节；再使用opencv的角点检测函数，才能获取完整的角点坐标。
18.可选的，所述单应性矩阵的建立需要四个对应的角点对，具体为手动选取图像分割后和电脑生成的投影图像边缘的四个角点并进行匹配。
19.为了更好地捕捉到图像的整体几何特征，增加单应性矩阵的准确度和稳定性，本发明选取边缘四个角点对，可以覆盖整个图像的四个角落。
20.在选取好角点对的基础上，使用快速最近邻搜索算法匹配两张图片边缘的四对角点，根据匹配成功的四对角点建立单应性矩阵，最后摄像机坐标就能通过矩阵计算得到对应的投影仪计算坐标。
21.可选的，训练gwo-rbf补偿投影仪计算坐标误差的过程，具体为使用灰狼优化算法优化rbf神经网络的隐含层神经元数目、隐含层和输出层的偏置以及网络训练的轮次，获得gwo-rbf神经网络，再将投影仪计算坐标作为gwo-rbf的训练集，投影棋盘格角点的投影仪实际坐标作为标签集进行训练，补偿坐标误差。
22.由于存在镜头畸变是非线性的，只靠单应性矩阵进行线性转换的投影仪坐标存在较大误差。rbf神经网络具有较好的函数逼近能力能够实现误差补偿，但传统rbf网络的重要参数如隐含层神经元数目、隐含层和输出层的偏置和训练轮次等只能依靠经验设置导致输出的预测坐标准确度不高。
23.因此本发明使用灰狼优化算法优化rbf神经网络的隐含层神经元数目、隐含层和输出层的偏置以及网络训练的轮次，提高传统rbf神经网络的准确度和效率，由此输出更加精确的投影仪坐标。
24.可选的，在利用训练好的gwo-rbf，得到标定棋盘格角点的精确投影仪坐标的过程中，将标定棋盘格的摄像机坐标与对应的单应性矩阵进行计算得出标定棋盘格角点的投影仪计算坐标；再将投影仪计算坐标投入到训练好的神经网络，补偿坐标误差，得到标定棋盘格角点精确的投影仪坐标。最后采用类似于相机标定的方法，标定投影仪。
25.本发明提供了一种基于灰狼优化算法的rbf神经网络的投影仪标定方法，通过拍摄15组不同姿态的投影重叠标定棋盘格图像和标定棋盘格图像；对投影重叠标定棋盘格和标定棋盘格进行角点检测，获得摄像机坐标；摄像机坐标通过单应性矩阵计算得到对应的投影仪坐标；训练gwo-rbf补偿投影仪计算坐标误差，输出精确的投影仪坐标；利用训练好的gwo-rbf，得到标定棋盘格角点的精确投影仪坐标，从而实现投影仪标定。经灰狼优化的rbf神经网络能够对坐标误差补偿，提高坐标的精确度，提高投影仪标定的精度，同时因为神经网络的普适性，极大降低投影仪标定难度，解决现有的神经网络投影仪标定方法精度不高，在传统非神经网络投影仪标定困难，普适性不高的问题。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是本发明的一种基于灰狼优化算法的rbf神经网络的投影仪标定方法的标定流程示意图。
28.图2是本发明中图像分割前后的结果图。
29.图3是本发明的角点检测结果图。
30.图4是本发明的建立单应性矩阵获得投影机计算坐标流程图。
31.图5是本发明中的gwo-rbf具体执行流程示意图。
32.图6是本发明的gwo-rbf神经网络输出坐标与实际坐标对比图。
33.图7是本发明的重投影误差结果图。
具体实施方式
34.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
35.文中的英文术语缩写释义如下：
36.gwo-rbf：grey wolfoptimizer-radial basis function，基于灰狼优化算法的rbf神经网络。
37.请参阅图1，本发明提供了一种基于灰狼优化算法的rbf神经网络的投影仪标定方法，包括下列步骤：
38.s1：拍摄15组不同姿态的投影重叠标定棋盘格图像和标定棋盘格图像；
39.s2：对投影重叠标定棋盘格和标定棋盘格进行角点检测，获得摄像机坐标；
40.s3：摄像机坐标通过单应性矩阵计算得到对应的投影仪坐标；
41.s4：训练gwo-rbf补偿投影仪计算坐标误差，输出精确的投影仪坐标；
42.s5：利用训练好的gwo-rbf，得到标定棋盘格角点的精确投影仪坐标，从而实现投影仪标定。
43.以下结合具体实施步骤作进一步说明：
44.步骤s1中，标定板粘贴12*7灰度为150和255的灰白色棋盘格，投影仪投射11*7灰度为0和255的黑白色棋盘格到标定板平面。
45.具体的，其中12*7和11*7是角点数目。
46.在步骤s2、将拍摄的棋盘格照片中分解的彩色图像r、g、b三个分量进行加权平均得到灰度值。加权平均灰度化公式为：
47.i(x，y)＝i(x，y，0)
×
0.299+i(x，y，1)
×
0.587+i(x，y，2)
×
0.114
48.其中，i(x，y)为灰度化的像素值，i(x，y，0)、i(x，y，1)和i(x，y，2)分别为红、绿、蓝通道的像素值。
49.对棋盘格重叠图像使用二值化阈值分割法实现图像分割。分割效果前后如图2所
示，左图是标定棋盘格与投影棋盘格重叠图，右图是成功分割出来的投影棋盘格。二值化阈值分割公式为：
[0050][0051]
其中，i(x，y)为分割后的像素值，g(x，y)为分割前的像素值，thresh为阈值，用于将像素分割为两个类别的灰度值。
[0052]
对成功分割出来的投影棋盘格图像进行高斯滤波降噪，提高图像质量，强化图像细节，保证棋盘格角点被完整检测到。对分割出来的投影棋盘格降噪后检测到全部角点，如图3所示。高斯滤波公式为：
[0053][0054]
其中，g(x，y)表示滤波器的权重值，(x，y)表示滤波器的位置，σ表示高斯函数的标准差。
[0055]
步骤s3的实施过程，包括：
[0056]
通过图像边缘四个角点对建立单应性矩阵，再利用单应性矩阵将摄像机坐标转换成投影仪计算坐标，流程如图4所示，单应性矩阵变换公式为：
[0057][0058]
其中，m
pp
＝(u
pp
，v
pp
，1)表示投影仪坐标，m
pc
＝(u
pc
，v
pc
，1)表示摄像机坐标，h
cp
表示单应性矩阵。
[0059]
在步骤s4中，使用灰狼优化rbf网络流程图如图5所示，投影仪计算坐标作为训练集，电脑生成的投影棋盘格坐标作为标签集，灰狼优化算法优化rbf神经网络的隐含层神经元数目、隐含层和输出层的偏置以及网络训练的轮次。通过优化后的rbf神经网络训练，输出精确的投影仪坐标。输出结果如图6所示。
[0060]
本发明使用重投影误差这一指标判断网络输出的投影仪坐标的精确程度，判断投影仪标定的精确程度。重投影误差如图7所示，重投影误差公式为：
[0061][0062]
其中，(x
′
,y
′
)表示网络输出预测坐标，(x,y)表示实际坐标。
[0063]
还可以把重投影误差浓缩成平均重投影误差，平均重投影误差越小，坐标越精确，投影仪标定精度越高。平均重投影误差公式为：
[0064][0065]
其中，m表示焦点总数。
[0066]
在步骤s5中，将标定棋盘格的摄像机坐标与对应的单应性矩阵进行计算得出标定
棋盘格角点的投影仪计算坐标；再将投影仪计算坐标投入到训练好的神经网络，补偿坐标误差，得到标定棋盘格角点精确的投影仪坐标；最后与标定摄像机类似，标定投影仪。标定结果如下表所示。
[0067][0068]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

技术特征：
1.一种基于灰狼优化算法的rbf神经网络的投影仪标定方法，其特征在于，包括下列步骤：拍摄15组不同姿态的投影重叠标定棋盘格图像和标定棋盘格图像；对投影重叠标定棋盘格和标定棋盘格进行角点检测，获得摄像机坐标；摄像机坐标通过单应性矩阵计算得到对应的投影仪坐标；训练gwo-rbf补偿投影仪计算坐标误差，输出精确的投影仪坐标；利用训练好的gwo-rbf，得到标定棋盘格角点的精确投影仪坐标，从而实现投影仪标定。2.如权利要求1所述的基于灰狼优化算法的rbf神经网络的投影仪标定方法，其特征在于，标定板粘贴12*7灰度为150和255的灰白色棋盘格，投影仪投射11*7灰度为0和255的黑白色棋盘格到标定板平面。3.如权利要求2所述的基于灰狼优化算法的rbf神经网络的投影仪标定方法，其特征在于，进行角点检测，获得摄像机坐标的过程中，先利用二值化阈值分割法和高斯滤波，得到不受重叠干扰的投影棋盘格图像，再使用opencv的角点检测函数获取对应的角点坐标。4.如权利要求3所述的基于灰狼优化算法的rbf神经网络的投影仪标定方法，其特征在于，所述单应性矩阵的建立需要四个对应的角点对，具体为手动选取图像分割后和电脑生成的投影图像边缘的四个角点并进行匹配。5.如权利要求4所述的基于灰狼优化算法的rbf神经网络的投影仪标定方法，其特征在于，训练gwo-rbf补偿投影仪计算坐标误差的过程，具体为使用灰狼优化算法优化rbf神经网络的隐含层神经元数目、隐含层和输出层的偏置以及网络训练的轮次，获得gwo-rbf神经网络，再将投影仪计算坐标作为gwo-rbf的训练集，投影棋盘格角点的投影仪实际坐标作为标签集进行训练，补偿坐标误差。6.如权利要求5所述的基于灰狼优化算法的rbf神经网络的投影仪标定方法，其特征在于，在利用训练好的gwo-rbf，得到标定棋盘格角点的精确投影仪坐标的过程中，将标定棋盘格的摄像机坐标与对应的单应性矩阵进行计算得出标定棋盘格角点的投影仪计算坐标；再将投影仪计算坐标投入到训练好的神经网络，补偿坐标误差，得到标定棋盘格角点精确的投影仪坐标。

技术总结
本发明涉及三维重建技术领域，具体涉及一种基于灰狼优化算法的RBF神经网络的投影仪标定方法，通过拍摄15组不同姿态的投影重叠标定棋盘格图像和标定棋盘格图像；对投影重叠标定棋盘格和标定棋盘格进行角点检测，获得摄像机坐标；摄像机坐标通过单应性矩阵计算得到对应的投影仪坐标；训练GWO-RBF补偿投影仪计算坐标误差，输出精确的投影仪坐标；利用训练好的GWO-RBF，得到标定棋盘格角点的精确投影仪坐标，从而实现投影仪标定。经灰狼优化的RBF神经网络能够对坐标误差补偿，提高坐标的精确度，提高投影仪标定的精度，同时因为神经网络的普适性，极大降低投影仪标定难度，改进了现有的神经网络投影仪标定方法的不足。神经网络投影仪标定方法的不足。神经网络投影仪标定方法的不足。


技术研发人员：徐翠锋 詹锦成 马峻 赵文博
受保护的技术使用者：桂林电子科技大学
技术研发日：2023.07.04
技术公布日：2023/9/23