一种测量物距可调节的线结构光检测系统及方法

1.本发明涉及计算机视觉技术领域，特别是涉及一种测量物距可调节的线结构光检测系统及方法。


背景技术：

2.随着计算方法、光学和图形计算的现代进步，计算机视觉领域的研究在迅速增长，在过去几十年里取得了广泛的研究与应用。针对生产生活的需求，计算机视觉技术的发展与应用也逐渐由二维图像发展到三维空间，如何使机器获得高质量的空间立体视觉的感知信息，已经成为当今计算机视觉领域的一个研究重点。
3.三维重建技术是利用计算机系统从场景中获取数字图像，并进行处理与分析，从而创建该场景的三维模型。三维测量技术有着测量精度高、可靠性高，且不受物体表面颜色与纹理信息的干扰等优点，但却存在测量设备庞大，测量距离受限等缺点。随着制造业的发展，传统接触式测量方式逐渐不能满足工业生产对速度和精度的要求，视觉测量作为一项非接触、实时性的三维测量手段得到了广泛关注，基于三角测量原理的线结构光三维测量技术更是由于其精度高、大量程等优点成为了该领域的研究热点之一。
4.随着数字投影、成像和处理硬件技术的进步，光学表面测量技术发展迅速。结构光三维重建技术在国内外已经研究发展多年，现已广泛应用于工业、娱乐、医疗等领域，与此同时，这些领域的发展也大力推动了对快速高分辨率三维形状测量系统的研究，并有效地推动制造商和学术科研人员们设计各种光学测量技术来不断获取更高精度、鲁棒性和稳定性更高的结构光三维测量系统。
5.三维测量系统是以单目线结构光来完成，线激光垂直投射于待测表面，图像采集设备和线激光的位置关系相对固定，利用移动平台带动物体运动，实现线激光对被测物体表面的全扫描，对相机拍摄到的线激光在被测物体表面的变形图像进行分析和计算，最终重建被测物体表面的三维轮廓。该方法具有结构简单、处理速度快、精度高等优点，让其在工业实际中有更广泛的应用。但是现有的线结构光传感器与被测物的距离都受到镜头物距的限制，不能实现在狭窄空间下目标缺陷的测量。


技术实现要素：

6.本发明提供了一种测量物距可调节的线结构光检测系统及方法，解决了现有的线结构光传感器与被测物的距离都受到镜头物距的限制，不能实现在狭窄空间下目标缺陷的测量问题。
7.本发明提供一种测量物距可调节的线结构光检测系统，包括图像采集模块，所述图像采集模块包括：
8.线激光器，用于向被测物发射线结构光，线结构光在被测物表面发生散射；
9.平面反射镜，以设定角度固定设置在所述线激光器一侧，用于接收并反射被测物散射回含有线结构光的图像；
10.相机，滑动设置在所述线激光器和平面反射镜之间，用于采集平面反射镜反射的含有线结构光的图像。
11.优选的，所述图像采集模块通过移动平台滑动设置在被测物上方。
12.优选的，还包括：
13.图像处理模块，与相机电连接，用于对相机采集的含有线结构光的图像的激光条纹中心进行提取，并将激光条纹中心的像素坐标进行坐标转换与拼接，得到点云图像；
14.三维重建模块，与图像处理模块电连接，用于将点云图像导入到点云软件，对被测物进行重建。
15.一种测量物距可调节的线结构光检测系统的检测方法，包括以下步骤：
16.通过线激光器向被测物发射线结构光；
17.通过平面反射镜接收并反射被测物散射回含有线结构光的图像；
18.通过相机接收反射镜反射的含有线结构光的图像；
19.对相机与反射镜之间的相对位置进行调节，对不同物距的被测物进行图像采集。
20.优选的，还包括：
21.通过处理模块对采集图像的激光条纹中心进行提取，并将激光条纹中心的像素坐标进行坐标转换与拼接，得到点云图像；
22.通过三维重建模块将点云图像导入到点云软件，对被测物进行重建。
23.优选的，在图像采集之前，还需对相机进行标定以及对光平面方程进行拟合。
24.优选的，所述对相机进行标定包括以下步骤：
25.固定棋盘格标定板，并调整反射镜角度；
26.使线结构光位于棋盘格标定板各列方格中间；
27.采集不同角度的棋盘格标定板的标定图像；
28.对标定图像进行镜像操作；
29.通过标定工具对相机参数进行标定。
30.优选的，所述对光平面方程进行拟合，包括以下步骤：
31.提取棋盘格标定板的多个条纹中心；
32.对条纹中心直线进行拟合；
33.提取拟合后的条纹中心直线与对应的标定图像中各行角点拟合直线的交点，得到多个特征点；
34.通过最小二乘法拟合多个特征点，得到光平面方程系数；
35.根据光平面方程系数得到光平面方程。
36.优选的，所述光平面方程如下所示：
37.acxc+bcyc+cczc+dc＝0
38.式中，ac、bc、cc、dc分别为多个光平面方程系数，(xc,yc,zc)为激光条纹上特征点的三维坐标。
39.优选的，将激光条纹中心的像素坐标进行坐标转换至世界坐标系后进行拼接。
40.与现有技术相比，本发明的有益效果是：
41.本发明将原有的单目线结构光测量方式，通过添加反射镜的方法使得测量装置与测量目标的距离缩短，测量装置的体积缩小，使得该种测量方式可以应用与狭小工作环境
条件下。并且通过适当调节相机与反射镜的位置，使该装置可以适用于不同测量距离。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明的一种测量物距可调节的线结构光检测系统的结构图；
44.图2为图像坐标系的示意图；
45.图3为相机坐标系和世界坐标系的转换关系示意图；
46.图4为本发明的相机位置调节的原理图；
47.图5为本发明的一种测量物距可调节的线结构光检测方法的流程框图；
48.图6为本发明的激光三角法的测量原理图；
49.图7为本实施例的不同情况下的标定图片；
50.其中，(a)：原始标定图片、(b)：镜像处理后标定图片、(c)：标定结果图；
51.图8为本实施例的特征点的拟合过程示意图；
52.图9为本实施例的光平面的拟合过程示意图；
53.图10为本实施例的实验平台实物图。
具体实施方式
54.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.本发明提供了一种测量物距可调节的线结构光检测系统，具体包括图像采集模块、处理模块和三维重建模块。
56.线结构光检测系统包括三种坐标系，分别为图像坐标系、相机坐标系和世界坐标系。
57.(1)图像坐标系
58.图像坐标系是将坐标系建立在数字图像上。图像坐标系有2种建立方式，第一种是以像素为单位建立的图像像素坐标系，坐标系以图像左上角为原点，像素行方向上建立u轴，列方向上建立v轴，(u，v)点坐标就表示像素点处在图像中的位置。另一种是以物理长度(mm)为单位建立的图像物理坐标系，该坐标系以摄像机光轴与图像平面的交点为原点，u轴平行方向上建立x轴，v轴平行方向上建立y轴。若设点o1在图像像素坐标系中的坐标为(u0，v0)，单个像素在x轴方向上的物理尺寸为dx，y轴方向上为dy，则一幅图像中任意点像素的坐标在两个坐标系下的转换关系为：
[0059][0060]
式中，dx,dy分别为像素点在x,y轴方向上的物理尺寸。
[0061]
两者的齐次坐标转换关系为：
[0062][0063]
(2)相机坐标系
[0064]
在相机坐标系中，将相机透镜中心oc作为坐标原点，坐标轴xc,yc分别与像平面坐标系的x,y轴方向平行，zc轴垂直于成像平面并与相机光轴相重合，ooc的距离称为相机焦距f，单位为毫米。
[0065]
(3)世界坐标系
[0066]
因为摄像机可以随意放置在空间中的任何位置，此时想要描述相机处在空间中的具体位置，就需要在空间中建立一个基准坐标系(xw，yw，zw)，该坐标系被称之为世界坐标系。世界坐标系之中的点可以通过旋转矩阵r和平移向量t转换到摄像机坐标系中去，其在摄像机坐标系下坐标为(xc，yc，zc)。如下可描述它们的转换关系，其中r为3
×
3正交旋转矩阵，t为三维平移向量，m为4
×
4矩阵。
[0067][0068]
线性相机成像模型是一种常见的针孔型成像方式，它是一种理想无畸变的成像方式，设空间点p在相机坐标系下的坐标为(xc，yc，zc)，其在相机成像平面的图像坐标为(x,y)，根据相似三角形理论，有如下转换关系：
[0069][0070]
其中，f为摄像机焦距。将上式用齐次坐标和矩阵表示即为：
[0071][0072]
结合上述公式可得到投影点p由图像坐标(u,v)到世界坐标pw(xw，yw，zw)的转换关系：
[0073][0074]
其中，f
x
＝f/d
x
，fy＝f/dy，分别代表图像坐标系u轴和v轴的尺度因子。由于f
x
、fy、u0、v0只与摄像机内部参数有关，故将其称作摄像机内部参数；r和t称为摄像机外部参数，代表世界坐标系和相机坐标系之间的转换关系。
[0075]
理想情况的摄像机模型是针孔模型，但实际的光学镜头并不是一个平面，镜头曲率的不规则变化就会导致图像的扭曲变形，使得相机成像平面上的实际物像理想成像物像之间会有偏差。因此为了获得相机的精确参数，我们需要考虑镜头畸变的影响，这就引出了相机的非线性模型。设理想点坐标为(u,v)，偏移点坐标为(ud，vd)，则有：
[0076][0077]
其中，δu，δv是线性畸变，相机畸变主要包括径向畸变和切向畸变，而径向畸变是导致成像误差的最主要因素，现给出径向畸变的修正量模型表示为：
[0078][0079]
其中，(u0，v0)是主坐标精确值，k1，k2，k3表示径向畸变系数，而
[0080]
r2＝(u
d-u0)2+(v
d-v0)2[0081]
在测量系统中，采用的工业镜头切向畸变非常微小，径向畸变模型中的阶数越高所需求解的参数就越多，解的值会不稳定。因此只考虑到二阶径向畸变，相机非线性模型的参数求解在线性模型参数的基础之上加入了非线性畸变参数k1和k2。
[0082]
参照图1，图像采集模块包括设置在被测物上方的移动平台，移动平台上设置有线激光器，线激光器用于向被测物发射线结构光。在线激光器一侧以一定角度固定设有反射镜，反射镜用于反射被测物散射回含有线结构光的图像。在被测物上方水平滑动设有相机，用于采集平面镜反射的含有线结构光的图像。
[0083]
对相机与反射镜之间的相对位置进行调节，对不同物距的被测物进行图像采集。
[0084]
在测量过程中，不同场景下测量装置距离待测平面的距离不同，本发明设计一种相机位置前后距离可调的测量方式来适应不同测量距离。在相机相对反射镜可调节距离的允许范围内，适当改变相机距离反射镜的相对位置进而调节物距长度，搭配相机镜头调节焦距实现测量距离可调节的测量。
[0085]
参照图4，初始测量物距为l1，当相机往后移动一段距离l2后，相机镜头距离测量平面的距离变成了l1+l2。这样使得测量物距增加而不改变测量装置与测量平面的距离，使得该测量装置可以适用于各种狭窄的测量环境。
[0086]
处理模块与图像采集模块电连接，用于对图像的激光条纹中心进行提取，并将激光条纹中心的像素坐标进行坐标转换与拼接，得到点云图像。
[0087]
三维重建模块与处理模块电连接，用于将点云图像导入到点云软件，对被测物进行重建。
[0088]
本测量系统采用线面模型来进行空间点坐标的求取，其数学模型如下：
[0089]
设相机坐标系下的结构光平面方程为：
[0090]ac
xc+bcyc+cczc+dc＝0
[0091]
光条上任意一点p，其在相机坐标系下的归一化图像坐标为(xn,yn,1)，ocp的直线方程就可以得到：
[0092][0093]
联立公式即可得到：
[0094][0095]
通过上式，就得到了激光条纹上的特征点p在相机坐标系下的三维点坐标。
[0096]
参照图5，基于以上构思，本发明实施例还提供一种测量物距可调节的线结构光检测系统的检测方法，包括以下步骤：
[0097]
第一步：通过线激光器向被测物发射线结构光。
[0098]
第二步：通过反射镜接收并反射被测物散射回含有线结构光的图像。
[0099]
第三步：通过相机接收反射镜反射的含有线结构光的图像。对相机与反射镜之间的相对位置进行调节，可对不同物距的被测物进行图像采集。
[0100]
第四步：通过处理模块对图像的激光条纹中心进行提取，并将激光条纹中心的像素坐标进行坐标转换与拼接，得到点云图像。
[0101]
第五步：通过三维重建模块将点云图像导入到点云软件，对被测物进行重建。
[0102]
线结构光三维重建是基于激光三角法，激光三角测量法是利用光线空间传播过程中的光学反射规律和相似三角形原理，在接收透镜的物空间与像空间构成相似关系，同时利用边角关系计算出待测位移。
[0103]
参照图6，激光束与被测基准面法线的夹角为γ，散射光束aa'与法线的夹角为θ，与光敏阵列单元之间的夹角为α，入射光点a与到成像光学系统中心o之间的距离为l1，相应成像点a'与光学成像中心点o之间的成像距离为l2。过b和b'点分别作aa'的延长线及aa
′
的垂线，垂足分别为c和d。光敏阵列上的成像光斑随着待测面与基准面之间距离的变化移动。如上图所示，当待测面与基准面之间的距离为y时，相应的传感器光斑移动距离为x。根据三角形定理可得：
[0104][0105]
当测量物体高度y发生变化时，由激光平面与相机间的几何关系，成像平面上移动距离x可以确定下来，由此可以由图像中的畸变信息还原得到物体的深度信息。
[0106]
在图像采集之前，需要进行相机标定以及拟合光平面。
[0107]
参照图7，相机的标定是三维重建的第一步，标定的结果将影响三维重建的结果。在相机的标定过程中通常用重投影误差来衡量标定后得到的相机参数好坏。本发明采用matlab相机标定工具箱来标定工业相机，标定后的平均重投影误差为0.22个像素，由于平面镜成像效果这里运用matlab对图像进行了镜像处理。步骤为：
[0108]
(1)放置好标定棋盘格标定板并调整好反射镜角度。
[0109]
(2)打开相机调整好相机镜头焦距使画面清晰并调整好曝光，打开激光器
[0110]
(3)使激光线位于棋盘格各列方格中间，这里的激光条纹用于拟合光平面。
[0111]
(4)打开相机软件，调整标定板采集不同角度的棋盘格标定图像。
[0112]
(5)采集图像后对图像镜像。
[0113]
(6)打开matlab相机标定工具标定相机参数，得到重投影误差评价标定结果。
[0114]
除了需要标定相机得到相机内外参数外，还需要得到结构光光平面在世界坐标系下的平面方程。参照图8和图9，本发明通过求提取条纹中心拟合直线后与棋盘格各行角点拟合直线的交点，从而得到光平面上的特征点。由得到的特征点在相机坐标系下拟合得到光平面方程。步骤为：
[0115]
(1)提取棋盘格上各条纹中心。
[0116]
(2)拟合条纹中心曲线并求其与标定结果中该幅标定图像中各行角点拟合曲线的交点，即特征点。
[0117]
(3)最小二乘法拟合位于世界坐标系下的各特征点，得到光平面方程系数。
[0118]
实施例
[0119]
参照图10，由一维移动平台、激光器、工业相机和反射平面镜组成，对待测工件倾斜一定角度以求验证检测准确性，设置相机每50毫秒采集一幅图像共采集160幅图，并且采集图像时由于加装反射镜后会产生图像镜像效果，因此采集图像后需要对原始图像进行镜像操作，从而得到正常条件下的图像。步骤为：
[0120]
(1)放置好测量目标对象，调整相机曝光和激光条纹亮度。
[0121]
(2)打开相机软件设置采集图像参数，控制一维移动平台采集扫描图像，实验中扫描金属板部分长度。
[0122]
(3)对采集好的扫描图像镜像后，提取每幅图像中的激光条纹中心。
[0123]
(4)由提取激光条纹中心像素坐标经计算得到世界坐标系下的坐标，将每幅图像提取到的点云坐标经拼接得到最后完整的点云图像，这里各幅图像点云之间拼接距离值是由采集图像参数和平台前进移动速度共同决定的。
[0124]
(5)将得到的点云图像导入到点云处理软件中显示重建效果。
[0125]
将点云数据导入到geomagic studio2013逆向工程软件中，分析测量结果。由于加装反射镜后相机相对于测量目标的位置有一定倾斜，为了验证测量结果准确性和装置测量结果的可靠性，这里对待测件倾斜一定高度，通过倾斜一定角度后检测对象三维重建结果分析，验证线结构光三维重建的准确性。
[0126]
这里的测量目标215mm*105mm的金属板，由宽度不同的缝隙分隔开，并且缝隙两边相邻位置有不同的阶梯高度差。这里最大缝隙宽度为3mm后面的缝隙宽度依次递减分别为2mm，1mm，0.5mm宽度，最大缝隙相邻两侧阶梯高度差最大为1.5mm后面的阶梯高度差值依次
递减分别为1mm，0.6mm，0mm。由于测量后得到的点云图像很难确定缝隙边缘的准确位置，所以这里不使用检测缝隙宽度值来判断检测效果，而是通过判断阶梯高度差值来评判检测效果。下面是设置测量目标一定倾斜高度后得到的检测结果。
[0127]
将测量得到的点云数据导入到点云处理软件中，通过在geomagic studio2013软件中重设坐标系位置使坐标系xoy平面贴合表面，xoz平面垂直与点云表面方便后续分析测量。
[0128]
使用studio软件自带的分析工具，分析各选定之间的距离，高度差等值。这里选定的点位于宽度为3mm缝隙两侧阶梯高度差值分别为1.5mm金属板局域部分，通过测量选定点之间的距离等参数，分析测量值与实际值之间的误差。
[0129]
下面是相对结构光投射位置前倾高度35mm后的测量分析结果，这里选择三组不同位置的点，实验结果中z轴方向选定点阶差分别为：1.504mm，1.516mm，1.495mm，测量结果与实际值1.5mm近似。
[0130]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0131]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种测量物距可调节的线结构光检测系统，其特征在于，包括图像采集模块，所述图像采集模块包括：线激光器，用于向被测物发射线结构光，线结构光在被测物表面发生散射；平面反射镜，以设定角度固定设置在所述线激光器一侧，用于接收并反射被测物散射回含有线结构光的图像；相机，滑动设置在所述线激光器和平面反射镜之间，用于采集平面反射镜反射的含有线结构光的图像。2.如权利要求1所述的一种测量物距可调节的线结构光检测系统，其特征在于，所述图像采集模块通过移动平台滑动设置在被测物上方。3.如权利要求1所述的一种测量物距可调节的线结构光检测系统，其特征在于，还包括：图像处理模块，与相机电连接，用于对相机采集的含有线结构光的图像的激光条纹中心进行提取，并将激光条纹中心的像素坐标进行坐标转换与拼接，得到点云图像；三维重建模块，与图像处理模块电连接，用于将点云图像导入到点云软件，对被测物进行重建。4.一种根据权利要求1任一项所述的测量物距可调节的线结构光检测系统的检测方法，其特征在于，包括以下步骤：通过线激光器向被测物发射线结构光；通过平面反射镜接收并反射被测物散射回含有线结构光的图像；通过相机接收反射镜反射的含有线结构光的图像；对相机与反射镜之间的相对位置进行调节，对不同物距的被测物进行图像采集。5.如权利要求4所述的一种测量物距可调节的线结构光检测系统的检测方法，其特征在于，还包括：通过图像处理模块对采集图像的激光条纹中心进行提取，并将激光条纹中心的像素坐标进行坐标转换与拼接，得到点云图像；通过三维重建模块将点云图像导入到点云软件，对被测物进行重建。6.如权利要求5所述的一种测量物距可调节的线结构光检测系统的检测方法，其特征在于，在图像采集之前，还需对相机进行标定以及对光平面方程进行拟合。7.如权利要求6所述的一种测量物距可调节的线结构光检测系统的检测方法，其特征在于，所述对相机进行标定包括以下步骤：固定棋盘格标定板，并调整反射镜角度；使线结构光位于棋盘格标定板各列方格中间；采集不同角度的棋盘格标定板的标定图像；对标定图像进行镜像操作；通过标定工具对相机参数进行标定。8.如权利要求7所述的一种测量物距可调节的线结构光检测系统的检测方法，其特征在于，所述对光平面方程进行拟合，包括以下步骤：提取棋盘格标定板的多个条纹中心；对条纹中心直线进行拟合；
提取拟合后的条纹中心直线与对应的标定图像中各行角点拟合直线的交点，得到多个特征点；通过最小二乘法拟合多个特征点，得到光平面方程系数；根据光平面方程系数得到光平面方程。9.如权利要求8所述的一种测量物距可调节的线结构光检测系统的检测方法，其特征在于，所述光平面方程如下所示：式中，a
c
、b
c
、c
c
、d
c
分别为多个光平面方程系数，(x
c
,y
c
,z
c
)为激光条纹上特征点的三维坐标。10.如权利要求8所述的一种测量物距可调节的线结构光检测系统的检测方法，其特征在于，将激光条纹中心的像素坐标进行坐标转换至世界坐标系后进行拼接。

技术总结
本发明公开了一种测量物距可调节的线结构光检测系统及方法，涉及计算机视觉技术领域，该系统包括图像采集模块，图像采集模块包括：线激光器，用于向被测物发射线结构光，线结构光在被测物表面散射；平面反射镜，以设定角度固定设置在所述线激光器一侧，用于接收并反射被测物散射回含有线结构光的图像；相机，滑动设置在线激光器和平面反射镜之间，用于采集平面反射镜反射的含有线结构光的图像。本发明通过添加反射镜的方法使得测量装置与测量目标的距离缩短，使得该种测量方式可以应用与狭小工作环境条件下。小工作环境条件下。小工作环境条件下。


技术研发人员：夏桂锁 徐子龙 朱沁玥 高卫文 程东方 胡博
受保护的技术使用者：南昌航空大学
技术研发日：2023.07.19
技术公布日：2023/9/23