基于双目视觉的盾构隧道管片错台精准测量方法

1.本发明涉及盾构隧道施工及运维领域，特别涉及一种基于双目视觉的盾构隧道管片错台精准测量方法。


背景技术：

2.管片错台是盾构隧道施工过程或长期运营过程中普遍存在的现象，严重错台将引起管片开裂、隧道渗漏水等结构病害，进而对结构耐久性、列车运行安全产生不利影响。因此，精准高效的衬砌管片错台测量，是保证盾构隧道高质量施工与高效率运营维护的重要前提。目前测量盾构隧道管片错台的装置，根据工作原理大致分为：机械测距式和激光(结构光)测距式。
3.机械测距式通常将测量装置放置于管片错台处，再通过测量尺等机械装置，来测量衬砌管片之间的高差(即错台量)。如专利202210890656.x和专利202221219846.0，将测量装置固定在错台处，通过推动装置内的测量尺，测量尺的伸出长度即为管片错台量。
4.激光测距式按其原理又可细分为直接测量和间接测量两大类。前者通过记录激光光束往返的时间差(如专利201720582610.6和专利202121640476.3)或相位差(如专利201911208332.8、专利202111626349.2和专利201811089324.1)直接计算距离，获取衬砌管片的点云数据，进而计算各管片间的错台量。后者将线激光投射在管片接缝附近(如专利201910524743.1)，进而通过计算机视觉方法，间接计算光条各像素点的三维坐标，并求得错台量。
5.基于双目视觉原理对目标物体进行精确定位或计算三维坐标，已在各行各业(尤其是自动驾驶领域)得到广泛应用。在土木工程领域中，如专利202021321273.3和专利202110597490.8利用双目视觉技术对边坡进行实时监控并测量三维位移值，通过分析位移数据以便及时向外界发出预警信号。如专利202020343602.8在桥梁伸缩缝边缘安装带测点的条状目标物，通过双目视觉实现对伸缩缝宽度实时监测。如专利202210348866.6通过双目相机获取隧道仰拱监测点的空间坐标，实现隧道仰拱变形实时监测。虽然双目视觉技术已在土木工程若干领域得到初步应用，但关于盾构隧道管片错台测量的应用尚未见报道。
6.对于管片错台测量而言，机械测距式原理简单明确、结构可靠，但人工测量读取不便，误差较大，测量耗时耗力；激光测距式要求观测精度高(所测时间差为纳秒级，相位差为纳弧级)，因此技术门槛与造价较为高昂。双目测距式具有适用范围广，硬件设备相对便宜的特点，相比于传统的测距仪器，只需要使用两个摄像头和相关图像处理算法即可实现。但若要对错台量进行毫米级的精确测量，对成像质量和测距算法的要求很高。在成像质量上，两个摄像头之间的位置关系或者相机视场与目标物体存在倾角时，都容易出现近大远小的透视效应导致测量误差变大(即将测量的“视高差”作为“真高差”)。在测距算法上，由于不可避免的会存在摄像头的安放误差以及拍照时可能出现的透视效应，为了减小这些误差带来的影响确保测量结果达到预期，必须对算法进行相关开发和优化来有效的提高测距精度和鲁棒性。


技术实现要素：

7.本发明的目的在于克服现有技术问题和不足，提供一种基于双目视觉的盾构隧道管片错台精准测量方法，通过在管片上选取若干测点(如图1～2所示)，利用双目视觉测距原理，修正相机xy平面与衬砌环切平面之间的偏转角，将透视情况下测量的“视高差”转换成“真高差”，从而实现错台量的精确测量(如图3～5所示)。
8.为实现上述目的，本发明的技术方案是：一种基于双目视觉的盾构隧道管片错台精准测量方法，包括如下步骤：
9.s1、通过双目相机在管片错台处采集大量类似照片建立管片错台图像数据集；
10.s2、利用yolo算法、卷积神经网络算法在管片错台处自动选取目标测点；
11.s3、利用双目视觉测距技术获取目标测点世界三维坐标；
12.s4、将目标测点世界三维坐标与因相机xy平面与衬砌环切平面不完全平行而存在的偏转角θ建立关系，求得偏转角θ；
13.s5、通过坐标系转换消除偏转角θ对视深度测量影响，从而精准计算错台量。
14.上述五大步骤中，步骤s2、s3所采用的目标自动识别yolo算法、卷积神经网络算法、双目视觉测距等，均已在计算机视觉领域被广泛应用，并具有较高的可靠性和准确性。而步骤s4、五为本发明的核心，在双目视觉测距技术基础上，通过引入偏转角θ概念，修正目标点的深度测量，消除偏转角θ对错台测量精度的影响，同时也可为其他相关领域应用提供参考。
15.在本发明一实施例中，步骤s1具体实现如下：
16.使用双目相机在管片错台处进行图像采集，保存时加以“left_00.png”和“right_00.png”字样进行区别；通过采集大量类似照片，建立管片错台图像数据集；在采集图像时，尽可能使相机xy平面与衬砌环切平面保持平行，相机x轴方向与拼缝保持垂直，以减小透视效应对测量结果的影响。
17.在本发明一实施例中，步骤s2具体实现如下：
18.在管片错台图像数据集中，将拼缝视为“裂缝”，其他视为“背景”对图像进行标注，通过yolo算法自动识别管片错台区域，再利用卷积神经网络算法在错台区域进行管片拼缝检测，并精确定位两条拼缝边缘线；
19.利用卷积神经网络算法，在其中一条拼缝边缘线上自动选取目标测点a，在另一条拼缝边缘线上自动选取目标测点b，使得目标测点a与目标测点b之间距离最短；向ab连线两侧等像素间距地，分别选取目标测点m和目标测点n，最终得到4个目标测点，用于后续三维坐标计算。
20.在本发明一实施例中，步骤s3具体实现如下：
21.利用双目视觉测距技术，在世界坐标系ow(x
w y
w zw)、相机坐标系oc(x
c y
c zc)、焦平面坐标系of(u
f vf)和像素坐标系o
p
(u
p v
p
)之间建立坐标转换关系，则采集的左右图像通过立体匹配得到视差图，求得目标测点距离相机xy平面的距离zc即视深度，再根据坐标转换关系求得目标测点的世界三维坐标。
22.在本发明一实施例中，步骤s4具体实现如下：
23.通过步骤s3求得目标测点a(x1，y1，z1)、b(x2，y2，z2)、m(x3，y3，z3)和n(x4，y4，z4)的世界三维坐标；由于实际图像采集时很难保证相机xy平面与衬砌环切平面完全平行，因此
假设两平面间存在偏转角θ；
24.已知双目相机的相机坐标系坐标轴方向定义为：x轴为从左摄像头指向右摄像头的方向；y轴与相机光学轴即视线方向垂直；z轴为相机光学轴的方向，即从摄像头朝向场景方向，与x轴和y轴构成右手坐标系；世界坐标系原点定义在左摄像头处；
25.假设平面fg为初始相机xy平面，平面cd为旋转θ后相机xy平面，衬砌环切平面平行平面cd，af、bg分别为目标测点a与b的视深度线，且ac
⊥
cd，bd
⊥
cd，作ae
⊥
bd交于点e，作ac、bd至平面fg的延长线交于点h、j，作hk
⊥
bj交于点k；
26.同样假设平面ps为初始相机xy平面，平面qu为旋转θ后相机xy平面，衬砌环切平面平行平面qu，mp、ns分别为目标测点m与n的视深度线，且mq
⊥
qu，nu
⊥
qu，作am
′
//be使得mm
′⊥
am
′
，作eb延长线至n
′
使得nn
′⊥
bn
′
，作nu至平面ps的延长线交于点t；
27.根据三角函数关系，将4个目标测点的世界三维坐标与偏转角θ建立以下方程组；其中ae、eb、mm
′
、nn
′
与θ为未知量，其他均为已知量，ρ为衬砌管片半径；
[0028][0029]
联立上述方程组，消去ae和eb，求得偏转角θ的计算式为：
[0030][0031]
在本发明一实施例中，步骤s5具体实现如下：
[0032]
根据偏转角θ的定义，将目标测点的原世界三维坐标(xw，yw，zw)，转化为新世界三维坐标(x
′w，y
′w，z
′w)，如下式所示：
[0033][0034]
坐标转换后，4个目标测点的新世界三维坐标分别为(x
′1，y
′1，z
′1)、(x
′2，y
′2，z
′2)、(x
′3，y
′3，z
′3)和(x
′4，y
′4，z
′4)；则ab目标测点之间的视深度差值为z
′
1-z
′2即为错台量eb。
[0035]
相较于现有技术，本发明具有以下有益效果：本发明通过在管片上选取若干测点(，利用双目视觉测距原理，修正相机xy平面与衬砌环切平面之间的偏转角，将透视情况下测量的“视高差”转换成“真高差”，从而实现错台量的精确测量。
附图说明
[0036]
图1为衬砌管片实物照片测点平面图；
[0037]
图2为双目相机使用三维示意图；
[0038]
图3为双目相机计算“视高差”示意图；
[0039]
图4为本发明计算“真高差”示意图(ab测点)；
[0040]
图5为本发明计算“真高差”示意图(mn测点)；
[0041]
图中：1-管片a；2-管片b；3-衬砌环切平面；4-双目相机；41-左摄像头；42-右摄像头；5-拼缝；51-拼缝边缘线a；52-拼缝边缘线b。
具体实施方式
[0042]
下面结合附图1～附图5和具体实施例对本发明进行说明。
[0043]
已知双目相机4的相机坐标系坐标轴方向定义为：x轴为从左摄像头41指向右摄像头42的方向；y轴与相机光学轴(视线方向)垂直；z轴为相机光学轴的方向，即从摄像头朝向场景方向，与x轴和y轴构成右手坐标系。世界坐标系原点定义在左摄像头41处。
[0044]
在此基础上，通过以下5大步骤实现管片错台量的精确测量。
[0045]
步骤一：采集图像
[0046]
使用双目相机4在管片错台处进行图像采集，保存时加以“left_00.png”和“right_00.png”字样进行区别。通过采集大量类似照片，建立管片错台的图像数据集。在采集图像时，尽可能使相机xy平面与衬砌环切平面3保持平行，相机x轴方向与拼缝5保持垂直(如图2所示)，以减小透视效应对测量结果的影响。
[0047]
步骤二：自动选取目标测点
[0048]
在管片错台图像数据集中，将拼缝5视为“裂缝”，其他视为“背景”对其进行标注。通过yolo相关算法进行自动识别错台区域，再利用卷积神经网络算法在错台区域进行拼缝5检测，并精确定位两条拼缝边缘线51和52。
[0049]
先于拼缝边缘线51长度1/2处确定目标测点a，同样利用卷积神经网络算法在拼缝边缘线52上找寻最佳目标测点b，使得目标测点a与目标测点b之间距离最短。进一步地，向ab连线两侧等像素间距地，分别选取目标测点m和目标测点n。此时将得到4个目标测点(目标测点a与m位于管片1上，b与n位于管片2上)用于后续三维坐标计算。
[0050]
步骤三：双目视觉测距zc及世界三维坐标
[0051]
将目标测点作为特征点，根据步骤一得到的错台左右图像进行立体匹配得到视差图，从而求得目标测点距离相机xy平面的距离zc(即视深度)，再根据坐标系转换关系求得目标测点的三维坐标，具体过程如下：
[0052]
双目视觉测距技术涉及以下4个坐标系：世界坐标系ow(x
wywzw
)(单位：mm)、相机坐标系oc(xcyczc)(单位：mm)、焦平面坐标系of(u
fvf
)(单位：mm)和像素坐标系o
p
(u
pvp
)(单位：pixel)。设目标点a点的世界坐标为(xw，yw，zw)，相机坐标为(xc，yc，zc)，焦平面坐标为(uf，vf)和像素坐标为(u
p
，v
p
)。
[0053]
世界坐标系与相机坐标系的转换关系为：
[0054][0055]
式中，r为3*3正交矩阵，描述世界坐标系到相机坐标系的旋转方向，t为3*1的平移矩阵，描述世界坐标与相机坐标之间的平移关系。r与t为双目相机的外参，由厂家提供或通过实验标定得到。
[0056]
相机坐标系与焦平面坐标系的关系为：
[0057][0058]
式中，f为相机焦距，双目相机的内参，由厂家提供或通过实验标定得到。
[0059]
焦平面坐标系与像素坐标系的关系为：
[0060][0061]
式中，δx和δy表示单位长度上像素个数(单位：pixel/mm)，可结合双目相机的内参，通过实验标定得到。坐标(uo，vo)表示为焦平面坐标系原点在像素坐标系中的位置，通常取为像素平面的中心点。
[0062]
综合上述(1)(2)(3)转换关系，可得到世界坐标系到像素坐标系之间的映射关系：
[0063][0064]
对于上述步骤，所采用的目标自动识别yolo算法、卷积神经网络算法、双目视觉测距等，均已在计算机视觉领域被广泛应用，并具有较高的可靠性和准确性。而本发明核心内容主要为以下2个步骤。
[0065]
步骤四：相机xy平面与衬砌环切平面的偏转角θ
[0066]
步骤三可得目标测点a(x1，y1，z1)、b(x2，y2，z2)、m(x3，y3，z3)和n(x4，y4，z4)的世界三维坐标。但由于实际图像采集时难以做到相机xy平面与衬砌环切平面3完全平行，因此假设两平面间存在偏转角θ(此处只考虑相机绕y轴旋转θ度的情况，其他绕轴方向偏转角类似)，如图3所示。目标测点a(x1，y1，z1)与目标测点b(x2，y2，z2)视深度差值为af-bg＝z
1-z2(“视高差”)，由于偏转角θ的存在，“视高差”与错台量eb不相等。
[0067]
为消除偏转角θ存在的影响，将目标测点的世界三维坐标与偏转角θ建立以下关系，具体方法包括如下3步：
[0068]
1)图4中的三角函数关系
[0069]
作目标测点a与b的视深度线af与bg；ae
⊥
bd；衬砌环切平面3以及平面cd，同时满足衬砌环切平面3//平面cd，且ac
⊥
cd，bd
⊥
cd；hk
⊥
bj交于点k；
[0070]
假设平面fg与平面cd夹角为θ(平面fg为初始相机xy平面，平面cd即为旋转θ后相机xy平面)；
[0071]
则：ac与fg交于点h，bd与fg交于点j，ae＝hk
[0072]
则：ah-bk＝ah-(bj-jk)＝eb
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0073]
在直角三角形afh，bgj和hjk中，∠fah＝∠gbj＝∠jhk＝θ
[0074]
则：jk＝hk tanθ＝ae tanθ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0075]
将(6)式带入(5)式：
[0076][0077]
2)图5中的三角函数关系
[0078]
与图4类似地，在图5中作相关辅助线；
[0079]
作目标测点m与n的视深度线mp与ns；ae
⊥
be；衬砌环切平面3以及平面qu，同时满足衬砌环切平面3//平面qu，且mq
⊥
qu，nu
⊥
qu，nu延长线交于平面ps于点t；作am
′⊥
ae，bn
′⊥
ae；作mm
′⊥
am
′
、nn
′⊥
bn
′
；
[0080]
同样假设平面ps与平面qu夹角为θ(平面ps为初始相机xy平面，平面qu即为旋转θ后相机xy平面)；
[0081]
则：mq-nu＝mq-(nt-tu)＝eb
ꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0082]
在直角三角形mpq，nst和qtu中，∠pmq＝∠snt＝∠tqu＝θ
[0083]
则：tu＝qu tanθ＝(ae+mm
′
+nn
′
)tanθ
ꢀꢀꢀꢀꢀꢀ
(9)
[0084]
将(9)式带入(8)式可得：
[0085][0086]
3)联立方程组求偏转角θ
[0087]
联立(7)式与(10)式得到以下方程组
[0088][0089]
联立上述方程组，消去未知量ae和eb，可得偏转角θ的表达式：
[0090][0091]
其中，由于管片半径ρ已知(如图3所示)，且目标测点m与n为等像素间距选取：
[0092]
则：
[0093]
将(12)式带入(11)式可得偏转角θ的计算式为：
[0094][0095]
步骤五：计算错台量
[0096]
根据步骤四偏转角θ的定义，目标测点的世界三维坐标变换将满足以下关系：
[0097][0098]
即
[0099]
式中，(xw，yw，zw)为目标测点在原世界坐标的三维坐标，(x
′w，y
′w，z
′w)为消除偏转角θ后目标测点在新世界坐标的三维坐标。
[0100]
因此，4个目标测点在新世界坐标系下的世界三维坐标分别为：(x
′1，y
′1，z
′1)、(x
′2，y
′2，z
′2)、(x
′3，y
′3，z
′3)和(x
′4，y
′4，z
′4)，则ab测点间的视深度差值为z
′
1-z
′2(即“真高差”)，等于错台量eb值。
[0101]
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

技术特征：
1.一种基于双目视觉的盾构隧道管片错台精准测量方法，其特征在于，包括如下步骤：s1、通过双目相机在管片错台处采集大量类似照片建立管片错台图像数据集；s2、利用yolo算法、卷积神经网络算法在管片错台处自动选取目标测点；s3、利用双目视觉测距技术获取目标测点世界三维坐标；s4、将目标测点世界三维坐标与因相机xy平面与衬砌环切平面不完全平行而存在的偏转角θ建立关系，求得偏转角θ；s5、通过坐标系转换消除偏转角θ对视深度测量影响，从而精准计算错台量。2.根据权利要求1所述的基于双目视觉的盾构隧道管片错台精准测量方法，其特征在于，步骤s1具体实现如下：使用双目相机在管片错台处进行图像采集，保存时加以“left_00.png”和“right_00.png”字样进行区别；通过采集大量类似照片，建立管片错台图像数据集；在采集图像时，尽可能使相机xy平面与衬砌环切平面保持平行，相机x轴方向与拼缝保持垂直，以减小透视效应对测量结果的影响。3.根据权利要求1所述的基于双目视觉的盾构隧道管片错台精准测量方法，其特征在于，步骤s2具体实现如下：在管片错台图像数据集中，将拼缝视为“裂缝”，其他视为“背景”对图像进行标注，通过yolo算法自动识别管片错台区域，再利用卷积神经网络算法在错台区域进行管片拼缝检测，并精确定位两条拼缝边缘线；利用卷积神经网络算法，在其中一条拼缝边缘线上自动选取目标测点a，在另一条拼缝边缘线上自动选取目标测点b，使得目标测点a与目标测点b之间距离最短；向ab连线两侧等像素间距地，分别选取目标测点m和目标测点n，最终得到4个目标测点，用于后续三维坐标计算。4.根据权利要求3所述的基于双目视觉的盾构隧道管片错台精准测量方法，其特征在于，步骤s3具体实现如下：利用双目视觉测距技术，在世界坐标系o
w
(x
w
y
w
z
w
)、相机坐标系o
c
(x
c
y
c
z
c
)、焦平面坐标系o
f
(u
fvf
)和像素坐标系o
p
(u
pvp
)之间建立坐标转换关系，则采集的左右图像通过立体匹配得到视差图，求得目标测点距离相机xy平面的距离zc即视深度，再根据坐标转换关系求得目标测点的世界三维坐标。5.根据权利要求4所述的基于双目视觉的盾构隧道管片错台精准测量方法，其特征在于，步骤s4具体实现如下：通过步骤s3求得目标测点a(x1,y1,z1)、b(x2,y2,z2)、m(x3,y3,z3)和n(x4,y4,z4)的世界三维坐标；由于实际图像采集时很难保证相机xy平面与衬砌环切平面完全平行，因此假设两平面间存在偏转角θ；已知双目相机的相机坐标系坐标轴方向定义为：x轴为从左摄像头指向右摄像头的方向；y轴与相机光学轴即视线方向垂直；z轴为相机光学轴的方向，即从摄像头朝向场景方向，与x轴和y轴构成右手坐标系；世界坐标系原点定义在左摄像头处；假设平面fg为初始相机xy平面，平面cd为旋转θ后相机xy平面，衬砌环切平面平行平面cd，af、bg分别为目标测点a与b的视深度线，且ac
⊥
cd，bd
⊥
cd，作ae
⊥
bd交于点e，作ac、bd至平面fg的延长线交于点h、j，作hk
⊥
bj交于点k；
同样假设平面ps为初始相机xy平面，平面qu为旋转θ后相机xy平面，衬砌环切平面平行平面qu，mp、ns分别为目标测点m与n的视深度线，且mq
⊥
qu，nu
⊥
qu，作am'∥be使得mm'
⊥
am'，作eb延长线至n'使得nn'
⊥
bn'，作nu至平面ps的延长线交于点t；根据三角函数关系，将4个目标测点的世界三维坐标与偏转角θ建立以下方程组；其中ae、eb、mm'、nn'与θ为未知量，其他均为已知量，ρ为衬砌管片半径；联立上述方程组，消去ae和eb，求得偏转角θ的计算式为：6.根据权利要求5所述的基于双目视觉的盾构隧道管片错台精准测量方法，其特征在于，步骤s5具体实现如下：根据偏转角θ的定义，将目标测点的原世界三维坐标(x
w
,y
w
,z
w
)，转化为新世界三维坐标(x'
w
,y'
w
,z'
w
)，如下式所示：坐标转换后，4个目标测点的新世界三维坐标分别为(x'1,y'1,z'1)、(x'2,y'2,z'2)、(x'3,y'3,z'3)和(x'4,y'4,z'4)；则ab目标测点之间的视深度差值为z'
1-z'2即为错台量eb。

技术总结
本发明涉及一种基于双目视觉的盾构隧道管片错台精准测量方法。该方法包括：首先，通过双目相机在管片错台处采集大量类似照片建立图像数据集；其次，利用Yolo算法、卷积神经网络算法在错台处自动选取目标测点；再次，利用双目视觉测距技术获取目标测点世界三维坐标；然后，将目标测点世界三维坐标与因相机XY平面与衬砌环切平面不完全平行而存在的偏转角θ建立关系，求得偏转角θ；最后，通过坐标系转换消除偏转角θ对视深度测量影响，从而精准计算错台量。台量。台量。


技术研发人员：关振长 陈东 谢立夫 谢轶轲 杨泽龙 卢钦武
受保护的技术使用者：福州大学
技术研发日：2023.07.18
技术公布日：2023/9/23